е е. u t. ks a s s i f i с a t i e m e t h o d e. voor

Ι/

a.h.

e

boon

. ι

van

ostade

e

ι г

«

а

. е е

' ν

u t

e a

een

η

a

kS a s s i f i с a t i e m e t h o d e voor psychologische

data

DK lYERATll-.VI·. CLUSTF.RANALYSK

V.on k J a s s i f i c a i ienitìtluKie v o o r p s y c h o l o g i s c h e ! d a t a

Promotor : Prof. Dr. 6. Brenninkmeijer

DE ITERATIEVE CLUSTERANALYSE Een klasaificatiemethode voor psychologische data

Proefschrift ter verkrijging van de graad van doctor in de sociale wetenschappen aan de katholieke universiteit te Nijmegen op gezag van de rector magnificus, Dr. 6. Brenninkmeijer, hoogleraar in de faculteit der sociale wetenschappen volgens besluit van de senaat in het openbaar te verdedigen op 16 december 1969, des namiddags te 4 uur

door Adriaan Herman Boon van Ostade geboren te Bandoeng

Dank zij de hulp en steun van zeer velen is deze studie tot stand gekomen. Het is mij onmogelijk hier allen persoonlijk te bedanken. Voor drie personen moet echter een uitzondering worden gemaakt en wel voor Prof. Dr. A.D. de Groot, Prof. Dr. S.D. Fokkema en Dr. G.B.M.L. Koene. Alle drie hebben zij de studie op belangrijke momenten verder voortgeholpen.

INHOUD

1. Inleiding

pagina 7

2. Klassificatie in de psychologie 2.1. Algemeen logisch uitgangspunt

9

2.2. De elementen

12

2.3. De operator

13

2.4. Het doel van de klassificatie

17

2.5. De orde van de klassificatie

22

3. Constructie van doelmatige klassificaties 3.1. De waarde van de operator

25

3.2. De bedoelde klassificatie

35

3.3. De klassificatiemaat

46

3.4. Constructievoorschriften

53

3.5. Controle en exploratie

61

3.6. De waarde van de geconstrueerde klassificatie

68

4. Uitvoering van de analyse 4.1. De steekproef

73

4.2. De operatoren

79

4.3. Omzetting van de data in nul en één coderingen

83

4.4. De overeenkomstindex

90

4.5. Vorming van de clusters

94

4.6. Controle van de clusters

104

4.7. Rekenprogramma

113

5. Toepassingen van de analyse 5.1. Inleiding

125

5.2. Soorten van toepassing

126

5.2.1. Betekenisonderzoek

129

5.2.2. Psychische functies

139

5.2.3. Interindividueelonderzoek

143

5.2.4. Type-onderzoek

'^

6

INHOUD 3. Vormen van toepassing

150

5.3.1. Conditie-onderzoek

152

5.3.2. Hiërarchisch-onderzoek

159

5.3.3. Predictie-onderzoek

162

6. Vergelijking met de hoofdassenanalyse 6.1. Inleiding

167

6.2. Kritische punten hoofdassenanalyse

175

6.2.1. Het aantal faktoren

181

6.2.2. Aselecte data

184

6.3. Kritische punten iteratieve clusteranalyse

188

6.3.1. De ladingen

193

6.3.2. Subclusters

197

7. Samenvatting

201

8. Summary

205

9. Literatuur

209

Bij lagen I.

Statistische bewerkingen 1.1. De betrouwbaarheid van de point-biseral r

II.

1.2.

Toetsing van een reeks afhankelijke r-waarden

1.3o

Toetsing van een reeks afhankelijke p-waarden

1.4.

Toetsing van de K.R. (21) en K.R. (20)

1.5.

Omzetting van de point-biseral r in de biseral r

De data van de behandelde onderzoeken 11.1. Data simulatie-onderzoeken (zie paragraaf 6.1.) 11.2. Data zusters (zie paragraaf 4.1.) 11.3. Data beroepen (zie paragraaf 5.2.1.) 11.4. Data opstellen (zie paragraaf 5.2.4.) 11.5. Data A.M. onderzoek (zie paragraaf 4.5.)

III. Populatie factorstructuur simulatie-onderzoeken

INLEIDING

7

lo Inleiding

Wanneer in 1969 een studie in de psychologie wordt geschreven over een klassificatiemethode, is het bijna niet mogelijk dit zonder technische verantwoording te doen. Het accent op deze technische aspecten zou de indruk kunnen wekken dat het om een theoretische studie gaat. Dit is echter niet juist. De publicatie is vooral bedoeld voor de praktijk van het toegepast onderzoek. Daarom zijn theoretische opvattingen en bedenkingen in deze studie regelmatig getoetst op hun praktische relevantie, Dit criterium wordt zonder verdere uitleg gehanteerd. Het is daarom goed hier te omschrijven wat daaronder wordt verstaan. Praktisch niet-relevant worden al die bedenkingen genoemd, die geen of nauwelijks enige aanleiding kunnen geven tot foutieve interpretaties, wanneer met deze bedenkingen geen rekening wordt gehouden. Zo is voor een correlatie coëfficiënt (de in deze studie meest gebruikte statistische maat) een afwijking in de derde decimaal praktisch meestal niet-relevant Dergelijke verschillen zijn namelijk bij correlaties van 0,75 of kleiner pas bij steekproeven van tienduizend çf meer elementen statistisch generaliseerbaar. De studie zelf bestaat uit vijf hoofdstukken. Het eerst geeft de uitgangspunten en definities onder de algemene titel 'klassificatie in de psychologie'. De belangrijkste paragrafen van dit hoofdstuk zijn die welke gaan over 'de operator' en 'het doel van de klassificatie'. Het tweede hoofdstuk is een nadere theoretische uitwerking voor de constructie van doelmatige klassificaties« De daarop volgende twee hoofdstukken vormen de handleiding van de methode met voorbeelden van toepassing. In paragraaf 4.7. wordt de rekenmethode van de analyse gegeven. Het laatste hoofdstuk

8

INLEIDING

is een verslag van een uitgevoerde vergelijking van de iteratieve clusteranalyse met de hoofdassenanalyse bij acht simulatie-onderzoeken. De psycholoog wordt dagelijks in zijn werk geconfronteerd met een onoverzichtelijke hoeveelheid van verschijnselen. Nu tot op een bepaalde hoogte de observatie-problematiek in de psychologie is opgelost, wordt het noodzakelijk doelmatige ordeningen aan te brengen in deze verschijnselen. Als de iteratieve clusteranalyse een reëele bijdrage blijkt te zijn voor de constructie van deze klassificaties, heeft deze studie beantwoord aan zijn doelstelling.

KLASSIFICATIE IN DE PSYCHOLOGIE

9

2. Klassificatie in de psychologie

2.1. Algemeen logisch uitgangspunt

De logica heeft zich al sinds Aristoteles bezig gehouden met de theorie der klassen (Mil, z.j., p.76 e.V.). In deze theorie zijn de begrippen 'genus','species','differentia','proprium' en 'accidens' ontwikkeld. Met genus en species wordt uitgedrukt dat iedere klasse een genus of soortbegrip is voor een aantal subklassen en tegelijkertijd een subklasse of species van een hogere klasse of genus superior. De kenmerken waarmee een klasse kan worden onderscheiden van andere klassen worden differentia genoemd. Subklassen, hogere klassen en nevenschikkende klassen verschillen verder op grond van eigenschappen of propria. De eigenschappen moeten essentieel zijn voor de klasse, niet toevallig, geen accidens zijn. Een belangrijk gedeelte van de oude logica gaat over het verschil tussen essens en accidens. Met Mill zal onder dit verschil "which has given occasion to so much abstruse speculation, and to which so mysterious a character was formerly, and by many writers is still, attached" niets meer worden verstaan "than the difference between those attributes of the class which are, and those which are not, involved in the signification of the class-name" (p.78). Wel maakt Mill een onderscheid tussen meer of minder toevallige of min of meer essentiële klassificaties en wel afhankelijk van het aantal kenmerken waarin de klasse verschilt van andere klassen. Hoe groter dit aantal kenmerken, des te essentiëler is de klassificatie. De moderne logica heeft met de ontwikkeling van de logistiek bovengenoemde onderscheidingen verlaten en is gekomen met een begrippenkader, dat een nadere uitwerking is van bovengenoemde onder-


10

scheidingen. Het is de Duitse wiskundige Cantor (zie Tarski, 1964, p.74) die met de leer der verzamelingen hiertoe veel heeft bijgedragen. Een klasse wordt opgevat als een verzameling van elementen. Dit is een klasse van de eerste orde. Klassen van de tweede orde bestaan niet uit elementen maar uit klassen van de eerste orde. Op die wijze kunnen klassen van derde, vierde orde worden onderscheiden. Zo kunnen de passagiers van een vliegtuig worden opgevat als elementen van een klasse van de eerste orde. Klassen van vliegtuigen zijn dan klassen van de tweede orde. Klassen van vervoermiddelen van de derde orde enz. Van fundamentele betekenis in de theorie der klassen

zijn zinswendingen als -indùvidu b behoort tot de klasse klasse

К bevat het ding d als element

(of lid).

К , de

Deze uitdrukkingen

worden aangegeven met de volgende symbolen b e к

of

de К

De elementen (b,d) worden opgevat als vrije veranderlijken of zaken, die niet constant zijn. Constanten zijn termen, symbolen, die een vaste betekenis hebben welke in de loop van de beschouwing niet verandert. De etta ε is een voorbeeld van een constante, echter ook het getal nul en een bepaald observatie- of coderingsvoorschrift. Een veranderlijke heeft op zichzelf genomen geen vaste betekenis. Een klassificatie bindt nu een veranderlijke, geeft hem betekenis. Een klassificatie is daarom een operator, ook wel een quantor genoemd. Zo kan een element worden gebonden door het een mens te noemen. Verdere klassificaties als bijvoorbeeld: een bezoeker, een kind, Jan Teulings, geven steeds meer specificaties en binden de veranderlijke steeds meer. Met de naamgeving is een vrije veranderlijke alleen nog


11

mogelijk, door personen met dezelfde naam of door veranderingen van dezelfde persoon in de tijd 'Jan is zichzelf niet vandaag'. De elementen van een klasse moeten aan een bepaalde eigen schap (of eigenschappen) voldoen opdat zij tot de klasse kunnen worden gerekend. Om die reden kan de theorie der klassen tot een bepaalde hoogte gelijk worden gesteld aan de theorie der eigen schappen (Tarski, 1964, p.77). Een klasse wordt bepaald door de uitdrukking de klasse

van alle

elementen b die ...

Zo kan de klasse van kinderen worden aangegeven als de verzameling van alle mensen die niet ouder zijn dan vijftien jaar. Klassen kunnen verder elkaar geheel omvatten, overlappen of geheel uitsluiten en wel afhankelijk van het feit of de elementen dezelfde zijn, gedeeltelijk dezelfde zijn of geheel verschillen. De notaties hiervoor zijn: IL = K„

(alle elementen van K. zijn de elementen K» en omgekeerd)

К. С K2

(К. is een deelklasse van Κ«),

K. D K 2

(K- is een deelklasse van K.) en

K. 4 K„

(K1 en K 2 hebben geen enkel element gemeenschappelijk)

Onder een universele klasse wordt verder verstaan die klasse, waar alle elementen invallen, waarover in de context van een bepaalde theorie wordt gehandeld. Aangegeven met b ε V. ledere klasse is nu een deelklasse van de universele klasse К С v.

12


2.2. De elementen Het genus van de psychologie zal in deze studie worden opgevat als het levende, niet plantaardige organisme, te onderscheiden in de species dieren en mensen. Elementen of vrije verandelijken in de psychologie zijn in eerste instantie; organismen, ook wel individuen of personen genoemd. Klassificaties van individuen zullen klassificaties van de eerste orde worden genoemd. Het is ook mogelijk hetzelfde individu in de tijd als variabel op te vatten. Dit zijn dan intra-individuele klassificaties. Bij klassificaties van verschillende personen zijn het inter-individuele. Klassificaties van groepen van individuen, zoals gebruikelijk in de sociale psychologie zijn dan klassificaties van de tweede orde. Naast individuen komen als vrije veranderlijken in de psychologie 'stimuli' voor. Klanken, kleuren, vragen, dingen, beroepen kunnen 'stimuli' vormen. Ook gedrag van personen kan als stimulus worden opgevat. Klassen van stimuli zijn van de eerste orde. Een stimulus of informatie-eenheid komt echter als apart element meestal niet als zodanig voor. Het gaat vaak om prikkelpatronen of informatiestructuren; om verzamelingen van stimuli. Klassen van stimulusconfiguraties zijn klassen van de tweede orde. Met Duyker (1959, p.200) kan het primaire object der psychologie worden omschreven als: het menselijk gedrag. Hieruit volgt dat een klassificatie in de psychologie altijd zou plaats vinden op grond van gedrag. Individuen en stimuli zouden geklassificeerd worden op grond van hun gedrag of resultaten van gedrag. Om die reden worden gedragingen niet als mogelijke elementen opgevat.


13

2.3. De operator Om klassificaties uit te voeren kunnen schema's worden gebruikt. Een dergelijk schema kan bestaan uit een observatievoorschrift waarin wordt aangegeven hoe de observaties moeten worden geregistreerd en een coderingsvoorschrift dat aangeeft bij welke uitkomsten van de observatie het element in de klasse valt. Het observatievoorschrift kan aanwijzingen omvatten, over de eventuele te gebruiken apparatuur, vragen, opdrachten enz. Zo wordt de lengte van rekruten (de elementen) bij de keuring op een bepaalde wijze vastgelegd (de observatie) om te bepalen wie groter is dan bijv. 1.90 en kleiner dan 1.65 (codering). Deze rekruten worden afgekeurd (doel van de klassificatie). Coombs (1964, p.4 en 5) spreekt in dit verband over twee fasen. In de eerste fase worden 'recorded observations' verkregen, in de tweede 'data'. Fase 2 formuleert hij als volgt: "these recorded observations, however, are not yet data in the sense of this theory of data; an interpretive step on the part of the scientist, called phase 2

is required to convert the recorded observations

into data. Phase 2 involves a classification of observations in that sense that individuals and stimuli are identified and labeled". Bovenstaande kan als volgt worden geformaliseerd, waarmee de operator wordt gedefinieerd. F(b) = 0 (observatievoorschrift) en als 0 = W dan en dan alleen b £ К (coderingsvoorschrift) Hierbij is b het element, 0 de observatie, W de verwachte observatie en К de klasse. Het is daarbij niet nodig dat 0 een bepaald getal ie


14

0 kan een kwaliteit of discrete variabele zijn. Zo kan voor de klassificatie van een kleur het observatie- en coderingsvoorschrift bestaan uit de opdracht aan een aantal beoordelaars om een kleur (de observatie: 0) van een bepaald object (het element: b) te vergelijken met een vaststaande kleur (W) . Als de kleur, volgens de beoordelaars overeen komt met de gegeven kleur W, dan valt het object in de klasse K. Het observatievoorschrift is geformaliseerd als een functie van b. Hiermee wordt tot uitdrukking gebracht, dat met element b een aantal handelingen kan worden verricht om 0 te krijgen. Het is noodzakelijk erop te wijzen dat de observatie- en coderingsvoorschriften van een operator in deze beschouwing als constant worden opgevat. Wanneer de voorschriften variabel worden toegepast zijn de klassificaties van verschillende elementen niet meer onderling vergelijkbaar. De reden, dat dan element b in de klasse valt en element d niet, kan dan zowel aan een verschil tussen de elementen als aan een verschil tussen de voorschriften worden geweten. Uiteraard kunnen voorschriften nooit strikt constant worden toegepast. Buitenexperimentele variabelen hebben altijd een storende werking. Operatoren zijn beter naarmate zij voor dergelijke fouten minder gevoelig zijn. Daarnaast dienen operatoren ten opzichte van elkaar experimenteel onafhankelijk te zijn. Met de resultaten van operator i mag niet zodanig experimenteel worden gemanipuleerd dat hierdoor de resultaten van operator j worden beïnvloed. De term 'experimenteel' is hierbij belangrijk. De resultaten van de operatoren kunnen onderling


15

wel overeenkomen. Dit kan ook theoretisch worden verwacht, bijvoorbeeld omdat gesteld wordt dat de uitslagen door gelijke condities worden bepaald. Het onderzoek of experiment mag echter niet zodanig worden uitgevoerd, dat deze overeenkomst noodzakelijkerwijs moet optreden. Uit de data moet blijken, dat de veronderstelling empirisch beantwoord aan de verwachting. Het moet mogelijk zijn geen overeenstemming te vinden. De falsifieerbaarheid van de verwachting mag niet door een bepaalde experimentele opzet worden uitgesloten. Om die reden zijn bijvoorbeeld items van een zuivere 'speed'-test niet als onafhankelijke operatoren te beschouwen. De 'speed'-test is één operator. De term 'klasse' wordt verder vaak gebruikt om ordinale of getalsmatige uitslagen te benoemen; bijvoorbeeld 'deze grafische schaal heeft zeven klassen' of 'de score is verdeeld in tien klassen'. Dergelijke klassificaties zijn ook niet experimenteel onafhankelijk. Als element b in één van dergelijke klassen valt, komt dit element noodzakelijkerwijs niet in de andere klassen. In verschil met het operationele klassebegrip, zoals hier wordt gehanteerd, zullen dergelijke klassen 'eenheden' worden genoemd. De verschillende antwoordcategorieën van meer-keuze items worden ook vaak als klassen aangeduid. Ook deze klassen zijn experimenteel afhankelijk. In deze studie zullen dergelijke kwalitatieve onderscheidingen worden aangegeven met de term 'categorieën'. Operatoren worden vaak 'variabelen' genoemd. Uit het voorafgaande is het duidelijk, dat hier onder moet worden verstaan: operaties die variatie (onderscheidingen) aanbrengen tussen elementen. De operatoren zelf zijn niet variabel. Uit bovenstaande volgt dat in de meeste studies een beoordelaar, observator of proefleider als een onderdeel van de operator moet worden opgevat. Een afhankelijkheid van de resultaten van de operator van de

16


persoonlijkheid of identiteit van de beoordelaar maakt de operator subjectief. Sommige projectietests worden op deze wijze vaak toegepast. Hoewel op zichzelf tegen een dergelijk gebruik voor het nemen van praktische beslissingen weinig bezwaar kan worden gemaakt, zijn zulke operatoren moeilijk te controleren, te verbeteren of over te dragen. De uitspraken gebaseerd op genoemde procedures hebben daarom wetenschappelijk gezien een beperkte betekenis. Het hangt van het doel van het onderzoek af of gesproken kan worden over beoordelaars dan wel proefpersonen. Bij bestudering van de oordelen, de functie van het oordelen zijn de beoordelaars 'proefpersonen', wanneer de oordelen echter gebruikt worden om de mensen of stimuli, die beoordeeld zijn, te bestuderen vormen de beoordelaars een onderdeel van de operator.


17

Doel van de klassificatie

Het doel van klassificatie van elementen is gelegen in de mogelijkheid om tot deducties te komen over de elementen, die in de klasse vallen. Dergelijke deducties hebben de vorm van een implicatie

ale b in кіавае

К valt

dan kenmerk к (Ъ e К -*• к )

Het eerste lid van de uitspraak wordt het onderstelde genoemd, het tweede het gestelde. Dergelijke deducties zijn echter alleen doelmatig wanneer ze niet opgaan voor de elementen, die niet in de klasse vallen;

ale b niet

in klasse К valt

dan niet

kenmerk к

In formule luidt de inversie b £ К •+ ^ к volgens de wet der contrapositie (Tarski, 1964, p.47 t/m 50) is de inver sie gelijkwaardig aan de inductie к -»• b e κ

als

к dan valt

b in К

Wanneer de inductie en deductie tegelijk waar moeten zijn, zijn gestelde en onderstelde gelijkwaardig en is de uitdrukking 'dan en dan alleen' toepasbaar. Deze uitdrukking wordt ook gebruikt voor definities. Een kenmerk van een klasse is dus een definitie van een klasse dan wel een eigenschap van de elementen die in de klasse vallen en niet van de elementen die niet in de klasse vallen. Op dit punt zijn de theorieën der klassen, der eigenschappen en der definities overeenkomstig.


18

In formule ьек<+к

of

К-и-к

Een klassificatie is dus doelmatig wanneer de implicaties van de klasse zowel deducties als inducties zijn; definities zijn. Bovenstaande kan met een voorbeeld nader wordmgeïllustreerd. Kinderen kunnen geklassificeerd wordeni 'in bang om boodschappen te doen' en 'niet bang'. Gededuceerd kan nu worden, dat kinderen die bang zijn om boodschappen te doen zich inefficiënter zullen gedragen bij het doen van boodschappen dan kinderen die niet bang zijn. Wanneer deze deductie ook een inductie is voor de klassificatie, zou ook gezegd kunnen worden, dat kinderen die zich inefficiënt gedragen bij het doen van boodschappen hiervoor bang zijn. Dergelijke tweezijdige implicaties worden in de werkelijkheid maar in een bepaalde mate gevonden. Een klassificatie is echter des te doelmatiger des te meer deducties tegelijkertijd ook inducties zijn. Met John Stuart Mill (z.j.) is in de aanvang van deze studie reeds gesteld dat een klassificatie des te essentiëler is des te meer kenmerken opgaan voor de elementen van de klasse. Een klassificatie is dus essentiëler des te meer deducties in bovengenoemde zin mogelijk zij over de klasse-elementen. Er moet dus gestreefd worden naar een set van kenmerken waar formule 1 voor opgaat. Een klassificatie is niet uitvoerbaar als er niet minstens één operator is om de klassificatie uit te voeren. De operator werd in de vorige paragraaf als volgt gedefinieerd:


19

f (b) = O A O = W - H - b € K waarbij b het element is, 0 de observatie, W de verwachte observatie, en К de klasse Een eenvoudiger notatie geeft О,·«· К waarbij 0_de operator en К de klasse is. Een doelmatige en essentiële klassificatie is dus in formule

—0 ** К ** 1к. 2Л к- ... Л ιк. ... Л ηк Een empirische controle op de juistheid van deze klassificatie kan nu plaats vinden door de kenmerken om te zetten in operatoren en na te gaan in hoeverre de klassificaties overlappen. De set van operatoren 0(k,), OjCk«), ..., 0(k.)» ..., 0(k ) is dan representatief voor K. Empirisch wordt nagegaan in hoeverre de klassen Κ,, Κ«, ..., Κ., ..., К elementen gemeenschappelijk hebben. Om twee redenen kan dit onvoldoende zijn, of omdat formule 3 niet juist is of omdat de specificatie van de kenmerken niet goed heeft plaats gevonden. Methodisch is waarschijnlijk de meest aanvaardbare procedure om dit laatste aan te nemen en pas op de duur, wanneer bij herhaling de specificatie mislukt formule 3 als onjuist te beschouwen. In de volgende hoofdstukken wordt dit verder uitgewerkt. Wanneer alte

elementen (stimuli of proefpersonen) in de klasse

vallen is de klassificatie ondoelmatig; de klassificatie een universele klasse zou zijn, als К = V. In de psychologie is dat de klasse 'mens' of 'levend organisme' en de klasse 'stimuli'. De klassen moeten subklassen


20

zijn van deze universele klassen. Om die reden is de uitspraak 'alle mensen zijn sterfelijk' alleen doelmatig in die opvattingen, waar ook de mogelijkheid van onsterfelijke wezens als mogelijk waar wordt beschouwd. De nul klasse is ook niet doelmatig. Alle elementen, die niet in de klasse vallen, vormen namelijk weer een universele klasse. Optimaal is verder de klassificatie van een operator die 50Z van de elementen in de klasse laat vallen. In dat geval geeft de operator de meeste informatie over de verzameling van elementen. Dit is af te lezen uit Shannon's formule voor informatie; η

Η = Σ p. . log{2}l/pi i=l

Hierbij is Ή de hoeveelheid informatiegehalte, p. de kans op boodschap i, en η het totaal aantal onafhankelijke boodschappen. Bij een operator, zoals gedefinieerd in paragraaf 2.3., is n»2: 'valt in de klasse' (1), 'valt niet in de klasse' (2). Η krijgt nu zijn grootste waarde als p.-pÔ.SO en is nul als p."l,00 of 0,00 (de universele- resp. nul klasse). Samenvattend kan worden gezegd dat een klassificatie des te doelmatiger (essentiëler en informatief) is als a. het aantal eigenschappen of kenmerken van de klasse zo groot mogelijk is, b. deze eigenschappen zowel inductief als deductief kunnen worden toegepast op de elementen, en c. er minstens één operator is die zoveel mogelijk vijftig procent van de elementen in de klasse laat vallen,


terwijl een klassificatie beslist ondoelmatig is als a. de klassificatie geen operator heeft, en b. de klassificatie alle of geen elementen bevat.

21


22

2.5. De orde van de klassificatie

In de psychologie is de orde van de klassificatie gegeven met het hierarchische gezichtspunt, het eerst geformuleerd door Burt in 1941 en 1949. Bij deze theorie worden vier niveau's onderscheiden, in overeenstemming met de vier mogelijke typen van factoren bij factoranalyse: algemene, groeps-, specifieke- en foutenfactoren. Guilford (1959, 1961) en Eysenck (1951) zien in de organisatie van het gedrag vier overeenkomstige niveau's: typen, trekken, gewoonte- en specifieke antwoorden. Coan (1964) wijst erop, dat één van de problemen gevormd wordt door de vraag hoe empirisch gevonden factoren (of klassen) geïnterpreteerd moeten worden in bovengenoemde niveau's. Hij acht het daarom nuttig een onderscheid te maken tussen generaliseerbaarheid naar inhoud en referentie. Bij de eerste gaat het om de empirisch gevonden klassen. Bij de tweede om de referentie vanuit het gedragesysteem: de psychologische theorie. In aansluiting met de ontwikkelde klassificatietheorie kan worden gesteld, dat zowel bij de operatoren als bij de kenmerken een hiërarchie is te onderscheiden. De eerste geeft een generaliseerbaarheid naar inhoud, de tweede naar referentie. Het is niet noodzakelijk dat beide hiërarchieën direct parallel lopen. Het is bijvoorbeeld mogelijk een typenindeling te verkrijgen met één operator en een gewoonte-antwoord als 'zichgoed-voordoen' met een groot aantal vragen of operatoren, die alle laden in één algemene factor. Het aantal operatoren is niet relevant. De typen indeling is echter alleen juist als de kenmerken van het type omgezet in operatoren samen met de gestelde operator tot een bepaalde hoogte één klasse vormen: de elementen in voldoende mate overeenkomstig klassificeren. Wetenschappelijk gezien dient dus in voldoende mate aangetoond te zijn, dat de twee hiërarchieën isomorf zijn.

23


Johnson (1967) heeft in navolging van Ward (1963) een hierarchisch clusterschema uitgewerkt. Het blijkt daarbij dat de sterkte of waarde van de clustering kan worden geoperationaliseerd met een overeenkomstindex. Zijn schema gaat uit van elementen of objecten. Wij zullen spreken over operatoren, waarvan de klassificaties van de elementen min of meer overlappen. Het verschil is niet principieel. In tabel 2.5.1. staat een hierarchisch clusterschema.

Tabel 2.5.1 Een hierarchisch clusterschema (naar Johnson, 1967, en Ward, 1963) operatoren sterkte

overeenkomst

1

3

5

6

4

2

«

«

·

A

·

·

0,00

1,00

0,04

0,74

•

A

X

X

0,07

0,40

•

А

А

Л

0,23

0,32

x

0,31

0,20

χ

x

x x x

x

x

A

x

x x

x

x

x x

x

x x

x

x x

Bij het eerste niveau van de hiërarchie is iedere operator een aparte klasse van elementen. De sterkte van de clustering is 0,00. De overeenkomst is volledig (1,00). De klassificatie van operator 1,3,5,6,4 en 2 is identiek met zichzelf; К

= К ,К

=- К , К

- К ,К

= К

,

К_ » К с , К, = К,. Bij een overeenkomst van 0,74 blijken К, en К. vol5

Ь

о

о

J

J

doende te overlappen om samen een cluster te vormen. De clusteringsterkte is 0,04. Bij een overeenkomst van 0,40 kunnen de klassificaties van operatoren 3,5 en 6 als overeenkomstig worden beschouwd. Bij 0,32 de operatoren 1,3,5 en 6 en apart 4 en 2. Bij 0,20 vormen alle operatoren één cluster. De waarde van de clustering is 0,31.

24


De getallen in het afgebeelde schema dienen alleen om de gedachten te bepalen. Naderhand zal aan de overeenkomstindex op een enigszins andere wijze dan door Johnson een exacte inhoud worden gegeven. In deze paragraaf is de orde van de klassificatie uitgewerkt voor de operatoren en de kenmerken. Het is ook mogelijk te spreken over de orde van de elementen, zoals onder andere in paragraaf 2.2. plaats vindt. Het verschil is, zoals al gesteld niet principieel. Elementen zijn overeenkomstig naarmate ze meer kenmerken gemeenschappelijk hebben, operatoren naarmate ze dezelfde elementen klassificeren. Op deze kwestie zal in paragraaf 5.3.2. verder worden ingegaan.

CONSTRUCTIE VAN DOELMATIGE KIASSIFICATIES

25

3. Constructie van doelmatige klassificaties

3.1. De waarde van de operator De waarde van een operator heeft verschillende aspecten. Het is mogelijk operatoren te vergelijken voor wat betreft eventuele ethische problemen verbonden aan de uitvoering of voor wat betreft de kosten. Ook kan de psychometrische betrouwbaarheid en de validiteit in de waardering worden betrokken. Vergeleken met de validiteitsvraag zijn echter kwesties van betrouwbaarheid en interne efficiëntie van secundaire betekenis (de Groot, 1961, p.264). Om die reden zal verder alleen maar over de validiteit van de operator worden gesproken; de vraag in hoeverre de operator een aanvaardbare, adequate methode is voor bepaling van de klasse zoals bedoeld. Eenzelfde operator kan verschillende validiteiten hebben en wel afhankelijk van de klasse, waarvoor hij in een bepaalde onderzoekcontext wordt gesteld (de Groot, 1961, p.89 en p.261). De validiteit wordt dus gedefinieerd door de bedoelde klassificatie. In welke mate gaat de relatie van formule 3 voor operator en bedoelde klassificatie op? In hoeverre is 0 <*• к. <+ к

waarbij 0 de operator is, К de bedoelde klasse, en к het kenmerk waarvan () de specificatie is. De inhoudsvaliditeit van de operator is gewaarborgd als specificatie van de klasse. Empirisch moet echter worden gecontroleerd in hoeverre deze specificatie ook beantwoord aan de gestelde ver wachtingen.

26

CONSTRUCTIE VAN DOELMATIGE KLASSIFICATIES

Bij de (begrips)validiteit van de operatoren gaat het nu om de onderdelen 0 en К ** к en hun onderlinge functie 'dan en dan alleen'. De onderdelen kunnen waar (wa) of onwaar (on) zijn. Op grond daarvan zijn er vier mogelijkheden bij klassificatie van een element b door de operator en wel a. element b heeft het kenmerk (K is waar) en valt volgens de operator in de klasse (0 is waar), b. element b heeft het kenmerk niet (K is onwaar) en valt volgens de operator in de klasse (0 is waar), c. element b heeft het kenmerk (K is waar) en valt volgens de operator niet in de klasse (0 is onwaar), en d. element b heeft het kenmerk niet (K is onwaar) en valt volgene de operator niet in de klasse (0 is onwaar). Van deze vier mogelijkheden is de gestelde functie bij b en с onwaar. Dit kan worden aangetoond met behulp van de calcalus der volzinnen (Tarski, 1964, p.41 t/m 50). In tabel 3.1.1. staat de waarheidstafel van deze functie voor deze onderdelen. Tabel 3.1.1 Waarheidstafel fi«»· К

«·> к

0

К «• к

a

wa

wa

wa

b

wa

on

on

с

on

wa

on

d

on

on

wa

Eet volgende voorbeeld van mogelijkheid b kan een en ander verduidelijken. Deze kleuter fb) heeft op de vraag hoeveel twee plus twee ís (f(b)) het goede antwoord vier (0=W) gegeven, toch kan deze kleuter niet rekenen (^k).


29

van een bruikbare operator. (Dergelijke operatoren kunnen worden ge spiegeld. Een dergelijke operator zit er consequent naast. Het is de spiegel die de waarheid omgekeerd weerkaatst; Parkinson, 1963, p.113 e.V.). Een operator, waar beide kansen nagenoeg gelijk zijn, is on bruikbaar. Deze geeft geen enkele informatie, ook niet in negatieve zin, over het kenmerk. Bij aftrekking van beide kansen wordt de formule:

a =

f -f, - f «f a d b c (f +f ) N(f, +f,) а с b d

Bovenstaande formule is gelijk aan de formule voor de regressiecoëfficiè'nt van de operator op de klasse voor twee binaire variabelen. Het is dus mogelijk het lineaire regressiemodel uit de statistiek te gebruiken voor de bepaling van de waarde van de operator. Dit model geeft die lineaire functie tussen operator en klasse, waarbij de som van de kwadraten van de fouten minimaal is. In formule t' = а · Τ + с waarbij Τ de bedoelde score van een element is, t' de schatting van de score van de operator, a

de regressiecoëfficiënt, en

с

een constante.

2 Het blijkt nu, dat als getracht wordt (t-t') , waarbij t de score van de operator is, voor de elementen zo klein mogelijk te houden a en с respectievelijk de volgende waarden hebben (zie o.a. Hoel, 1962, p.170 en 171): a a

=

P

tT ' ^

t

waarbij ρ _

e n

с = yt - а - μ τ

de populatiecorrelatie is van t en Τ,

σ ,στ de populatie standaarddeviaties van resp. t en T, en μ ,μ τ de populatie gemiddelden van resp. t en T.

30


De regressieformule wordt dan: (4)

t - a « T + c + 6 waarbij a en с gedefinieerd zijn met bovenstaande formules, en δ de meetfout is t - t* • δ Formule 4 zal in paragraaf 3.4. verder worden uitgewerkt met behulp van het factoranalytische model (zie formule 5 ) . Daarbij wordt de meetfout verder uitgewerkt. De constante с is alleen van belang bij absolute interpretaties van de scores (zie o.a. eind paragraaf 3.6.). Meestal worden scores relatief geïnterpreteerd, namelijk als intervalmaten met een arbitrair nulpunt. Bij gebruik van standaardscores is с nul. In dat geval is een vergelijking van formule 4 met het klassieke model van de test theorie mogelijk. Bij dit model wordt formule 4: t - τ + δ en is het populatiegemiddelde van δ nul en de populatiecorrelatie van T en δ ook nul (zie o.a. Lord en Novick, 1968, p.56, З.1.1., 3.1.2. en З.1.З.). Beide laatste aannamen gelden ook voor het lineaire regressie model en zijn uitwerking met behulp van factoranalyse. Het verschil is dat a de regressiecoè'fficiënt van t (de geobserveerde score) op Τ (de ware score) één is (zie Lord en Novick, 1968, p.65, З.7.1.). Wanneer deze consequentie (a«!) wordt uitgewerkt voor het gegeven voorbeeld van twee binaire variabelen uit tabel 3.1.2., dan blijkt dat:

y f d-v f c . , of f

b

+

f

c »

0


27

Uit de calcalus der volzinnen is ook af te leiden, dat de operator van een klasse een definitie is, in de zin van 'dan en dan alleen'. Alleen deze relatie geeft namelijk de mogelijkheid b en с als onwaar of fout te verklaren. Bij een implicatie zou bijvoorbeeld alleen mogelijkheid b onjuist zijn en is mogelijkheid с geen fout. In de statistiek (zie o.a. Hoel, 1962, p.48) wordt mogelijk heid b 'type I fouten' genoemd of 'false positives' en mogelijk heid с 'type II fouten' of 'false negatives'. De waarde van de operator is nu te bepalen door na te gaan hoe groot de kans is op deze fouten bij het gebruik van de operator. Dergelijke kansen kunnen worden geschat in een aselecte steekproef van elementen. Voor de eenvoud van de notatie zal aller eerst hier worden uitgegaan van een eindige populatie van N elementen, waar mogelijkheid a; f maal optreedt, b; f maal, c; f maal en d; f maal. In tabel 3.1.2. staat de verdeling van deze frequenties. Op deze wijze is het voorlopig niet nodig een onderscheid te maken tussen populatie parameters en steekproefschattingen. Bovengenoemde kansen zijn dan werkelijk bekend. In de praktijk van het onderzoek is dit meestal niet het geval. T a b e l 3,. 1 . 2 .

K(wa)

K(on)

0(wa)

f

a

f

b

< f a +f b>

0(on)

f

c

f

d

< f c +f d>

N

f

a+fb+fc+fd

Bepaald kan nu worden de kans op een fout, wanneer een element, dat het kenmerk bezit, door de operator wordt geklassificeerd. Dit is een voorwaardelijke kans waarvan de formule als volgt luidt:

28


f Ρ {0(on)|K(wa)} -

(f +f (f а+f с)

a

э« 0)

C

De kans op een fout, wanneer het element het kenmerk niet bezit, is gelijk aan Ρ {0(wa)|K(on)}

fh

(f b +f. ?« 0)

De kans dat de operator bij klassificatie van elementen een fout maakt is dus gelijk aan: f

»f,

Ρ {0(on)|K(wa) Λ 0(wa)|K(on)} = f

+f

f

+f

< a c>< b d> Bovenstaande kansen zijn alleen te berekenen wanneer (f +f ) en (f.+f,) а с b d niet nul zijn, dat wil zeggen wanneer de klasse geen nul- of universele klasse is. Deze eis is al in paragraaf 2.4. gesteld voor doelmatige klassificaties. Op overeenkomstige wijze kan de voorwaardelijke kans worden uitgerekend dat de operator geen fouten maakt. Deze kans is gelijk aan: f

'f,

Ρ {0(wa)|K(wa) Λ 0(on) |κ(οη) } = < f a + f c>< f b + f d> Beide kansen '- de kans op fouten en de kans op geen fouten - zijn niet complementair, dat wil zeggen het is niet mogelijk bij kennis van de kans op fouten de kans op treffers te bepalen. Dit zou betekenen, dat de validiteit van een operator steeds met twee aparte indices zou moeten worden aangegegeven. Het is nu nuttiger beide kansen te combineren tot één coëfficiënt. Hierbij geeft de aftrekking de meeste informatie. Een operator namelijk waar de kans op fouten duidelijk groter is dan de kans op treffers geeft ook informatie en is, wanneer het coderingsvoorschrift wordt omgezet door 0=W, te veranderen in O^W zelfs een voorbeeld

CONSTRUCTIE VAN DOELMATIGE

KLASSIFICATIES

31

Het model van de klassieke testtheorie is dus toepasbaar als =

1. de kans op fouten nul is (f h f =0)of, 2. de kans op fouten van de eerste soort nul is en de klasse een universele klasse is (f, "fj+f, =0) of, 3. de kans op fouten van de tweede soort nul is en de klasse een nul klasse is (f =f +f =0). с а с Mogelijkheid 2 en 3 zijn al uitgesloten bij bespreking van de doel matigheid van de klassificaties. Mogelijkheid 1 is zeer beperkt. De conclusie is, dat de klassieke psychometrische betrouwbaarheids theorie voor operatoren alleen bruikbaar is, wanneer de bedoelde klasse de operator zelf is, zoals het geval is bij onder andere een onderzoek van de inter-rater betrouwbaarheid. Het gebruik van het lineaire regressiemodel stelt als voorwaarde, dat de gemiddelden van de verdelingen bij benadering op een rechte lijn liggen. Aan deze voorwaarde is bij een scatterdiagram van minstens één binaire variabele noodzakelijkerwijs altijd voldaan. Een rechte lijn wordt namelijk gedefinieerd door twee punten, dat wil zeggen door de twee gemiddelden van de twee verdelingen van de twee categorieën van de binaire variabele. Bij toepassing van de iteratieve clusteranalyse worden de operatoren altijd Dinair gecodeerd met één en nul en is dus bovenstaande voorwaarde geen probleem. Op theoretische gronden is het mogelijk een nietrechtlijnig verband tussen de klasse en de operator te veronderstellen. Door gebruik van verschillende coderingsvoorschriften voor eenzelfde operator kan de juistheid hiervan worden nagegaan, onder voorwaarde dat de operator in voldoende aantal (ordinale) eenheden is gekwantificeerd (zie paragraaf 4.3.).

32


Uit de formule van de regressiecoëfficiënt is af te lezen, dat de mate waarin de uitslagen van de operatoren zijn te voorspellen met behulp van de klassificatiescore niet alleen afhangt van de correlatie tussen operator en klassificatie, maar ook van de spreidingsmaten van beide variabelen. Uit deze formule is af te lezen, dat hoe groter de spreiding van de operator des te beter deze voorspelling is. De spreiding van de operator is van te voren te bepalen onder andere door de overeenstemming van de observatie met het verwachte antwoord ordinaal te coderen. Bij voldoende eenheden is het dan niet moeilijk de operator zodanig met nul en één te coderen, dat de spreiding maximaal is, namelijk een p/q verdeling van 0,50/0,50. De correlatiecoëfficiënt geeft de validiteit van de operator onafhankelijk van de spreidingsmaten in de betreffende populatie. De correlatiecoëfficiënt heeft dus een algemenere betekenis. Om deze reden wordt in de clusteranalyse verder alleen maar gewerkt met correlatiecoëfficiënten. De keerzijde van de medaille is, dat voor gebruik van correlatiecoëfficiënten de steekproef van elementen voor het kenmerk к aselect getrokken dienen te zijn. Toepassing van de analyse op extreme groepen is dan bijvoorbeeld niet toegestaan. "Since least squares can be applied whether the χ values (hier Τ scores) were fixed in advance or were obtained from random samples, the re gression approach to studying the linear relationship between two variables is more flexible than the correlation approach. The interpretation of r as a measure of the strength of the linear relationship between two variables obviously does not apply if the values of χ are selected as desired because the value of r will usually depend heavily on the choice of κ values" (Hoel, 1962, p.172).


33

Aselecte trekking van de elementen is in de psychologie lang niet altijd uitvoerbaar. Toepassing van de analyse met regressiecoëfficiënten verdient dan zeker aanbeveling. Moeilijkheden geeft ook de eis van homoscedasticiteit van het scatterdiagram. Aan deze eis dient beantwoord te worden, wanneer de populatiecorrelatie geschat wordt in een steekproef van elementen en de schattingsfout berekend moet worden. De correlatie van het regressiemodel is de z.g. productmoment correlatie, ook wel (Bravais-) Pearson correlatie genoemd. Bij een correlatie van een binaire en een continue variabele is dit de point-biserial r (zie o.a. Guilford, 1965). Das Gupta (1960) heeft erop gewezen, dat voor point-biserial's, als de populatie correlatie niet nul is, de voor de homoscedasticiteit noodzakelijke aanname, dat de verdelingen in de twee categorieën van de binaire variabele normaal verdeeld zijn met gelijke tweede en hogere momenten, niet juist is. De betrouwbaarheidsformules van de productmoment correlatie zijn dus niet bruikbaar voor de point-biserial r. In bijlage 1.1. wordt verder op deze problematiek ingegaan. Daar zal blijken dat deze formules als benaderingsformules toegepast kunnen worden bij steekproeven groter dan 70 en p-waarden van de operator kleiner of gelijk aan 0,84 of groter of gelijk aan 0,16. Het probleem van de homoscedasticiteit kan tot een bepaalde hoogte worden verminderd, wanneer gestreefd wordt naar operatoren met p/q verdelingen van 0,50/0,50. In dat geval is de aanname, dat de verdelingen van de twee categorieën voor het tweede moment gelijk zijn acceptabel, indien tenminste de elementen een symmetrisch-verdeelde T-score hebben. Daar bovenstaande al om andere redenen wordt nagestreefd, is het hier alleen een argument te meer voor een dergelijke verdeling van de operator.

34

CONSTBUCTIE VAN DOELMATIGE KLASSIFICATIES

Samenvattend kan worden gesteld dat primair de waarde van een operator gegeven wordt door zijn validiteit te bepalen door middel van de correlatie tussen operator en bedoelde klassificatie onder voorwaarde van aselecte trekking van de elementen. De psychometrische betrouwbaarheid van een operator blijkt verder alleen van belang wanneer getwijfeld wordt aan de objectiviteit van het coderingsof observatievoorschrift van de operator. Secundair zijn de problemen verbonden aan de uitvoering van de operator, die uiteraard ook mede zijn waarde bepalen. Het is mogelijk de validiteit van de operator met andere indices dan de correlatie- of regressiecoëfficiënt aan te geven. Dergelijke indices zijn echter meestal ontwikkeld met behulp van een veel zwakkere theorie dan die van de lineaire regressie, waardoor zij wel een algemenere toepasbaarheid hebben echter vaak veel minder duidelijke antwoorden kunnen geven op gestelde vragen. Hierbij wordt onder andere gedacht aan de rank-biserial correlatie van Cureton (1956) en Bryden's (1960) coëfficiënt voor item-schaalbaarheid (een verdelingsvrije coëfficiënt). Bijnen (1968) geeft verder een overzicht van een groot aantal van dergelijke coëfficiënten. Daar het hier ontbreekt aan ervaring met deze indices, zullen er verder geen uitspraken over hun betekenis voor de bepaling van de waarden van een operator worden gedaan.


35

De bedoelde klassificatie

De meest toegepaste methode voor de constructie van een bedoelde klassificatie is het stellen van één operator als operationele definitie van de klassificatie. Deze werkwijze vindt vooral plaats in de experimentele- en sociale psychologie. Zo is voor Van de Geer (1957) de kannenproef van Luchins een operationele definitie van 'rigiditeit' en voor Mulder (1958, p.72) 'het zelf maken van de probleemoplossing' een operationele definitie voor 'zelfrealisatie'. Eén operator is altijd een specificatie van één kenmerk, namelijk het kenmerk dat elementen bij dit observatievoorschrift niet of juist wel volgens de verwachting zich gedragen dan wel gedrag oproepen. Dit kenmerk is meestal vrij specifiek. Eigenschappen als 'rigiditeit' en 'zelfrealisatie' staan echter vrij hoog in de orde van de klassificatie. Terecht kan dus bij operationaliseringen met één operator van vrij abstracte begrippen worden afgevraagd of er dan niet sprake is van een partiële dekking en dus van een ongeoorloofde generalisatie. Is het niet correcter om te stellen dat het onderzoek van Van de Geer niet gaat over 'rigiditeit', maar over een bepaalde vorm van gedrag, zoals optreedt in de kannenproef en dat Mulder geen onderzoek doet naar 'zelfrealisatie' maar naar de betekenis om in een bepaalde opdrachtsituatie zelf het antwoord te kunnen geven in plaats van het te krijgen? Wanneer dit laatste het geval is, gaan beide onderzoeken over specifieke en dus weinig essentiële verschijnselen. In paragraaf 2.4. is dit al met de definitie van John Stuart Mill uiteengezet. Een andere mogelijkheid is, dat de gekozen operator het basiskenmerk van de klasse psychometrisch zeer betrouwbaar bepaalt. In dat geval is eên operator voldoende. Het bekende voorbeeld in deze is de uiermometer als operator voor temperatuur. Het basiskenmerk van tempera-

36


tuur, waaruit alle andere kenmerken volgen, is de verhoging van de snelheid van de moleculen bij temperatuurstoename. Voor kwik betekent dit een vergroting van volume bij verhoging van temperatuur. Kwik is bijna niet te verontreinigen. Zijn uitzettingscoëfficiënt blijft dus bijzonder constant. Daarom is de kwikbuis een zeer goede operator voor temperatuur. Met veel minder zekerheid zou het zelfde gezegd kunnen worden van bijvoorbeeld de woordenlijst voor 'algemene intelligentie'. Deze genoemde mogelijkheid kan voor de kannenproef t.o.v. 'rigiditeit' en het zelf maken van de probleemoplossing t.o.v. 'zelfrealisatie' opgaan, is echter niet erg waarschijnlijk. Zowel Van de Geer als Mulder hebben echter geen pogingen ondernomen om dit aan te tonen. Een dergelijk onderzoek is evenwel uitvoerbaar wanneer a. de kenmerken van bovengenoemde begrippen worden geëxpliciteerd, b. deze kenmerken met behulp van operatoren worden gespecificeerd, en с

in een steekproef van elementen wordt nagegaan in hoeverre het mo gelijk is de klassificaties van deze kenmerken te voorspellen met het basiskenmerk. Uit bovenstaande volgt, dat de bedoelde klassificatie kan

worden geconstrueerd door specificatie van de kenmerken van de eigen schap en gecontroleerd door na te gaan in hoeverre empirisch de ge construeerde klassificatie voldoet aan de theoretisch gestelde ver wachtingen. Voor de constructie van tests zijn in de psychometrie een aantal methodieken ontwikkeld. Een test is een operationalisering van trekken of eigenschappen van individuen. Eigenschappen van stimuli kunnen op methodologisch overeenkomstige wijze worden geoperationa liseerd. Er is in deze geen principieel verschil tussen beide groepen van elementen.


37

De psychometrie kent nu twee verschillende methodieken. De eerste is de zogenaamde interne validering (zie o.a. Guilford, 1954, p.417 t/m 433, Davis, 1966, en Lord en Novick, 1968, p.327 e.V.), waarbij 'items' worden geanalyseerd door hun moeilijkheidsgraad (verdeling van de itemscores) zowel als hun discriminatievermogen (correlatie met de totaalscore) in een steekproef van elementen te berekenen. De tweede methode is de zogenaamde externe validering. In het laatste geval wordt de validiteit van de 'items' bepaald door weer in een steekproef van elementen de correlaties van de items met een extern kriterium te berekenen. Beide methodieken worden in de literatuur niet duidelijk verantwoord. De eerste methode wordt meestal beschouwd als het homogeen maken van de set van items ten gunste van de interne efficiency en de psychometrische betrouwbaarheid, de tweede dient om de predictieve validiteit van de set te verhogen. 'Items' vallen als zodanig onder de definitie van een operator, zoals gesteld in paragraaf 2.3. In dat geval zijn de totaalscore (bij de interne validering) en het externe kriterium (bij externe validering) operationaliseringen van de bedoelde klassificatie. Op die wijze beschouwd is er dan echter wel enige kritiek mogelijk op deze constructiemethoden. Externe validering kan alleen voldoen, wanneer het kriterium een psychometrisch betrouwbare operationalisering is van het basiskenmerk. Vooralsnog moet worden vastgesteld, dat dergelijke operationaliseringen in de psychologie nog nauwelijks bestaan. Onderzoek van personeelsbeoordelingen (zie o.a. De Wolff, 1963) leert dat het kriterium 'geschikt-ongeschikt' niet goed op deze wijze wordt geoperationaliseerd. Rapportcijfers (zie o.a. De Groot, 1966) voldoen ook niet als vastlegging van het kriterium

38


'voldoende-onvoldoende'. Verder geven de oordelen van psychiaters duidelijk moeilijkheden bij bepaling van het kriterium 'geestelijk gezond' (zie o.a. Stouffer, 1950, p.473 t/m 479). Genoegzaam is de problematiek bekend van de verhouding van dergelijke directe kriteria ten opzichte van de uiteindelijk bedoelde. Het is bijzonder belangrijk verder onderzoek te verrichten om te komen tot goede operationaliseringen van eigenschappen als 'succes, gezondheid en geschiktheid' . Het is echter geen oplossing om ad hoc een bepaalbare klassificatie als âe operationalisering van het basiskenmerk van deze kriteria te beschouwen. Ten aanzien van de interne validering merkt Hettema (1967) terecht op: "Via een homogeniteitsanalyse of itemanalyse wordt uitgemaakt welke items een homogeen universum representeren (correleren met de totaalscore) en deze items worden in de test opgenomen. Impliciet wordt daarmee het universum ingeëngd tot een homogene subset van het eerder gedefinieerde universum waardoor de representativiteit wordt prijsgegeven" (p.622). In de vorige paragraaf is er al op gewezen, dat wanneer de psychometrische betrouwbaarheid als kriterium wordt gehanteerd voor een operator de bedoelde klassificatie de operator zelf isDoor nu zoveel mogelijk de operatoren van een test equivalent te houden, zoveel mogelijk zich te beperken tot een homogene set, wordt de psychometrische betrouwbaarheid van de set zo hoog mogelijk. Dit laatste is als volgt aan te tonen: operatoren zijn homogeen, wanneer zij herhalingen van zichzelf zijn, dat wil zeggen zo hoog mogelijk intercorreleren. Hoe hoger nu de gemiddelde intercorrelatie van de operatoren wordt, des te hoger zal de psychometrische betrouwbaarheid van de set van operatoren zijn. Dit is als volgt te bewijzen (hierbij wordt het bewijs gevolgd van Richardson, 1941, p.387 en 388). Uitgaande


39

van de lineaire relatie tussen ware en waargenomen score (zie paragraaf 3.1.) kan worden aangetoond (zie o.a. Gulliksen, 1950, p. 74 e.v. en Lord en Novick, 1968, p.112 e.V.), dat

к · r.., 11

r

1 + (k-1) » r i i t

Hierbij is r

de psychometrische betrouwbaarheid van de set van operatoren (de test),

r..t de correlatie tussen twee equivalente parallelsets

к

het aantal keer dat t groter is dan i.

Bovenstaande formule is de algemene Spearman-Brown formule voor testverlenging. Voor set i en i' kan nu operator i en i' worden gesubsti tueerd. De set van operatoren heeft η operatoren, dus к wordt n. Als nu alle operatoren homogeen zijn vormen zij alle t.o.v. elkaar equiva lente paralleltests met gelijke varianties en gelijke intercorrelaties. Voor r.., kan dus de gemiddelde intercorrelatie г.. worden gesubsti tueerd. De formule wordt dan: η · r_.

Ч

rt t

1 + (n-1) г.. Ij

of oplossend voor r.. r.. = IJ

*tt n

-

n

r

tt

+

r

tt

of 1 1/-

=

η + 1

Г. .

Ч

o¿

(г..#) 11

r

tt

40


Aan de laatste formule is af te lezen, dat hoe meer г.. naar één ij

gaat, des te meer het linkergedeelte van de vergelijking naar nul gelijk moet worden aan η en dus r

gaat en des te meer n/ r

één

tt

of maximaal wordt. Onze conclusie is dus, dat wanneer met behulp van de methodiek van de interne validering de bedoelde klassificatie wordt geconstrueerd, alleen die operatoren voldoen, die onderling equivalent zijn. Hierdoor wordt echter de bedoelde klassificatie zeer specifiek en dus niet essentieel. Bovenstaande problematiek is, weliswaar op een geheel andere wijze, onder woorden gebracht door Cronbach en Meehl (1955) met de theorie van de begripsvaliditeit ('construct validity'). Met deze theorie hebben zij getracht de eenzijdige definiëring van validiteit door middel van externe kriteria te doorbreken. De validiteit van een test wordt niet gegeven door de mate waarin deze test een bepaald kriterium kan voorspellen, maar door de mate waarin de gepostuleerde eigenschap tot uitdrukking komt in de testscore. Naderhand heeft Cronbach samen met Rajartnam en Gleser (1963) deze kwestie verder uitgewerkt en wel met het begrip 'generaliseerbaarheid'. Het gaat om de mate waarin het mogelijk is met behulp van een geobserveerde score naar een universum van mogelijke scores te generaliseren. "Our rationale requires the investigator to start his study by defining the universe that interests him, and then to observe under two or more independently selected conditions within that universe. The calculations tell him how well the observed scores represent the universe scores. Since the universe is a construct that he introduces because he thinks it has explanatory or predictive power, an investigation of generalizability is seen to be an investigation of the 'construct validity' of the measure" (p.157). De schrijvers


41

gaan hierbij nog verder door te stellen dat met de theorie van de generaliseerbaarheid de theorie van de betrouwbaarheid en validiteit samenvallen. Een gezichtspunt, dat altijd door Tryon (1957) is verdedigd, die de betrouwbaarheidscoè'fficiënt opvat als een maat voor de 'domain' validiteit van een test. Deze laatste opvatting is onjuist, wanneer tenminste onder betrouwbaarheid de psychometrische betrouwbaarheid van de klassieke testtheorie wordt verstaan. Lord en Novick (1968, p.173 e.v.) hebben bovengenoemde theorie uitgewerkt voor de zogenaamde 'generic error of measurement' en wel met behulp van het variantie-analytisch model. Daarbij blijkt dat de 'generic' (afgeleid van 'genus' in tegenstelling tot 'specific' of 'species') meetfout altijd groter of gelijk is aan de meetfout van het klassieke psychometrische model (zie p.179, 8.3.9.).

In de hier ontwikkelde theorie en de theorie van de 'generic' ware score, ook wel de theorie van de onvolledige parallele maten genoemd, zijn duidelijk enige overeenkomsten aan te wijzen. Het universim van mogelijke metingen correspondeert met de set van gespecificeerde kenmerken van de eigenschap of construct. Het verschil is echter, dat hier een onderscheid wordt gemaakt tussen de set van kenmerken, die nevenschikkend

uiteraard eindig is, en de set van mogelijke operatoren,

die inderdaad een universum vormt. De operatoren dienen niet representatief te zijn voor dit universum, echter wel voor de geëxpliciteerde kenmerken. Om deze reden is het niet noodzakelijk dat de operatoren aselect getrokken zijn uit het universum van mogelijke operatoren. De eis van aselecte trekking, die ten grondslag ligt aan de uitwerking met behulp van het variantie-analytische model, is in de praktijk betrekkelijk zelden te verwezenlijken. Om deze reden zal hier verder aan de theorie van de 'generic' ware score geen aandacht worden besteed.

42


De kenmerken van een bepaalde eigenschap kunnen geëxpliciteerd worden met behulp van de literatuur, zoals onder andere Hermans (1967, p.34) met acht kenmerken deed voor 'prestatiemotivatie'. Het is ook mogelijk hypothetisch een beschrijving te geven van het element (proefpersoon of stimi lus), die volledig gekarakteriseerd wordt door de eigenschap, zoals onder andere Pennings (1966, p.56 e.V.) deed met 'taak-intrinsieke' en Ïaak-extrinsieke werkmotivatie'. Wanneer een dergelijke omschrijving wordt gegeven in observeerbaar gedrag, geeft een verder representatieve specificatie weinig moeilijkheden. Een probleem blijft, dat de meeste onderzoekers zich om praktische redenen vaak beperken tot één van de vele mogelijke specificaties van het kenmerk. Wanneer nu alle kenmerken, maar op één gelijksoortige wijze worden gespecificeerd, zoals onder andere bij het gebruik van vragenlijsten het geval is, wordt het mogelijk dat nietbedoelde condities de uitslag van de set operatoren gaan bepalen. Op dit laatste punt hebben vooral Campbell en Fiske (1956) en met hen Cook en Selltiz (1964) de aandacht gevestigd. Campbell en Fiske spreken over 'convergent and discriminant validation by the multitrait-multimethod matrix' en stellen voor systematische 'trekken' en 'methoden' te variëren. ledere trek wordt met iedere methode bepaald. De overeenstemming tussen de methoden van één trek vormt de convergerende validiteit. Deze dient duidelijk beter te zijn dan die tussen de trekken van één methode; de discriminerende validiteit. De betekenis, die zij aan methoden hechten is vooral het gevolg van de vele bevindingen van methoden varianties in de vorm van antwoordinstellingen, apparatenfactoren en halo-factoren. Nu heeft iedere onderzoeker de neiging om de wijze waarop de operatoren geconstrueerd worden constant


43

te houden tot zelfs in details toe. Zo bestaat de PMT alleen uit Likert-schalen, de BIT alleen uit keuzen uit vier uitspraken, en de DAT, ISI en NDT alleen uit meer keuze items, waardoor bij deze laatstgenoemde intelligentietests de 'operation' van het divergerende denken bij geen enkele subtest aan de orde komt (zie Nederlands Instituut van Psychologen 1969, resp. p.207, p.166, p.87, p.62 en p.9l). Een test, die veel beter volgens de principes van Campbell en Fiske is geconstrueerd, is onder andere de Strong Vocational Interest Blank (Ned. Inst. v. Psychol., 1969, p. 165). Het is dus begrijpelijk dat Campbell en Fiske de nadruk leggen op de noodzakelijkheid van methodenvariatie. Hun standpunt is echter als volgt algemeen te formuleren. De uitslag van iedere operator dient bepaald te zijn door de relevante conditie van de bedoelde eigenschap. Daarnaast is het mogelijk, dat een aantal niet-relevante condities de uitslag beïnvloeden. Wanneer deze laatste condities ook constant in de set werkzaam zijn, invalideren zij de set van operatoren. Zo is het mogelijk dat om een hoge score te behalen in de DAT, ISI of NDT, niet de voorwaarde dat de proefpersoon intelligent is geldt (de bedoelde of relevante conditie), maar de voorwaarde dat de proefpersoon goed is in convergerend denken (een niet-relevante conditie). Betrekkelijk weinig is nog bekend over de stimuli die in observatiesituaties het gedrag van de proefpersonen of beoordelaars beïnvloeden. De indruk is, dat het doel van het onderzoek, zoals gepercipieerd door de proefpersoon of beoordelaar, vaak een werkzaam aspect is. Zo blijkt de ABV en PMT (Van Oers, 1964, de Koning, 1968, Hermans, 1968) afgenomen in selectiesituaties (bij sollicitanten of

44


dour selectie-instituten) andere normen te vereisen dan wanneer deze tests worden afgenomen in vrijblijvende situaties (door wetenschappelijke instellingen, voor experimentele doeleinden). Hofstee (1967) vind in absolute oordelen (Likert-schaal: zeer goed, goed, neutraal, slecht en erg slecht) plaats- en volgorde-effecten en wel in verschil met vergelijkende oordelen, waar ze niet optreden. In de laatste oordeelsvorm treden echter wel locatie-effecten op; bij twee alternatieven wordt het eerste gunstiger beoordeeld dan het tweede. Zijn conclusie is, dat bij vergelijkende oordelen beoordelaars de neiging hebben 'conservatievere' uitspraken te doen dan bij absolute oordelen. Boven is verder al een voorbeeld gegeven van een verwante psychologische eigenschap, die conditioneel kan zijn voor de uitslagen. De relevante of bedoelde conditie wordt gegeven door de eigenschap, die moet worden geoperationaliseerd. Om die reden kan bijvoorbeeld een antwoordinstelling, die meestal niet-relevant is, een bedoelde conditie zijn, namelijk in die gevallen waar getracht wordt persoonlijkheidskenmerken door kwalitatieve prestatietests in de vorm van antwoordstijlen te bepalen (Frederiksen and Messick, 1959). Meestal zijn niet-relevante aspecten van de observatiesituatie: de vorm van de vraag of opdracht, de persoon van de proefleider en het tijdstip van de observatie binnen vantevoren-bepaalde, bij-het-observatievoorschrift-behorende, grenzen. In hoeverre deze te onderscheiden aspecten ook werkzame condities zijn is moeilijk te beantwoorden en hangt behalve van de aard van de specificatie ook af van de bedoelde eigenschap. Om die reden kan voorlopig het beste een algemeen voorschrift worden gegeven: varieer zoveel mogelijk bij specificatie van de kenmerken de niet-relevante aspecten. Ieder aspect dat naast de bedoelde conditie constant wordt gehouden,


45

kan potentieel een (niet-relevante) conditie zijn. Samenvattend kan worden gesteld, dat de bedoelde klassificatie kan worden geconstrueerd door explicatie van een set van nevenschikkende kenmerken van de bedoelde eigenschap en door een zodanige specificatie van de¿e kenmerken in operatoren, dat deze variëren in hun niet-relevante aspecten. Een dergelijke set van operatoren is theoretisch gezien representatief voor de bedoelde klassificatie. In een empirisch onderzoek zal moeten blijken in hoeverre de set van verwachtingen geverifieerd dan wel gefalsificeerd wordt. Belangrijk is hierbij om vast te stellen, dat de operatoren n-iet equivalent moeten zijn, zoals in de klassieke testtheorie wordt aangenomen. De uitslagen van de operatoren moeten alle bepaald worden door de relevante conditie, echter niet constant door niet-relevante.

чб


3.3. De klassificatiemaat

Sinds Stevens' (1951, 1959) uiteenzettingen over de verschillende meetniveau's, is het gebruikelijk in de psychologie veel aandacht te besteden aan het probleem van de meting. De dis cussie heeft zich daarbij toegespitst op de vraag welke meetni veau's de verschillende statistische bewerkingen vereisen. Zo wordt het niet toelaatbaar geacht om het regressiemodel toe te passen op kwantificeringen die niet minstens een interval-niveau van meting hebben. Sinds de studie van Adams, Fagot en Robinson (1965) is het duidelijk geworden dat uitspraken over de toelaatbaarheid van be werkingen van de kwantificeringen afhangt van de interpretaties, die aan de resultaten van de bewerkingen worden gegeven. Er zijn daarbij twee soorten van uitspraken te onderscheiden. Bij de eerste soort de z.g. 'unit-free statements' gaat het om de semantische betekenis van de uitspraken in relatie tot de meting, bij de tweede soort, de z.g. 'unit-specific statements', om de intrinsieke verifïeerbaarheid. Zo is de vraag of de intelligentie van a gelijk is aan de intelligentie van b een semantische kwestie en de vraag of de testscore van a als overeenkomstig beschouwd kan worden met de testscore van b een intrinsiek-verifieerbare zaak. Uit bovenstaande volgt, dat het noodzakelijk is aan de maten van de bedoelde klassificatie duidelijke betekenissen te geven, die theoretisch aanvaardbaar en voor wat betreft hun relatie met de observaties verifieerbaar zijn. De pragmatische oplossing, die Lord en Novick (1986, p.21 e.v.) geven voor bovengenoemde problematiek, is in dit geval niet toepasbaar, omdat dan voor de bedoelde klassificatie een cirkelredenering zou worden toegepast. "If we construct a test score by counting


51

Bovengenoemde voordelen geven bij de meeste psychologische onderzoekingen de doorslag ten gunste van nul en één coderingen. In hoeverre de analyse ook toepasbaar is bij andere soorten van coderingen is nog een open vraag. Een alternatieve scoring door middel van het gebruik van nominale gewichten, zoals o.a. bij de ABV plaats vindt (zie Ned. Inst, van Psychol., 1969, p.194) kan alleen worden overwogen na de empirische controle van de set. Apriori mag een dergelijke weging niet worden toegepast, en wel op grond van de eis van gelijke varianties, die voor de toepassing van de analyse geldt. Of een dergelijke kwantificering ook een betere benadering geeft van de bedoelde score is nog steeds niet duidelijk uitgemaakt. De psychometrische betrouwbaarheid wordt er wel door verhoogd (Davis and Fifer, 1959, Hofstee, 1963). Validiteitsverbeteringen zijn tot op heden echter niet gevonden. Nadelen zijn verder, dat de scoring tijdrovender is en de scores minder doorzichtig worden. De kwantificeringen zijn dan niet meer experimenteel onafhankelijk en een interpretatie van kansmaten is dus niet meer mogelijk. Het laatste geldt ook voor kwantificering van de operatoren in meer eenheden. Ter voorkoming van misverstand wijzen wij er nog op, dat het voor de dataverzameling aan te bevelen is om de operatoren te kwantificeren met zoveel mogelijk eenheden op minstens ordinaal meetniveau. In dat geval is het namelijk betrekkelijk eenvoudig om te voldoen aan het voorschrift van 50/50% p/q verdelingen. Het informatieverlies van intervalmaten, die met nul en één worden gecodeerd, is in paragraaf 6.3.1. tot een bepaalde hoogte op zijn praktische relevantie bekeken. Vooruitlopend op dit onderzoek kan hier worden gezegd, dat de resultaten suggeren, dat bij steekproeven die duidelijk groter zijn dan honderd en/of bij een duidelijke

52


overpresentatie van de set (twintig of meer operatoren) de validiteit van de operatoren duidelijk beter worden geschat bij gebruik van de intervalmaten in verschil met hun nul en een coderingen. In alle andere gevallen schijnt het informâtieverlies weinig tot geen betekenis te hebben. Wij merken hierbij op, dat het betrekkelijk zeldzaam is in psychologisch onderzoek om observaties als intervalmaten te verzamelen en waar dit plaats vindt bijvoorbeeld bij tijdsmaten zijn vaak psychologisch-theoretisch dergelijke maten hooguit als ordinale maten van psychologische eigenschappen te interpreteren.


47

up correct responses (zero-one scoring) and treating the resulting scale scores as having interval properties, the procedure may or may not produce a good predictor of some criterion" (p. 22). De voorafgaande paragraaf heeft voldoende duidelijk gemaakt, dat juist het ontbreken van (externe) criteria het noodzakelijk maakt dat de bedoelde klassificatie het kriterium is. Uitgaande van de gedachtengang dat elementen meer of minder gekarakteriseerd kunnen worden door de bedoelde eigenschap, is in deze studie als klassificatiemaat gekozen de kans op over eenkomst tussen het element en het ideaal-type van de bedoelde klas sificatie. Deze score is gelijk aan het aantal maal, dat het element volgens de operatoren in de klasse valt, gedeeld door het totaal aantal operatoren, waarmee het element is geklassificeerd. Het ideaal type is de proefpersoon of de stimulus die volgens alle operatoren in de klasse valt. Het is een theoretische constructie, die niet (of zel den) in de werkelijkheid voorkomt. Met behulp van deze constructie is het echter mogelijk elementen te meten voor wat betreft de mate waarin zij in de bedoelde klasse vallen. Bovengenoemde maat is als percentage van het aantal gestelde examen- of proefwerkvragen algemeen bekend. Hij is echter in onbruik geraakt omdat onvoldoende de representativiteit van de operatoren in acht werd genomen. Travers (1955) spreekt in dit verband over "the famous but discredited system of converting raw scores into percentages ..." en karakteriseert het als "... another attempt on the part of the teacher to convert д relatively meaningless score into one which has some commonly accepted meaning". Gardner (1962) zegt over deze scores het volgende:" The déficiences inherent in these kinds of scores have

48


been discussed so many times in the literature no attempt will be made here to go into detail again. A few of the issues are the lack of comparability of per cent scores on the same test for different people, the lack of comparability from test to test, and the lack of algebraic utility" (p.7). Ebel (1962) komt echter met de 'content standard

test score' en definieert deze score met

"the per cent of a syetematio tasks

sample from a defined

domain of

which an individual has performed succesfully". Het verschil

met de vorige score is de nadruk, die Ebel legt op de representativiteit. Het begrip 'representatief' is in de vorige paragraaf uitgewerkt. Bovenstaande maat is dus als kans alleen goed interpreteerbaar als de operatoren een specificatie zijn van een set van nevenschikkende kenmerken. De*operatoren dienen dus gelijkwaardig te zijn. Deze eis is intrinsiek-verifieerbaar en wel door empirisch te contro•leren of de operatoren overeenkomstige p-waarden en gelijke correlaties hebben met de bedoelde klassificatie. Bij dergelijke operatoren zijn dan de maten van verschillende sets van operatoren vergelijkbaar, evenals de maten van verschillende elementen bij dezelfde set.

Lord hee^t in 1955 een overeenkomstige score, de 'proportioncorrect' score, geïntroduceerd, naderhand door Keats en hem (1962) 'relatieve' score genoemd. Om die reden zal verder worden gesproken over relatieve score of klassificatiemaat, in onderscheid met bijvoorbeeld de standaardscore. De relatieve score wordt gemeten in het aantal eenheden dat de set aan operatoren telt. De nauwkeurigheid van de maat is dus een directe lineaire functie van het aantal operatoren. Hierdoor is het


49

mogelijk de maat als een benadering van een continue score voor te stellen. In de psychologie worden klassificaties meestal niet discreet, maar continue opgevat; personen zijn meer of minder intelligent, werkzaamheden meer of minder belastend. Hierdoor wordt het ook mogelijk de statistisch-mathematische theorieën voor continue variabelen op de scores toe te passen. Verder kan de maat worden geïnterpreteerd als de kans, dat een persoon zich gedraagt overeenkomstig personen met de bedoelde eigenschap of dat een stimulus gedrag oproept conform stimuli met de bedoelde kenmerken. Een bezwaar van de maat is zijn begrensdheid. Kanswaarden lopen van nul tot en met één of van nul tot en met honderd procent. Het is bij deze maat niet mogelijk 'knapper' (voor individuen) of 'smakelijker' (voor etenswaren) te zijn dan het ideaaltype. Hierdoor moeten rekenkundige bewerkingen als de optelling en vermenigvuldiging op een andere wijze plaats vinden dan gebruikelijk. De relatieve score van twee sets van respectievelijk 8 en 10 operatoren is niet gelijk aan de som van de twee relatieve scores maar gelijk aan de uitslag van de twee sets samen onder voorwaarde dat de sets geen operatoren gemeenschappelijk hebben: 'mutually exclusive' zijn. Dus niet 6/8 + 5/10 = 5/4, maar g . Q = 11/18. De kanstheorie behandelt deze bewerkingsmogelijkheden in theorieën van de optelling en vermenigvuldiging. Het voordeel is echter wel dat bij dit uitgangspunt er sprake is van een fundamenteel meetsysteem met een duidelijk aan normen gebonden structuur, waardoor het mogelijk is na te gaan of rekenkundige en/of statistische bewerkingen van de maten toelaatbaar zijn (Adams, Fagot en Robinson, 1965).

50


Voor een goede interpretatie van de maat is het dus nodig dat 1. de operatoren worden gecodeerd met nul en één, 2. de operatoren experimenteel onafhankelijk zijn, 3. de p-waarden van de operatoren homogeen zijn, 4. de correlaties met de bedoelde klassificatie homogeen zijn. De regels 3 en 4 zijn empirisch altijd maar tot een bepaalde hoogte bereikbaar. Hun betekenis hangt af van het doel van het onderzoek. Zo zal zuiver wetenschappelijk onderzoek veel strengere eisen stellen aan het meet-instrument dan dit realiseerbaar is bij toegepast onderzoek. Voorwaarde 2 is al gesteld bij de definitie van een operator (zie paragraaf 2.3.) en zal daarom niet verder als zodanig worden genoemd. De nauwkeurigheid is vervolgens afhankelijk van het aantal operatoren. Hoe meer operatoren des te nauwkeuriger de schaal. Coderingen van operatoren met nul en één geeft informatieverlies (zie formule van Shannon paragraaf 2.4.). Dit nadeel staat tegenover de volgende praktische en theoretische voordelen. 1. Bij nul en één codering van de operator, geeft de toepassing van het regressiemodel geen problemen ten aanzien van de aanname van de lineaire samenhang. 2. Er worden bij nul en één coderingen geen voorwaarden gesteld aan de data. Deze kunnen kwalitatief of kwantitatief van aard zijn, ook afwijkende verdelingen spelen geen rol. De analyse is voor wat dit punt betreft een 'non-metrische* of 'parameter-vrije' methode. 3. In één onaerzoek kunnen met nul en één coderingen tegelijkertijd verschillende soorten van data wolfden geanalyseerd. 4. Grote aantallen variabelen in de orde van grootte van honderd tot vijfhonderd kunnen dan worden geanalyseerd. 5. De interpretatie van de score kan dan, zoals is aangetoond, op een

57


Per d e f i n i t i e i s n u d e s o m s c o r e b i j (6)

S, -

η operatoren

Σ zbi i=l

I n t e r p o l a t i e van f o r m u l e (7)

5 in

η

geeft:

η

S, = F . , · Σ a. , + F 0 , · b 1b il 2b 1

6

η

η

Σ a . „ + . . . + F u · Σ a. + Σ a . · δ, . . 2 . 2 mb . im . ι bi

1

1

Voor de t o e p a s s i n g v a n h e t

centrofd

e e r s t worden g e s t a n d a a r d i s e e r d .

model b i j

Per definitie

1

c o r r e l a t i e s moet S, i s de s t a n d a a r d s c o r e

g e l i j k aan:

(β)

s

Sv - M = - ^ σ s

b

Nu i s M van S g e l i j k

aan n u l

o m d a t S, η

en σ

g e l i j k aan d e w o r t e l

uit

s

i s tussen operator i

e n j . Wij

i n formule 8 en d e w a a r d e

van

e e n som i s v a n s t a n d a a r d s c o r e s

η

Σ Σ r . . , w a a r b i j г . . de i n t e r c o r r e l a t i e 1 i i ^ ^ k r i j g e n d u s n a i n v u l l i n g van d e z e waarden S,

uit

formule

7 i n formule 8 dat

b

Ea. _

Σα.,

Σα.

Σα.6,.

m s - »1Ь · 7/ Σ ^Σ Γ = • »я, ·7=*Ε= • ··· •»ι, · / — = = •/ Σ-Σ Γi. b. оігц *о . . /ΣΣτΓΤ ΣΣΓ. . J IJ

IJ

Wanneer nu h e t c e n t r o f d m o d e l i n t e r c o r r e l a t i e s dan i s Harman, 1960, p . l 9 S

IJ

toepasbaar

per definitie

e.v.)

9

(10)

(Za.j)

=ΣΣΓ..

(voorwaarde

2)

(voorwaarde

3)

en (11)

Za. j = Ea.- = . . . = 0 dus Za. · δ , .

Ö«

s

bb -

F

ilhb

+

— — /ςςΤΤ IJ

is

IJ

op d e f a c t o r s t r u c t u u r van de

( T h u r s t o n e , 1947, p . 1 5 0 e.V.

en

58


De somscore i s d a n d u s e e n s c h a t t i n g v a n de f a c t o r s c o r e van de algemene f a c t o r . De m e e t f o u t w a a r d o o r s ,

n i e t e x a c t g e l i j k i s aan F

wordt nu

k l e i n e r , d e s t e g r o t e r d e s o m v a n d e i n t e r c o r r e l a t i e s i s ( r e g e l b) en d e s t e g r o t e r h e t a a n t a l o p e r a t o r e n ( r e g e l c ) . Het l a a t s t e i s p e r d e f i n i t i e z o . De som v a n u n i e k e m e e t f o ù t e n i s

i n h e t universum van o p e r a t o r e n n u l ,

v e r d e r i s de c o r r e l a t i e t u s s e n a e n б n u l . Dus h e t product van b e i d e g a a t ook n a a r n u l . Worden d e v o o r w a a r d e n e n r e g e l s samengevat, dan komen we t o t het volgende

overzicht.

Voorwaarden 1. De u i t s l a g e n van d e o p e r a t o r e n m o e t e n met nul en een worden gecodeerd. 2. De e e r s t e c e n t r o x d v a n d e i n t e r c o r r e l a t i e s van de operatoren dient de algemene f a c t o r v a n d e o p e r a t o r e n t e

zijn.

3. De g r o e p s f a c t o r e n v a n d e e v e n t u e l e n i e t - r e l e v a n t e condities dienen in de s e t een l a d i n g s o m v a n n u l t e h e b b e n . 4. De som van de i n t e r c o r r e l a t i e s v a n de operatoren mag n i e t nul z i j n . Regels a. Zorg voor z o v e e l m o g e l i j k

50/50% p / q verdelingen van de operatoren.

b . Streef naar een zo g r o o t m o g e l i j k e

som van i n t e r c o r r e l a t i e s van de

operatoren. c. Zorg voor e e n zo g r o o t m o g e l i j k d. Streef n a a r z o v e e l m o g e l i j k

a a n t a l operatoren.

o p e r a t o r e n met gelijke c o r r e l a t i e s met

de s c o r e van de b e d o e l d e k l a s s i f i c a t i e . Hierbij i s r e g e l d e e n n a d e r e u i t w e r k i n g van de voorwaarde voor de i n t e r p r e t a t i e van k l a s s i f i c a t i e m a t e n , De c o r r e l a t i e s met d e o n g e w o g e n cluster ladingen onder voorwaarde overeenkomstig z i j n .

z o a l s gesteld in paragraaf 3 . 3 . s o m s c o r e zijn namelijk g e l i j k aan de d a t de v a r i a n t i e e van de operatoren

D i t b e w i j s w o r d t h i e r gegeven.

44

roNSTKIIC'MI'. VAN 1)01'.I.MAT ICI' KI.ASS Ι Κ Η'.Λΐ I KS

De l a d i n g in de p e r s t e c o n t r o î d a . , L'iuBLerlading. Te b e w i j z e n v a i l dus dat

(13)

a

i s per d e f i n i t i e

de

( г і е Harman, 1960, p . l 9 A ,

10.6)

fu

=

il 4=-ris ι J

Nu is per definitie N Σ ζ, .

.S

bi

b

(14) r. - — Ν . σ. . σ IS 1

s

Daar σ- gelijk is aan 1 (standaardscores) en S, = Σ ζ, . (zie formule 6) ι D . ы 1

wordt N (15) r i s = l/os · Σ z b i . ( z b l+ z b 2+ ...+ z b n ) . 1/N b

of (16) r. = l/σ - U z , . · ζ, , + Σ ζ, . · ζ,0 + ... + Σ ζ, . »ζ, Ι . 1/Ν is s \, bi bl , bi Ь2 ь J Nu is per definitie: Ν (17) г.. = Σ ζ,. . ζ,. . 1/Ν 1J

и

bi

bj

en (18) σ = /Σ Σ г.. s

. .

ι J

11

Σ г. 1J . Dus г. =J i 1S

^Т^ ij

= а..

^

1 J

Dit bewijs geldt ook als σ. = σ.. Bovengenoemde voorwaarden en regels vormen nu de constructie voorschriften voor de bedoelde klassificatie. Aan de voorwaarden moet be slist worden voldaan. De regels hebben niet dit stricte karakter. Verontachtzaming van de regels kan echter tot gevolg hebben dat de constructie

60


van de bedoelde klassificatie onvoldoende betrouwbaar plaats vindt. Het zijn optimaliseringsregels. Des te beter ze worden opgevolgd des te betrouwbaarder en nauwkeuriger is de constructie. Strikte uitvoering van de regels is praktisch echter onuitvoerbaar. Afhankelijk van de vereiste zekerheid die de onderzoeker wenst te bereiken, kunnen ze meer of minder stringent worden toegepast. De iteratieve clusteranalyse beantwoordt nu als rekenmethode aan bovengenoemde voorschriften. Binnen de gestelde voorwaarden en regels zijn echter een groot aantal verschillende rekenmethoden mogelijk. Een beperkt aantal variaties zijn daarvan op niet-systematische wijze uitgeprobeerd. Het feit dat de clusteranalyse een toepassing is van de gestelde voorschriften mag dus niet worden opgevat als een bewijs dat deze analyse de best mogelijke is. Daarnaast blijft de mogelijkheid open dat de clusteranalyse impliciet een aantal regels toepast, die niet in de uitgewerkte theorie zijn onderkend.


61

Controle en exploratie

De twee belangrijkste voorwaarden die gesteld worden aan de constructie van de bedoelde klassificatie, zijn de eis van een algemene factor en van gebalanceerde groepsfactoren. Voortaan zal een dergelijke factorstructuur een cluster worden genoemd. De set van operatoren dient dus een cluster te vormen. De constructie en dus ook de opzet van het onderzoek en de analyse moeten zodanig worden uitgevoerd, dat de hypothese van Cên cluster kan worden aangenomen of verworpen. De data van een steekproef van elementen dienen te beantwoorden aan de verwachting van één cluster in bovengenoemde zin. Hypothesen dienen toetsbaar te zijn, hetgeen inhoudt dat zij uitspraken toelaten over hun onwaar zijn, m.a.w. zij dienen falsifieerbaar te zijn (Fokkema, 1960, p.284). Nu is iedere intercorrelatiematrix om te zetten in een centroîd factormatrix. Van deze eigenschap maakt Thurstone (1947) gebruik wanneer hij de centroîd methode als rekenkundig eenvoudiger extractiemethode dan de hoofdassenanalyse voorstelt. ledere intercorrelatiematrix heeft een zwaartepunt. De juistheid van deze uitspraak is makkelijk vast te stellen. Intercorrelaties van variabelen kunnen immers worden voorgesteld met behulp van cosinussen van hoeken tussen vectoren in een n(operatoren) + m(factoren) dimensionale ruimte. Ieder op een dergelijke wijze grafisch voorgestelde intercorrelatiestructuur heeft noodzakelijkerwijs een zwaartepunt, waardoor de vector per definitie de centroîd is. Met de gebruikelijke factoranalytische technieken als de centroîd methode, diagonaal methode en hoofdassenanalyse, is het dus niet mogelijk de hypothese te falsificeren. Hierbij moet dan nog wel worden gewezen op het feit

62


dat de hoofdassenanalyse centroïden van de varianties geeft in plaats van de correlaties, zoals de centroi'd methode. Het verschil is in dit verband niet belangrijk - een correlatie in het kwadraat is een variantiemaat - en om die reden wordt er verder niet op ingegaan. Het ontbreken van een mogelijkheid van falsifieerbaarheid dwingt tot het zoeken naar extra regels. Thurstone (1947) heeft deze gevonden met het principe van de 'simple structure', waaraan naderhand door onder andere Kaiser (1958) met het varimax criterium een objectieve vorm is gegeven. Dit criterium is om theoretische redenen niet bruikbaar. Het doel van dit criterium is na te gaan in hoeverre de intercorrelatiematrix past in de uni-factor oplossing, dat wil zeggen een oplossing van alleen groepsfactoren en geen algemene factor, zoals Harman (1960) opmerkt: "In general, the rotation of axes in order to arrive at simple structure may be viewed as an attempt to reduce the complexity of the variables. The ultimate objective would be a uni-factor solution, in which each variable would be of complexity one" (p.113). Er zal dus gezocht moeten worden naar andere regels. De eerste regel, die hiervoor is geformuleerd, komt tot een bepaalde hoogte overeen met de gebruikelijke methode bij itemanalyse en luidt: —

de onderzoeker dient van tevoren aan te geven welke waarde (d.w.z. welke correlatie met de som- of clusterscore) nog als minimum acceptabel is.

Bij item-analyse worden items, die te laag correleren met de totaalscore van de set als onvoldoende beschouwd (zie Davis, 1965 en Guilford, 1954, p.417 e.V.). Het verschil met deze methoden is, dat in


63

de iteratieve clusteranalyse echter niet de beslissingen worden genomen op een ad hoc geconstrueerde totaalscore, maar op een clusterscore, die binnen de aanwezige mogelijkheden van de data voldoet aan de constructievoorschriften, zoals gesteld in de vorige paragraaf. Het is, zoals al naar voren gebracht, mogelijk voor iedere intercorrelatiematrix een cluster te construeren. Dergelijke clusters voldoen echter meestal betrekkelijk slecht, omdat een groot aantal operatoren vaak een lage tot zeer lage lading hebben in de eerste algemene factor en dus de som van de ladingen of item-totaal correlaties bij dit aantal items niet optimaal hoog is. Verder heeft het gebruik van operatoren met lage ladingen ook het bezwaar, dat dan ten onrechte de kenmerken die deze items vertegenwoordigen van toepassing geacht kunnen worden op de klassificatie. Door een minimumwaarde aan te geven definieert in feite de onderzoeker het cluster en wel afhankelijk van de mate waarin de waarde hoger of lager is; de onderzoeker strenger of minder streng is. Gaat het om de bergtoppen, eilanden of onderzeese gebergten? Deze analogie dringt zich op als de intercorrelaties van de operatoren worden voorgesteld als vectoren in een ruimte. De onderzoeker kan het cluster definieren als een meer of minder dichte vectorenbundel. Deze minimumwaarde operationaliseert de orde van de klassificatie. In pragraaf 2.5. is naar voren gebracht dat een dergelijke operationalisering mogelijk is met behulp van een overeenkomstindex. Bij een hoge waarde zullen veel, kleine en intercorrelerende clusters worden gevonden, die vrij specifiek zullen zijn. Bij een lage waarde weinig, grote en nagenoeg onafhankelijke clusters, die een algemenere betekenis zullen hebben.

Ь4


De overeenkomst met het hiërarchische clusterschema van Johnson en Ward (zie tabel 2.5.1.) ligt voor de hand. Om deze reden zal de genoemde minimumwaarde voortaan de overeenkomstindex worden genoemd. Een belangrijk verschil tussen beide hiërarchieën blijft echter wel aanwezig. Tervij1 bij Johnson en Ward een cluster in de orde van de klassificatie alleen groter of kleiner kan worden, is bij de iteratieve clusteranalyse afhankelijk uiteraard van de data, mogelijk dat in een lagere orde een cluster verdwijnt ten bate van twee grotere clusters. In paragraaf 5.3.2. (vergelijk tabel 2.5.1. met tabel 5.3.2.1.) wordt dit nader empirisch aangetoond. Denkelijk is dit het gevolg van de minder strenge definitie die in deze studie wordt gegeven aan een cluster. Clusters worden vaak opgevat als bestaande uit variabelen met een intercorrelatiematrix van de rang één, dat wil zeggen één algemene factor met η(variabelen) unieke factoren, dus zonder gebalanceerde groepsfactoren. Uit de vorige paragraaf is gebleken dat een dergelijke strenge definitie niet noodzakelijk is. De tweede regel, die is geformileerd om falsifieerbaarheid van de hypothese mogelijk te maken, is dat voor de niet-relevante condities adequate variabelen dan wel ad hoc geconstrueerde operatoren in het on derzoek dienen te worden opgenomen. Bij éénzijdig geconstrueerde operatoren is het mogelijk een eerste centroïd te krijgen, die afwijkt van de bedoelde algemene factor. In feite is er dan sprake van een intercorrelatiematrix van twee algemene factoren waarin alle operatoren een positieve lading hebben of van sterke niet-gebalanceerde groepsfactoren. Hierdoor krijgt het zwaartepunt een afwijking in de richting van de groepsfactor of tweede algemene factor. De relevante conditie is niet alleen werkzaam in de uitslagen, maar ook een niet-relevante en wel op overeenkomstige wijze. Beide condities zijn in de operatoren


53

3.4. Constructievoorschriften

De bedoelde klassificatie kan worden geconstrueerd met behulp van een set van representatieve operatoren. Aan deze constructie zijn een aantal voorwaarden verbonden. Naar voren is al gebracht dat de uitslagen van de operatoren gecodeerd dienen te worden met nul en één. Terwijl ook al uitgebreid is gesproken over de p/q verdelingen van de operatoren. Vatten wij de voorafgaande beschouwingen samen dan zijn hiermee twee voorschriften geformuleerd en wel respectievelijk: —

codeer de uitslagen van de operatoren met nul en iin, en

—

zorg voor zoveel mogelijk 50/50% p/q verdelingen van de operatoren. Het laatst genoemde voorschrift is niet alleen verbonden aan

het gebruik van correlatiecoëfficienten (zie paragraaf З.1.), maar ook een waarborg voor de optimale informatie van een binaire klassificatie (zie paragraaf 2.4.), zowel als een mogelijkheid voor een interpretatie van de scores als klassificatiematen of relatieve scores (zie paragraaf 3.3.). Daarnaast berust de iteratieve clusteranalyse als rekenmethode op de aanname dat de varianties van de operatoren gelijk zijn. Een dergelijke voorwaarde maakt op het eerste gezicht een bijzonder strenge indruk. In een steekproef van elementen is het echter niet noodzakelijk dat p/q verdelingen exact hetzelfde zijn. Het gaat om de (onbekende) populatie-waarden. In paragraaf 4.3. wordt nagegaan welke consequenties het niet voldoen van de data aan deze voorwaarde heeft voor de rekenmethode. Daar zal blijken dat onder bepaalde omstandig heden afwijkingen geen ernstige gevolgen hebben. Praktisch blijkt de regel ook weinig moeilijkheden op te leveren, als de data maar in vol doende (ordinale) eenheden zijn verzameld en in een vooronderzoek is nagegaan of de verschillende onderscheidingen ook voorkomen.

54


In de voorafgaande theorie is het begrip 'representatief' nader uitgewerkt door te stellen dat een set operatoren representatief is als de relevante- of bedoelde conditie bij iedere operator de uitslagen mede bepaalt en de niet-relevante condities variabel of niet-constant optreden. Dit model is nog niet scherp genoeg geformuleerd. Deze theorie zal daarom eerst nader worden uitgewerkt. De keuze is daarvoor gevallen op de theorie van de factoranalyse. De redenen van deze keuze zijn gedeeltelijk traditioneel en gedeeltelijk opportunistisch bepaald. Het is namelijk niet de bedoeling te pretenderen dat dit model isomorfer met psychische verschijnselen zou zijn dan eventuele alternatieve modellen. De mate van isomorfie van modellen berust veelal op een analogie-redenering en moet meestal blijken uit het succes van het model bij gebruik. Vooralsnog is er geen reden om aan dit succes voor het f.a. model te twijfelen. Burt (1941, 1949 Vernon (1950) en Eysenck (1947, 1951) beschouwen factoranalytische technieken als klassificatiemethoden. In dit opzicht conformeren wij ons aan de angelsaksische traditie in de psychologische methodenleer. De ontwikkeling van de psychologische testtheorie heeft daarnaast grotendeels plaats gevonden met behulp van het factoranalytische model. Zo gebruiken Cronbach, Rajaratnam en Gleser (1963, p.147) dit model voor hun theorie, terwijl Guilford (1954, 1959, 1964) en Cattell (1952) het model toepassen bij de constructie van tests. Daarenboven is er dankzij handboeken als die van Thurstone (1947) en Harman (1960) bijzonder veel bekend over deze theorie en zijn technieken. De genoemde overwegingen zijn echter niet doorslaggevend. De mogelijkheid blijft open, dat er betere modellen bestaan voor de geschetste problematiek.


65

gecorreleerd. Cronbach (1951) heeft aangetoond, dat groepsfactoren een geringe invloed hebben op de somscore in tegenstelling tot de invloed van een algemene factor, als het aantal variabelen of operatoren maar voldoende groot is. Dit geldt voor zwakke, niet-gebalanceerde groepsfactoren, bij sterke niet-gebalanceerde groepsfactoren helpt vergroting van het aantal operatoren betrekkelijk weinig en zeker niet als de bedoelde factor met de groepsfactor in de operatoren is gecorreleerd. Tegen vragenlijsten is niet ten onrechte de bedenking gemaakt dat algemene eigenschappen als 'neuroticisme1 of 'prestatiemotivatie' alleen worden gediagnosticeerd door middel van verbaal gedrag in de vorm van zelfbeoordelingen. Het is niet onmogelijk dat hierdoor verbaal-intelligente proefpersonen worden bevoordeeld. Verificatie of falsificatie van een dergelijke verwachting is mogelijk door 'neuroticisme' of 'prestatie-motivatie' van vragenlijsten te vergelijken met de 'intelligentie' van de proefpersonen. Door bij de constructie van de bedoelde klassificatie de genoemde regel te volgen is de onderzoeker in staat dergelijke bedenkingen te weerleggen. De situatie is hierbij uiteraard hetzelfde als bij toetsing van iedere psychologische theorie: de constructeur moet bij de opzet van zijn onderzoek zelf zorg dragen dat controles op de geconstrueerde klassif icatie kunnen worden uitgevoerd.

Beide regels kunnen niet beschouwd worden als de noodzakelijke oplossingen voor de onbepaaldheid van factoranalytische technieken. Daarvoor is in deze studie nog onvoldoende dit onbepaalde karakter geanalyseerd. De mogelijkheid blijft, dat ook de iteratieve clusteranalyse in dit opzicht niet scherp genoeg is. Daarnaast is het mogelijk, dat de analyse bepaalde regels toepast, die niet of onvoldoende zijn belicht.

66


Voorlopig kan worden gesteld dat de hypothese van één cluster op twee manieren kan worden gefalsificeerd, en wel a. doordat de operatoren een te lage correlatie hebben met de clusterscore, en b. doordat variabelen van niet-relevante condities correleren met de clusterscore. In navolging van Campbell en Fiske (1959) is het eerste punt de toetsing van de convergerende validiteit genoemd en het tweede van de divergerende validiteit. Het is goed er hierbij op te wijzen, dat Campbell en Fiske, die spreken over "convergent and discriminant validation", deze onderscheidingen voor een enigszins ander doel gebruiken dan hier is gesteld. De convergerende validiteit kan worden getoetst met de nulhypothese dat alle intercorrelaties in de populatie nul zijn. Deze toetsing wordt in paragraaf 5.3.1 verder uitgewerkt. De divergerende validiteit kan worden getoetst volgens de methode aangegeven in bijlage 1.2. De correlaties dienen homogeen te zijn met als populatiecorrelatie de waarde nul of een waarde lager dan de gebruikte overeenkomstindex (zie ook hier paragraaf 5.З.1.). Het gebruik van de analyse in bovengenoemde zin - door ons controlerend-toetsend genoemd (zie paragraaf 4.7.) - is betrekkelijk zeldzaam. Veel vaker wordt de analyse exploratief of controlerendexploratief toegepast. Op een aantal gebieden is de theoretische kennis nog onvoldoende om de analyse toetsend te kunnen gebruiken. Bij exploratief onderzoek tracht de onderzoeker in de door hem verzamelde data clusters te vinden, dat wil zeggen, sets van operatoren die beantwoorden aan het centroid model. Dergelijke sets kunnen goede operationaliseringen van 'bedoelde' klassificaties zijn. Zij beantwoorden


67

aan de eis van de convergerende validiteit en zijn binnen de door de onderzoeker verzamelde data goed divergerend. Een zwak punt van exploratief onderzoek is de benoeming van de geconstrueerde klassificaties. Deze vindt ex post facto plaats en dient dus nader geverifieerd te worden. De Groot (1961) wijst erop dat exploratief onderzoek voor*onderzoek

is. "Wanneer het vervolg de exacte theorie- en/of hypothese-

vorming en toetsing, niet plaats vindt, is alles van weinig waarde" (p. 324). Een andere oplossing is dat de onderzoeker zich onthoudt van interpretaties en alleen de belangrijkste kenmerken van het cluster noemt. De in de paragrafen 5.2.1. en 5.2.4. vermelde onderzoekingen zijn hiervan een voorbeeld. Controlerend-exploratief onderzoek ligt tussen toetsing en exploratie in. Het onderzoek naar de convergerende validiteit wordt hierbij niet toetsend, maar explorerend uitgevoerd. Het voordeel is dat de onderzoeker dan duidelijker informatie krijgt over eventuele door hem over het hoofd geziene mogelijkheden. Deze vorm van onderzoek wordt vaak in de eerste fasen van schaalconstructies toegepast. Bij dergelijke onderzoekingen worden vaak verschillende bedoelde klassificaties tegelijkertijd geconstrueerd. Daarom worden zij in dergelijke onderzoekingen gebruikt voor controle van de divergerende validiteit. De schalen zijn dan ten opzichte van elkaar constructies van nietrelevante condities. De schalen dienen namelijk onafhankelijk ten opzichte van elkaar te zijn en wel ten behoeve van het principe van de spaarzaamheid ('parsimony').

68


3.6. De waarde van de geconstrueerde klassificatie

Meestal zal het wel mogelijk zijn een bedoelde klassificatie te construeren die aan de gestelde voorwaarden beantwoord. Desondanks blijft het mogelijk dat de constructie onvoldoende plaats heeft gevonden en wel omdat de gestelde regels slecht zijn vervuld. Het aantal operatoren dat ten aanzien van de convergerende validiteit voldoet kan te klein zijn. De som van de intercorrelaties van deze operatoren kan te laag zijn. De clusterladingen van de operatoren kunnen teveel uiteen lopen en/of de p-waarden van de operatoren kunnen sterk onderling verschillen.

De laatstgenoemde bevinding is al voor de analyse bekend. De mogelijke oplossingen voor deze problematiek worden behandeld in paragraaf 4.3. In 't algemeen kan worden gezegd, dat wanneer deze oplossingen niet voldoende zijn toegepast, clusters van dergelijke data, verkregen via de iteratieve clusteranalyse, geen of nauwelijks enige betekenis kan worden toegekend. Het zijn vaak kunstmatige clusters van operatoren met overeenkomstige p-waarden. Wanneer de waarden van de operatoren teveel uiteenlopen, hetgeen blijkt uit de clusterladingen (correlaties met de somscore, te toetsen met de in bijlage 1.2. gegeven procedure), dan is meestal met een te lage overeenkomstindex gewerkt. Een strengere grens geeft dan veelal een betere klassificatie. De vervulling van de regels over het aantal operatoren en de som van de intercorrelaties kunnen met behulp van psychometrische betrouwbaarheidscoëfficiënten worden gewaardeerd. De psychometrische betrouwbaarheid, gedefinieerd als de correlatie tussen twee gelijkwaardige paralleltests, is namelijk een monotoon stijgende functie van de gemiddel-' de intercorrelatie van de operatoren, als van het aantal operatoren bij gelijk

Ь6

—


de som van de intercorrelaties van de operatoren mag niet nul zijn.

Verder zijn er nog twee extra regels te formuleren. Des te beter met deze regels rekening wordt gehouden, des te beter is de schatting van de score van de bedoelde klassificatie. Deze twee regels zijn: —

de som van de intercorrelaties van de operatoren dient zo groot mogelijk te zijn, en

—

het aantal operatoren moet zo groot mogelijk zijn. Allereerst zal nu worden aangetoond dat bovengenoemde voor

waarden en regels gelden op de wijze zoals naar voren is gebracht. Dit bewijs zal om redenen van duidelijkheid worden gegeven met behulp van standaardscores in plaats van ruwe- of relatieve scores. Dit is geen bezwaar omdat de iteratieve clusteranalyse alleen met correlaties werkt en correlaties van ruwe-, relatieve- en standaardscores exact dezelfde zijn. Bij toepassing van het factoranalytische model wordt ervan uitgegaan dat (zie Harman, 1960, (2.8) p.13) z, . = a. , · F 1 U + a.0 · F0, + ... + a. bi il 1b i2 2b im

· F , + a. · 6, . mb ι bi

Hierbij is ζ . de gestandaardiseerde uitslag van de operator i bij het element b, a.., a.», ..., a.

de factorladingen van de operator i

in de m-factoren, F,,, F-, , .... F , lb 2b mb

de factorscores van het element b in de

m-factoren, ш / 2 а. = /1 - Σ а. , en г ι.

•

δ, . de unieke meetfout. bi


55

Van de verschillende factoranalytische verbijzonderingen is het centroîd model van Thurstone (1947), zoals ook beschreven door Harman (I960, p.193 e.v.) gekozen. Thurstone heeft dit model alleen om redenen van rekenkundige aard ontwikkeld en wel als compromis voor de hoofdassenmethode. "The centroid method of factoring and the centroid solution for the location of the reference axes are to be regarded as a computational compromise, in that they have been found to involve much less labor than the principal-axes solution" (Thurstone, 1947, p.178 en Harman, 1960, p.111). Het model heeft echter op zichzelf betekenis en wel als een bepaalde factorstructuuroplossing die isomorf is met de in paragraaf 3.2. ontwikkelde theorie over de bedoelde klassificatie. In dit model wordt er namelijk van uitgegaan, dat de intercorrelatiematrix van de operatoren adequaat beschreven kan worden met behulp van één algemene factor en een aantal groepsfactoren, waarvan de som der ladingen over de operatoren nul is. Indien de set van operatoren representatief is, moeten bij toepassing van de operatoren op een steekproef van elementen de data voldoen aan bovengenoemd model. Voor het 'variëren' van de niet-relevante condities dient dus nu 'balancing' te worden gelezen.

De somscore, zoals gedefinieerd in paragraaf 3.3., blijkt verder een schatting van de factorscore van de eerste centroîd van de intercorrelaties te zijn, onder voorwaarde dat de som van de intercorrelaties niet nul is. Er zijn dus nog drie extra voorwaarden waaraan moet worden voldaan opdat de somscore ook inderdaad opgevat kan worden als een schatting van de score van de bedoelde klassificatie. Deze drie voorwaarden zijn: —

de eerste centroid van de intercorrelaties van de operatoren dient de algemene factor van de operatoren te zijn,

—

de groepsfactoren van de eventuele niet-relevante condities dienen in de set een ladingsom van nul te hebben, en


69

blijven van de gemiddelde intercorrelatie. Het eerste punt is al aangetoond met het bewijs van Richardson (1941) en wel in paragraaf 3.2. Het tweede punt is als volgt te bewijzen. Bij deling van de al gemene Spearman-Brown formule door η (het aantal operatoren) en substitutie voor r.. van r.. (de gemiddelde intercorrelatie) wordt de betrouwbaarheid (r,.^) :

tt r

t-i-

TÍ—ι— η

(n

*0 )

Ij

Hoe groter nu η (het aantal operatoren) wordt, des te meer gaat l/n naar nul en n-l/n naar éên. De psychometrische betrouwbaarheid r

t

is

dus een monotoon stijgende functie van η (het aantal operatoren) met als limietwaarde één. De twee genoemde punten - de gemiddelde intercorrelatie en het aantal operatoren bij gelijkhouden van de gemiddelde intercorrelatie zijn congruent met de in deze studie geformuleerde regels b en с (zie paragraaf 3.4.). Een onderzoek naar de psychometrische betrouwbaarheid, gedefinieerd met behulp van equivalente parallelteste, kan dus worden gebruikt om de waarde van de geconstrueerde klassificatie ten aanzien van deze twee regels aan te geven. De psychometrische betrouwbaarheid heeft altijd een zeer be langrijk onderdeel gevormd van de testtheorie, zoals blijkt uit de overzichten van Wiegersma (1960) en Lord en Novick (1968, p.198 e.V.). Vergelijking van beide studies leert dat sinds 1960 er een cumulatieve ontwikkeling is geweest op dit terrein. Op het ogenblik zijn een zeer groot aantal verschillende bepalingsmogelijkheden, afhankelijk van de wijze waarop de ware- of foutenscore is gedefinieerd, beschikbaar.

70


Voor het hier in paragraaf 3.4. ontwikkelde model blijkt echter geen formule aanwezig. Be psychometrische betrouwbaarheid van een cluster, gedefinieerd als een centroîd structuur van intercorrelaties, zou het beste bepaald kunnen worden door berekening van de correlatie, tussen de somscore en de factorscore uit formule 12. In dit geval ligt ook de meetfout vast. Aan deze mogelijkheid is echter in deze studie verder geen aandacht besteed. Om voornamelijk praktische redenen zijn in deze studie de formules 20 en 21 van Kuder en Richardson (zie Wiegersma,1960) gebruikt. Aan deze formules zijn een aantal nadelen, zowel als voordelen verbonden. De voordelen zijn dat de coëfficiënten snel en eenvoudig zijn te berekenen, de uitkomsten tot een bepaalde hoogte toetsbaar zijn (zie bijlage 1.4.) en de formules correct zijn binnen de klassieke testtheorie. Met dit laatste punt zijn echter ook direct de nadelen van deze formules gegeven. In de klassieke testtheorie wordt de meetfout anders gedefinieerd dan in deze studie. Analyse van de verschillen en overeenkomsten tussen het factoranalytische model en het ware scoremodel leert (zie Lord en Novick, 1968, p.535 e.v. en Harman, 1960, p.15), dat de unieke meetfout van het factoranalytische model bestaat uit een specifieke meetfout en een random meetfout. Alleen wanneer nu de specifieke meetfout nul is, zijn de meetfouten van beide modellen gelijk. De specifieke factar wordt gegeven door die factor, welke ontstaat door de specificiteit van de set van operatoren en welke deze set alleen

gemeenschappelijk heeft met een gelijkwaardige

parallelset van operatoren. In deze studie vormt een dergelijke factor een foutencomponent. De parallelset dient niet gelijkwaardig, maar representatief te zijn (zie paragraaf 3.2.). Het is verder niet aannemelijk, dat een dergelijke specifieke factor geen invloed zou hebben op de somscore. Bij gebruik van de K.R. formules moet dus worden verwacht dat de uitkomsten een overschatting zullen geven van de werkelijke correlatie tussen somscore en bedoelde score.


71

Daarnaast hebben Novick en Lewis (1967, zie ook Lord en Novick, 1968, p.87 e.v.) aangetoond dat alleen als de twee parallel tests

'esentially true-score-equivalent' zijn coëfficiënt α gelijk

is aan de psychometrische betrouwbaarheid van de test. In alle an dere gevallen is deze coëfficiënt een 'lower bound', dat wil zeggen altijd lager dan de werkelijke waarde. Coëfficiënt a (zie Cronbach, 1951) is de algemene Kuder-Richardson formule. De K.R.(20) en (21) zijn verbijzonderingen van deze formule, namelijk voor die gevallen, waar de somscore een ongewogen optelling is van nul en een coderingen van experimenteel onafhankelijke operatoren. Bovenstaande geldt dus ook voor deze formules. De voorwaarde van essentiële 'ware score' equivalentie - een noodzakelijke en voldoende conditie - houdt in, dat de ware score van element b bij operator i op een constante na gelijk is aan de ware score van element b bij operator j. In het model van paragraaf 3.4. wordt dit dan (afgezien van een andere ware score definiëring):

a

ii ' Flb

= a

lj · Flb

+ c

of a, . = a,. li

Ij

Het gebruik van de formules stelt dus de vrij strikte eis, dat de clusterladingen (en de varianties) van de operatoren gelijk zijn naast de voorwaarde dat de specifieke meetfout nul is. Het niet voldoen aan de regels a en d (zie paragraaf 3.4.), verlaagt derhalve de coëfficiënten ten opzichte van de bedoelde waarde; de verschillende meetfout definiëring verhoogt de indices echter.

72


Het is dus mogelijk dat bovenstaande bedenkingen praktisch weinig relevant zijn. Om díe reden is in één simmulatie-onderzoek, namelijk nummer IV, nader nagegaan hoe de correlatie is tussen de ware score en de verkregen somscore ter vergelijking met de uitkomst van de K.R.(20). In dit onderzoek zijn data gesimmileerd voor 600 elementen bij 27 operatoren, die ieder een lading hebben in een algemene factor. Deze ladingen lopen van 0,40 t/m 0,80. De factorstructuur van dit onderzoek staat in bijlage III en de data in bijlage II.1. De berekende productmoment correlatie tussen de ware score en de clusterscore van het eerste algemene cluster (ongewogen somscore van alle 27 operatoren) bleek nu 0,929 te zijn. De wortel uit de K.R.(20) gaf de waarde 0,944. Het verschil tussen beide uitkomsten is statistisch significant (P < 0,003). Geconcludeerd moet worden, dat de overschatting van de K.R. formule tengevolge van een andere definitie van de meetfout blijkbaar duidelijk groter is dan de onderschatting op grond van het niet voldoen aan de voorwaarde van de 'ware score' equivalentie. Het gebruik van de K.R.formules voor de bepaling van de waarde van de geconstrueerde klassificatie is dus niet verantwoord. De uitkomsten van deze formules zijn overschattingen van de werkelijke waarden. Ontwikkeling van betere formules is dus vereist. Rest nog het verschil aan te geven tussen de K.R.(20) en de K.R. (21) formule. Lord (1955, p.9) heeft aangetoond, dat het gebruik van de K.R.(21) juist is in die gevallen waar de onderzoeker de scores in absolute zin interpreteert, zoals het geval is bij schooltoetsen bij gebruik van van tevoren vastgestelde 'cutting' scores. Het gaat om de meetfout, die gemaakt wordt bij de schatting van de c-waarde uit formule 4. Met deze meetfout wordt door de K.R.(21) wel, door de K.R.(20) geen rekening gehouden. De uitkomst van de K.R.(21) is daarom altijd lager dan die van de K.R.(20).

UITVOERING VAN DE ANALYSE

73

4. Uitvoering van de analyse

4.1. De steekproef

De samenstelling van de steekproef wordt in de eerste plaats bepaald door de doelstelling van het onderzoek. Daarom zal hier een onderscheid worden gemaakt tussen onderzoeken die aß. kla.8sifCoatie

van een aantal heterogene elementen beogen en die waarvan

het doel schaal-

of testaonstruotïe

is. De eerstgenoemde onderzoeken

vereisen een ander gebruik van de analyse dan de tweede. Ook bij de vorming van de steekproef moet voor de eerste doelstelling op andere zaken worden gelet dan bij de tweede. Voor ktass-ifioatiedoeleinden

is de representativiteit van

de steekproef van elementen een belangrijke kwestie, zoveel mogelijk moet in dat geval getracht worden de steekproef aselect of stratified te trekken. Het afwijkingen bij de vorming van de steekproef moet bij de interpretatie van de resultaten rekening worden gehouden. Voor schaal-

of testeonstruotie

is de belangrijkste voor-

waarde, dat de elementen heterogeen zijn in de eigenschap, waarvoor schalen of tests worden geconstrueerd. De elementen moeten verschillen in de mate waarin ze behoren tot de bedoelde klassificaties. Het is niet mogelijk de operatoren te controleren als niet aan deze voorwaarde is voldaan. Binnen de mogelijkheden van steekproeftrekking is het verder belangrijk macro-sociale variabelen te gebruiken ais geslacht, leeftijd of opleiding om tot een duidelijk te omschrijven populatie te komen, waarvoor de steekproef representatief is. Een dergelijke steekproef is dan een wel omschreven referentie- of normgroep, die aangeeft voor welke elementen de test of schaal is gecon-

/4

UITVOERING VAK DE ANALYSE

strueerd. Het ís ook mogelijk te werken met extreme groepen van elementen ín de bedoelde constructs. In dit geval kan de analyse echter niet met correlatiecoëfficiënten worden uitgevoerd (zie paragraaf 2.1.)· Een tweede punt waar de onderzoeker voor wordt geplaatst, is de optimale grootte van de steekproef. De beslissing hierover wordt bepaald door de kosten verbonden aan de trekking van één element en de informatietoename per element. Het is algemeen bekend dat de informatie, die ieder extra-element oplevert, afneemt, noe groter de steekproef wordt, des te minder informatie geeft de trekking van een extra-element. Omdat de kosten verbonden aan de trekking van een element veelal gelijk blijven is het daarom mogelijk te spreken over een optimum. In de psychologie wordt - meer op grond van traditie dan op grond van berekeningen - dit optimum meestal gevonden tussen de honderd en vijftienhonderd elementen en wel afhankelijk van het doel van het onderzoek. Onderzoeken bij meer dan vijftienhonderd elementen zijn betrekkelijk zeldzaam. Als minimumgrootten gelden steekproeven van vijfentwintig tot veertig elementen. Steekproeven kleiner dan deze minimumwaarden worden alleen getolereerd wanneer de kosten verbonden aan de trekking van één element zeer hoog zijn. In de klinische psychologie is een dergelijke situatie vaak aan de orde. De betrouwbaarheid van de analyse wordt bepaald door de grootte van de steekproef. Hoe groter de steekproef, des te kleiner de schattingsfouten zijn van de correlaties. De schattingsfout is ook een functie van de hoogte van de correlatie. Hoe lager de correlatie, des te groter de mogelijke fout en des te groter dus de optimale steekproef moet zijn.

75

UITVOERING VAN UE ANALYSE

De voorafgaande uiteenzettingen zijn nader geconcretiseerd in een onderzoek. Het ging hier om de antwoorden van 720 zusters op de voor de proefgroep aangepaste N.I.P.G. Satisfactieschaal (Wiegersma en Gemert, 1961). De gegevens van dit onderzoek staan in bijlage II.2. De schaal bestaat uit 15 uitspraken over het werk en wordt beantwoord met ja, geen mening of nee, inzoverre volgens de betrokkene de uitspraak van toepassing is op zijn/haar werksituatie. De verwachting was, dat de vijftien operatoren ëén cluster zouden vormen. Toepassing van de clusteranalyse (controlerend-exploratief) gaf inderdaad één cluster. In tabel 4.1.1. staat het resultaat. De overeenkomstindex die is gebruikt is 0,30. Tabel 4.1.1. Resultaten onderzoek Satisfactieschaal Vragen

1adingen

1. De plaats waar ik sta/zit te werken bevalt mij wel. 0,61 2. Mijn werk maakt me gejaagd en zenuwachtig. -0,59 -0,59 3. Mijn superieur kan goed met zijn/haar ondergeschikten opschieten. 0,55 4. Mijn werk is te vermoeiend. -0,61 5. Ik zou hier graag ander werk hebben. -0,65 6. Dit is een prettige instelling/school om te werken. 0,62 7. Deze instelling/school wordt goed geleid. 0,59 8. Ik vind mijn werk te eentonig. -0,63 9. Er zijn onder mijn naaste medewerksters veel onderlinge wrijvingen en strubbelingen. -0,58 10. In mijn conmuniteit vinden ze dat ik goed werk heb. 0,48 11. Aan de bij het werk noodzakelijke hulpmiddelen wordt hier veel. zorg en aandacht besteed. 0,46 12. Ik voel me aan het einde van de werkdag meestel voldoende fit. 0,48 13. Ik werk in een prettige omgeving. 0,67 14. Daar waar ik werk is het altijd rommelig. -0,55 15. Ik heb plezier in mijn werk. 0,62 K.R.(21) = 0,84

Ρ

% met beantwoord

0,16 0,25

0,1 1,0

0,35 0,28 0,22

2,7 1,0 0,3

0,31 0,39 0,16

6,1 6,3 1,3

0,36

0,9

0,29

1,0

0,17

0,7

0,49 0,27 0,19 0,16

0,8 0,4 0,9 0,3


76

Door aselecte trekking werden nu twee groepen van 120, één van 100, twee van 80, twee van 60 en drie van 40 proefpersonen gevormd. Op deze groepen werd de analyse herhaald met dezelfde overeenkomstindex van 0,30. In tabel 4.1.2. staan de resultaten van de analyse van deze 10 groepen voor de eeröte cluster. Tabel 4.1.2. Resultaten 10 groepen

1 2 3 4 5 6 7 8 9 10

1

2

3

4

5

6

7

8

9

10

N = 720

120

120

100

80

80

60

60

40

40

40

0,61

0,56

0,66

0,66

0,60

0,45

0,66

0,79

0,51

0,71

0,61

-0,59 -0,55 -0,67 -0,53 -0,54 -0,66 -0,52 -0,52 -0,74 -0,60 -0,70 0,55

0,57

0,43

0,51

0,59

0,56

0,60

0,47

0,63

0,79

0,13

-0,61 -0,55 -0,61 -0,64 -0,61 -0,65 -0,51 -0,59 -0,71 -0,56 -0,61 -0,65 -0,58 -0,71 -0,63 -0,63 -0,63 -0,51 -0,82 -0,68 -0,57 -0,81 0,62

0,67

0,54

0,59

0,64

0,62

0,59

0,77

0,71

0,64

0,64

0,59

0,74

0,58

0,52

0,57

0,53

0,55

0,65

0,63

0,57

0,63

-0,63 -0,55 -0,65 -0,58 -0,57 -0,56 -0,62 -0,69 -0,75 -0,80 -0,69 -0,58 -0,61 -0,64 -0,68 -0,45 -0,52 -0,53 -0,51 -0,71 -0,70 -0,50 0,48

0,45

0,43

0,60

0,54

0,43

0,30

0,56

0,07

0,51

0,24

11

0,46

0,56

0,39

0,51

0?26 0,54

0,62

0,47

0,45

0,26

0,16

12 13

0,48

0,51

0,49

0,49

0,53

0,63

0,47

0,06

0,50

0,53

0,57

0,67

0,62

0,71

0,74

0,71

0,50

0,68

0,81

0,49

0,58

0,74

14 15

-0,55 -0,55 -0,67 -0,55 -0,60 -0,63 -0,66 -0?28 -0,59 -0,21 -0,28 0,62

0,55

0;64

0,67

0,46

0,55

0,66

0,85

0,47

0,69

0,75

K.R. (21) 0,84

0,84

0,84

0,86

0,82

0,83

0,82

0,88

0,86

0,86

0,85

De onderstreepte waarden zijn de correlaties van de. variabelen, die niet opgenomen zijn in het cluster. Deze uitval neemt toe bij verkleining van de steekproefgrootte en vindt vooral plaats bij variabelen met lage ladingen: 11, 10, 12, 14 en 3. Bij de laatste groep vormen variabele 14 en 11 een apart cluster met een K.R.(21) van 0,70. Deze waarde is niet sig-

77


nificant voor 1%, echter wel voor 5%. De grens is in het eerste geval 0,76 en bij 5% 0,61 (zie bijlage 1.4.). De overige variabelen vormen allen een specifiek cluster, dat wil zeggen een cluster dat uit ëén variabele bestaat. Wij wijzen ook nog op de betrekkelijk grote stabiliteit van de K.R.(21) in vergelijking met de ladingen. Het gebruik van de K.R.(21) formule is in dit geval minder juist. Beter is de berekening van de K.R.(20). Daar de K.R.(21) echter de normale output is van het gebruikte computerprogramma, zijn de berekende uitkomsten ter algemene informatie vermeld. De betekenis van de steekproefgrootte is in figuur 4.1.1. nader aangegeven. In deze figuur is de som van de absolute verschillen in zwaarden tussen de groepen met een gelijke N uitgezet voor de verschillende steekproefgrootten; 120, 80, 60 en 40. Figuur 4.1.1,Som absolute z-verschillen tussen groepen met gelijke N uitgezet voor de grootte van de groepen.

\ -Τ

411 352 • -

- -

9

ι

\

\ φ

233

I

102

1

;

!

; 40

ι 60

1 1 1

ι l 80

I

120 100

M

78


Uit figuur 4.1.1. is af te lezen dat het de moeite loont om bij een gemiddelde intercorrelatie van 0,35 de steekproefgrootte zoveel mogelijk op minstens honderd te brengen. De nauwkeurigheid neemt tot honderd progressief toe, daarna is de winst bij eenzelfde vergroting van de steekproef geleidelijk aan minder. Tevens kan uit dit onderzoek worden geconcludeerd, dat specifieke clusters (en clusters met K.R. waarden beneden de 1% significantie-drempel) weinig betekenis hebben.


79

De operatoren Bij de keuze van de operatoren is er een verschil te maken tussen exploratief- en controle-onderzoek. In het laatste geval alleen construeert de onderzoeker de operatoren als specificaties van een kenmerk met zoveel mogelijk variatie in de niet-relevante aspecten (zie paragraaf 3.2.)· Meestal echter zijn zonder veel vooronderstellingen de data van een aantal variabelen systematisch van elementen verzameld en wordt naar een doelmatige en overzichtelijke beschrijving van deze data gezocht. Door de afwezigheid van een duidelijk uitgangspunt bij de keuze van de operatoren zijn dergelijke onderzoeken exploratief. De ervaring is, dat de meeste onderzoekers ook bij exploratief onderzoek, zich op researchstrategische gronden beperken in het aantal variabelen. Eerst worden een aantal schalen geconstrueerd en in een tweede bewerking of onderzoek wordt dan nagegaan hoe de relaties van de schaal scores zijn met externe kriteria, macro-sociale variabelen of andere variabelen die geen items zijn. Deze researchstrategie is niet erg efficient, beter is het om direct al deze variabelen gezamelijk te analyseren en de analyse dan controlerend-exploratief toe te passen, waarbij alleen wordt nagegaan welke clusters met de items zijn te construeren. De items vormen dan een van tevoren opgegeven set of pivot. In dat geval kan direct worden bepaald welke clusters behalve qua convergerende validiteit voldoen, ook qua divergerende of predictieve validiteit betekenis hebben. Het is mogelijk dat een klein, minder betrouwbaar cluster predictief belangrijk is. Bij de eerstgenoemde strategie zouden dergelijke 'verstopte' clusters zijn verwaarloosd. Verder is dan de interpretatie van de clusters eenvoudiger en wordt

30


de onderzoeker geattendeerd op relaties met andere gegevens, die hij anders misschien over het hoofd zou zien. Het is verder geen bezwaar als de varianties van de extra variabelen afwijken van de gemiddelde variantie, omdat de analyse alleen op de opgegeven operatoren wordt uitgevoerd. Wel dienen ze gecodeerd te worden met nul en één. Omdat ze niet opgenomen worden in de pivot is experimentele onafhankelijkheid dan ook geen voorwaarde. Ook is het mogelijk op deze wijze omgekeerd te werk te gaan door namelijk eerst ieder kriterium apart als pivot op te geven en dan in een tweede bewerking pivots van correlerende items controlerend-exploratief te laten analyseren (zie paragraaf 5.3.3.). Het sterke punt van de iteratieve clusteranalyse is namelijk, dat deze methode, zelfs met alleen een rekenmachine, grote aantallen variabelen economisch verantwoord kan analyseren. Het is niet nodig bij het gebruik van deze analyse om bepaalde gegevens weg te laten, zoals bijvoorbeeld Wassenaar (1956) moest doen: "Omdat dit prakties onmoontlik was om al die gegewens gelijktijdig deur middel van faktorontleding te verwerk, is 24 variante vir die doel só gekies dat elke soort toets verteenwoordig is" (p.47). Genoegzaam is in het vorige hoofdstuk erop gewezen, dat het aantal operatoren zo groot mogelijk moet zijn. Dit punt vindt ook zijn bevestiging in de simulatie-onderzoekingen (zie paragraaf 6.3.1.). Klassificatie van gegevens is verder vooral van belang als er veel variabelen zijn. Klassificatiemethoden, die dus grote aantallen variabelen om praktische redenen niet kunnen analyseren, hebben daarom een beperkte betekenis. Er zijn weinig redelijke argumenten te geven voor de werkwijze, die door onder andere Wassenaar wordt gevolgd. Nog steeds zijn statistische technieken hulpmiddelen van de psychologie en niet


81

omgekeerd. Bij gebruik van de clusteranalyse moet het voordeel van het grote aantal variabelen worden gebruikt, dus geen testscores, als operatoren opnemen (met uitzondering van genoegzaam gevalideerde tests) maar items, en geen verzamelde data weglaten, omdat ze niet interessant zouden zijn. Dit laatste moet juist blijken en waarom zijn ze dan verzameld? Operatoren als de persoon van de proefleider, het tijdstip van de dataverzameling, de plaats van de verzameling, dienen feitelijk in ieder onderzoek als routinevariabelen te worden opgenomen voor een controle op de divergerende validiteit. Het bezwaar, dat dergelijke gegevens kwalitatief van aard zijn, geldt namelijk niet voor de clusteranalyse. De onderzoeker, die controlerend te werk wil gaan, wordt aangeraden vooral de paragrafen 3.2. en 3.5. door te lezen. De conclusies van deze paragrafen luiden in het kort als volgt. 1. Omschrijf de eigenschappen van de proefpersonen of stimuli, die moeten worden geoperationaliseerd. 2. Expliciteer de belangrijkste nevenschikkende kenmerken van deze eigenschappen en/of geef een beschrijving van de persoon of stimulus, die volledig door de eigenschap wordt gekarakteriseerd, in observeerbaar gedrag. 3. Specificeer de kenmerken met behulp van observatie- en coderingsvoorschriften en wel zodanig, dat niet-relevante aspecten gevarieerd zijn. 4. Doe hetzelfde (stappen 1 t/m 3) voor al die condities, waarvan verwacht mag worden dat zij de constructie kunnen invalideren en/of kies valide variabelen voor deze niet-relevante condities.

82


Variaties op bovengenoemde werkwijze wordt verder aan de onderzoeker overgelaten. In dit verband wordt nog gewezen op de mogelijkheid om een hiërarchisch-etructuuronderzoek te doen door niet alleen nevenschikkende kenmerken, maar ook boven- en onderschikkende kenmerken te expliciteren (zie ook paragraaf 5.3.2.). Hierbij dient te worden opgemerkt, dat voor ieder kenmerk minstens zes operatoren dienen te worden gespecificeerd. Bij een kleiner aantal is de kans te groot dat de constructie van de bedoelde klassificatie mislukt. Het is daarbij niet nodig, dat de gespecificeerde operatoren volledig en altijd zullen voldoen. De theorie van het vorige hoofdstuk en dus ook de analyse gaat ervan uit, dat bij gebruik van de operatoren toevallige- en constante fouten optreden.


83

4.3. Omzetting van de data in een nul en één matrix

De eerste voorwaarde en regel voor de analyse luiden (zie paragraaf 3.4.): "de data coderen in één en nul met bij benadering gelijke p-waarden van 50%". Wanneer de observaties verzameld zijn in zoveel mogelijk klassen op ordinaal meetniveau, is bovengenoemd constructievoorschrift vrij eenvoudig uit te voeren met behulp van bijvoorbeeld de mediaan. In tabel 4.3.1. staat een gefingeerde matrix van nul en één coderingen. Tussen haken wordt daarbij de oorspronkelijke waarde vermeld. Tabel 4.3.1. Matrix van nul en één coderingen met coderingsvoorschriften operatoren 1 2 proefpersonen of stimuli

3

4

5

a 0(2) 1(30) O(-) 0(-4) 0(L) b

0(3) 0(98)

1(+) 0(-3) 1(R)

с

1(4) 0(97)

1(+) 1(3) 0(K)

d

1(4) 1(101) 0(-) 0(-2) 1(R)

en<35-l Bij deze coderingen behoeft geen rekening te worden gehouden met zogenaamde schaalnulpunten. In een Likert-item met de schaal 'zeer goed', 'goed', 'goed noch slecht', 'slecht', 'zeer slecht', kan de V mediaan zowel liggen tussen 'zeer goed' en de rest; 'zeer goed', 'goed' en de rest; 'zeer goed', 'goed', 'goed noch slecht' en de rest; 'zeer goed', 'goed', 'goed noch slecht', 'slecht' en 'zeer slecht'. Ver schuiving van het 'nulpunt' heeft geen invloed op de correlaties. Alle scores kunnen met een constante worden verhoogd of verlaagd.

84


Bij verzameling van de data in voldoende klassen is het ook mogelijk na te gaan of de relatie tussen de operator en de bedoelde klassificatie een niet-lineaire functie is. Door de opera tor dubbel te coderen kunnen acht verschillende relaties worden be paald. De operator komt dan als twee variabelen in het onderzoek. De eerste variabele is een codering met 1 boven de mediaan en 0 be neden de mediaan. Bij de tweede wordt van de operator het hoogste en laagste kwartiel met 1 gecodeerd en de middelste twee kwartielen met 0. In tabel 4.3.2. staan de mogelijke relaties, die dan kunnen worden gevonden. Tabel 4.3.2. Mogelijke relaties bij dubbele codering van de operator correlatie met bedoelde klassificatie mediaan

kwartielen

1. positief lineair 2. negatief lineair

r > 0

r = 0

r < 0

r - 0

3. positief kromlijnig

r = 0

r > 0

4. negatief kromlijnig

r = 0

r < 0

5. positief accelerend

г > 0

r > 0

6. negatief accelerend

r > 0

r < 0

7. positief declinerend 8. negatief declinerend

r < 0

r > 0

r < 0

r < 0

Als waarschuwing moet nog worden gewezen op kunstmatige correlaties tussen de twee coderingen, wanneer de mediaancodering geen vijftig vijftig procent is en/of de kwartielencodering niet vijfentwintig, vijftig, vijfentwintig procent,afwijkingen van vier procent of minder zijn bij niet te lage overeenkomstindices wel acceptabel. Het is ook mo gelijk te werken met een pivot of opgegeven set waarbij alleen bijvoor beeld de mediaancodering in is opgenomen.


85

Wanneer de gegevens in een klein aantal klassen zijn verzameld kan de eis van gelijke p-waarden moeilijkheden opleveren. De volgende oplossingen zijn nu mogelijk. 1. Neem operatoren met extreem lage varianties niet in het onderzoek op. Operatoren met een p/q verdeling kleiner dan 10/90 procent geven veelal lage correlaties en kunnen daardoor weinig bijdragen aan het onderzoek. Variantie is een voorwaarde voor het berekenen van correlaties. 2. Geef een pivot op, waar operatoren met lage varianties níet in voorkomen 3. Ga na of een Q-analyse (zie paragraaf 5.2.) mogelijk is. Theoretisch is na te gaan welke effecten optreden wanneer gewerkt wordt met ongelijke varianties. Wij herhalen daarvoor het bewijs uit paragraaf 3.4. dat r. = a. echter niet met de aanname dat σ. = σ.. Uitgaande van 6 is ι ι j ruwe scores is r. =

Et, · ·S - N ·*i p. · S bi bu

is

Ν · σ. ι · σs

Hierbij vindt de summatie plaats over b = 1 t/m N (de elementen) en is t, .

de uitslag van element b bij operator i,

S,

de somscore over de set operatoren i(l ... η),

S

de gemiddelde somscore,

p.

de proportie enen van operator i, en

σ. en σ i

s

de standaarddeviaties van resp. i en s. r

Nu is

Sb-JAj' J j=l

dus

tbi . Sb = t bi - Σ tJ

verder is N Σ t, . ·b jt, . = N · r.. ·σ. · σ . + Ν · ρ . ·ρ. b-1 b l ij ι J Ί *л

86


dus Ν

η

η

I t , . · S, = Ν · Σ t. . · a. b l b 1 J 1 b-i j=i

· σ . + Ν · ρ .

· Σ j-1

г

2

Nu i s η

Σ ρ- = S

j-i

J

dus η

r.

- J

Σ r.. =1 4

ÍS

σ.

· σ. · σ. ι J · σ.

σ. i s een constante in t e l l e r en noemer en v a l t dus weg. ι Verder

is

σ - /Σ Σ г . . · S . . IJ I J

σ.· 1

σ. J

en dus

г.

Στ..' i 1J

=

1 S

/ Σ Σ г.. . . ij ι J

• σ. J · σ. · σ. ι ι

Nu i s г., ij

= а.

. а. * а

. а^

и

+ ... + а^

·

^

waarbij a. de bedoelde lading i s van operator i a.,

t/m а, · de ladingen in de niet-bedoelde factoren die i gemeenschappelijk heeft met operator j .

Σ Σ г . . σ. σ. wordt dus • - ij i J i j Σ Σ a. . ι i

« a . · σ. · σ. + ΣΣ J ^ - J i j

a.,

'a..

· σ. · σ. + . . . + ΣΣ a, . · a,. · σ. 1 J 2 i j

3

Nu i s Σ Σ a.

ij

1

· a. J

· σ. 1

· σ. J

gelijk aan

(Σ a.

j

J

· σ.) J

2

· σ. 2

87


Hetzelfde geldt voor de andere vormen, dus 2 . fT

Σ Σ г... · о, · σ. = (Σ а^ · σ^) IJ ι J ι J J ι J

_ ч2 .

+ (Σ а,. · σ.) i Ij

. /„ .

. _ ч2

+ ... + (Σ а. . · σ.)

r-i s wordt dus egelijk aan J

r

is

=

a. · Σ 3 . » o . + a , . · Σ 3 , . · σ. + . . . + a, . 'Za... _1 J J li ІЛ J ki kj / 2 2 2~ / (Σ a . · σ . ) + (Σ a . . · σ . ) + . . . + (Σ a. . · σ . )

·σ. j

waarbij alle summaties plaats vinden over j(l t/m n) . Bovenstaande formule is als volgt uit te schrijven:

1

:. = a. · \ — is ι ^ τ / 2 2 2 2 /1 + (Σ a,. · σ.) /(Σ a. · σ.) + ... + (Σ a, . · σ.) /(Σ a. · σ.) Ij J J J Ч J J J a

li

/ a

i

/(Σ a. · σ.)2/(Σ a,. · σ . ) 2 + 1 + ... + (Σ a, . · σ.) /(Σ a.. · σ . ) 2

•ki ' a i /(Σ a. · σ.)2/(Σ a. . · σ . ) 2 + (Σ a.. · σ.)2/(Σ a. . · σ . 7) 2 +.-.+ 1 J J' Hcj J lj J kj j r.

is nu gelijk aan a. als de vorm tussen haken gelijk is aan één.

Dit is het geval als a.. = a«. = ... = a, . • 0

(voor alle j, dus ook i)

Verschillen in varianties tussen de operatoren is dus ernstig in die gevallen waar de set van operatoren i een intercorrelatiestructuur heeft van groepsfactoren en niet van belang wanneer deze structuur bestaat uit één algemene factor zonder groepsfactoren. Door nu clusters te vormen

}

88


waar bij ieder geval altijd sprake is van één algemene factor kan gedeeltelijk bovenstaande problematiek worden ondervangen. Dit laatste vindt nu bij toepassing van de clusteranalyse plaats. Bij deze analyse wordt uitgegaan van een variabele en dit cluster uitgebreid met die variabele die het hoogst met de eerste correleert, onder voorwaarde dat deze correlatie ligt boven de overeenkomstindex. Aan dit cluster van twee variabelen wordt weer een derde variabele toegevoegd en wel diegene die het hoogst met de somscore van de eerste twee correleert, onder dezelfde voorwaarde. Deze bewerking wordt net zolang uitgevoerd tot er geen variabelen meer zijn, die voldoen aan de gestelde voorwaarde. Hierdoor is het niet mogelijk een cluster van variabelen te krijgen waarin geen algemene factor aanwezig is. Uit bovenstaande formule is verder af te lezen dat schatting van a. met behulp van r.

bij grote verschillen in de varianties van

de operatoren vooral moeilijkheden geeft bij operatoren die een positieve lading hebben in de algemene factor en negatieve ladingen in de niet-bedoelde factoren. In dat geval is er sprake van een duidelijke onderschatting van a. bij berekening van r. . Dergelijke operatoren hebX

Хэ

t

ben een belangrijke 'surpressor' functie en kunnen moeilijk worden ge mist. Een oplossing zou kunnen worden gevonden door niet met te hoge overeenkomstindexen te werken. Deze conclusie is echter tegengesteld met de eerste. Bij hoge overeenkomstindices is er een veel grotere zekerheid, dat de cluster een sterk dominerende algemene factor heeft en dus tegengestelde ladingen een veel minder belangrijke rol spelen. Onze conclusie is dan ook, dat het niet voldoen aan de voorwaarde van gelijke varianties vooral ernstige fouten in de schattingen van de ladingen geeft bij ingewikkelde structuren van intercorrelaties tussen de operatoren; veel factoren die duidelijk overlappen met positieve en negatieve ladingen.


89

De problematiek is tot een bepaalde hoogte te voorkomen door niet met te lage overeenkomstindices te werken. Omgekeerd behoeft de voorwaarde niet zo ernstig genomen te worden in die gevallen waar sprake is van eenvoudige structuren van weinig factoren die nagenoeg niet overlappen.

УО


De ivcrcenkoüis tindex In paragraaf 3.5. en wel in aansluiting op paragraaf 2.5. 'ΰϋ ordo van de klassificatie' is gesproken over de overeenkomstuiüüx. Door het vaststellen van deze index worden de clusters gedeimieerd. Meestal wordt gewerkt met de index of grens van 0,30. Dit oeLekent dat een operator, waarvan de klassificatie 0,30 of meer correleert met de bedoelde klassificatie, voldoende valide is. Bij ieder onderzoek blijken er meer of minder optimale waarden voor de overeenkomstindex te zijn. Zo bleek Hermans (1967) voor de constructie van een prestatie-motivatieschaal beter te kunnen werken met 0,20, terwijl Pennings (1966) bij 0,30 goede resultaten kreeg. Daar tegenover gaf de analyse van opstellen een pregnanter resultaat bij een grens van 0,40 (Kempen en Boon van Ostade, 1968, zie ook paragraaf 5.2.4.), terwijl een analyse van beoordelingen van de noodzakelijke eigenschappen van de ondergrondse mijnarbeider door van Hecke (1966) pas bij een grens van 0,70 aparte clusters gaf. De indruk is, dat de validiteit van de gemiddelde operator voor de bedoelde klassificatie bepalend is voor de grootte van de optimale grens. Deze is laag bij vragenlijstitems voor een vrij abstract construct als prestatie-motivatie en hoog voor oordelen over de noodzakelijke eigenschappen van een functie bij beoordelaars die de functie zeer goed kennen (van Hecke, 1966; in dit geval opzichters van êén bedrijf die zelf jarenlang als mijnwerker werkzaam waren geweest). Getracht is te werken met een glijdend criterium, dat wil zeggen een criterium dat zich aanpast aan de resultaten zoals deze tijdens de analyse blijken. In dat geval is het niet nodig om de analyse te herhalen met een lager c.q. hoger criterium als blijkt dat het

91

• UITVOERING VAN DE ANALYSE

gestelde niet voldoet. Hiervoor is in de eerste plaats het varimaxcriterium gekozen. Dit criterium is een objectieve formulering van Thurstone's 'simple structure' principe door Kaiser (1958) en komt hierop neer dat getracht wordt de variantie van de gekwadrateerde ladingen per factor te maximaliseren, waardoor er zoveel mogelijk hoge en lage ladingen per factor komen. Dit criterium bleek niet te voldoen. Er kwamen teveel kleine clusters. Eén van de redenen hiervan is gelegen in het feit dat niet gewerkt kan worden met de 'nor2 . mal varimax' formule, omdat de communaliteiten (h ) niet bekend zijn. 2 Wherry en Winer (1953) hebben wel een methode ontwikkeld om de h te schatten. Deze methode voldoet echter niet bij een door ons uit2 gevoerde toepassing (Boon van Ostade, 1963) en wel omdat de h

ge-

schat wordt per factor in plaats van over alle factoren tegelijk. Betere 2 methoden voor h

schattingen o.a. de gekwadrateerde multiple corre-

latie (Wrigley, 1957) zijn niet toegepast, omdat deze methoden moeilijk toepasbaar zijn bij veel variabelen, juist één van de sterke punten van de iteratieve clusteranalyse. Ook is gewerkt met de Kuder-Richardson formule 20 en wel in navolging van Elshout's hiërarchische clusteranalyse (1963). Ook dit criterium voldoet niet en wel om twee redenen. Met dit criterium bestaat het kleinste cluster altijd uit twee operatoren. Bij een specifiek cluster van één operator is de K.R.(20) niet te berekenen. Verder geeft dit criterium ook veel kleine clusters. Ter illustratie staan in tabel 4.4.1. de uitkomsten van deze formule bij de verschillende stadia van het eerste A.M. cluster (zie paragraaf 4.5.).


92

Tabel 4.4.1. K.R.(20) waarden van het eerste A.M. cluster in de verschillende stadia van zijn opbouw. stadia

cluster operatoren

K.R.(20)

2

5+1

0,81452

3

5 + 1 + 2

0,81450

4

5+1+2+4

0,839

5

5 + 1 + 2 + 4 + 7

0,847

6

5 + 1 + 2 + 4 + 7 + 8

0,852

7

5 + 1 + 2 + 4 + 7 + 8 + 9

0,836

Bij gebruik van de K.R. formule als overeenkomstindex was de analyse gestopt bij het cluster 5 + 1. Het niet voldoen van bovengenoemde twee criteria is in het licht van de in het vorige hoofdstuk ontwikkelde theorie niet zo verwonderlijk. De clusteranalyse streeft niet naar een uni-factor model, hetgeen het varimax criterium wel doet (zie paragraaf 3.5.) en de definitie van de meetfout is, zoals die bij de toepassing van de K.R.(20) formule plaats vindt, niet in overeenstemming met die van de clusteranalyse (zie paragraaf 3.6.). Bij duidelijke onzekerheden ten aanzien van de overeenkomstindex, blijkt practisch de beste strategie om te beginnen met lage waarden (0,20 - 0,30) en dan afhankelijk van de mate waarin de ladingen van de operatoren in één cluster onderling verschillen deze grens te verhogen. Ook een goede aanwijzing vormen de correlaties van de operatoren vóór hun opname. Wanneer de eerste operatoren correlaties hébben in de orde van grootte van 0,50 of hoger en de latere van 0,30 of lager, is er een duidelijke aanwijzing, dat een strengere grens betere resultaten geeft. Optimale presentaties zijn die, waar de ladingen van de cluster operatoren homogeen zijn (zie regel d. paragraaf 3.4.).

UiTVOERlNC VAN DE ANALYSE

93

Een ondergrens van de overeenkomstindex wordt gegeven door de grootte van de steekproef. Wanneer de klassificaties van een operator en de bedoelde klassificatie zo weinig overeenkomen, dat de nulhypothese niet kan worden verworpen, kan niet over een valide operator worden gesproken. Dit betekent dat de overeenkemstindex bij steekproeven groter of gelijk aan 30 altijd groter of gelijk moet zijn aan (zie bijlage 1.1., geval la en 1b) . '»96 3; -*

r

/Ñ of bij steekproeven kleiner dan 30 r f C

" /('t*)2 + N - 2

waarbij J r

с

de overeenkomstindex is,

N

de steekproefgrootte, en

t'

de student's t bij N - 2 vrijgheidsgraden

Het gebruik van bovenstaande minimale overeenkomstindices sluit niet uit, dat in de analyse correlaties en dus clusters worden gevonden, die door toeval ontstaan. Dit is het gevolg van de herhaling van de bewerking. Bovengenoemde toetsingen gaan uit van een éénmalige berekening. In paragraaf 4.6. wordt verder op deze problematiek ingegaan. Concluderend kan worden gezegd, dat de onderzoeker de keuze van de overeenkomstindex kan oplossen door de analyse een aantal malen uit te voeren met indices, die steeds strenger worden, en wel afhankelijk van de verkregen resultaten.

ч


4.Ь. Vorming van clusters

Voor het vormen van een cluster, dat beantwoordt aan de voorschriften, zoals uiteengezet in paragraaf 3.4., gaat de analyse als volgt te werk: - Uitgaande van één operator wordt nagegaan hoe de overeenkomsten zijn van de klassificatie van deze operator met die van de andere operatoren. - De operator, die de grootste overeenkomst heeft met de eerste operator vormt nu samen met deze een cluster onder voorwaarde dat de overeenkomst ligt boven de gestelde overeenkomstindex. - De ongewogen somscore van deze eerste twee operatoren wordt weer vergeleken met de klassificaties van alle andere operatoren. - De operator, die nu de grootste overeenkomst heeft met de gevormde somscore, wordt bij dit cluster opgenomen, weer onder voorwaarde dat de overeenkomst ligt boven de overeenkomstindex. - Bovengenoemde bewerking wordt net zo lang uitgevoerd tot dat er geen operatoren zijn om op te nemen of geen één operator boven de gestelde index overeenkomt met de somscore. De overeenkomst tussen de operatoren en de ongewogen somscore wordt met behulp van produktmoment correlaties bepaald als maat voor de validiteit van de operator (zie paragraaf З.1.). De bedoelde klassificatie wordt dus uitgaande van één operator opgebouwd met toepassing van de regel dat de correlatie groter of gelijk moet zijn aan de minimumwaarde, zoals gesteld door de onderzoeker de z.g. overeenkomstindex. Hierdoor wordt het mogelijk te voldoen aan de voorwaarde, dat de eerste centroïd van de intercorrelaties van de opgenomen operatoren een algemene factor is (de convergerende validiteit, zie paragraaf 3.5.).

95


Door berekening van de correlaties van de op deze wijze gevormde clusterscore met de operatoren of clusters van niet-relevante condities kan worden nagegaan of deze algemene factor ook de bedoelde factor is (de divergerende validiteit, zie paragraaf 3.5.)· De bewerking wordt nu ccrntYoXevend uitgevoerd, als bovengenoemde clustervorming alleen plaats vindt voor de operatoren van de gestelde pivot of het apriori cluster, die door de onderzoeker voor de analyse is bepaald. Operatoren, die niet in de pivot voorkomen, kunnen dus dan niet worden opgenomen in het cluster. De bewerking wordt toetsend

uitgevoerd als bij de vorming van ieder volgend

cluster na het eerste de operatoren van voorafgaande clusters wel opgenomen kunnen worden. Bij oontroterendrexploratief niet mogelijk, evenmin als bij explorerend explorerend

onderzoek is dit

onderzoek. De analyse vindt

plaats, wanneer er geen pivots zijn opgegeven. In dat

geval worden alle operatoren of variabelen als één pivot opgevat. Bovenstaande bewerking verschilt van andere (onder andere Elshout's hiërarchische clusteranalyse, 1963), doordat gewerkt wordt met een ongewogen somscore en niet bijvoorbeeld met de gemiddelde correlatie van de clusteroperatoren en een eventueel op te nemen operator. De reden van dit verschil is gelegen in de definiëring van de bedoelde klassificatiemaat, als ongewogen som van operatoren met gelijke varianties (zie paragraaf 3.3.) en dat deze somscore een schatting is van de factorscore van de eerste centrold (zie paragraaf 3.4.). De operatoren die opgenomen zijn in het cluster, voldoen aan de eis van de convergerende validiteit en kunnen dus voorlopig afhankelijk van een nog nader uit te voeren controle op de divergerende validiteit, beschouwd worden als adequate operatoren voor de bedoelde klassificatie.

9Ь


Een belangrijke voorwaarde voor de toepassing van het ventroïd model ís dat de som van de intercorrelaties van de operatoren, die het cluster vormen, niet nul is (zie paragraaf 3.4. voorwaarde 4). uit kan plaats vinden wanneer met te lage overeenkomstindices wordt gewerkt. Wanneer echter als minimumgrens van deze indices de voor 5% significante correlatie wordt genomen (¿ie paragraaf 4.4.) is de kans, dat niet aan deze voorwaarde wordt voldaan, verwaarloosbaar klein en zeker uitgesloten wanneer de gevonden clusters worden gecontroleerd op hun kans als toevalsresultaat (zie paragraaf 4.6.). Ernstiger wordt deze kwestie, wanneer operatoren met negatieve en positieve intercorrelaties het cluster vormen. Dit moet worden voorkomen. Daarom worden operatoren met negatieve correlaties pas gebruikt voor de vorming van de clusterscore nadat ze zijn gespiegeld.

In paragraaf 3.1. is op deze be-

werkingsmogelijkheid gewezen. Het coderingsvoorschrift van deze operatoren wordt omgedraaid; de nul-coderingen worden één-coderingen en omgekeerd. De verantwoording van deze spiegeling berust op het feit dat dergelijke operatoren wel degelijk informatief zijn voor de bedoelde klassificatie, ondanks het feit dat de kans op fouten duidelijk groter is dan de kans op treffers, en wel in verschil met operatoren waar beide kansen nagenoeg gelijk zijn. Er wordt nog op gewezen, dat bovengenoemde bewerking (de beslissing of de operator tot het cluster behoort) berust op niet'spurious' zijnde correlaties. Dit is een belangrijk verschil met de iteratieve factoranalyse van Wherry en Gaylord (1943). Bij deze analyse wordt deze beslissing in eerste instantie genomen met behulp van de correlaties tussen de operatoren en de somscore van de gehele


97

pivot. Dergelijke correlaties zijn overschattingen van de werkelijke correlaties en wel des te meer naarmate de pivot kleiner is, omdat de operatoren zelf de somscore bepalen en dus gedeeltelijk met zichzelf worden gecorreleerd. Roskam heeft een verbeterde versie van deze analyse ontwikkeld. De correlaties worden in die analyse berekend tussen de operator en alle andere van de pivot en zijn dan niet meer 'spurious'. Het nadeel van deze methode is echter, dat de operatoren dan steeds met een andere somscore worden vergeleken, waardoor de clustervorming een proces kan worden zonder eind. In de eerste bewerking worden dan bijvoorbeeld bepaalde operatoren als onvoldoende beschouwd, die dan in verdere bewerkingen weer voldoende blijken te zijn wat het gevolg heeft dat andere operatoren weer onvoldoende worden, waardoor weer de eerstgenoemde operatoren onvoldoende blijken te zijn enz. Een eeuwig doorlopend, niet-convergerend proces van clustervorming vindt dan plaats. Vooral bij het gebruik van computers moet een dergelijke bewerking worden voorkomen. Door steeds die operator te kiezen, die de hoogste correlatie met de clusterscore heeft, wordt ook zorg gedragen, dat regel b van paragraaf 3.4. waarin gesteld wordt dat gestreefd moet worden naar een zo groot mogelijke som van intercorrelaties van de operatoren, is gewaarborgd. Deze regel dient om de achattingsfout van de factorscore van de eerste centroîd door middel van de clusterscore zo klein mogelijk te houden (zie formule 12). Door deze regel te volgen wordt ook de psychometrische betrouwbaarheid van het cluster verhoogd (zie paragraaf 3.6.). In paragraaf 3.2. is uiteengezet, dat het primair stellen van deze regel en dus de psychometrische betrouwbaarheid, zoals gebruikelijk bij de methoden van itemanalyses, ten koste kan gaan van de representativiteit. Om deze reden is in de bewerking van de iteratieve cluster-

У8

UITVObRlNG VAN D E A N A L Y S b

апаіуье deze r e g e l n i e t c e n t r a a l g e s t e l d . Bij m e t h o d e n d i e n i e t met e e n s o m s c o r e , m a a r m e t de i n t e r c o r r e l a t i e b

tussen d e o p e r a t o r e n

rekening h o u d e n , is d i t m e e s t a l w e l h e t g e v a l . E e n p r o b l e e m v o r m t n o g m e t w e l k e operator m o e t w o r d e n b e g o n n e n . G e b l e k e n i s , d a t h i e r v o o r h e t beste d i e o p e r a t o r g e k o z e n k a n w o r d e n , d i e het h o o g s t m e t d e s o m s c o r e v a n alle o p e r a t o r e n v a n de pivot c o r r e l e e r t . O n d e r z o c h t is of deze correlaties

uitgerekend

m o e s t e n w o r d e n tussen d e o p e r a t o r e n alle andere of d e o p e r a t o r e n alle o p e r a t o r e n (de o p e r a t o r zelf i n b e g r e p e n ) . ' P a r t - v h o l e ' c o r r e laties zijn ' s p u r i o u s ' h o o g e n g e v e n m i n d e r g o e d e i n f o r m a t i e s . G e b l e k e n is e c h t e r d a t de tweede m e t h o d e h e t b e s t e v o l d o e t k e n i n g v a n de c o r r e l a t i e s z o n d e r c o r r e c t i e v o o r

(bere

'spuriousness').

De r e d e n h i e r v a n i s g e l e g e n in h e t feit d a t bij u i t s l u i t i n g v a n de operator zelf v o o r a l d i e o p e r a t o r e n w o r d e n g e k o z e n d i e p o s i t i e v e e n n e g a t i e v e ladingen h e b b e n in v e r s c h i l l e n d e f a c t o r e n . D e correlaties v a n d e z e o p e r a t o r e n zijn e c h t e r slechte s c h a t t i n g e n v a n d e ladingen ais er v e r s c h i l l e n tussen de v a r i a n t i e s v a n de o p e r a t o r e n zijn (zie paragraaf

4.3.). E e n v e r b e t e r i n g v a n de k e u z e v a n de u i t g a n g s v a r i a b e l e is

gevonden d o o r toepassing v a n e e n s p i e g e l i n g , zoals o o k door T h u r s t o n e (1947, p . 1 5 3 ) b i j d e centroïd m e t h o d e w o r d t u i t g e v o e r d . E e r s t w o r d t n a g e g a a n of e r o p e r a t o r e n zijn d i e n e g a t i e f c o r r e l e r e n m e t d e s o m s c o r e , v e r v o l g e n s w e l k e o p e r a t o r h e t h o o g s t n e g a t i e f c o r r e l e e r t . D e z e operator

wordt dan gespiegeld: zijn 1-waarden worden 0, zijn O-waarden 1. De nieuwe somscore wordt berekend en weer de correlaties van de operatoren met deze somscore. De operator met de hoogste negatieve correlatie wordt weer gespiegeld enz. Deze bewerking stopt als er geen negatieve corre-


99

laties zijn of als er meer dan driekwart van de operatoren zijn gespiegeld. De beschreven clustering zullen we nader verduidelijken met een voorbeeld. Het ging hierbij om de mate van overeenkomst te analyseren tussen klassificaties van intelligentietests, beoordelingen en niveau's van de vooropleiding bij 49 aspirant mijnscholieren (A.M.crs). In tabel 4.5.1. staan de operatoren van dit onderzoek. Tabel 4.5.1. Operatoren A.M. onderzoek 1. Beoordeling 'algemene intelligentie' door psycholoog en assistent op grond van alle gegevens. 2. Beoordeling 'algemene intelligentie' door psycholoog op grond van alleen een gesprek. 3. Beoordeling 'algemene intelligentie' door assistent op grond van alleen een gesprek en observaties in discussiegroepen en buitenproeven. 4. Verstandelijke Leeftijd Ontwikkeling Test (VLOT). 5. Algemene Intelligentie test van Coetsier (C.I.). 6. Progressive Matrices, 1938. 7. Letterreeksen A 8. Letterreeksen a 9. Niveau van de vooropleiding.

In tabel 4.5.2. staan de nul en één coderingen van de 49 aspirant mijnscholieren.

'Л

Q

> о ω о

о

tu

ш о N

и 4)

ö о

I с С!

3 Я

№

ш и о о 0

О ел

m

<Ті.-.іУЧСТ\СО00Г-~СЧ.—

—•— О — '

іЛ

0<*С0С )п-|СЧч0О00\0

— О О О "

—

σ>-*Γ~νΟ1/ί<1·σΐίΟ000Ο00\Ο

— ' - О —

—

— '- — — О

О О ' - О О О ^ - — . о —

о

О

— О О О О — О —

— — О-- — О О — — —

— — О —

— ΟΓ^Ρ1ιΝ\βΓ^.Ο·<ίυ"|~-υ"ί—

— — О О О О

О — — О О О — ' О О

— — — О ' - О О

— — О О О —

— О О ' - О ' - О О О О О О О О О — •

— О — —• — — — О О О О О О О О

— О — О ™

О ^ - О О О

О О О О

^- г-, о — —

О О О О О О — ' — О — О О — — О — О О О О О О — • — О О - ' О О О — О — О — О О — *- — — о

— — —'О — — — О О О — О О О О О —

— о

— — — — о о о — — о о —

— О О — — — — — О — — О О О О — О О О О О О — — О О — О О — — О О — о о о — — —о — — — о — — — —

— — о — о о о — о — — о о о — — о — о — о о о о

— О — — '

„ „ „ „

— о о — — о о о о о о о о го —0 „ „ „ ^

— — о — о о о

о о 'Л и m а. ЧЧ ω 0 и си

С

_

0

0

0

0

0

0

0

0

0

„

0

„ „

0

0

— о — о о о

0

0

0

0

» _ „

0

— — о о о о

„ „ — о о

0

0

„

0

0

„

—

о

_ о о — — о — —

— о — о — — о — — о — о

—'<"*•! го ^ - J - L O O I ^ - O O O ^ O - ' O v l i O ^ r i n v O r ^ O O ^ O — ' C N M - Í U I t O I ^ O O O ^ O — С Ч С О ч Г и Ч ч О Г ^ - С О С ^ О — ' С М О - ^ Ю ^ О Г ^ О О ^

г

· — — О О О О О О — о — о — — о о — — о о о — о — о о — — о — о — — — — — о о — — о — —

CN

— О — — — — — О О О О О О

и о

4-1 Ol

и а а, ;j

101


л. somscore voor proefpersoon 1 bij alle operatoren is 9, voor proefpersoon 2: 1, proefpersoon 3: 5. Er staan resp- 9, 1 en 5 één coderingen in de betreffende rijen. Berekenening van de point-biserial r tussen de somkolom en de operatorkolom 1 t/m 9 geeft de volgende negen correlaties: 1; 0,74, 2; 0,74, 3; 0,43, 4; 0,74, 5; 0,82, 6; 0,37, 7; 0,69, 8; 0,61, 9; 0,49. De uitgangsvariabele is dus 5; de Algemene Intelligentietest van Coetsier. In tabel 4.5.3. staan in de eerste kolom de correlaties van operator 5 met de andere operatoren. De hoogste correlatie is die van 1; de beoordeling van de psycholoog en assistent. De tweede kolom geeft de correlaties van 5 en 1 met de andere operatoren. Operator 2 geeft de hoogste correlatie; de beoordeling van de psycholoog. De derde kolom geeft de correlaties van 5, 1 en 2. De hoogst correlerende is nu 4; de VLOT. De vierde kolom wijst 7 aan; de Letterreeksen A. De vijfde 8; de Letterreeksen a en de zesde 9; het niveau van de vooropleiding. Deze correlatie is echter vrij laag. Voor testscores en beoordelingen is een overeenkomstindex van 0,40 tot 0,60 het meest aangewezen. Dit blijkt ook bij opname van

operator 9. De

ladingen van het cluster in de zevende kolom lopen dan van 0,86 (74%) tot en met 0,50 (25%). Tabel 4.5.3. De correlaties bij de verschillende stadia van het eerste A.M. cluster stadia operator

1 1 2 3 4 5 6 7 8 9

2

0,68 0,67 0,00 0,51 (1,00) 0,00 0,56 0,52 0,18

3

(0,91) (0,82) 0,60 (0,82) 0,00 0,23 0,55 0,62 (0,92) (0,92) 0,29 0,18 0,58 0,60 0,55 0,52 0,30 0,33

4

5

6

7

(0,79) (0,79) (0,79) (0,77) (0,82) (0,81) (0,68) (0,61) 0,28 0,30 0,29 0,30 (0,79) (0,74) (0,72) (0,72) (0,88) (0,87) (0,87) (0,86) 0,25 0,17 0,15 0,15 0,57 (0,72) (0,72) (0,72) 0,51 0,53 (0,68) (0,63) 0,36 0,36 0,33 (0,50)

102

UITVOERING V M DE ANALYSE

Duidelijk is aan de correlaties af te lezen dat de clustering de algemene variantie versterkt (operator 4 gaat van 0,51 naar 0,62, operator 9 van 0,18 naar 0,36) ten koste van de specifieke (operator 5 gaat van 1,00 naar 0,86, operator 1 van 0,91 naar 0,77). Het resultaat van de analyse is een bevestiging van de bevindingen van Meehl (1954) ten aanzien van klinische predicties. De begripsvaliditeit van de psychologenbeoordeling (operator 2) is lager of gelijk aan die van de tests. Een bevestiging van de juistheid van deze interpretatie wordt ook verkregen door de correlatie met het niveau van de vooropleiding (operator 9). Het is echter mogelijk dat deze correlatie is ontstaan door contaminatie met operator 1. Bij opname van deze operator in het cluster (stadium 2) gaar de correlatie van 9 van 0,18 naar 0,30. In de volgende stadia wordt echter deze correlatie niet duidelijk meer verhoogd. Aan deze predictieve validiteit kan dus niet veel waarde worden gehecht. Ook de beoordeling op grond van alle gegevens (operator 1) heeft niet de hoogste lading. De intelligentietest van Coetsier voldoet in dat opzicht beter. Dit kan komen doordat de assistenten duidelijk een andere opvatting hebben over 'algemene intelligentie' (operator 3). Opvallend zijn namelijk de lage correlaties van de beoordelingen van de assistent (3) en van de Progressive Matrices (6). Het is mogelijk dat deze een aparte cluster vormen. Door de analyse te herhalen maar nu alleen op de overgebleven operatoren (3, 6 en 9), kan worden nagegaan of er inderdaad sprake is van een tweede A.M.cluster. Hierbij dienen echter wel de operatoren van het eerste cluster te worden uitgesloten, anders is de kans groot dat het eerste cluster weer terug komt. Door berekening van de correlaties van de uitgesloten operatoren kan worden nagegaan in hoeverre zij ladingen hebben in het tweede cluster, zgn. tussenvariabelen zijn.


103

De mate van uitsluiting van operatoren die àl in clusters zijn opgenomen, is, zoals al aangegeven, verschillend voor exploratief- en toetsingsonderzoek. In het eerste geval kan geen enkele operator, die al opgenomen is, in een ander volgend cluster komen. Hierdoor wordt een duidelijk inzicht in de structuur van de intercorrelaties verkregen. De clusters zijn alle in voldoende mate onafhankelijk. Bij toetsing gaat het meestal niet om exploratie van de structuur, maar om het beste cluster. Om die reden wordt in deze vorm van de analyse alleen voor de keuze van de uitgangsvariabele operatoren, die al zijn opgenomen, uitgesloten. Meestal is dan het eerste cluster het bedoelde. Soms echter is een tweede cluster toch beter: bijvoorbeeld doordat er meer operatoren in zijn opgenomen en daardoor het cluster representatiever is. Soms ook heeft een volgend cluster een hogere K.R.(20). De kans dat het laatstgenoemde resultaat wordt verkregen is echter bijzonder klein: 1 tot 2 maal op de twintig toetsingen. Blijkbaar heeft de spiegelmethode voor de keuze van de uitgangsvariabele een grote mate van trefzekerheid.

104


4.6. Controle van de clusters

De evaluering van de verkregen clusters kan allereerst geschieden op grond van het aantal operatoren dat in ieder cluster is opgenomen. Het grootste cluster is meestal het belangrijkste, het bedoelde. Uiteraard is dit niet altijd het geval. Controle moet plaats vinden op grond van de inhoud van de operatoren. Het kan zijn dat de operatoren een niet-bedoeld aspect gemeenschappelijk hebben in tegenstelling met operatoren, die niet in het cluster zijn opgenomen. Dit zijn dan meestal methodische clusters als bijv. alle negatief gestelde vragen, alle moeilijke vragen, alle •openend' vragen of alle aan het eind van het onderzoek gestelde vragen. Voortdurend moet men bedacht zijn op dergelijke clusters. Ter adstructie worden hier drie onderzoekingen gereleveerd, waar een methodische cluster voorkwam. Bij de z.g. kapittelenquête (zie paragraaf 4.1.) viel de N.I.P.G. Satisfactieschaal in eerste instantie uiteen in twee clusters van alle positief gestelde- en van alle negatief gestelde vragen (Molenaars en Jansen van der Süchte, 1968). Dit kwam doordat de niet-beantwoorde vragen steeds dezelfde codering hadden gekregen, in plaats van bijvoorbeeld een aselecte codering van nul en een. Een onderzoek bij 100 bakkers gaf als eerste en grootste cluster alle 'open-end' vragen van de enquête, gecodeerd met 'antwoord gegeven' (1) en 'geen antwoord gegeven' (0). Hierbij is duidelijk sprake van een instelling tegenover het onderzoek. Er zijn personen die gesloten zijn en weinig zeggen, terwijl anderen altijd een antwoord geven. Starren (1965) kreeg bij 105 jongens uit de eerste klas van de Technische Vakschool (Chemische Bedrijven, N.V. Ned. Staatsmijnen) een tweede cluster van 24 vragen, waar geen enkel criterium


105

(cijfers, tests en beoordelingen) mee correleerde. Bij nadere inspectie van het cluster viel op, dat er veel vragen (17 van de 24) voorkwamen uit de autobiografische vragenlijst, die in het onderzoek, dat gemiddeld twee uur duurde, aan het eind was afgenomen. De vragen betroffen verder topics, die al in de voorafgaande twee vragenlijsten aan bod waren geweest. De conclusie was dat dit cluster denkelijk het gevolg was van een stereotype wijze van beantwoording tengevolge van een toegenomen weerzin voor de vragen. Een tweede formele controle geeft de uitkomst van de K.R.(20) of (21) formule. Deze moet minstens significant zijn (zie bijlage 1.4.). Rekening moet daarbij gehouden worden met het feit, dat deze formules te hoge waarden geven (zie paragraaf 3.6.). Als significantiegrens dient dus minstens de 1% drempel te worden gebruikt (zie ook paragraaf 4.1.). Absoluut gezien zijn clusters met K.R.(20) waarden beneden 0,50 vrij dubieus en moet er aan dergelijke clusters niet veel waarde worden gehecht. Naast de K.R.(20) formule is vooral bij controle-onderzoek de divergerende validiteit belangrijk. De correlaties tussen de gevonden clusters moeten voldoende laag zijn in ieder geval lager dan de gebruikte overeenkoms t index. Daarnaast moet gekeken worden of de ladingen van operatoren niet te veel variëren (zie bijlage 1.2.). Als dit het geval is, is er meestal met een te lage overeenkomstindex gewerkt. Bij een te hoge overeenkomstindex daarentegen komen er teveel specifieke en kleine clusters. Een specifiek cluster bestaat maar uit één operator; er correleert geen één andere operator met de betreffende boven de gestelde overeenkomstindex, of alleen operatoren die al in een cluster zijn opgenomen. Het is verstandig aan dergelijke clusters geen waarde te hechten

I Oh

LITVOERING V A N DE ANALYSE

Bij e x p l o r a t i e f o n d e r z o e k k a n h e t v o o r k o m e n , dat kleine clusters onvoldoende tot h u n r e c h t k o m e n . Operatoren n a m e l i j k , die in v o o r a f g a a n d e clusters v o o r k o m e n , k u n n e n n i e t m e e r in volgende clubters w o r d e n o p g e n o m e n . D e z e w e r k w i j z e is n o o d z a k e l i j k o n o n a f hankelijke clusters te v e r k r i j g e n . Inspectie v a n d e correlaties van alle operatoren (ook de n i e t o p g e n o m e n e ) leert w e l k e operatoren tussenvariabelen z i j n d . w . z . ladingen h e b b e n in m e e r d a n é é n cluster. Door n u deze o p e r a t o r e n samen m e t d i e v a n h e t cluster in e e n tweede bewerking als pivot o p te g e v e n , k u n n e n d e r g e l i j k e clusters beter worden gepresenteerd. E e n correlatie m e t een cluster betekent n o g n i e t dat de o p e r a t o r tot het cluster k a n w o r d e n gerekend. Niet-voorziene n e g a tieve correlaties m e t andere n i e t o p g e n o m e n , m a a r w e l e n hoger c o r relerende o p e r a t o r e n , k u n n e n tot gevolg h e b b e n d a t de operator toch niet voldoet. V o o r a l w a n n e e r h e t resultaat bestaat u i t v e e l kleine c l u s ters dient m e n b e d a c h t te zijn op e e n t o e v a l s r e s u l t a a t . E e n dergelijk resultaat k a n w o r d e n v e r k r e g e n bij aselecte d a t a . V o o r a l bij o n d e r zoekingen m e t veel m e e r o p e r a t o r e n d a n elementen is h e t a a n te bevelen de d a t a h i e r o p te c o n t r o l e r e n . B i j e e n serie b e s l i s s i n g e n , zoals in de iteratieve c l u s t e r a n a l y s e plaats v i n d t , k u n n e n n a m e l i j k - o o k als w o r d t gewerkt m e t e e n 1% significantiedrempel v o o r d e o v e r e e n k o m s t index - r e s u l t a t e n w o r d e n v e r k r e g e n , die specifiek zijn voor de o n d e r zochte steekproef e n d i e n i e t kunnen w o r d e n g e g e n e r a l i s e e r d . Het aantal b e s l i s s i n g e n dat in de analyse plaats v i n d t , is gelijk aan ^ n ( n - l ) , w a a r b i j η h e t aantal operatoren i s . ledere o p e r a tor w o r d t v e r g e l e k e n m e t alle andere o p e r a t o r e n , w a a r v a n deze v e r g e lijking n o g niet h e e f t plaats g e v o n d e n . H e t aantal t o e t s i n g e n is d u s

de som van de reeks: (n-1), (n-2), ... (n-n-1), (n-n). Deze som is

UnVOEKLNC VAN DE ANALYSE

107

gelijk aan |n(n-]). Door herhaalt te toetsen (te vergelijken met de overeenkomstindex) kunnen 'significante' correlaties voorkomen, die geen betekenis hebben. Het is nu mogelijk om dit aantal te berekenen met behulp van het binomiale model, zoals beschreven door Jones en Fiske (1953). Met dit model kan achteraf - nadat de analyse is uitgevoerd - na worden gegaan in hoeverre het totale resultaat van de analyse toevallig genoemd moet worden. Het is ook mogelijk met het binomiale model bepaalde gedeelten van de resultaten te toetsen op hun toevalligheid. Bij kleine aantallen toetsingen is het echter adequater om het chi-kwadraat model toe te passen, omdat dit model scherper is: het houdt rekening met de grootte van de gevonden correlaties en dichotomiseert ze niet in 'significant' (groter dan de overeenkomstindex) en 'niet significant' (kleiner dan de overeenkomstindex). De chi-kwadraat toets is echter veel bewerkelijker, terwijl bovengenoemde bezwaar bij veel operatoren (meer dan 20) niet zo ernstig is. Een probleem wordt gevormd door de eis van onafhankelijkheid. De toets gaat ervan uit, dat voor iedere toetsing een nieuwe steekproef is getrokken. Dit is bij de clusteranalyse niet het geval. Er wordt steeds met één en dezelfde steekproef gewerkt. Jones en Fiske (1953, p.378 en 9) achten dit probleem niet zo ernstig voor een intercorrelatiematrix, waar £n(n-l) intercorrelaties van η variabelen worden bekeken. Hun conclusie is: "the binomial test, if interpreted with caution, may serve as an approximate index of independence among the η variables" (p.379). Zij hebben deze conclusie in drie onderzoekingen empirisch bevestigd gevonden. Hetzelfde resultaat is ook hier verkregen bij de simulatie-onderzoekingen (zie paragraaf 6.1.). Bij de iteratieve clusteranalyse wordt weliswaar niet uitgegaan van de intercorrelatie-


108

matrix, echter ook £n(n-l) maal getoetst. Bovenstaande conclusie kan dus ook voor deze analyse worden gesteld. De juistheid hiervan is gecontroleerd in twee simulatie-onderzoeken (zie paragraaf 6.2.2.) en bevestigd bevonden. Uitvoering van de binomiale toets is bij de clusteranalyse echter niet uitvoerbaar, als het aantal toetsingen vermenigvuldigt met de significantiegrens niet duidelijk minder is dan het aantal operatoren. Het is namelijk in deze analyse niet mogelijk om meer dan (n-1) 'significante' correlaties te vinden. Hierdoor wordt afhankelijk van het aantal operatoren de minimale significantiegrens vastgelegd. Deze significantiegrens bepaalt nu weer samen met de grootte van de steekproef de minimale overeenkomstindex. In tabel 4.6.1. is dit nader uitgewerkt en wel met een benaderingsformule waarbij

t{ (13) N г

" > ¿т } 2 + 3 z(rc)

Hierbij is N

de grootte van de steekproef,

t

de standaardnormale t-waarde bij α,

α

de significantiegrens,

η

het aantal operatoren,

ζ

de Fisher z-waarde, en

r

de overeenkomstindex

с

109


Tabel 4.6.1. Minimale overeenkomstindex voor toetsing van de resultaten van de clusteranalyse op toeval bij verschillende steekproefgrootten en verschillende aantallen operatoren. aantal operatoren

grootte van de steekproef

2--10

3-71

3-43

3-31

3-18

3-12

3-9

11--20

72-99

44-60

32-43

19-25

13-16

10-11

21--100

100-169

61-101

44-72

26-41

17-25

12-17

101--200

170-199

102-119

73-86

42-48

26-29

18-20

201--1000

200-272

120-164

87-115

49-65

30-39

21-26

overeenkomstindex

>

>

>

>

»

>

De gebruikte formule voor tabel 4.6.1. die uitgaat van Fisher's z-coëfficiënt is gecontroleerd met de exactere formule N à tj{a b 1/n-l; df = N-2} (1/r^-l) + 2 waarbij t. de student's t is met als vrijheidsgraden (df) N-2. Hierbij bleek dat de uitkomsten van deze formule nagenoeg overeen kwamen met de benaderingsformule zodat er geen bezwaar is om formule 13 te gebruiken, die geen iteraties behoeft. Als voorbeeld zal bovengenoemde toetsing hier worden uitgevoerd voor de resultaten van de tiende aselect getrokken groep zusters van de z.g. kapittel-enquête (zie paragraaf 4.1.). Bij een geheel toevallige resultaat zouden bij 15 vragen, volgens de formule voor het gemiddelde van een binomiale verdeling, gemiddeld 6 significante correlaties zijn gevonden.

110


M = i · η · (ti-1) · Ρ = i · 15 · (15-1) · Pírc > 0,30} = 105 · 0,06 = 6,3 De overeenkomstindex (г ) is 0,30. De kans, dat een nul-correlatie in een steekproef van 40 elementen groter of gelijk is aan 0,30, is 0,06 (zie bijlage 1.1. geval la). Berekening van de standaard de viatie met behulp van de formule van de binomiale verdeling geeft: S.D. = / in · (n-1) · Ρ · Q = / 105 · 0,06 · 0,94 = 2,4 Bij analyse van groep 10 met een overeenkomstindex van 0,30 werden twee clusters gevonden: één bestaande uit elf operatoren en één uit twee operatoren. Dit betekent dat er (11-1) + (2-1) = 11 correlaties zijn gevonden groter of gelijk aan de overeenkomstindex. Het aantal operatoren van de clusters moet voor ieder cluster met één worden verminderd, omdat bij de keuze van de eerste operator geen vergelijking met de overeenkomstindex plaats vindt. De kans, dat bij aselecte data van 15 operatoren bij 40 elementen, 11 of meer significante correlaties voorkomen, is nu gelijk aan:

P{t>l,96}= 0,025 De nulhypothese kan dus worden verworpen. De data van deze groep zijn niet aselect en de clusters geen toevalsresultaat. Bij bovengenoemde berekening is de benadering van de normaalverdeling voor de binomiaal gebruikt. Deze benadering is toegestaan, omdat M groter is dan 5 en Ρ kleiner dan 0,5 (zie o.a. Hoel, 1962, p.109).


111

De overeenkomstindex van 0,30 voldoet aan de minimum waarde van 15 operatoren bij een steekproefgrootte van 40 (zie tabel 4.6.1.)· Wanneer de analyse met een overeenkomstindex van 0,25 was uitgevoerd en dus de index lager was dan de minimumwaarde nodig voor de toetsing, was de nulhypothese niet verworpen. In dat geval is P{r Ъ 0,25} = 0,096 en dus M = 10,08 en S.D. = 3,03 en dus Pit £

ö - o — } = 0,889. (De resultaten van de analyse van groep 10

zijn hetzelfde bij een overeenkomstindex van 0,25 of 0,30). Bovengenoemd resultaat is het gevolg van een onvoldoende 'power' in dat geval van de toets. Het gemiddeld aantal 'significante' correlaties, dat dan bij toevallige resultaten kan voorkomen, is te hoog in vergelijking met het aantal dat maximaal kan worden gevonden. De formules, waarmee de overeenkomstindices van tabel 4.6.1 zijn berekend, stellen als eis dat dit gemiddelde aantal altijd kleiner is dan een \ n. Samenvattend kan worden gezegd dat controle van de clusters kan plaats vinden door a. het aantal operatoren van de cluster: dit moet voldoende groot zijn, b. bepaling van de gemeenschappelijke aspecten van de operatoren van het cluster in verschil met niet opgenomen operatoren: deze aspecten moeten relevant zijn, geen mogelijke niet-relevante condities betreffen, c. de K.R.(20) of (21) uitkomst moet significant zijn. Verder dient te worden nagegaan d. of er niet te veel variatie in de ladingen van de clusteroperatoren is, e. bij controle-onderzoek of de correlaties met andere opgegeven

112


clusters volgens verwachting aan- of afwezig zijn, of bij exploratzef

onderzoek door inspectie van de correlaties van

de niet-opgenomen operatoren of eventuele verstopte clusters aanwezig zijn, en f. vooral bij veel kleine clusters of het resultaat niet toevallig is (zie tabel 4.6.1.)·


113

4.7. Rekenprogramma

Het programma van de bewerking heeft drie onderdelen, te weten: PREFAB; keuze van de uitgangsvariabele ITERA ; de vorming van het cluster OUTPUT; de berekeningen voor de output. De input bestaat uit: 1. een nul en één matrix van operatoren (1 ... i ... η) en proef personen of stimuli (1 ... b ... Ν ) , 2. een overeenkomstindex: r

per pivot,

3. pivots of sets van opgegeven operatoren (1 ... с' ... С ) . Bij exploratie oontrote

omvat de pivot alle operatoren (1 t/m η ) , bij

meestal een gedeelte van de operatoren. In tabel 4.7.1.

staat het blokdiagram van het programma. De daarbij gebruikte afkortingen hebben de volgende betekenis: η ; totaal aantal operatoren, N ; totaal aantal proefpersonen of stimuli, 1 ; het aantal operatoren opgenomen in de cluster, с ; cluster (1 ... с ... С).

114


Tabel 4.7.1. Blokdiagram hoofdprogramma

lees 0 en 1 matrix n/N /

lees pivot, (toetsend of exploratief)

-- ~ τ input alle i, die nog niet 1 zijn

"

- -

lees pivot (toetsend of exploratief)


115

De onderdelen PREFAB, ITERA en OUTPUT geven elke keer één cluster. Afhankelijk van het aantal operatoren in de clusters gaat het progransna door of stopt. De stopregels zijn de volgende: a. wanneer alle operatoren i van de pivot zijn opgenomen in clusters (Σ1 =n ) en er geen pivot meer is, stopt het programma, b. wanneer het onderzoek niet exploratief is en er vijf clusters zijn gevonden (c = 5) en er geen pivot meer is, stopt het programma ook. Bij de controterend-toetsende

bewerking worden er dus nooit

meer dan vijf clusters per opgegeven pivot berekend. Deze beperking is om economische redenen ingevoerd. De input voor PREFAB is of een nieuwe pivot of de oude pivot met uitschakeling van de operatoren van de gevonden clusters. Deze input kan afwijken van die van ITERA. Bij de oontrolerend'toetsende

bewerking vormen ook de operatoren

van de gevonden clusters de input. In tabel 4.7.2. staat het blokdiagram van PREFAB. De gebruikte afkortingen hebben de volgende betekenis: de somscore van proefpersoon of stimulus b, r. ι k

i

de correlatie van S met operator i, aantal spiegelingen van operator i.

116


Tabel 4.7.2. Blokdiagram PREFAB (bepaling uitgangsvariabele) lees data van pivot c'

Í bepaal S. over alle i van с'

± corre leer S, met alle ι van с' : г. ne e

ее—у-

bepaal i waar voor (I - г.) minimaal

spiegel i О -> I, I •*• 0

bepaal i waarvoor |г. maximaal

l

—<—.І

χ is uitgangs variabele

tel aantal spiegelingen

per i : к.


117

Dit programma gaat door met spiegelen van operatoren zolang als er één correlatie negatief is (r. < 0) of wanneer het totaal aantal maal dat er gespiegeld is (Ik.) gelijk of groter is dan drieι kwart van het totaal aantal operatoren. De formule voor berekening van de correlatie r is de bekende productmoment formule =

Ν Σ t · S - (Σι) (IS) 2

/[Ν Σ t - ( Σ Ο

2

2

2

][Ν Σ S - (Σ8) ]

Hierbij is t de uitslag van de operator (t = 0 of t = 1), S de somscore, en N het totaal aantal proefpersonen of stimuli b. Alle summaties vinden plaats over 1 ... b ... N. In tabel 4.7.3. staat het blokdiagram van ITERA. De af kortingen hebben de volgende betekenis: r ; de maximale correlatie van alle r. bij deze S, m ι J ' с ,; de clusters van de pivot с*.

118


Tabel Α.7.3. Blokdiagram van ITERA (bepaling cluster) lees overeenkomstindex: г

lees uitgangsvariabele: i

lees pivot с' (toetsend of exploratief)

i •*· S

input pivot ejcploratief ? "—ja*-" zonder i van c c , nee input pivot

correleer S met alle i nee bepaal i waarvoor r. 1 maximaal: г ι m

119


De cluster wordt dus uitgebreid met een operator, zolang de absolute waarde van de correlatie maar gelijk of groter is dan de overeenkomstindex (|r [ 5 r ). Voor de opname van de nieuwe operator moet nog eerst worden nagegaan of hij niet gespiegeld moet worden (r is bij controterend-toetsende lerend-exploratieve

< 0?). De input

bewerking de gehele pivot, bij de

of exploratieve

aontro-

bewerking de pivot met uitsluiting

van de al in clusters van de pivot opgenomen variabelen. In tabel 4.7.4. staat het blokdiagram van OUTPUT. Als print wordt gegeven: 1. bij de eerste cluster de pivot en zijn overeenkomstindex, 2. het nummer van de cluster, 3. de operatoren van de cluster, 4. de clusterscores (S.) per proefpersoon of stimulus, 5. de K.R.(20), 6. de correlaties van S met atte

operatoren ook van andere pivots, en

7. de correlaties van S met de S van andere clusters. In tabel 4.7.5. staat een voorbeeld van een mogelijke print. De tabel spreekt verder voor zichzelf.

120

UITVOERING VAN ÜE ANALYSE

Tabel 4.7.4. Blokdiagram OUTPUT

print lees nummer cluster : с

lees pivot en r

lees nummers i van с

pivot с' nummers i van с', r cluster 1

cluster с

nummers i van с tel énen van i van c: t. deel t door N : p. bereken: Σ p.(l-p.) = V

b · S.

χ

lees S, _ bereken:σ s

K.R.(20)

bereken K.R.(20) ι · r. с

lees 0-1 matrix bereken r van S met alle i

lees S van andere clusters bereken r van S met S

return

is

σ s

nee

ι · -r. is

correlaties met voorafgaande clusters


121

Tabel 4.7.5. Voorbeeld van een print

pivot II

pivot с

1

5

6

7

9

10 21

31

32

34

40

42

51

54

62

64

65

66

71

75

8

95

96

97

98

-

nummers ι van с

0,30

overeenkomstindex

cluster 1

cluster с

75

95

96

97

98

21

71

54

59

69

1.7

2.11

nummers i van с

3.16

4.15

31.15

32.6

33.8

34.2

61.4

62.12

63.7

64.10

K.R.(20) = 0,868 1.

clusterscores b

sb

K.R.(20)

0,044

2.

0,219

ladingen (onderstreept) en

11. -0,034

12.

0,003

correlaties met alle andere

21.

0,465

22.

0,078

Operatoren

3 1 . -0,069

32.

0,0

i · r.

41.

0,486

42.

o,

51.

0,278

52.

61.

0,471

6

7 1 . -0,510 81.

0,395

91.

0,002

I 1

0,03

I 2 -0,16

IS

/ /

correlaties met voorafgaande clusters

122


Bovenstaande rekenprogramma kan met een rekenmachine worden uitgevoerd op data met een n/N, die niet groter is dan 100 bij 200. Het is mogelijk een aantal vereenvoudigingen in te voeren onder andere door niet volledig in de verschillende stadia de correlaties uit te rekenen, berekening van de covariantie is meestal voldoende voor het nemen van de beslissingen. Sneller en nagenoeg foutloos vindt de berekening plaats wanneer een computerprogramma wordt gebruikt. De bewerking kan dan op veel meer data worden uitgevoerd, onder andere doordat overbelasting van het geheugen kan worden voorkomen door de 0/1 data met een UTMOST-programma op te bergen in de biniare posities van het geheugen. Hierdoor wordt het mogelijk de bewerking uit te voeren, afhankelijk van de computer, op data met een n/N van LODO bij 1000. Voor de berekening van de correlaties tussen de clusters moeten dan wel de somscores van de gevonden clusters worden bewaard. Dit kan problemen opleveren, vorrai omdat vaak niet bekend is hoeveel clusters gevonden zullen worden. Een oplossing is mogelijk door de somscores op tape te zetten en pas aan het eind van de analyse de correlaties te berekenen. De snelheid van het computerprogramma is voornamelijk afhankelijk van het aantal operatoren per pivot, het aantal pivots en het aantal clusters, dat wordt gevonden. Hoe meer clusters, hoe langer de bewerking duurt en wel voornamelijk door het vele printwerk. Het verdient daarom aanbeveling 'stoppen' in te voeren, als bijv. bij exploratie niet meer dan 1/5 i , clusters of bij toetsing niet meer dan 5. Gemiddelde tijden zijn voor bijv. 14 operatoren per pivot 90", 100 operatoren per pivot 20'. Veel hangt ook af van de


123

wijze waarop het programma is geschreven'. Het is bijv. mogelijk tijdens de print van een cluster door te gaan met de berekeningen voor het volgende cluster. Een verdere tijdsbesparing kan worden gevonden door alleen de correlaties uit te rekenen bij de output; het is niet nodig voor spiegeling of bepaling maximum de correlatie volledig te berekenen. Het is verder niet zo dat de gegeven blokdiagrammen een optimaal computerprogramma geven. Er kunnen op ver schillende wijzen vereenvoudigingen worden ingevoerd. C.H.J. Schreibers en H.E.M. Borgers hebben ieder een dergelijk programma geschreven voor de iteratieve clusteranalyse. De eerste in FORTRAN voor de Ш І АС III van de N.V. Nederlandse Staatsmijnen (Heerlen). De tweede in PL1 voor de IBM 360-50 van de Katholieke Universiteit (Nijmegen). Bij het maken van een computerprogramma verdient het aanbeveling contact op te nemen met één van deze programmeurs.

TOEPASSINGEN VAN DE ANALYSE

125

Toepassingen van de analyse 1. Inleiding Voor de toepassing van de analyse dient de onderzoeker een aantal beslissingen te nemen ten aanzien van de uitvoering. De analyse kan, zoals al is duidelijk gemaakt, controlerend-toetsend, controlerendexploratief of explorerend worden uitgevoerd. Toepassing van de analyse met verschillende overeenkomstindices geeft de mogelijkheid de orde van de klassificatie te onderzoeken. Daarnaast kan de analyse als R-analyse worden uitgevoerd of als Q-analyse. In het eerste geval gaat het om klassificaties van operatoren of kenmerken en in het tweede geval om klassificaties van elementen. R- en Q-analyse van de data, hoewel principieel overeenkomstig, geven verschillende informatie over de data. De beslissing hierover hangt af van de soort

van toepassing.

Controlerend of explo-

rerend onderzoek is afhankelijk van de kennis, die aanwezig is over het betreffende gebied. Des te meer de onderzoeker in staat is een conditioneel model voor de data op tç stellen, des te meer kan hij controlerend te werk gaan. Het gaat hier om de vorm van

toepassing.

Hetzelfde geldt voor onderzoek naar de hiërarchie of orde van de klassificatie en predictie-onderzoek. Allereerst zullen de verschillende soorten van toepassingen worden behandeld, daarna zal op de vormen worden ingegaan.

126


5.2. Soorten van toepassing Om tot een adequate toepassing van de analyse te komen, zal de onderzoeker zich moeten realiseren wat het doel van het onderzoek is in het kader van de in de hoofdstukken 2. en 3. ontwikkelde theorie. Is het doel van het onderzoek informatie te verkrijgen over 'stimuli' of over 'individuen'? In de praktijk blijkt het antwoord vaak moeilijkheden op te leveren, omdat informatie over 'stimuli' vaak verkregen wordt met behulp van beoordelingen of uitspraken van personen. Meestal zijn deze personen echter onderdelen van de operatoren en geen 'proefpersonen', zoals bij tests het geval is (zie ook paragraaf 2.3.). De items van tests zijn ook op te vatten als 'stimuli', als elementen, die dragers zijn van bepaalde eigenschappen. Toch gaat het bij testconstructie om informatie over 'individuen', om differentiërende eigenschappen van mensen of dieren. Een duidelijke uitspraak op bovengenoemde vraag is mogelijk door na te gaan welke veranderingen met behulp van de informatie van het onderzoek aangebracht kunnen worden. Wanneer deze veranderingen de 'stimuli' betreffen, zoals bij leerprogramma's, functie-inhouden, woonplaatsen, televisieprogramma's, Produkten, goederen, werksituaties, organisaties het geval is, dan dienen de elementen van het onderzoek 'stimuli' te zijn. Gaat het echter om veranderingen van individuen, zoals bij om-, her-, bijscholing, counseling, school- of beroepskeuze en selectie het geval is, dan zijn de elementen 'individuen'. Het verschil correspondeert grotendeels met de objecten van respectievelijk de algemene psychologie en de differentiële psychologie. Een formeel criterium wordt gegeven door de vraag of de gebruikte 'stimuli' vallen onder de definitie van de operator, zoals gesteld in paragraaf 2.3. In dat geval gaat het onderzoek over 'personen'. Wanneer echter de 'personen' vallen onder de genoemde definitie, dan zijn de 'stimuli' de elementen van het onderzoek.


127

Een tweede uitspraak is nodig om te bepalen of R- dan wel Q-analyse moet worden uitgevoerd. Sinds de studie van Broverman (1961) is de reden van de controversie tussen Stephenson (1953) en Cattell (1952) over R- en Q-analyse duidelijker geworden. Beide analyses geven principieel dezelfde informatie. De clusters van R-analyse, waar operatoren op hun overeenkomst worden geklassificeerd, zijn directe transposities van de clusters van Q-analyse, waar de elementen worden geklassificeerd, onder voorwaarde, dat beide analyses uitgaan van een zelfde dubbelgestandaardiseerde (voor zowel de rijen als de kolommen) datamatrix. Dit laatste is nu meestal niet het geval en daarom geven beide analyses vaak een andere presentatie van de data. Voor een nul en één matrix (de data van de iteratieve clusteranalyse) betekent dit dat de p-waarden (de kans op code ëën) van de rijen gelijk dienen te zijn evenals de p-waarden van de kolommen. Wanneer dit het geval is, is een uitspraak over R- en Q-analyse niet relevant. Beide analyses geven dezelfde weliswaar op verschillende wijze gepresenteerde informatie, namelijk zodanig dat de ladingen transposities zijn van de scores en omgekeerd. R-analyse geeft een klassificatie van de operatoren of kenmerken en maten voor de elementen. Q-analyse geeft een klassificatie van de elementen en maten voor de kenmerken. Een beslissing over R- of Q-analyse is mogelijk door na te gaan in hoeverre de voorwaarde van gelijke p-waarden acceptabeler is voor de kolommen (operatoren) of voor de rijen (elementen). In het eerste geval is R-analyse de aangewezen methode, in het tweede Q. De vraag wordt dan: kunnen operatoren of juist elementen met extreme p-waarden uit het onderzoek worden gemist? Bij prestatietests, vragenlijsten of beoordelingsschalen is vaak het eerste het geval items met zeer grote of zeer kleine moeilijkheidsgraad of populariteitsgraad zijn vaak niet relevant en dus is R-analyse de aangewezen methode. Individuen of proefpersonen met zeer hoge of lage p-waarden kunnen echter niet worden weggelaten, omdat het om

128


intevbnaividiAeelondevzoék

of vergelijkingen tussen mensen gaat.

Bij projectietests is echter een weinig voorkomend antwoord soms zeer relevant en moet de testafname bij proefpersonen, die geen of nagenoeg geen antwoorden geven, als mislukt worden beschouwd. Het gaat namelijk dan niet om niveau-bepalingen van de proefpersoon voor wat betreft bijvoorbeeld zijn creativiteit, maar om diagnose van zijn belevingswereld. Het gaat om typering van belevingen, om type-onderzoek. aangewezen. Bij betekenisonderzoek

Q-analyse is dus

van stimuli kunnen ook geen kenmerken

worden gemist, terwijl bij onderzoek van psyshische

functies

juist

stimuli met sterk afwijkende p-waarden gehandhaafd dienen te worden. Het eerste onderzoek vraagt dus om Q-analyse, het tweede om R-analyse. Het in tabel 5.2.1. gegeven schema vat bovenstaande samen. Tabel 5.2.1 . Uitvoeringsschema van de analyse afhankelijk van het doel van het onderzoek

elementen

R-analyse

Q-analyse

stimuli

psychische functies

betekenisonderzoek

proefpersonen

interindividueel

type-onderzoek

onderzoek


129

1. Betekenisonderzoek Eén van de meest bekende voorbeelden van betekenisonderzoek is het gebruik van de Semantische

Differentiaal

van Osgood (zie Neder-

lands Instituut van Psychologen, 19.2., p. 220). Het doel van deze meetschaal is de bepaling van de affectieve betekenis van begrippen. Met de clusteranalyse kan nu worden nagegaan hoe de klassificatie is van een omschreven groep begrippen op grond van hun gemiddelde beoordelingen per factor of per polariteitsschaal van een groep beoordelaars. Het is daarbij niet nodig zich te beperken tot 'begrippen'. Ook 'beroepen', 'loopbanen', 'wegen', 'landen', 'woorden', kunnen op deze wijze worden geklassificeerd. Belangrijk hierbij is op grond van welke gezichtspunten of kenmerken de klassificatie moet plaats vinden. Het kan gaan om de beroepseisen, de mate van succes van loopbanen, de veiligheid van wegen, het nationaal bewustzijn van landen, de leesbaarheid van woorden. Voor deze kenmerken worden indices, beoordelingen of antwoorden verzameld en voor iedere stimulus moet zoveel mogelijk een gelijk aantal van deze kenmerken opgaan. Dergelijke onderzoekingen hebben meestal tot doel te komen tot een indeling of klassering van een groot aantal verschillende stimuli op grond van hun kenmerken. Hierdoor wordt een interpreteerbaar overzicht verkregen van de stimuli. Om die reden kunnen stimuli, waar nagenoeg alle kenmerken voor opgaan, of stimuli, waar juist geen enkel kenmerk op van toepassing is, buiten het onderzoek worden gelaten. Beide groepen vormen al een duidelijk onderscheidbare en ook interpreteerbare klasse. Voor de stimuli, waar gemiddeld 50% van de kenmerken opgaan, is echter een indeling op frequentie van het aantal kenmerken weinig doelmatig. Er moet dan gezocht worden naar groepen, die bepaalde kenmerken wel en andere kenmerken niet gemeenschappelijk hebben, dat wil zeggen naar clusters van stimuli.

130


De gegeven uitzettingen kunnen nader worden geïllustreerd met een analyse van beroepen van leerlingen van huishoudscholen. Dit onderzoek, dat is uitgevoerd door Scheerder en Kerkhoff (1969) betreft de analyse van een lijst van A7 beroepen opgesteld door beroepsdeskundigen en directrices van huishoudscholen als toegankelijk voor L.ILN.O.meisjes.

Deze beroepen zijn op achtien punten beoordeeld aan de hand van de eisen van de beroepsbeelden van de Documentatie Opleidings- en Studiemogelijkheden van het Rijksarbeidsbureau (Min.v.Soс.Zaken en Volksgez., 1963). De veertien beroepseisen van deze publicatie zijn de volgende. 1. Exact',

de aanleg, welke gericht is op het scherp

en nauwkeurig

onder

kennen van gegeven feitelijkheden: het toetsen van deze feite lijkheden al naar gelang van hun aard aan natuurwettelijke of door de mens gestelde namen; het oplossen van ten aanzien van de gegeven feitelijkheden, gestelde problemen, of op het vaststel len van de doelmatige toepassingsmogelijkheden en uitvoeringswijzen. De feitelijkheden kunnen zijn eigenschappen van stoffen, hoeveelheden, cijfermateriaal, etc. B.v. actuaris - apothekersassistent - boer - boekhouder - ad vocaat - technisch tekenaar. 2. Technisch',

de aanleg, welke gericht is op het doelmatig vormgeven aan

vaste stoffen en op het werken met deze doelmatig gevormde stof fen. Het gaat hier om het ontwerpen van de doelmatige vorm voor gebruiksvoorwerpen, machines, etc. om het vaststellen van de wijze van vervaardiging

en uitvoering en tevens om de uitvoering

zelf. B.v. metselaar - kleermaker - schoenmaker. 3. Organisatorisch: lijke

de aanleg, welke gericht is op het ordenen arbeid

van

mense

en materiële middelen, als regel productiemiddelen,

131


tot een doelmatig functionerend geheel. B.v. bedrijfsleider - boer - reisgids. 4. Verbaall

de aanleg, welke er op gericht is om gedachten

mondeling of

schriftelijk op een bevattelijke wijze te vertolken en om anderzijds te begrijpen hetgeen anderen hebben gesproken of geschreven. B.v. machinezetter - stenotypiste - schrijver - leraar. 5. Sociaal',

de aanleg, welke er op gericht is om taktvol en in een goede verstandhouding met mensen om te gaan en tevens aan een goede veretandhoudïng

tuseen

derden

onderling te bevorderen en tot

stand te brengen. Het gaat hier om begrip

en gevoel voor de

onderlinge verhoudingen en het verkeer tussen mensen. Dit om zichzelf en anderen welke men heeft te leiden en te richten, aan de samenleving aan te passen met respectering van de persoonlijkheid van anderen en tevens met handhaving van eigen persoonlijkheid en gezag. B.v. kinderverzorgster - onderwijzer - psycholoog - politieagent . 6. Kmetzinnig:

de aanleg, welke er op gericht is om een beleving op een

zodanige wijze te uiten, dat hierdoor bij anderen een analoge gevoelsstroom ontstaan. B.v. bloemenbinder - beeldhouwer - schrijver. 7. Materiaalgevoeli

de aanleg, welke er op gericht is om op grond van

waarnemingen en voorafgaande ervaring, aan te voelen welke toepassings- en bewerkingsmogelijkheden materialen bieden en hoe gegeven materialen moeten worden behandeld

en bewerkt.

B.v. metaaldraaier - broodbakker - kok. 8. Vormgevoel', de aanleg, welke er op gericht is, om de vorm en omtrek van voorwerpen scherp in zich op te nemen en in zijn geest

132


voor te stellen en om de juiste doelmatige vorm voor Produkten te

bepalen.

B.v. hoedenmaker - schoenmaker - beeldhouwer. 9. Aandacht',

sterk

de aanleg, welke er op gericht is, om de gedachten

op het werk te richten en gericht te houden. Het staat primair bij beroepen, waar het gaat om het sorteren, nakijken en tellen van produkten. ß.v. drukwerkkontroleur - chauffeur - machine-inpakker. 10. i\lauwkeurigheid:

de aanleg, welke er op gericht is om werkzaamheden

te verrichten welke aan enice

vorm van pveaisie

zijn ge-

bonden. Deze precisie kan betrekking hebben op afmetingen, de juiste plaats e.c. Het wordt hier alleen gebruikt als nadere bepaling van handvaardigheid. B.v. schoenstikster - knoopsgatenmaker - horlogemaker. 11. Toewijding:

zelf-

de aanleg, welke er op gericht is om zich met

overgave

op het werk toe te leggen.

B.v. verpleegster - onderwijzer - dienstbode - dierenverpleger. 12. Handvaardigheid:

de aanleg, welke er op gericht is om de bewegingen

en verrichtingen van de handen zodanig te besturen als door het werk wordt vereist. Het gaat hier om meer dan gewone handvaardigheid, welke niet door iedereen kan worden opgebracht. B.v. graveur - kleermaker - boetseerder - chirurg.. 13. Persoonlijk

voorkomen:

de uiterlijke verschijning en de aanleg om

door korrekt en gereserveerd optreden tegenover publiek en klanten een aangename indruk te maken. Het verschil met sociaal is, dat het hier niet

gaat om een nauwe omgang en ver-

keer met mensen, maar slechts om een oppervlakkig

en


133

voorbijgaand kontakt. B.v. kantoorbode - liftbediende - kondukteur - kelner. 14. Fysieke

inspanning',

beroepen, welke tamelijk veel lichamelijke

inspanning vereisen.

Aan de 14 eisen waren nog 4 toegevoegd, nl.: 15. Handvaardigheid belangrijker dan

toewijding.

16. Handvaardigheid belangrijker dan nauukeurigheid. 17. Handvaardigheid belangrijker dan aandacht. 18. Vormgeving belangrijker dan

handvaardigheid.

De beoordelingen werden op een niet-systematische wijze gegeven door een panel van beroepsdeskundigen onder leiding van L. van Geffen (G.I.T.P. Nijmegen en Psychol. Lab. Afd. Bedrij fspsychol.). In bijlage II.3. staat de nul en één matrix van dit onderzoek. Eén betekent de beroepseis is relevant, nul niet-relevant. Voor ieder beroep zijn 4 of 3 eisen aangegeven. Dit gaf geen problemen gezien het nagenoeg gelijke vooropleidingsniveau van de beroepen (beroepen uit de eerste vier klassen van de beroepsklassificatie). Vanwege het doel van het onderzoek (klassificatie van beroepen) is een analyse over de oordelen (Q-analyse) het meest aangewezen. De mogelijkheden voor informatie zijn dan ook goed: 47 over 18. De statistische betrouwbaarheid geeft echter, gezien de steekproefgrootte van 18, problemen. Ernstig moet rekening worden gehouden met kunstmatige correlaties bij een zo'n kleine steekproefgrootte. Tabel 4.6.1. leert dat alleen als een gemiddelde intercorrelatie van 0,60 tussen clustervariabelen wordt verwacht deze analyse zinvol uitvoerbaar is. Gezien de grote aandacht, die aan de oordelen is gegeven, ÍS. dit .££ÍÜL£]Ldenkelijk geen bezwaar. De^ analyse heeft dus plaats

134


gevonden over de 18 oordelen met een overeenkomstindex van 0,60. De analyse geeft 22 clusters, waarvan er 14 specifiek zijn. De K.R.(21) waarden van de 8 niet-specifieke clusters zijn alle significant. Totaal zijn 25 'significante' correlaties gevonden. Dit resultaat is duidelijk niet toevallig. Bij een toevalsresultaat zouden gemiddeld 9 'significante' correlaties zijn gevonden met een gemiddelde standaardafwijking van 3. De berekeningen hiervoor zijn als volgt (zie paragraaf 4.6.): t' = 0 > 6 0 / Ï 8 ^ 2 = 3 > 0 /1-0,36 Ρ { t' > |3,0|} = 0,008 M = i · 47 · (46-1) · 0,008 = 9 S.D. = /| · 47 · (46-1) · 0,008 · 0,992 = 3

We geven hier de gevonden clusters van de analyse met een overeen komstindex van 0,50. Gezien het resultaat van bovenstaande toetsing is daar geen bezwaar tegen. Bij 16 vrijheidsgraden is een correlatie van 0,50 significant voor 3^%. De clusters worden in dit geval beter gepresenteerd. Ieder cluster wordt beschreven met zijn beroepen, achter ieder beroep staat de lading van dit beroep in het betreffende cluster. Tevens worden de relevante eisen genoemd. Achter ieder genoem de eis staat de klassificatiemaat van deze eis. De klassificatiematen geven aan in welke mate de eisen relevant zijn voor de beroepen van het cluster. De maximaal mogelijke klassificatiemaat is gelijk aan éên. Een klassificatiemaat is namelijk het aantal keren dat de eis relevant is voor de beroepen van het cluster (de clusterscore) gedeeld door het totale aantal beroepen van het cluster (zie paragraaf 3.3.). Weggelaten zijn de eisen met lagere maten dan de genoemde, evenals de beroepen, die niet in het cluster zijn opgenomen.


cluster

ICQ)

135

K.R. (21) = 0,90

13.

etaleuse, 0,93

18.

hoeoennaaister, 0,87

5.

bloemschikster, 0,76

25.

kapster, 0,76

35.

pottenbakster, 0,76

29.

modiste, 0,76

20.

kostuumnaaister, 0,75

6. kunstzinnig, 0,86 8. vormgevoel, 0,86 18. vormgeving belangrijker dan handvaardigheid, 0,86

cluster- 2(Q) 2.

K.R. (21) = 0,92 assistent-groepsleidster, 0,92

12.

dokters-assistente, 0,91

37.

serveerster, 0,91

1. 11.

assistent-jeugdleidster, 0,80 dierenarts-assistente, 0,80

8.

kassiere (ook in cluster 3), 0,74

9.

konduktrice (ook in cluster 7), 0,63

4. verbaal, 1,00 13. persoonlijk voorkotnen, 1,00

cluster ?(Q) 7.

K.R. (21) = 0,87 kontroleuse in de industrie (ook in cluster 7), 0,87

26.

kantoor-assistente, 0,80

3!.

modinette, 0,80

38.

schoenstikster, 0,80

42.

telefoniste, 0,73

32.

nopster-stopster, 0,66

ι Κ)

ΤΟΕΓΑΓΓ,ΙΝΓΓΝ VAN DE ANALYSE

8.

k a s s i e r e (ook ir cluster ? ) , 0,53

9. n a u w k e u r i g h e i d , 1,00

10. aandacht, 1,00

сшг.і, ι- К' )

K.R. (21) = 0,93

?2.

kinderverzorgster, 0,89

23.

kleuterbulp, 0,89

Uk.

verpleegster (in psych, inrichting), 0,89

46.

ziekenverzorgster, C,89

4.

bejaardenverzorgster, 0,81

19.

inrichtings-assistente, 0,79

16.

huishoudhulp, 0,69

47.

zweninstruc trice, 0,69

11. toewijding, 1,00 14. fysieke inspanning, 1,00

cluster

2.

è('J

K.R.(21) = 0,86

30.

monteuse in b e d r i j f ,

0,89

36.

p o n s t e r en/of kodeuse, 0,89

41.

tricotnaaister,

24.

kämetmeisje, 0,40

0,89

t e c h n i s c h . 0,75

12. h a n d v a a r d i g h e i d , 0,75 15. haifdvaardigheia b e l a n g r i j k e r dan t o e w i j d i n g ,

cluGtev

6(r)

0,75

K.R. (21) = 0,83

14.

gezinshulp-verzorgster, 0,93

21.

kraamverzorgster ôck in cluster 8 ) , 0,89

40.

strijkster, 0,78

137


3.

ateliernaaister,

33.

pakster,

14. fysieke i n s p a n n i n g ,

0,46

0,46

0,60

15. h a n d v a a r d i g h e i d b e l a n g r i j k e r

dan toewijdirg,


d a n a a n d a c h t , 0,60

cluster

7(Q)

K.R.

0,60

( 2 1) = 0 , 7 1

43.

tandartsassistente,

45.

verkoopster,

9.

' konduktrice

7.

kontroleuse

0,87

C,87 ( o o k in c l u s t e r 2 ) , 0,52 i n d e i n d u s t r i e (ook in c l u s t e r 3) , 0,52

1. exact, 0 , 5 0 2. t e c h n i s c h ,

0,50

13. p e r s o o n l i j k v o o r k o m e n ,

cluster 8(Q)

K.R.

0.50

( 2 1 ) = 0,81

15.

huisvrouw,

17.

hui sjuffrouw,

21.

kraamverzorgster

3. o r g a n i s a t o r i s c h , 11. t o e w i j d i n g ,

0,92 0,92 (ook i n c l u s t e r 6 ) , 0,45

0,67

C,67


d a n a a n d a c h t , 0,67

Specifieke c l u s t e r s w e r d e n gevormd d o o r 39.

schoonheidsspecialiste

27. k o o k s t e r

— kokkin

6 . conifec t i e n a a i s t e r 28.

1innenjuffrouw

10. c h a u f f e u s e

138


De c l u s t e r s v a n b e r o e p e n geen i n t e r p r e t a t i e s

spreken

worden

de s t i m u l i a d e q u a a t b e s c h r e v e n samengesteld

oordeel deze

singen van de c l u s t e r a n a l y s e

bij

niet altijd het

geval

wordt

zijn

s o n e n . Het i s w e l n o d i g v o o r

of complex v a n s t i m u l i

z i c h , . Daarom z u l l e n h i e r v e r d e r

gegeven^

Bij b e t e k e n i s o n d e r z o e k

andere wijze

voor

e r vaak van u i t g e g a a n , dat

m e t h e t gemiddelde of op een

v a n e e n groep deskundigen of p e r a a n n a m e te waarschuwen. Uit t o e p a s e n q u ê t e - o n d e r z o e k , waar een

worden beoordeeld, is

(zie

paragraaf

'situatie'

i s gebleken, d a t d i t lang 5.2.4.).

T O E P A S S

5.2.2. Psychische

b i j de m e n s schillende

of

d i e r

geobserveerde

I m

e«.

13 е »

-w'stî

t > «esЖ- * ^ - ^ ь ^ ^ L .

<=-ο:Ώ..Α*::ϋ_<ο~4»^«^» d o o x r

«Ite. g t ^ t ^ «=.

<сг»жт t : X o l c î c e n

s e í

^^л. «і-^жт.

ζ:«il

stimuli

te

opgaan,

Deze r e a c t i e s

zijn

stimuli.

Stimuli,

of

geen, dienen

juist

o p l o s s i n g

Ж^жі.

тгж

niet

die

іеяп.

b e l a n g r i j k het worden

te

zijn.

a a g t

zullen

Bij

^waarderingen

gezichts-

geobserveerd

processen

l3^1.a.ng

e s i

mogelijke

gîwrí^zri^x».

сг&лпсSLSLfg^ci.

triet-ves

< ^ < c r " K r ^ * — ~ •*g

і > ж г о 1 э » І І _ . ^ ж ж а ^ г ь чеж-

d ^

het

iCGi&L
Ж-ЖЕЖШЛХ. i

is

OÏ>

i s

-ч*»^«^ "Ш.

paragraaf

g é r a i d d ^

,<ex*.

^^JLfce

ШГГЗСГ- 3 L — г ж і

de

s ^ l i o u d e n .

< c i -^ьлщг

d . ^ «г-эиж»-^

Q-analyse m e t

operator.

alle

d i e

de

en

daarom

affectieve

van

de

stimuli,

om e e n b e n a d e r i n g

uit

ТЬ»·«^

een d r í e - d i m e n s i o n e l e

type-onderzoek.

i n d i v i d u e n de

voor

le »

rC"'••л.

'jc_ «âüst « ^

oordelaars w o r d t

e l e m e n t e n en i s

Л

""ч^г-,^». -arm»

1.«Ж«et

a l

stimuli

d e z e elementen

ть«іг-,^^^а.^г=г- ш_яь. J E .

сЖ^

m e t

de

deze

over

zzssz^cz.

j imi.st:

b e s e l i o u ^ ^ d

moeten w e r k e n

«:»шг».«Ж<^эь-ж=г-

s t -«г з_жжж.ш_т. І Ж _

v a n

roepen. De a n a l y

de

individuen ver

g a a n hoe

s t i m u l i

a-JS^l»0*^011

eie»

a n a - l y s ^

kunnen w o r d e n

te

functies

-«га.жж,а1з7-ве

^»;зг

m ^ t r

de b e h o e f t e n s f е е ж г

na

-ыеьш.

жж

3 r < ^ , s t - < = t «Err díEL « e

d<^:Ki^

vooral o p d r a c t i t e r s .

De

с Ж ^

<3let

conatieve

mogelijk

dâLxi.

Жг::ж_«£

«ИГ^ЗЕГГ

l » e s Сжд-сі-еіхгіжжв;

studie

~5 теж

tuet

of

·

b i j

ectifceiT

l i g ж»

'

, ^ ж ж , ^ X з ^ s ^ »і^

аатаtz-stH.

s t e l l e n ,

Bij

t »

1К.<^.^«сг « ζ dLês ^ss d ^

worden g e h a n d h a a . f d

te

i s

^^і^^ь

^«sl-mt-

Ъіи.-гіе^ізі

echter e e n g r o o t :

Oolc

ci-^t:

шЛажж

kunnen d a n b u i t e ï ï i

terwijl

AJMALYSE

¿at jE f e с t i e v e

^^с:сэса.^<^тггчса.«(^=г.

d i e n t :

differentiererwi

«res

¿а-а-жж

worden u i t : g e v o e x - « i ·

functies

ЖЗ^ІЕ

t » «es s e Ж г

Ίζ·^

s t i m u l i ,

gecodeerd.

.IlïSar

« r o > ^^гжг»

t*
worden v e r w e i r l c t -

punt v a s t

^SJT.

f «.жжс t i e t S Ì Om

De a n a l y s e

JL I*С^ШІШЖ

—

IcL-â-^r».

d ^ e - J t r ^ t ^ ^ І 1 _ і - _ з Iscz.

l > ^ c > o T E r d ^3_^^.^^г-г^

^чУ'»!^»-. іжгж

Etas

»

r e a c t i e s 'vooral

-evenals

deze reacties

bij

n i e t

^«»ІЬж-ідіІе жжьа-.а.г-

«Зівеьжтггоеіс

«с»-

.ocxsls:

wordt;

< ^ жж»&. n . t e n . .

Analyse

van

I n de v o r i g e

g e m i d d e l d e n en hun

reactie

ook

op-

b e t e k e n i s o n d e r zoek,

mogelijk.

van

ëën

"Жж«««^=£

—

overeenkomstig

·%ΤΞΙ.Χ% b e o o r d e l a a r s .

<тасэ^>

—

als

van

de

be-

b e s c h o u w d worden

dan

uitgevoerd

als

als

14(1

TT o

De djnamielc -

dîe»

ζ i Jim

"F*

E:

<ΓΪ ¥ ^ : Î ^ J

ГЖ

XrjVlM

JE«

iVNAbYSF.

O s t ^ o o d l

êixx

—

«eetri

-vrjaL-n.

x r e s t i l t a a t b i j toepassing van

klas s if i c a t i e m e tl^c^ci. •

sEatiE ^ & с

personeelsbeoo^rdL^X іжж.^^

•I t

R-analyse v a n

*r>Tr-«i.*=*e:X«Ì€*"tt>

i s nog n a d e x

s t іжи»ж"Ж. i _ t e

ìXXujLsst

ρ a ir a. g i r a a l

de v o r i g e

maar n u m e t

ее«.

С

ti.«2-ve

escïini

*>сэ>ж·

e v a l u a t i e , potentie en

gebied.

f actoor

des

of

'wordt

gemicitílelcl«

Verwacht

mag

Tts-m-Jâ-s^

i_ si

СЭ » iE 2 .

tlxxs

тмгсяжт*

<3L.^

deze d a t a m a t ï r i x :

eill^-st-

•"iuree

R— a n a l y s e

d ^

з»с:

woirdfc

ЖХ-3.>

«31

m e t

e e n r a n g e van 0,17 t/m 0,28.

^re^suAitaten l·

ssuXXen.

1 S

1>ÌJ

l o p e n ook n i e t veel u i t -

v a n de R- en Q-analyse van

o n t l o p e n . Bij uitvoering als

Α-Ύ -

&&vr&Y'1k.t:~

H i e r d o o r kan met een lagere

«i - ^

•«r>«r«a.eitxi.

0,60

жжі_

. J E dL<eilic.

dX^jister-

i-^rdL-gü-jgr

Іэ^Ха.п.gr*ijker

(18),

ёехж С&У

en w e l

analyse ficant

voor

specifiek cluster

•¡уік.&ь.&к. «ζ Ï S

1%,

en 1

Хж«^: t

о^ ^еж*

heeft

«sesTirste

™жж TXÈI&XZ.

<е.е.жш. rder»

cif=-Äl·

E e n overeenkomstindex van n a m e l i j k van 'vormgeving' ( 8 ) , dan handvaardigheid'

c l t a s t e r van de Q-analyse. De o v e r e e n k o m s t i n d e x van 0,37 (signi9

c l u s t e r s gevonden, waarvan 6

w-el· 1 С - IRL «

11-

tcxet^«

5 »

& o « i di

16.

Bovenstaande

opnieuw t e analyseren

o v e r e e n k o m s t £п.«і<еэс

'kunstzinnig*

gevonden.

ït.— ^ ж ж . ^ * .

e e n . De

тпаазг

c l u s t e r , die b i j

<3. . t a m a t r i x van de beroepen u i t

.Tiroe-Tpseisen

gaf

Het halo-effect van

O

» & 2

O

, "У 1

эьісЗІ

IO. •—СЭ » 0

2;

l><eXa:n.g,rrijker

dan aandacht, 0,58


141

46. ziekenverzorgster, 1,00 19. inrichtingsassistente, 1,00 44. verpleegster (in psych, inrichting), 1,00 42. telefoniste, 0,00 26. kantoorassistente, 0,00 7. contrôleuse in de industrie, 0,00 Cluster 2 (R)

K.R. (21) = 0,675

4.

verbaal, 0,87

13.

persoonlijk voorkomen, 0,87

45. verkoopster, 1,00 37. serveerster, 1,00 1. assistent jeugdleidster, 1,00 2. assistent groepleidster, 1,00 11. dierenarts-assistente, 1,00 12. dokters-assistente, 1,00 8. kassiere, 1,00 9. konduktrice, 1,00 cluster 3 (R) 6.. 18. 8.

K.R. (21) = 0,85 kunstzinnig, 0,88 vormgeving belangrijker dan handvaardigheid, 0,88 vormgevoel, 0,87

5. bloemschikster, 1,00 13. etaleuse, 1,00 18. hoedenmaakster, 1,00 20. kostuumnaaister, 1,00 25. kapster, 1,00 Specifieke clusters werden gevormd door 7. materiaalgevoel

142


15. handvaardigheid belangrijker dan toewijding 3. organisatorisch 17. handvaardigheid belangrijker dan aandacht 2. technisch 12. handvaardigheid Bij vergelijking met de Q-analyse blijkt cluster 1 (R) een getransponeerde, bipolaire faktor van 3 (Q) en 4 (Q) te zijn, cluster 2 (R) overeen te stemmen met cluster 2 (Q) en cluster 3 (R) met 1 (Q). De R-analyse geeft dus 4 van de 8 clusters van de Q-analyse. De informatie is dus in dit geval van R duidelijk minder. De reden hiervan is gelegen in de scheefheid van de datamatrix. Met 47 elementen kunnen makkelijker meer niet-specifieke clusters worden gevormd dan met 18 operatoren. Bevestigd wordt dus de verwachting, dat R- en Q-analyse van de data geen grote verschillen zullen geven. De informatie, die de clusters geven, is echter wel anders. Terwijl de R-analyse inzicht geeft over de wijze waarop de beoordelaars te werk zijn gegaan, geeft de Q-analyse informatie over de. te onderscheidde groepen van beroepen. Dit komt onder andere tot uitdrukking bij vergelijking van cluster 1 (R) met de clusters 3 (Q) en 4 (Q). De beoordelaars gaan er blijkbaar vanuit, dat wanneer 'physieke inspanning' en 'toewijding* relevante beroepseisen zijn 'nauwkeurigheid' en 'aandacht' als eisen uitgesloten zijn en omgekeerd. Bij analyse van de beroepen blijkt deze 'wetmatigheid' voor de onderzochte beroepen niet op te gaan. Er is sprake van çen groep verzorgende beroepen, waarvoor 'toewijding' en 'physieke inspanning' belangrijke eisen zijn en een daarvan onafhankelijke groep beroepen waar 'nauwkeurigheid' en 'aandacht' als eisen centraal staan, gepresenteerd door respectievelijk cluster 4 (Q) en cluster 3 (Q).


143

. Interindïvidueelonderzoek Bij dit soort van onderzoeken gaat het meestal om con-

struat-Les van tests

of vragenlijsten.

Dit is een traditioneel toe-

passingsgebied voor de clusteranalyse. Motivatie en satisfactie onderzoek vallen hier ook onder (zie Boon van Ostade, 1968). De analyse is hiervoor door Pennings (1966) en Hermans (1967) gebruikt. De eerste om te komen tot een vragenlijst voor 'satisfactie', 'intrinsieke-extrinsieke werkmotivatie', 'houding collega's' en 'promotiebehoefte1. De tweede voor de constructie van een vragenlijst voor 'prestatie-motivatie', 'faalangst' en 'sociale wenselijkheid' (zie ook Nederlands Instituut van Psychologen resp. 17.7., p. 180, 18.6., 18.21. en 23.7. p. 207, p. 216 en p. 259). Voor voorbeelden wordt hier verder naar bovengenoemde literatuur verwezen, en naar de kapittel-enquête (zie paragraaf 4.1.) en het A.M. onderzoek (zie paragraaf 4.5.).

144


5.2.4. Type-onderzoek

Toepassing van de clusteranalyse voor onderzoek van types komt vooral bij data van projectie-tests

of observatie-tests

in aanmerking.

Klassificatie van de protocollen op grond van overeenkomstige patronen van antwoorden maakt het mogelijk te komen tot een typen-indeling van de individuen. Ook bij enquêtes

kan deze onderzoeksvorm worden toe-

gepast. Aan het eind van deze paragraaf zal daar verder op worden ingegaan. Een voorbeeld van een dergelijk onderzoek is gepubliceerd door Kempen en Boon van Ostade (1968). Hier zal meer op de methodologische zijde van dit onderzoek worden ingegaan en verder niet of nauwelijks op de inhoudelijke kant. Het gaat daarbij om door Lutte en Sarti (1969), Lutte, Monks, Kempen en Sarti (1969) verzamelde opstellen bij jongeren van 10 t/m 17 jaar in zeven europese landen. De opdracht was een opstel te schrijven over de 'persoon op wie ik het liefst zou willen lijken' (Havighurst and MacDonald, 1959). De opstellen waren gecodeerd met nul (afwezig) en één (aanwezig) van 67 kenmerken, zoals de beschrijving van een 'man', van een 'vrouw', van een 'heldhaftige figuur', van de 'kleding', van het 'voorkomen', van dé 'karaktereigenschappen'. Om te komen tot een empirische klassificatie werd bij 181 opstellen een Q-analyse uitgevoerd. De datamatrix was dus 181 bij 67 (zie bijlage II.4.). Deze klassificatie is meer in overeenstemming met het doel van het onderzoek: het ego-ideaal (de persoon op wie ik het liefst zou willen lijken). Het opstel wordt in dit onderzoek niet als prestatietest beschouwd. Om die reden is er ook geen bezwaar om korte en niets-zeggende opstellen uit het materiaal te verwijderen. Hierdoor is het mogelijk de variantie van de opstellen zoveel mogelijk te standaardiseren; M = 0,12, S.D. = 0,04, range 0,22 tot en met 0,06. De variantie van de


145

kenmerken is: M = 0,11, S.D. = 0,06, range 0,23 tot en met 0,01. Ook de informatie is goed; 181 over 67. Een probleem vormt weer de statistische betrouwbaarheid. Tabel 4.6.1. leert dat een overeenkomstindex van 0,40 nodig is om de toetsing op generaliseerbare resultaten te kunnen uitvoeren. Het onderzoek is ook een voorbeeld van de toepassing van een hiërarchisch-onderzoek (zie paragraaf 5.3.2.). Er zijn namelijk op dezelfde data twee analyses uitgevoerd: ëën met een overeenkomstindex van 0,30 (Analyse A) en één met een index van 0,40 (Analyse R). De tweede analyse maakt het mogelijk de toetsing op toevalsresultaten uit te voeren. Deze is als volgt: Ρ {r > 0,40} = 0,00088. Bij toeval kunnen dus bij deze grens 14 'significante' correlaties worden gevonden. 137 werden er gevonden. De nul hypothese kan dus worden verworpen ( t = 32,4 ). Er is geen sprake van een artifcieel resultaat. Ook inspectie van de gevonden clusters op hun psychometrische betrouwbaarheden geeft geen reden te vermoeden dat bepaalde onder delen kunstmatig zijn, met uitzondering van cluster 13 uit analyse B. In tabel 5.2.2.1. staan de gevonden clusters met hun K.R.(21) uitkomst. Wanneer met behulp van bijlage 1.4. de betrouwbaarheidsgrens van de K.R.(21) wordt berekend dan blijkt met een N van 67, ae χ 2 98,5 te zijn voor de ëën procentsdrerapel. De grens wordt dan n/n-1 · 0,32 en dus bij een cluster van twee operatoren 0,64 (n=2) en van drie 0,48. Alleen cluster 13 van analyse В heeft een K.R.(21) waarde, die hieron der ligt. De K.R.(21) van dit cluster is echter wel significant voor 5%. De betrouwbaarheidsgrens is dan 0,52.

146


Tabel 5.2.2.1 clusters Analyse A nummer

aantal opstellen

nummer

K.R.(21)

aantal opstellen

1

96

0,957

8

1

2

53

0,914

9

3

3

9

0,749

10

1

4

6

0,674

11

1

5

4

0,715

12

1

6

1

—

13

2

7

]

—

14

1

K„R.(21)

0,628

0,724

Analyse В no.

aantal

K.R.(21) no.

aantal

K.R. (21) no.

1

49

0,950

16

2

0,659

31

2

25

0,904

17

2

0,657

32

3

25

0,914

18

3

0,668

33

4

5

0,706

19

4

0,714

34

5

1

6

3

7

20

35

0,726

21

36

6

0,725

22

37

8

4

0,698

23

38

9

2

0,652

24

39

10

1

25

40

11

11

26

41

12

1

27

42

13

2

0,594

28

14

4

0,742

29

15

1

0,847

30

0,725

43 44

aantal

K.R.(21)

4

0,814


147

Alleen de eerste twee clusters van analyse A en de drie eerste clusters van analyse В zijn verder uitgewerkt. In resp. tabel 5.2.4.1. en 5.2.4.2. staan

de kenmerken van deze groepen van opstellen.

Vermeld zijn alleen die kenmerken, waarvan de klassificatiemaat discri minerend is, dat wil zeggen waarvan de maat significant met minstens één ander cluster verschilt (p 0,05 bij een t-toets voor proporties). De klassificatiemaat is gegeven in percentage van de frequentie van voorkomen van het kenmerk. Op grond van de discriminerende kenmerken zijn de clusters omschreven als cluster 1 (A): mannelijke ideaaltype cluster 2 (A): vrouwelijke ideaaltype cluster 1 (B): helden cluster 2 (B): zorgzame moederfiguren cluster 3 (B): voorbeeldige leeftijdsgenoten cluster 4 (B): beroemdheden van het lichte genre. Bij een enquête gaat het meestal om beschrijvingen van een situatie door personen. Het is gebruikelijk dit via geprecodeerde vragen en schalen te doen en de antwoorden van de beoordelaars op één bepaalde vraag samen te nemen in de vorm van percentages en gemiddelden en wel als beschrijving van de 'situatie'. Door nu de clusteranalyse toe te passen als Q-analyse en dus als onderzoek van types wordt het mogelijk na te gaan of er homogene groepen van protocollen of beoordelaars zijn met specifieke patronen van antwoorden. Een enquête protocol kan namelijk worden opgevat als een individuele beschrijving van een stimulus; de situatie, zoals beoordeeld door deze persoon. Terwijl de vragen en schalen de operatoren of kenmerken zijn van deze stimulus, die als 'situatie' constant wordt gehouden. Deze constantheid is nu alleen bij homogene groepen van protocollen gewaarborgd en ook dan alleen is het verantwoord om deze 'situatie' door middel van percentages (klassificatiematen) te beschrijven.

148


Tabel 5.2.4.1. Kenmerken die discrimineren tussen de twee hoofdclusters van clusteranalyse A 100 χ klassificatiemaat Kenmerk Cluster 1 (N=96, Cluster 2(N=53, 53%) 29%) Geslacht 1. mannelijk 2.

vrouwelijk

100,0% 0,0%

0,0% 98,1

Beroep 16.

sociaal

26,0

50,9

Vrije tijd 24.

lezen

11,4

22,6

25.

cultuur

22,8

32,1

27.

huishoudelijke activiteiten

0,0

11,5

30.

doorgebracht binnen organi saties

1,0

9,4

Uiterlijk 35.

krachtig

19,8

1,9

36.

sportief

2,1

9,4

37.

groot van gestalte

13,5

30,2

40.

normale omvang

0,0

15,1

43.

donker haar

9,4

22,6

48.

gezichtsdetails

12,5

24,5

49.

kleding

2,1

9,4

Karakter 52.

fijngevoeligheid

25,0

52,8

54.

altruïsme

43,7

24,5

58.

doorzettingsvermogen

16,7

3,8

61.

moed

9,4

0,0

Waarden 65.

godsdienst

33,3

17,0

67.

roem, succes

20,8

jg


149

Tabel 5.2.4.2. Kenmerken die discrimineren tussen de vier hoofdclusters van clusteranalyse В 100 χ klassificatiemaat Kenmerk Cluster 1 Cluster 2 Cluster 3 Cluster 4 (N=49, (N=25, (N=25, (N=11, 27%) 14%) 14%) 7%) Geslacht 1. mannelijk 2. vrouwelijk

100,0% 0,0%

0,0%

72,0%

90,9%

96,0

24,0

9,1

Leeftijd 13. jong

10,2

12,0

96,0

72,7

14. volwassen

77,5

80,0

0,0

0,0

32,6

72,0

4,0

0,0

18. artistiek

0,0

0,0

4,0

90,9

19. studerend

2,0

0,0

68,0

0,0

6,1

0,0

48,0

45,4

34. knap, elegant

20,4

24,0

40,0

36,4

35. krachtig

26,5

0,0

8,0

0,0

43. donker haar

4,1

24,0

24,0

9,1

44. haar, overige details

4,1

8,0

28,0

9,1

48. gezichtsdetails

4,1

20,0

24,0

9,1

49. kleding

2,0

8,0

4,0

27,3

52. fijngevoeligheid

26,5

44,0

40,0

9,1

54. altruïsme

61,2

28,0

32,0

0,0

56. plichtsbesef

16,3

24,0

68,0

0,0

58. doorzettingsvermogen.

18,4

0,0

0,0

0,0

61. moed

18,4

0,0

0,0

0,0

65. godsdienst

40,1

20,0

36,0

0,0

67. roem,succes

26,5

0,0

8,0

36,4

Beroep 16. sociaal

Vrije tijd 21. sport Uiterlijk

Karakter

Waarden

150


Vormen van toepassing

Het is minder gebruikelijk om klassificatiemethoden op te vatten als bruikbaar voor conditie-onderzoek.

De reden hiervan is gelegen

in het betrekkelijk eenvoudige model van faktoranalyse, dat ervan uitgaat dat een variabele afhankelijk gesteld kan worden van de som van een aantal onafhankelijke variabelen. Het model is wel multiconditioneel, echter linear en meestal onafhankelijk. Eventuele interacties tussen de faktoren zoals bijvoorbeeld moderatoreffecten zijn niet te bepalen. Een moderatoreffect is een interactie tussen twee variabelen (Saunders 1954). Daarom wordt veelal de voorkeur gegeven aan variantieanalyse. Deze methode is echter alleen in experimenteel onderzoek te gebruiken, omdat alleen daar meestal met de onafhankelijke variabelen kan worden gemanipuleerd. Bij niet-experimentele research of veldonderzoek stuit deze methode op bezwaren. Lege cellen komen bij dergelijke onderzoeken vrij veel voor. Correlatie-onderzoek kan dan alleen worden toegepast (Hyman, 1964). Onderzoek naar conditionele relaties wordt bijna altijd toetsend uitgevoerd door na te gaan in welke mate de data corresponderen met een aantal theoretisch gestelde verklaringsmogelijkheden. De inductieve methode is meestal niet toepasbaar vanwege het grote aantal verklaringen, die voor dezelfde correlatiestructuur kan worden gegeven. Blalock (1964) zegt hierover: "In order to avoid empiricist objections to causal terminology, we prefer to think in terms of causal models of reality

Since these

models do not refer to reality itself, and since a number of alternative models may yield the same predictions, we can never actually establish a given model. But we can proceed by eliminating or modifying inadequate models that give predictions inconsistent with the data" (p. 173 e.v.)


151

Bij constructie van schalen of tests wordt de iteratieve clusteranalyse in bovengenoemde zin gebruikt. Nagegaan wordt of de aanname juist is, dat de gepostuleerde eigenschap of het hypothetische construct een algemene of zogenaamde achterliggende conditie is. Wanneer dit zo is, dan moet bij een steekproef van elementen, die duidelijk verschillen in de gestelde eigenschap, er sprake zijn van overeenkomstige klassificaties door verschillende voor de eigenschap representatieve operatoren. Factoranalytisch wil dit zeggen, zoals al uiteengezet is paragraaf 3.5., dat er een algemene factor dient te zijn. Ook kiërarohieoh-onderzoek gestelde theorie. Voor predictie-onderzoek

vraagt om een a priori opis dit echter niet nodig.

Bij deze vorm van onderzoek dienen echter wel kriteriumgegevens systematisch verzameld te zijn.

152


5.3.1. Conditie-onderzoek De iteratieve clusteranalyse is bruikbaar voor de toetsing van de hypothese van een algemene factor in een set of subset van variabelen. Deze factor is de empirische manifestatie van een theoretisch gestelde conditie, die aan de uitslagen van de set of subset van variabelen ten grondslag ligt. In paragraaf 3.5. en 3.6. is aan deze toetsing al aandacht besteed. De nul-hypothese is, dat geen enkele variabele met één van de andere variabelen correleert boven de gestelde overeenkomstindex. Hierbij dient deze index groter of gelijk te zijn aan de correlatie, die significant is op 5% niveau, en het resultaat van de analyse getoetst te worden op toeval, zoals uiteengezet in paragraaf A.6. Door de herhaalde vergelijking van de intercorrelaties met de overeenkomstindex is het mogelijk ook bij toevalsdata ein of meer correlaties te vinden, die boven de gestelde grens liggen. Het is mogelijk, dat de nul-hypothese wordt verworpen, maar dat toch de hypothese van een algemene factor gefalsificeerd wordt en wel als het beste cluster relatief te klein is of te lage intercorrelaties heeft. In dat geval is de kans dat het cluster bij een volgende steekproef weer wordt gevonden te laag. Toetsing van de K.R.(21) of (20) (zie bijlage 1.4., geval 1) geeft de mogelijkheid dit punt te evalueren. Naast de toetsing op de convergerende validiteit is het ook nodig na te gaan of eventuele verkregen factoren ook de bedoelde condities representeren en dus de clusterscores niet correleren met andere niet-bedoelde factoren (condities). De divergerende validiteit van de set wordt dan getoetst.


153

Bij twee of meer toetsingen van de divergerende validiteit in één onderzoek zal met behulp van de in bijlage 1.3. omschreven procedure allereerst moeten worden nagegaan of de correlaties, afgezien van hun richting, homogeen zijn. In tweede instantie kan de gemiddelde absolute intercorrelatie getoetst worden met de in geval 1 van bijlage 1.1. vermelde procedure, die ook voor produktmoment correlaties geldt. Wij merken hierbij op, dat alleen wanneer de nul-hypothese wordt verworpen er een duidelijke uitspraak plaats vindt. Het niet-verwerpen van de nul-hypothese is een functie van de groóte van de steekproef. Des te groter de steekproef wordt des te groter is de kans, dat de nul-hypothese wordt verworpen. Een adequatere toetsing is om van tevoren vast te stellen welke correlatie niet meer acceptabel is bijvoorbeeld de gebruikte overeenkomstindex en dan na te gaan of de correlaties lager zijn dan deze index. Verder dienen daarom altijd de absolute waarden te worden vermeld. Het is mogelijk, dat op theoretische gronden een correlatie wordt verwacht met een andere conditie. Deze correlatie dient echter altijd lager te zijn dan de gestelde overeenkomstindex. Wanneer namelijk deze correlatie gelijk is aan of hoger dan de overeenkomstindex, is het onderscheid tussen beide operationaliseringen kunstmatig en onjuist. Zij vormen samen één cluster. De theorie wordt dus dan gefalsificeerd voor wat betreft de specificatie van de condities. Bij herhaalde falsificaties van de theorie moet aangenomen worden dat specificatie onmogelijk is en dus de theorie onjuist is. Wanneer de correlatie significant lager is en niet nul, wordt de theorie niet gefalsificeerd. Het is dan juist twee aparte condities te onderscheiden. Een dergelijk resultaat wijst echter wel op een mogelijke aanvulling van de theorie. Hiërarchisch gezien is het dan mogelijk beide condities op te vatten als onderdelen van een algemenere conditie.

154

rOEPASSINGEN VAN DE ANALYSE

Bovenstaande zal nader verduidelijkt worden met een vergelijking tussen de belangstellingsschalen van de RIT en de VIL voor eerste klas L.H.N.O.meisjes» De VIL is een voor deze groep geconstrueerde beJangstellingstest (Scheerder en Schell, publicatie in voorbereiding). Hiervoor is de BIT afgenomen bij 128 meisjes en de VIL bij 1058 meisjes. Ter vergelijking is alleen de voorzijde van de BIT afgenomen, omdat dan de testtijd van de BIT en de VIL overeenkomstig zijn. Tn tabel 5.3.1.1. staan de resultaten van de toetsing van de convergerende validiteit van de BIT-schalen. Opgeven zijn als pivots de items van de negen schalen, die een p/q verdeling hadden die niet extremer was dan 0,20/0,80 of omgekeerd. De L- en de M-schaal zijn niet bekeken, omdat deze schalen bestaan uit items van de andere schalen. De gebruikte overeenkomstindex is 0,30. Tabel 5.3.1.1. Toetsing convergerende validiteit BIT bij 128 L.H.N.O.meisjes aantal opgegeven items

aantal items beste cluster

K.R.(20)

1. sociaal

9

9

0,82

2. agrarische arbeid

9

9

0,80

3. literair-geestesw.

9

9

0,67

4. anib. vormgeving

9

5

0,54

5o administratief

6

6

0,54

6. technisch-natuurk.

6

5

0,51

7. handel

8

4

0,45

8. voedselbereiding

9

2

0,34

9. technische handv.

5

1

155


De c o n v e r g e r e n d e en ' v o e d s e l b e r e i d i n g ' i s de K.R. ( 2 0 ) n i e t

is

duidelijk

significant

de e e r s t e t w e e s c h a l e n goed i s . De a n d e r e

validiteit

van ' t e c h n i s c h e

onvoldoende«

handvaardigheid'

In h e t l a a t s t e

( z i e b i j l a g e 1 . 4 . , geval

1). Alleen van

k a n g e z e g d w o r d e n d a t de c o n v e r g e r e n d e

vragen

wijze

validiteit

n o g om v e r b e t e r i n g .

Voor d e V I L s t a a n d e u i t k o m s t e n i n t a b e l 5 . 3 . 1 . 2 . h e e f t op d e z e l f d e

geval

plaats

De a n a l y s e

g e v o n d e n a l s b i j d e BIT; t o e t s e n d m e t

p i v o t s van i t e m s m e t e e n p / q v e r d e l i n g k l e i n e r dan 0 , 2 0 / 0 , 8 0 en een overeenkomst i n d e x v a n 0 , 3 0 . Tabel 503.1.2. T o e t s i n g convergerende v a l i d i t e i t VIL b i j 1058 L.H.N.O.meisjes aantal opgeven items

schaal

1.

aantal items beste cluster

K.R. (20)

representatief— verzorgend

25

2„

kunstzinnig

16

3o

agrarisch

14

4»

huishoudelijk

15

5.

vormgevend

16

6.

administratief

13

De c o n v e r g e r e n d e goed. De v i j f d e

en

zesde

validiteit

15

0,86

16

0,86

13

0,77

7

0,71

5

0,61

5

0,56

i s voor de e e r s t e v i e r

schalen

s c h a a l behoeven e c h t e r nog v e r b e t e r i n g .

156


Voor de t o e t s i n g v a n d e

divergerende validiteit

i n t e r c o r r e l a t i e s van de s c h a l e n v a n b e i d e

t e s t s onderling

In t a b e l 5 . 3 . 1 . 3 . s t a a t deze c o r r e l a t i e s

Tabel

voor

z i j n de berekend.

de BIT.

5.3.1.3.

Intercorrelaties RIT-schalen b i j 128 L . H . N . O . m e i s j e s schaal

1

2

3

4

5

6

1

2

-0,31

3

-0,49

-0,18

4

-0,25

-0,13

0,05

5

-0,31

-0,10

-0,23

-0,20

6

-0,22

-0,08

0,17

-0,25

0,25

7

-0,20

-0,03

-0,05

-0,19

0,08

De d i v e r g e r e n d e v a l i d i t e i t

0,08

v a n de BIT i s onvoldoende. De

gemiddelde a b s o l u t e waarde i s 0 , 1 8 e n d e gemiddelde waarde - 0 , 1 2 . Toetsing van de c o r r e l a t i e s z e g t i n d i t Tengevolge van de k l e i n e s t e e k p r o e f

g e v a l betrekkelijk weinig.

(128)

i s zelfs het grootste

a b s o l u t e v e r s c h i l van r „ 7 met d e o v e r e e n k o m s t i n d e x n i e t Dit v e r s c h i l h e e f t een t - w a a r d e v a n 3 , 0

significant.

( z i e e e r s t e formule, geval 2a,

b i j l a g e 1 . 1 . ) . Voor de v e r w e r p i n g v a n d e n u l - h y p o t h e s e i s b i j 21 h e r h a l i n g e n (het a a n t a l i n t e r c o r r e l a t i e s ) zie b i j l a g e 1.2.)

v o l g e n s de formule van Ryan (1960,

een t - w a a r d e v a n m i n s t e n s

f i c a n t i e drempel van 5%. O p v a l l e n d l a t i e s . De BIT i s een k e u z e t e s t .

3,6 v e r e i s t b i j een s i g n i -

i s h e t grote aantal negatieve corre-

Om d i e

r e d e n kunnen lage negatieve

i n t e r c o r r e l a t i e s t u s s e n de s c h a l e n w o r d e n verwacht. De i n t e r c o r r e l a t i e


f

t u s s e n ' s o c i a a l ' en

157

literair-geesteswetenschappelijk'

í s dan e c h t e r

nog t e hoog ( 0 , 4 9 ) . Een b e t e r e p r e s e n t a t i e i s d e n k e l i j k een b i p o l a i r e s c h a a l , overeenkomstig ' r e p r e s e n t a t i e f - v e r z o r g e n d '

van de VIL.

De i n t e r c o r r e l a t i e s v a n de VIL s t a a n i n t a b e l Tabel

5.3.1.4ο

5.3.1.4.

I n t e r c o r r e l a t i e s VIL-schalen b i j 1Ö58 L . H . N . O . m e i s j e s schaal

1

2

3

4

5

1 2

0,10

3

0,22

0,15

4

0,26

0,15

0,08

5

0,15

0,20

0,00

0,23

6

0,07

0,10

0,07

0,13

0,05

De d i v e r g e r e n d e v a l i d i t e i t van deze t e s t i s b e t e r . A l l e e n de c o r r e l a t i e s van s c h a a l

1 en 4 ,

s c h a a l 4 en 5, en s c h a a l 1 en 3 z i j n

niet

s i g n i f i c a n t l a g e r dan d e o v e r e e n k o m s t i n d e x . In t a b e l 5 . 3 . 1 . 5 . s t a a n de uitkomsten van deze t o e t s i n g .

De g e v o l g d e p r o c e d u r e s t a a t b e s c h r e v e n i n

b i j l a g e I . 2 . . De v e r g e l i j k i n g

i s c o n f o r m de e e r s t e formule van g e v a l 2a

u i t b i j l a g e 1 . 1 . De g e m i d d e l d e a b s o l u t e waarde i s 0 , 1 3 en de gemiddelde waarde 0,03o De c o n c l u s i e i s , d a t d e BIT zowel t e n a a n z i e n van de convergerende v a l i d i t e i t ,

z o w e l a l s de d i v e r g e r e n d e v a l i d i t e i t b i j

k l a s L.H.N.O.meisjes m i n d e r g o e d v o l d o e t dan de VIL.

eerste


Tabel

5.3.1-5.

T o e t s i n g i n t e r c o r r e l a t i e s VIL (zie tabel 5.3.1.4.) king 0,00-0,30 0,05-0,30

t 9,7 8,1

a

t 0,00041 0,00044

uitkomst

ex

3,3

t>t

3,3

t>t

significant a significant a

0,07-0,30

7,4

0,00048

3,3

t>t

significant a

0,08-0,30

7,1

0,00056

3,2

t>t

significant a

0,10-0,30

6,5

0,00062

3,2

t>t

significant a

0,10-0,30

6,5

0,00069

3,2

significant

t>t a

0,13-0,30

5,5

0,00080

3,2

t>t

significant a

0,15-0,30

4,9

0,00089

3,1

significant

t>t a

0,15-0,30

4,9

0,0010

3,1

t>t

significant a

0,15-0,30

4.9

0,0011

3,1

t>t

significant a

0,20-0,30

3,2

0,0015

3,0

t>t

significant a

0,22-0,30

2,6

0,0020

2,9

niet

t
significant


159

5.3.2. Hiërarchisch-onderzoek

Hiërarchisch-onderzoek van operatoren ís een toepassing van R-analyse, hiërarchisch-onderzoek van elementen van Q-analyse. In paragraaf 5.2. is al naar voren gebracht dat beide onderzoeken dezelfde resultaten geven indien zij uitgaan van dezelfde data dat wil zeggen een dubbel-gestandaardiseerde matrix, dat wil zeggen voor een nul en ëén matrix gelijke p-waarden voor de rijen, zowel als voor de kolommen. Om die reden is in paragraaf 2.5o gesteld dat er geen principieel verschil is tussen een hiërarchisch-onderzoek van operatoren of elementen. Als voorbeeld van een hiërarchisch-onderzoek zal hier het onderzoek van de opstellen worden behandeld, (zie paragraaf 5.2.4.) In dit onderzoek is met twee overeenkomstindices gewerkt, namelijk 0,30 (Analyse A) en 0,40 (Analyse B). De orde van de klassificatie wordt verder om illustratieve redenen alleen gegeven voor de opstellen 60 t/m 70. In tabel 5.2.2.2. staat het hiërarchische schema van deze opstellen. Tabel 5.2.2.2o Clusterschema opstellen 60 t/m 70 65, 70, 64, 62, 63, 68, 66, 67, 61, 60, 69 1,00 0,40

.

xxx

0,30

.

x x x x x x x

0,00

.

x x x x x

.

x x x x x x x

.

xxx xxx

x x x x x x x x x x x x x x x x x x x x x

Opvallend is het wegvallen van cluster 63, 68 en 66 (B 6) bij analyse met 0,30. Bovenstaande schema wordt nauwkeuriger weergegeven als de respectievelijke clusters naast elkaar worden geplaatst. In tabel 5.2.2.3. is dit weergegeven.

160

TOEPASSINGEN VAN DE ANLYSE

Tabel 5.2.2.3. Vergelijkbare clusters uit analyse A en В

А 1

В 1

В 25

В 6

65

0,20

0,08

0,15 >

0,39

70

0,44

0,45

0,17

0,25

64

0?48

0,52

0,27

0,34

62

0,36

0,29

1,00

0,35

63

0,41

0,39

0,35

0,85

68

0,07

-0,06

0,09

0,79

66

0,14

0,12

0,27

0,55

67

0,12

0,11

0,27

0,40

61

0,01

-0,09

-0,01

0,25

60

0,28

0,14

0,13

0,28

69

0,18

0,13

0,03

0,39

В 6

В 17

В 34

А 2 65

0,03

0,39

-0,02

-0,02

70

0,23

0,25

0,02

+0,19

64

0,01

0,34

-0,06

0,20

62

0,05

0,35

-0,06

0,27

63

0,07

0,85

0,03

0,27

68

0,40

0,79

0,39

0,42

66

0,45

0,55

0,01

0,36

67

0,39

0,40

0,29

1,00

61

0,49

0,25

0,87

0,30

60

0,11

0,28

0,23

0,22

69

0,06

0,39

0,23

0,12

161


A 3

В 9

65

0,27

0, 17

70

0,13

0,20

64

0,06

0,13

62

0,13

0,69

63

0,22

0,43

68

0,27

0,34

66

0,03

0,19

67

0,06

0,19

61

0, 16

0,19

60

0,68

0,85

69

0,57

0,89

Hierbij b l i j k t o p s t e l 63 e e n d u i d e l i j k e

tussenvariabele

te

zijn:

c o r r e l a t i e s met А I i n В 1 en В 25 en met А 2 i n В 6 . Een verdere toetsing van В 6 g a a t i n de r i c h t i n g van А 2 en v e r m o e d e l i j k koste van de l a d i n g van 63o

Het ' a m b i v a l e n t e '

k a r a k t e r van 63 komt

ook t o t u i t d r u k k i n g i n В 9 . Met de k e r n van А 3 h e e f t c o r r e l a t i e van 0 , 4 3 . B i j

ten

63 nog een

А 3 wordt deze c o r r e l a t i e e c h t e r

0,22.

162

5 . ' . 3U


Predictie-onderzoek Over de regressieformules ties

'dramatische' bij

controle

w a a r d e v e r m i n d e r i n g e n van m u l t i p l e

v a l i d a t i e , werd in v r o e g e r e p u b l i c a -

i n g e g a a n (Boon v a n O s t a d e e n H e r m a n s , 1967, 1968, z i e ook Hazewinkel,

1968 a e n b ) . I n h e t kan nu h e t baarheid'

licht

v a n d e i n — d e z e - s t u d i e ontwikkelde t h e o r i e

in-die-publicaties een adequatere

i n h o u d w o r d e n g e g e v e n . De mogelijkheid

om e e n c r i t e r i u m t e p r e d i c e r e n formule b e r u s t op de a a n n a m e , het criterium bepalen,

g e b r u i k t e b e g r i p 'psychometrische betrouw-

m e t b e h u l p van een m u l t i p l e r e g r e s s i e d a t d e c o n d i t i e s , d i e de u i t s l a g e n van

van tevoren

zijn

t e meten. H i e r b i j wordt verder

a a n g e n o m e n , d a t h e t c r i t e r i u m m u l t i c o n d i t i o n e e l wordt b e p a a l d . Wanneer nu de r e l e v a n t e

condities

o n v o l d o e n d e b e t r o u w b a a r (en v a l i d e ) worden

gemeten, w o r d t de v o o r s p e l l i n g s m o g e l i j k h e i d hetgeen onder andere b i j wanneer de c o n d i t i e s n i e t conclusie

van h e t c r i t e r i u m v e r k l e i n d ,

c o n t r o l e v a l i d a t i e b l i j k t . H e t z e l f d e gebeurd c o n s t a n t w e r k z a a m z i j n i n h e t c r i t e r i u m . De

i s , d a t w a a r d e v e r m i n d e r i n g van multiple

voor p s y c h o l o g i s c h e d a t a

regressiefonnules

g e z o c h t m o e t w o r d e n i n de betrouwbaarheid of

c o n s t a n t i e v a n h e t c r i t e r i u m e n i n d e b e t r o u w b a a r h e i d of v a l i d i t e i t van de p r e d i c t o r e n .

E e n b e n a d e r i n g v a n b e i d e genoemde betrouwbaarheden kan

w o r d e n v e r k r e g e n d o o r m i d d e l v a n d e p s y c h o m e t r i s c h e betrouwbaarheid en wel a l s

*test-retest ' bij

predictoren.

het

c r i t e r i u m e n ' p a r a l l e l - t e s t ' b i j de

T e n a a n z i e n v a n d e p s y c h o m e t r i s c h e betrouwbaarheid van

p r e d i c t o r e n k a n v e r d e r w o r d e n v e r w e z e n n a a r paragraaf Bij

gebruik van de i t e r a t i e v e

onderzoek kunnen dus de c r i t e r i a worden g e a n a l y s e e r d

3.6«

c l u s t e r a n a l y s e voor p r e d i c t i e -

e n p r e d i c t o r e n h e t b e s t samen e x p l o r a t i e f

( z i e B o o n v a n O s t a d e , Hermans 1968). Wanneer h e t

e c h t e r om ë ë n c r i t e r i u m g a a t ,

k a n d i t k r i t e r i u m beter eerst als pivot

TTOE^-A^SSXlSiGEM

worden o p g e g e v ö O t grens met h e t

сж~ -ж. "tn<etтег i.жжжжж

Hierdoor w o r d t

t i ^ e t «r

validiteit.

^ H e t

Те^гві-жжз ;

-turenL

"l<:s»TnL

,r

behandeld

( G a s •Еііс.^і^жжчриа.тгг ^

hadden d r i e

іла.

1гж<(^ * r

namelijk d e

S a l i e s s»

ende S a l e s

A tz tz JL I n и_жсЗ. e t

Taylor, Sehne±.€3.<е*ж~

гжеэ^

-еьжж

e r i И е ж г lîLnjcraa.

JL s s

^ri-*^«r

i-«e!:*i<e!:3t~

tz^

i s

Het a a n t a l

v a r - i i a f c » е к Ж <^жж

Czie

1 9 5 3 ) .

d ì t

er*,

dL 1г<^-іжж^

i . SÍ

om

i s

bekend. dat

na

du. s

5 AA .

~%ric»-o a r l s i o n a - ^ ' n . " v ì e ; 1 β ι*

3 2 1

S^¥nein

l ^ ^ ^ f t r i j c i

<en

resp.

2064, 2061,

v e r t e g e n w o o r d i g e r s was De i t e m s z i j n nu b e -

gecorrigeerd

te

gaan

tests

(behalve

Bij

^ ^ ^ l ^ . o m j - d ' ^ n . xnett: b e t

- v e t * r dL «fc"fc» ^ Ж «е,тж », lx.

j a a r

C o m p r e h e n s i o n Test

1961»

deze

¿sL-n г г г о о x r d — a i l t e m . a t i e f

m e » ^^«еіжж

( n a m e Ж dL j

Büros»

de; d r i e

l>^lc'^n.d

in ëën p i v o t

gegevens

66 vertegenwooordigers

Sales

^^r* t z ^ s ^ o o r - d m o g e l i j k h e d e n .

n i ^ - t r - — · «азег^э^ежг d L - m a n i r é e l

»«SC*

ëën.

лла.«»

van ëën i t e m

223

i n d e a a r d v a n de

i s voor

niet-

i n h o e v e r r e met deze

i c e r e n .

- w o жг*3[<е;тч.

dus o v e r

clusters

o r x e n t e r e n d o n d e r z o e k worden

de

Van

«rel

dan r e k e n i n g

0,20,/* O

een

er* i t e r i u m »

pureci

-cmdL^^t:

sleutels),

als g r e n s

k o r t

IriL-v^Titory »

о ^ ^еэг

JE<îr

жжэ.^ t

axi-fcrwroö"жг«І

commerciële

met

соті е г gerende— en divergerende

ge-publ i c e e r d ) .

L i s t

Sl5rmon.s»

^ . ^ ж т ^ в г . . ^ 1_

Ieder i t e m h e e t j ^ t z

geanalyseerd.

voorspellen

-«гогЛеп. v e r k r e g e n

Ітгіег

І И І о tz: ì -ûrat - t i . o η .

т г е Ж .SL *=. dL^еь

Hiät:

de

te

worden

co-nclities ·

n i e ^ t

v o o r z i e n e m a i r l & t r Jf"H_ жжсз. *гч-ж«.^ t i ì e t S Í » items d i t

b o v e n een bepaalde

ж ж ^ - с і ^ ж г " ! . еі„жж<1в • x r e r t a a . X d . e a m e r i k a . a . n s e v r a g e n l i j s t e n i n g e v u l d ,

het a l g e m e n e - еіжг1Ус_«сэ<сэір»с^ "î_ j keken op h u n .

e r î t e r i u m

ì m ζ i eli, t

ггеіі

163

escploratìef

&Λ.&.·ΈΎ2ζί.&τί. лгат

<3.^а-гж

•4i «>«>"«r"t><^'et "I_c3.

ANALYSE

piredictoren.» die

t i e t

Сеть. n f i L *& " f c — ж г ч ^ !1_«et-xret-x» t ^ ) A l s

DE

«псэтг-жг^Ж е^згея.,»

i n t e o ^ ^ l i j l c

лгеэ l· <3L o · êt жж

die r e d e l i j k

relevante

<3..аь.аіжт^

«ESÔL

VAN

de

bedraagt totaal

Omdat h e t verwachte uit

opgave dat

onafhankelijk

B i j

een operator.

v a n de p i v o t de v i e r

zijn

moet

operatoren

e n dus n i e t

samen

c o n . t r o i e o p d e p / q v e r d e l i n g met

o p e r a t o r e n met

de amerikaanse

beschouwd als

feit»

136«

bet

uit.

H e t onderzoek gaat

criterium

en

twee

' v o o r o p l e i d i n g ) wordt dit

anamnese totaal

226.

164

T O E P A S SІІЯГСЕЖГ

Bij operatoren is

niet

lage

opgave

meer

dan

kan worden

pivot

explorerend

items Het

tes

^«^.^жп

г» 1 s жжтме t

^ « r . ^ mz

зге ì

»

« z » ^ i r « ^ жт ì

ö ^

pivot 1-ie t

b l e k e n s l e c h t s 17

c r i t e r i u m . Dit a a n t a l

t o e v a l l i g 4e η жп

j

een 12

^«г

5

aan

dergelijke

zodanig kleine

van

de 17 o p e r a t o r e n a l s

k o n d e n n i e t in de p i v o t

,at~ri.-fc:4¿
restii t a a t i s

v a m

.ажж<а. X ЗІГ г з ^

cieîz:«^:

S» .

R e s i i l t a tr.<exn е:>ст|£> P» ì "ViO t 1 2

^

.

s t a a t

i n tabel

13 -

I

-

^^тсЖ^ analyse < 0 -^» ^Ξ? "КГ г а . t « з тг & η >

correlatie met criterium

1

2

O » 2

1

0,28

2

5

O » 3«9»

0,44

3

2

O »

1 C*

0,39

4

2

O ,

1 ö

0,34

5

1

2

0,24

i s

b e t r o u w t » a a ir

predictie.

Wanneer

(zie

5 . 3 . 3 . 2 . )

aan

tabel

' i n i t i a t i e f *

structuur hebben door

dan

hun

aan

t e

5.3.3.1.

Х<Г»ТЕГ>^ІГ-

Ж ! . БС_— С 2 î J

a a n t a l items c l u s t e r

cluster

vertegen

0 » 2 O . T a l x e X

Alleen

steek

b e t r o f .

De o v e r e e n l c o n s t i n d e x

ηο„

жг i . тлжжа

Deson.cläLxb'lcs.

h e t

^V.ÎSTA.LYSE

ρ r - et d dL e r
g e a n a l y s ^ ^ i r c i o m d a t

ЖМЕ

с і о ж - ж г е Ж e s ж~<е=жж

z o v e e t l

g e v o n d e m .

opgenomen»

woordigde

с: зг i , - t ^

tie t

v e r - s с In i l . X e « . c l

b i j

proef

worden

O»20

s i g n i f i c a n t

correlaties»

van.

^Г,А.1«

d e

o p e r a t o ire η d a n

g a a t .

De

b r e n g e n

i s

ele

^ν,^τ»

« d i t i

ІЖПСЖІГЖЛІС

«31

¿ΞΛ.

4c:Xi_ister t:

lne;t

- v e x r t ^ ^^та."%»«г€эю> ^ r «X dL ^ ^ i r s i n

d ^

vertegenwooreliïgerrs. omgeving«

« о тага e v e n t u e e l

;gi£e:in.o>et ^»

s dL fc-u..at t : dL ^ cï:L<e

»»»i^êt^r

jzroiacien ^ ^ ^ n ^ i g d

worden u i t g e s c h r e v e n

hier met

t e gebruiken voor

om een behoefte

e e n behoefte om

d u s hogere zijn

verkoopcijfers

zich t e l a t e n

bepalen

165


Tabel 5.3.3.2. Operatoren van cluster 2

tekst 1.

lading (correlatie)

niet: omroeper zijn van internationale nieuwsberichten

0,74

wel : leiding geven aan de technische dienst van een radio-omroep

(0,41)

wel : teksten schrijven voor een radio-

2.

commentator

(0,39)

niet: toneelmeester zijn

0,71

wel : lichttechnicus zijn

(0,25)

3.

wel : ik kan goed leiding geven

4.

wel : werk doen waarbij je veel verantwoordelijkheid hebt

5.

0,64

0,63

niet: een baan hebben die je zekerheid biedt

(0,27)

niet: ik schrijf mijn rapporten niet op tijd

0,41

wel : ik weet meer dan voor mijn werk noodzakelijk is

(0,24)

Wij merken hierbij op, dat bovengenoemd onderzoek een voorbeeld is van een vooronderzoek in de geest van De Groot (1961, p.324). Wanneer er geen verder onderzoek opvolgt, is alles van weinig waarde (zie ook eind van paragraaf 3.5.).

VERGELIJKING MET DE HOOFDASSENANALYSE

167

6. Vergelijking met de hoofdassenanalyse

6.1. Inleiding

Clustermethoden worden meestal opgevat als 'slappere' procedures dan factoranalytische. Lorr en Radhakrishvtan (1967, p.47) beschouwen de methoden van McQuitty (1957, 1960 a, b en c, 1964, 1965, 1966 a en b ) , van Thomdike (1953), van Sawrey, Keiler en Conger (1960), van Gengerelli (1963) en van Lorr, Klett en McNair (1963) als zodanig. Deze methoden zouden onnauwkeuriger en oppervlakkiger zijn dan de centroïd analyse (Thurstone, 1947), hoofdassenanalyse (Harman, 1960) en de maximum likelihood van Lawley (1940, 1941). Een tussenpositie nemen, volgens de literatuur, Tryon's cumulative communality clusteranalyse (1958) en de iteratieve factoranalyse van Wherry en Gaylord (1943) in. Hiermee is nog lang niet een uitputtend overzicht gegeven van bestaande cluster- en factormethoden. Zo is niet genoemd Bridges hiërarchische clusteranalyse (1966) en Elshout' s (1963) methode van dezelfde naam (zie voor een overzicht van clustermethoden o.a. Bijnen 1969). In deze studie is de iteratieve clusteranalyse niet vergeleken met alle bovenstaande methodieken. Alleen met de hoofdassenanalyse, ook wel voornaamste componenten analyse genoemd, is een vergelijking uigevoerd. Deze beperking is om twee redenen ingevoerd. De eerste is dat nog steeds de hoofdassenanalyse (met varimax rotatie van factoren met eigenwaarden groter dan ëén en communaliteiten van één) de meest gebruikte factoranalytische techniek is. In paragraaf 6.2. wordt hier verder op ingegaan. De tweede reden is, dat het niet in de eerste plaats het doel van deze studie is om aan te tonen, dat nieuwe of andere methodieken dan de iteratieve clusteranalyse in bepaalde gevallen betere oplossingen geven.


168

De iteratieve clusteranalyse is, zoals zal worden gedemonstreerd, een adequatere methode voor klassificatie dan de hoofdassenanalyse als a. één algemene klasse (factor, cluster) of een duidelijk dominerende klasse wordt verwacht, b. er grote onzekerheid bestaat ten aanzien van het aantal te verwachten klassen, c. het aantal operatoren (variabelen) relatief groot is (meer dan 75) of relatief groter dan het aantal elementen (proefpersonen), d. de aanname van een normale verdeling op interval niveau van de kwantificeringen van de operatoren duidelijk misplaatst is, e. een hiërarchische klassificatie op prijs wordt gesteld, en f. de varianties van de operatoren geen grote onderlinge verschillen geven. De hoofdassenanalyse daarentegen is meer van toepassing als a. er een aantal ongeveer even sterke factoren wordt verwacht, b. er een redelijke zekerheid bestaan ten aanzien van het aantal te verwachten factoren, с

het aantal variabelen niet te groot is, in absolute zin minder dan 150 of in relatieve zin gelijk of minder dan het aantal proefpersonen,

d. de aanname van kwantificeringen op interval niveau voor de variabelen acceptabel is, en e. er duidelijke verschillen in de varianties van de variabelen zijn en het niet zinvol of mogelijk is om deze varianties gelijk te maken. De kritische punten van de hoofdassenanalyse zijn gelegen in a. de bepaling van het aantal factoren, en b. de resultaten bij bewerking van aselecte data. Op beide punten zal nader worden ingegaan en aangetoond zal worden dat deze punten minder moeilijkheden geven bij gebruik van de clusteranalyse.


169

De kritische punten van de clusteranalyse worden gevormd door a. de bepaling van de ladingen, en b. het niet-geven van subclusters. Daarnaast wordt in de literatuur kritiek gegeven op deze methode o* soortgelijke methoden o.a. door Mosier (1936), Guilford (1954), Segers (1965, 1968), Tellegen (1968) en Bijnen (1969). Deze kritiek zal worden besproken en zo mogelijk worden weergelegd. De vergelijking van de hoofdassenanalyse en clusteranalyse heeft plaats gevonden met behulp van zogenaamde simulatie-onderzoeken. Het gebruik van artificiële data ter vergelijking van methodieken wordt in de psychologie nog niet algemeen toegepast, zover ons bekend hebben Henrysson (1950), Lawley en Swanson (1954), Jöreskog (1963) en Browne (1968 b) deze methode toegepast. Meestal worden reëele data gebruikt om methodieken te vergelijken. Het bezwaar van deze data is echter, dat de populatiewaarden onbekend zijn en daarmee een goed kriterium ontbreekt. De onderzoeker is verder gebonden aan de steekproefgrootte, factorstructuur, het aantal variabelen van de datamatrix en de verdeling van de ware en geobserveerde scores. Met een betrekkelijk eenvoudig programma kan bij simulatie de onderzoeker al deze parameters variëren, terwijl precies bekend is wat de werkelijke waarden (factorladingen en factorscores) zijn. Deze voordelen wegen duidelijk op tegen het kunstmatig karakter van de analyse. Het progranma dat hier is gebruikt, is gemaakt door H.E.M. Borgers (I.B.M. 360-50, K.U., Nijmegen). Het gaat in 't kort als volgt te werk. De onderzoeker geeft een factorstructuur op bestaande uit m orthogonale factoren van η variabelen. ledere variabele heeft in ieder van de m factoren een bepaalde lading. Teven wordt opgegeven de grootte van

170


de steekproef (Ν). Het programma trekt nu aselect uit een normale verdeling met een gemiddelde van vijftig en een sigma van tien voor iedere 'proefpersoon' of element een factorscore voor ieder van de m factoren. Met behulp van deze scores en de lading wordt nu de ware score per variabele (operator) bepaald met behulp van de formule: T, . = a. , · F..+ a.« · F-, + bi

il

1b

i2

+ a.

·F,

im

mb

2b

Hierbij is T, . de ware score van element b bij operator i, a.., a.?, ...» a. F,,, F,,,, . . . , F , lb 2b* * mb

de ladingen van operator i voor de factoren 1, 2, ..., m, en de factorscores van element b voor de factoren 1, 2, ..., m.

Deze ware score wordt nu omgezet in een geobserveerde score en wel met behulp van de volgende formule: 2 t, . = T, . + 6,. » /1-h. bi

bi

bi

ι

Hierbij is t, . de geobserveerde score, T, . de ware score, bi

'

δ . een aselect getal getrokken uit een normale verdeling (M=50, σ=10), en 2 h. ι

2 m 2 de conmunaliteit: h. = Σ a. χ » ι.

Wij wijzen erop dat deze simmulering volledig uitgaat van het factoranalytisch model zoals gedefinieerd door Harman (1960, p.ll e.V., zie ook formule 5 in paragraaf 3.4.) en dus optimale data (normaalverdeling factorscores, ware- en geobserveerde scores in voldoende aantal eenheden) voor factoranalyse geeft. Hierbij dient te worden opgemerkt, dat het factoranalytische model van de hoofdassenanalyse (zie o.a. Harman, p.154 e.v.) afwijkt


171

van bovengenoemde simulatie. Bij de hoofdassenanalyse wordt de geobserveerde score opgevat als de som van produkten van factorlading en factorscore voor evenveel factoren als er variabelen zijn. De unieke meetfout is in dit model dus nul. Op grond daarvan alleen al zou de hoofdassenanalyse als een inadequate methode kunnen worden beschouwd. Meestal is de onderzoeker echter geïnteresseerd in duidelijk minder factoren dan het aantal variabelen; m < η. Op grond daar van wordt het dan gerechtvaardigd geacht om de hoofdassenanalyse als extractiemethode voor de rotatie te gebruiken. De overige (η-m) fac toren worden dan beschouwd als onbelangrijke of storende factoren. De gesimuleerde data, waarmee beide analyses worden verge leken, dienen echter overeenkomstig te zijn met psychologische data. Dat is voor een factoranalytisch model, dat niet uitgaat van een van tevoren vastgesteld aantal factoren en daarnaast voor iedere variabele een unieke factor onderscheidt, duidelijk meer het geval dan voor het model van de hoofdassen. De data van de acht simulatie-onderzoeken zijn syste matisch gevarieerd in hun factorstructuur. De eerste twee zijn aselecte data. De derde bestaat uit één algemene factor. De vierde uit één algemene factor en vijf kleine groepsfactoren. De vijfde uit twee exact gelijke groepsfactoren. De zesde en zevende uit drie groepsfactoren en één subfactor en de laatste uit drie groepsfactoren en drie subfactoren. Onder subfactoren worden algemene- of groepsfactoren verstaan van variabelen die allemaal ook ladingen hebben in sterkere factoren. De vijf groepsfactoren van simulatie IV zijn in dit opzicht ook subfactoren. Hiermee zijn de belangrijkste

172

VKRGELIJKTNG MET ÜE HOÛFDASSENANALYSE

variaties in factorstructuur gegeven, zoals deze zover ons bekend bij psychologische data voorkomen. Onderzoeken waar meer dan zes factoren bij 14 tot 27 variabelen worden geëxtraheerd, zijn in de psychologie betrekkelijk zeldzaam. Het aantal variabelen is verder om praktische redenen tot 50 beperkt. Het gebruikte hoofdassenanalyseprogramma kan alleen ten koste van veel computertijd meer dan 50 variabelen, met een stop bij 75, analyseren. De ladingen zijn nooit groter gekozen dan 0,80 en kleiner dan 0,10. Hogere waarden zijn ons inziens weinig realistisch, lagere waarden weinig relevant. De communaliteiten zijn verder nooit hoger dan 0,86. De meeste waarden liggen duidelijk lager. Alle populatie factorstructuren staan, als zij niet in de tekst worden vermeld, in bijlage II.1. De steekproefgrootte is verder voor alle onderzoeken op honderd gehouden. Alleen voor het eerste onderzoek is deze twintig en wel om een vergelijking te kunnen doorvoeren met de analyse van de beroepen uit paragraaf 5.2.1. en voor onderzoek IV zeshonderd, ter controle van de K.R.-formule (zie paragraaf 3.6.). Op grond van deze steekproefgrootte moet al verwacht worden, dat zowel de hoofdassenanalyse als de iteratieve clusteranalyse nooit exact de opgegeven factorladingen (en dus de gebruikte factorscores) zullen teruggeven. Het is daarbij belangrijk om na te gaan of de gebruikte steekproef in voldoende mate representatief is voor de populatie van mogelijke steekproeven. Op zuiver toevallige redenen kan de steekproef een sterk afwijkend karakter hebben en dus de resultaten van de analyse weinig representatief zijn voor de gekozen factorstructuur.


173

Deze controle heeft plaats gehad door empirisch de standaarddeviatie uit te rekenen van de verschillen tussen de in de dataset verkregen correlaties en de werkelijke populatie correlaties. Per definitie is de populatiecorrelatie gelijk aan de som van de producten van de ladingen (zie Harman, 1960, for mule 2.34). Voor iedere factorstructuur kunnen dus alle popula tie-intercorrelaties worden berekend. Deze waarden zijn omgezet in Fisher z-waarden en afgetrokken van de z-waarden van de be rekende correlaties. Van deze in(n-l) verschillen, waarbij η het aantal variabelen is, is de standaarddeviatie berekend. Deze standaarddeviaties van de acht simulatie-onderzoeken staan in de eerste kolom van tabel 6.1.1. Tevens staan daar in de tweede kolom de theoretisch verwachte standaarddeviaties, die berekend zijn met de volgende formule (zie o.a. Guilford, 1965, 8.15) I__

waarbij N de grootte van de steekproef is. Tabel 6.1.1. Berekende en theoretisch verwachte standaard deviaties (100 x) van de verschillen in z-waarden tussen de geobserveerde- en populatiecorrelaties van de simulatie-onderzoeken simulatie onderzoek

I

100 χ berekende Standaarddeviaties

100 χ theoretische s tandaarddeviaties

25,18

24,25

II III

9,83

10,15

9,47

10,15

IV

3,49

4,09

V VI VII

10,52

10,15

8,93

10,15

10,31

10,15

VIII

8,78

10,15

174


Vergelijking van de berekende standaarddeviaties en de theoretische standaarddeviaties leert, dat de data van de acht simulatie-onderzoeken in voldoende mate representatief zijn. Het grootste verschil is 0,0137 (simulatie VIII). Het gemiddelde absolute verschil is 0,0071, waarmee ook is aangetoond dat de aanname van onafhankelijkheid, die ook voor bovengenoemde vergelijking geldt, praktisch geen ernstige problemen oplevert, zoals Jones en Fiske (1953) stellen (zie ook paragraaf 4.6.). De simulatie-onderzoekingen zijn gebruikt om de gestelde kritische punten van de hoofdassenanalyse en iteratieve clusteranalyse op hun praktische relevantie te onderzoeken. Omdat de statistische steekproefverdelingen van zowel 'ladingen' als 'aantal factoren' onbekend zijn en de gevonden verschillen dus niet op significantie kunnen worden getoetst, hebben wij ons beperkt tot zeer duidelijke verschillen en/of verschillen die in meerdere onderzoeken voorkomen. De opgegeven factorstructuur heeft daarbij steeds gefungeerd als kriterium. De analysemethoden dienen deze structuur weer in de data terug te vinden. ledere afwijking is een verschil in bovengenoemde zin.


175

6.2. Kritische punten van de hoofdassenanalyse

Op het ogenblik is het zo, dat in Nederland factoranalyse door velen als een dubieuse methode wordt beschouwd. 'Het is de Rorschach van de psychometrici' is één van de meest duidelijke uitspraken in deze. Wat is de reden van dit onbehagen? De ervaringen met het gebruik van factoranalyse zijn van dien aard, dat men vaak afziet van verdere toepassingen en oplossingen gaat zoeken in ordinale methodieken of parameter-vrije analyses dan wel zich sterk beperkt in gebruik van statistische methoden. Ter rechtvaardiging van factoranalyse moet hier wel worden gesteld, dat bovenstaande ervaringen vaak het gevolg zijn van een onjuist begrip en kennis van de beperkingen en voorwaarden, die aan de toepassing van factoranalyse ten grondslag liggen. Welke zijn deze beperkingen en voorwaarden? Algemeen wordt tegenwoordig ingezien, dat de bepaling van het aantal factoren één van de belangrijkste oorzaken is van de problematiek (Dirkzwager, 1966, p.35 e.V.). Dit blijkt ook uit de literatuur. Regelmatig verschijnen artikelen, waar bestaande methodieken voor bepaling van dit aantal worden vergeleken en/of nieuwe geïntroduceerd. Wij noemen: McNemar (1942), Sokial (1959), Horn (1965), Cattell (1966), Pennel en Ahumada (1964), Humphreys (1964), H o m (1965), Cattell (1966), Pennel (1968), Browne (1968a en b ) . Vrij recent heeft Browne (1968b) drie van deze methoden met behulp van simulatie-onderzoek vergeleken. Zijn conclussie is, dat geen van deze stopregels voldoet. In zijn dertig simulatie-onderzoeken met een steekproefgrootte van 100, geeft de likelihood ratio teet 24 naai het goede aantel factoren, de toets vaa - Jöreskog 21 maal en de toets van Kaiser (eigenwaarden groter dan I) 20 maal.

176

VERGELIJKING MET DE HOOFDASSΕΝΑΝALYSE

De kans op een onjuist resultaat zou dus ëën op de drie tot éën op de vier analyses zijn. De likelihood test geeft daarbij te weinig factoren (in alle 6 gevallen), de toets van Kaiser teveel (in alle 10 gevallen). Bij 10 similatie-onderzoeken met een steekproef grootte van 1500 voldoen de likelihood test en de toets van Kaiser volledig en de toets van Jöreskog volledig niet. Dit resultaat is echter van weinig praktische waarde. Indien klassificatieonderzoekingen alleen bij dergelijk grote steekproeven zouden kunnen plaatsvinden, dan zou de toepassing van psychologie een bijzonder kostbare kwestie worden. De 'biased' schattingen van het aantal factoren veroorzaken nu vooral problemen, als er teveel factoren worden geschat. In dat geval namelijk geeft een rotatie naar 'simple-structure' (varimax rotatie) een duidelijk onjuist beeld en wel vooral wanneer de eerste factoren sterk domineren. Tenopyr en Michael (1963, 1964) hebben hier al op gewezen voor eeiy aigomcfle factor. "It appears that when applied to data having a large general factor, the varimax method appears to remove too much variance from the general factor and to redistribute the variance in such a manner as to preclude simple-structure" (1963, p.594). Wanneer nu deze redistributie plaatsvindt naar niet-bestaande factoren wordt het resultaat een volledig zinloze factormatrix. Tenopyr en Michael hebben ook ongunstige bevindingen met de quartimax (1963) en de biquartimin (1964) rotatiemethoden. Hun conclusie is dat de grafische methode nog het meest is te prefereren. Dit zou echter een stap achteruit betekenen. Gezocht wordt naar objectieve rotatiemethoden. Zo stelt Karman (1960): "From the very beginning of the application of simple-structure principles, it was recognized that the procedure was more of an art than a science. In an endavor to put the rotations on a more objective basis, the first improvements were directed toward eliminating graphical procedures"(p.290).


177

Algemeen gesteld rotatie is naar 'simple-structure' alleen verantwoord, als verwacht mag worden, dat de datamatrix bestaat uit een aantal elkaar in sterkte niet teveel ontlopende factoren. In anden gevallen moet gezocht worden naar andere extra regels, zoals uiteengezet in paragraaf 3.5. van deze studie. Dit punt wordt meestal verdedigd door erop te wijzen dat mathematisch de intercorrelatiematrix door een familie van factormatrices kan worden verklaard. Hierdoor ontstaat echter de onbepaaldheid van de analyse en wordt het mogelijk door middel van rotatie van een willekeurig aantal factoren ieder resultaat te verkrijgen wat de onderzoeker wenst. H o m (1967) wijst op dit subjectieve karakter van factoranalyse. In zijn studie roteert hij 47 'random' variabelen met een steekproefgrootte van 300 naar een schijnoplossing van 21 factoren. Hoewel er in dit geval genoegzaam aanwijzingen zijn voor een (ervaren) analist, dat het hier een vreemd resultaat betreft (lage ladingen, hoge intercorrelaties tussen de factoren), kunnen we ons geheel verenigen met zijn conclusie: "There was thus indication that if an investigator were willing to interpret relatively low loadings of there seemed to 'make sense' he needn't bother to gather actual data: random variables may be labeled arbitrar ly and pushed into solutions that make quite 'good sense'" (p.280). Factoranalyse van aselecte data kan blijkvaar 'zinvolle' resultaten opleveren. Bij een goede uitvoering van de iteratieve clusteranalyse is dit niet mogelijk, zoals zal worden aangetoond. Voor de vergelijking met de iteratieve clusteranalyse wordt gebruik gemaakt van die factoranalytische techniek, die de grootste populariteit geniet, dat wil zeggen: hoofdassenanalyse met comminaliteiten van een, de stop van Kaiser (eigenwaarde kleiner dan één) en

178


varimax rotatie. Glass en Taylor (1966) vonden in de periode van 1963 t/m 1965 in vier amerikaanse tijdschriften over onderwijsresearch 46 studies waar gebruik was gemaakt van factoranalyse. Hiervan gaven 10 geen informatie over de gebruikte techniek, 23 gebruikten conmunaliteiten van één en 16 de hoofdassenanalyse met de stop van Kaiser en varimax rotatie. Dit onderzoek is in deze studie herhaald bij negen tijdschriften (vijf amerikaanse en vier europese) voor de jaren 1966, 1967 en 1968. In tabel 6.2.1. staan de cijfers van Glass en Taylor en dit onderzoek voor resp. de extractie- en rotatietechniek, de comnunaliteiten en het aantal factoren. Het eerste dat bij de vergelijking opvalt is, dat Glass en Taylor in vier tijdschriften van totaal 11 jaargangen evenveel toepassingen vinden als in dit onderzoek bij negen tijdschriften van totaal 27 jaargangen. Dit kan het gevolg zijn van de gekozen tijdschriften, slechts ëën tijdschrift is overlappend, namelijk Educational and Psychological Measurement. Het is echter moeilijk aan te nemen, dat in tijdschriften als Psychological Reports, Multivariate Behavioral Research, Journal of Applied Psychology, Journal of Educational Research, Occupational Psychology, Skandinavien Journal of Psychology, Nederlands Tijdschrift voor Psychologie en Bulletin de Psychologie, minder toepassingen worden gepubliceerd dan in American Educational Research Journal, Journal Educational Measurement en Journal Educational Psychology. De algemene indruk (zie ook begin van deze paragraaf) dat de toepassing van factoranalyse afneemt, wordt hiermee bevestigd. Deze vermindering gaat voorlopig niet ten voordele van clusteranalyse. In bovengenoemde negen tijdschriften komen totaal 8 toepassingen van clusteranalyse voor.

179


Tabel 6.2.1. Vergelijking met de bevindingen van Glass en Taylor (1966) ten aanzien van gebruikte f.a. technieken extractietechniek

rotatietechniek

'63-'65

'66-'68

•63-'65

'66-'68

27 9

38 6

28

24

var.+andere

0

8

0

1

andere rot.

8

14

10

1

geen inf.

10

0

hoofdassen centroïd hoofd.+centr. geen inf.

varimax

conmunaliteiten

aantal factoren

'63-'65

'66-·68

comm. 1

23

13

t.v. Kaiser

geschatte сопт.

13

16

andere toets

geen inf.

10

17

'ÖS-'OS

intuïtief geen inf.

16

'бб-Ч 11 13

}

20 10

16 6

Aan tabel 6.2.1. is af te lezen, dat de hoofdassenanalyse en de varimax rotatie de meest populaire f.a.methoden zijn, al is er een tendens aanwezig om naast varimax ook andere rotatietechnieken te gebruiken. Toepassing van communaliteiten van ëën ligt echter duidelijk anders. Opvallend is het grote aantal publicaties dat ten aanzien van dit punt geen informatie verschaft. Ook de toets van Kaiser voor het aantal factoren is niet zo populair. Het aantal factoren wordt meestal, zo is de indruk, intuïtief vastgesteld. Bovenstaande overzichten maken duidelijk dat bij de 'niet-pratenmaar-doen' research nog steeds de hoofdassenanalyse met varimax rotatie het meest wordt toegepast. Meer verdeelt lijkt de houding te zijn geworden (of bij de auteurs van artikelen in de door ons onderzochte tijdschriften) ten opzichte van de communaliteiten en ten aanzien van het aantal factoren. Of de gekozen alternatieven echter te prefereren zijn is nog een open vraag.

VERGELIJKING Mc Τ vi. HOOFDASSENANALYSE

180

Algemeen wordt aangenomen dat de methode van Lawley (1941) duidelijk beter is. Deze methode is echter erg tijdrovend en vaak niet ter beschikking. Van Browne (1968b) krijgt men de indruk dat de hoofdassenanalyse met de likelihood ratio test redelijk ten aanzien van het probleem van het aantal factoren zou kunnen voldoen. De hierna volgende simulatie-onderzoekingen suggereren, dat de hoofdassenanalyse goed tot zeer goede resultaten geeft bij grote steekproeven (N > 500) én bij overpresentatie van de factoren, wanneer het aantal variabelen, dat een lading groter dan 0,40 in één factor heeft, meer dan twintig bedraagt. Het is echter niet de bedoeling van deze studie om eventuele betere f.a. methodieken toe te passen, zolang deze mogelijke verbeteringen niet systematisch zijn onderzocht. Voldoende is om aan te tonen dat de gebruikelijke f.a.techniek problemen geeft bij de bepaling van het aantal factoren en bij analyse van aselecte data, en dat deze moeilijkheden niet voorkomen bij gebruik van de clusteranalyse. Gebruikt zijn voor de hoofdassenanalyse de onderdelen 'principale componenten analyse' (optie 8) met énen op de diagonaal en 'varimax rotatie' (optie 14). In dat geval worden alleen factoren met eigenwaarde groter dan één geëxtraheerd en geroteerd. Bij sonmige bewerkingen wordt ook het 'minimale en maximale aantal factoren' (optie 11) opgegeven. Bovengenoemde programma's zijn ontwikkeld en uitgegeven door E.E.Ch.I Roskam en A. Horsten (1968, I.B.M. 360-50, K.U., Nijmegen). De iteratieve clusteranalyse is bij alle acht onderzoeken exploratief uitgevoerd met een overeenkomstindex van 0,20 of 0,30 (behalve simulatie I en II). Daarna werd bij een aantal onderzoeken bepaalde sets van variabelen controlerend getoetst.

181


6.2.1. Het aantal factoren In tabel 6.2.1.1. staan de simulatie-onderzoeken: hun steekproefgrootte (N), het aantal variabelen (n), een omschrijving van de factorstructuur, het aantal factoren en subfactoren. Onder subfactoren worden factoren verstaan die bestaan uit variabelen welke alle ladingen hebben in voorafgaande sterkere factoren. De laatste twee kolommen geven het aantal factoren dat respectievelijk de hoofdassenanalyse en de iteratieve clusteranalyse van de data heeft bepaald. Tabel 6.2.1.1. De simulatie-onderzoeken met het door de hoofdassen- en iteratieve clusteranalyse aan tal bepaalde factoren (laatste twee kolonmen) t

«

N I

η

i

ι.

factorstructuur

с

*.

ν с

fact. sub.f.

hoofd

itera-

assen

tieve

20

50

aselecte data

0

0

15

0

II

100

50

aselecte data

0

0

21

0

III

100 30

één alg. factor

1

0

10

1

IV

600

27

één alg.f. en 5 sub.f.

1

5

6

1

V

100

12

twee gelijke groepsf.

2

0

3

2

VI

100

14

drie groepsf. en 1 sub.f.

3

1

4

3

VII

100

14


3

1

4

3

VIII

100

14


3

3

4

3

Alleen bij simulatie IV, VI en VII geeft de toets van Kaiser het aantal factoren exact weer. Het eerstgenoemde onderzoek heeft daarnaast in verschil met de andere onderzoeken een steekproefgrootte van 600. Dit resultaat is duidelijk minder gunstig dan van Browne (1968b). Ook wordt niet bevestigd dat de toets van Kaiser altijd evenveel of teveel factoren


182

zou geven. Browne's onderzoek is echter gebaseerd op vier groepsfactoren (N=100, n=12, n=l6); een factorstructuur die overeenkomt met simulatie VI en VII. De clusteranalyse geeft in alle gevallen exact het aantal factoren. Deze analyse is niet in staat subfactoren te bepalen. Daarbij dient wel te worden opgemerkt dat specifieke clusters conform de bevinding in paragraaf 4.1. zijn weggelaten, evenals niet-significante clusters. Een meer gedetailleerd inzicht zal hier worden gegeven met behulp van de resultaten van simulatie V. In tabel 6.2.1.2. staan de populatiefactoren van dit onderzoek, samen met de door de hoofdassenanalyse geëxtraheerde (E) en geroteerde factoren (R) en de gevonden clusters door de iteratieve (I). Tabel 6.2.1.2. Resultaten van simi latie V factor I

hoofd- iteraassen tieve factor

hoofdassen

iteratieve factor

R

III

II

E

hoofd- iteraassen tieve

1 0,60

0,70

0,73

0,57

0,10 -0,22

0,26

0,06

0,00

2 0,50

0,63

0,70

0,60

0,00 -0,34 -0,06

0,15

0,00 -0,13

0,21 -0,02

3 0,40

0,64

0,50

0,56

0,20 -0,04 -0,03

0,13

0,00 -0,49

0,64

4 0,50

0,58

0,72

0,58

0,00 -0,39

0,10 -0,05

0,00

0,27 -0,16 -0,04

5 0,60

0,64

0,75

0,69

0,10 -0,37

0,07 -0,01

0,00

0,15 -0,02

0,10

6 0,80

0,81

0,78

0,72

0,00 -0,25

0,05

0,18

0,00 -0,18 0,36

0,12

7 0,10

0,44

0,06

0,04

0,60

0,52

0,49

0,62

0,00 -0,12

0,48

0,22

8 0,00

0,28 -0,14 -0,03

0,50

0,56

0,25

0,55

0,00 -0,50

0,75

0,12

9 0,20

0,39

0,10

0,19

0,40

0,40

0,43

0,17

0,00 -0,04

0,35

1,00

10 0,00

0,36

0,08

0,05

0,50

0,42

0,54

0,54

0,00

0,16

0,16 -0,02

11 0,10

0,31

0,02

0,13

0,60

0,52

0,76

0,67

0,00

0,45 -0,05

0,08

12 0,00

0,39

0,08

0,18

0,80

0,51

0,71

0,62

0,00

0,31

0,10

0,25 -0,02

0,09

0,36 0,18

VERGELIJKING MET DE HOOFDASSENMALYSE

183

De clusteranalyse is uitgevoerd met een overeenkomstindex van 0,20. Variabele 9 vormde een specifiek cluster (derde factor). Terwijl het derde cluster op grond van zijn specificiteit terzijde wordt gelegd, geeft de boofdassenanalyse zowel bij de extractie als bij de rotatie een derde 'betekenisvolle' factor met ladingen van 0,40 of hoger bij drie variabelen. De clusteranalyse schat de ladingen - in dit geval - ook nauwkeuriger. Het gemiddelde absolute verschil in z-waarden tussen populatie en berekende lading voor de eerste twee factoren, is bij de clusteranalyse 0,11 en bij de boofdassenanalyse 0,15. Bij varimax rotatie van alleen de eerste twee factoren wordt deze laatste waarde 0,13.

VERGELIJKING MET DE HOOFDASSEÑANALYSE

184

Aselecte data

De studie van H o m (1967) bracht naar voren dat f .a. van aselecte data 'zinvolle' resultaten zou kunnen geven. Gezien de wiskundig-statistische achtergrond van factoranalyse kan echter worden verwacht, dat de analysetechnieken hierop zijn gecontroleerd. Dit bleek echter niet het geval te zijn. Bij de twee door ons met behulp van de computer gegenereerde aselecte datasets van 50 bij 20 en 50 bij 100, respectievelijk van simulatie I en II, geeft de hoofdassenanalyse resp. 15 en 21 factoren! Gemiddeld hebben 4 (simulatie I) en 2 (simulatie II) variabelen ladingen van minstens 0,40 in deze factoren. Het resultaat is dus een groot aantal kleine groepsfactoren. Hieraan zou een aselecte datamatrix te herkennen zijn ware het niet dat dan geen onderscheid mogelijk is met een datamatrix die juist wel bestaat uit een verzameling van kleine groepsfactoren. Door controle validatie -herhaling van het onderzoek op een nieuwe steekproef- zou het misschien mogelijk zijn om te ontdekken dat de gevonden factoren artefacts zijn. Er is echter wel reden om hieraan te twijfelen gezien de vele rotatiemogelijkheden, waar de onderzoeker over beschikt en de afwezigheid van een toetsing voor de mate van overeenkomst tussen factormatrices. Een adequater alternatief is volgens ons het gebruik van de clusteranalyse. In dat geval is de kans dat kunstmatige clusters psychologisch 'zinvol' worden geduid, veel kleiner. Toetsing van de K.R.(20) of (21) van de clusters geeft in eerste instantie de mogelijkheid de resultaten te controleren (zie bijlage 1.4.). De tweede controle wordt gegeven door de toetsing op toeval, zoals beschreven in paragraaf 4.6.


185

Bovenstaande is nader te adstrueren met de resultaten van de clusteranalyse voor simulatie I en II. De eerste dataset bestaat uit 50 'operatoren' die ieder 20 'elementen' hebben geklassificeerd en wel geheel volgens toeval. Een dergelijke matrix mag door de hoofdassenanalyse wiskundig gezien niet worden geanalyseerd: het aan tal 'proefpersonen' is kleiner dan het aantal 'variabelen'. De data zijn dan lineair afhankelijk, de determinant is nul. Deze beperking is uiteraard psychologisch niet verdedigbaar. De beperking is het gevolg van de matrix-algebra, die door Hotelling (1933) is geïntroduceerd om het probleem van de factorextractie op te lossen. De introductie van de matrix-algebra voor een betrekkelijk eenvoudige kwestie heeft, ons inziens, de werkelijke klassificatieproblematiek in de psychologie op een overbodige wijze gecompliceerd. De clusteranalyse, die niet uitgaat van matrix-algebra, kent deze beperking niet. Dataset's, waar het aantal elementen duidelijk kleiner is dan het aantal operatoren, worden echter statistisch gezien wel bijzonder gevoelig voor kunstmatige resultaten. Het is daarom belangrijk bij steekproeven, die kleiner zijn dan veertig, de resultaten op toeval te toetsen. Simulatie I is ook gekozen om een vergelijking mogelijk te maken met de analyse van de beroepen (zie paragraaf 5.2.1.). In dat geval was de matrix 18 bij 47. Met behulp van o.a. tabel 4.1.1. werd een overeenkomstindex van 0,61 gekozen. De analyse gaf 4 niet-specifieke clusters. Hiervan bestonden 3 clusters uit 2 operatoren en 1 uit 3. Het aantal 'significante' correlaties is dus vijf. De uitkomsten van de K.R.(21) zijn voor alle clusters significant; voor 2 clusters voor de 1% sign, drempel. Bij deze controle vallen de resultaten dus niet door de mand. Dit is o.a. het gevolg van de hoge overeenkomstindex. Bij toetsing


186

op toeval blijkt echter het aantal 'significante' correlaties gelijk aan het gemiddelde aantal dat volgens toeval mag worden verwacht. De student's t van een correlatie van 0,61 bij een steekproefgrootte van 20 is:

f

0

6 1

- ; · ^ = 3 . 2 6 / 1 - 0,3721

De kans op een correlatie van minstens 0,61 bij een steekproefgrootte van 20 is: Ρ { t' > |3,26|, df = 18 } = 0,0044 Het gemiddeld aantal te verwachten correlaties van minstens 0,61 bij 50 variabelen is bij toepassing van de clusteranalyse: M = \ · 50 · (50-1) · 0,0044 = 5,39 De resultaten hebben dus geen betekenis. Bij zulke kleine N is het wel zaak ook de hoogte van de corre laties in de beschouwing te betrekken. Bij steekproeven beneden de dertig kan de point-biserial r maar een beperkt aantal waarden aannemen. Hier door is het mogelijk bij het gebruik van een overeenkomstindex, die gelijk is aan één van die waarden, een onjuist beeld bij de toetsing te verkrijgen. Zo gaf analyse van simulatie I met een overeenkomstindex van 0,60 13 'significante' correlaties. Hiervan bleken er 7 gelijk aan de overeenkomstindex. Toevallig kunnen er bij een dergelijke grens maar gemiddeld 6 correlaties voorkomen met een standaardafwijking van 2,5. Het gevonden aantal is dus duidelijk meer. Bij uitsluiting van de 7 'significante', die gelijk zijn aan de overeenkomstindex, is het aantal echter precies gelijk aan het gemiddeld aantal te verwachten op grond van toeval.


187

Simulatie II is geanalyseerd met een veel lagere overeen komstindex, namelijk 0,25. Dit is mogelijk omdat in dit onderzoek de steekproef veel groter is: N=100. De analyse gaf 10 niet-specifieke clusters, waarvan 9 bestaande uit 2 operatoren en 1 uit 3. Totaal waren er dus 11 'significante' correlaties. Van de 10 clusters bleken er 4 eert K.R.(21) te hebben die lager was dan de 5% grens: 0,44, 5 een K.R.(21) beneden de 1% grens: 0,56 en 1 een K.R.(21) boven de 1% grens. Dit laat ste was het cluster met de drie operatoren. Controle met behulp van de K.R.(21) formule zou dus al sterk het vermoeden hebben bevestigd dat de resultaten zinloos zijn. De toetsing op toeval geeft de volgende uit komsten (gebruikt wordt de normale benadering van de statistische be trouwbaarheid). De standaardafwijking van de Fisher z-waarde bij een een steekproefgrootte van 100 is:

σ Z

=

1

= 0,0101

/100-3

De standaard normale t van een correlatie van 0,25 (z-waarde 0,26) bij een steekproefgrootte van 100:

t =

ö?uf§r = 0 · 2 6

De kans op een correlatie van minstens 0,25 bij een steekproefgrootte van 100: Ρ { t * |0,26|} = 0,0094 Het gemiddeld aantal te verwachten correlaties van minstens 0,25 bij 50 variabelen is bij toepassing van de clusteranalyse: M = | . 50 - (50-1) · 0,0094 = 11,51 Elf 'significante' correlaties is dus een duidelijk toevalsresultaat.

VERGELIJKING MET DE HOOFDASSËNANALYSE

188

7

б. . Kritische punten iteratieve clusteranalyse De iteratieve clusteranalyse is een verbetering van de door Wherry en Gaylord (1943) ontwikkelde iteratieve faktoranalyse. Het be langrijkste verschil tussen deze twee analyses is gelegen in de wijze waarop de clusters worden gevormd. Bij de clusteranalyse gebeurt dit additief. Uitgaande van één operator wordt nagegaan of het cluster met éën operator kan worden uitgebreid, met de som van de twee operatoren wordt dit proces herhaald enz. totdat geen één operator voldoende overeenkomstig is met het gevonden cluster. De iteratieve faktoranalyse echter gaat uit van de totale som van alle variabelen, berekent de correlaties van alle variabelen met deze som, vormt een nieuwe som van alle variabelen, die in voldoende mate correleren, berekent weer de correlaties van alle variabelen, met deze tweede totaalscore vormt weer een nieuwe som enz., totdat er geen veranderingen meer optreden. De analyse van Wherry en Gaylord is duidelijk iteratief van aard, de iteratieve clusteranalyse niet. Een betere naam voor de laatste analyse zou additieve faktoranalyse zijn geweest of naar de methode van Lenz en Whitmer (1941) 'item synonymization'. Ook deze onderzoekers beginnen met één item en bouwen dan een 'synonymy' op. Om echter zowel zijn afkomst, als zijn verschil met faktoranalyse tot uitdrukking te brengen is besloten tot genoemde naam. De analysemethode van Wherry en Gaylord heeft een aantal bezwaren, De belangrijkste is wel de 'kunstmatigheid' van de correlaties. De variabelen bepalen zelf de som en correleren dus gedeeltelijk met zichzelf. De correlaties, waar de beslissingen opgenomen moeten worden, zijn dus niet alleen afhankelijk van de hoogte van de ladingen, maar ook van het aantal variabelen die de som bepalen zowel als hun ladingen (zie ook paragraaf 4.5.).


189

Mosier (1936) heeft er al opgewezen, dat het gebruik van 'item-totaal' correlaties moeilijkheden kan geven als 1. de factoren even sterk zijn, en 2. de items geen 'simple-structure' hebben, dat wil zeggefi ladingen hebben op meer faktoren. Wherry en Gaylord (1943) vermelden dat het eerste punt hun in een testcase met de iteratieve factoranalyse is overkomen. "In two attempts to use this method empirically the writers found one test which worked out quite smoothly due to unequally represented factors, whereas in a second test the two main factors were equipotent and came out as a single sub-test until S, was broken up into S,A and S1T1 by 1 ' 1A ID visual inspection, after which the method produced to work satisfactorily" (p. 263). Juist door zijn additieve karakter kan bovenstaande niet bij de iteratieve clusteranalyse voorkomen. Hiervoor kan onder andere gewezen worden op simulatie V (zie paragraaf 6.2.1.)· De faktorstructuur van dit simulatieonderzoek bestaat uit twee volledig overeenkomstige, elkaar gedeeltelijk overlappende faktoren. Bijnen (1968), die de kritiek van Mossier's eerste punt herhaalt, acht het een bezwaar, dat ëën van de randvariabelen of tussenvariabelen als eerste wordt gekozen. De volgorde van keuze van de operatoren zegt echter weinig. Het gaat om de ladingen. Het komt wel eens voor, dat de eerste variabele uiteindelijk een lading krijgt beneden de overeenkomstindex! Guilford (1954), die de analyse van Wherry en Gaylord en die van Lentz en Whitmer bespreekt, komt met de kritiek dat "Neither of these methods will necessarly produce univocal tests in the sense that each measures only one common factor" (p. 434). Deze mening samen met het tweede punt van Mossier zijn niet geheel onjuist. Bij de

190


bespreking van de nauwkeurigheid van de ladingen en de subclusters gaan we hier verder op in. Tellegen (1968) heeft bezwaar tegen het toetsend gebruik van de clusteranalyse, zoals deze door Hermans (1967, p.39) is uitgevoerd. "We kunnen niet met Hermans meegaan, als hij stelt dat deze methode voor de êën-faktorhypothese toetsend zou zijn. Wanneer er namelijk geen statistische grens gesteld wordt bij welk percentage uitval van items de één-faktorhypothese verworpen moet worden, kunnen we niet van toetsing spreken. Van een werkelijke toetsing van deze hypothese is pas sprake wanneer aangetoond is dat de rang van de intercorrelatiematrix één is". Deze kritiek is niet onjuist, al moet er wel bij worden gezegd, dat Hermans nooit de één-faktorhypothese heeft willen toetsen. Getoetst wordt of er sprake is van een algemene faktor. Het is namelijk niet nodig voor een schaal, dat de intercorrelatiematrix van de items de rang één heeft. De opvattingen van Teilegen hierover zijn ons inziens te streng. In paragraaf 3.4. is al uiteengezet, dat een faktorstructuur van één algemene faktor met gebalanceerde groepsfaktoren ook adequaat is. Cronbach (1951) heeft verder er al op gewezen, dat kleine afwijkingen in de 'balancing' geen bezwaar zijn, indien er maar een voldoende aantal operatoren zijn. Wij willen wijzen op de resultaten van simulatie IV. In dit onderzoek (zie ook paragraaf 3.6. bijlage II.1. en III) is uitgegaan van een faktorstructuur bestaande uit één algemene faktor en vijf subfaktoren bij 27 operatoren. Berekend zijn nu de correlaties van de clusterscores van de 600 elementen van het eerste algemene cluster met de ware scores van alle zes faktoren. Deze waarden bleken respectievelijk: 0,929, 0,083, 0,082, 0,002, 0,121 en 0,015 te zijn. De nul-hypothese kan voor de laatste vijf correlaties niet worden verworpen (P < 0,14).


191

Hiermee wordt bevestigd, dat kleine niet-gebalanceerde subfactoren een verwaarloosbare invloed hebben op de totaalscore indien er maar voldoende operatoren zijn. Segers (1965, p.88 en 1968, p.123) heeft een aantal bezwaren tegen de iteratieve clusteranalyse naar voren gebracht, die hierop neerkomen dat de voorwaarden, waaraan de analyse moet voldoen tot een aantal beperkingen en vergrovingen voeren. Dit is in vergelijking met andere technieken wat overdreven. De beperkingen en vergrovingen zijn veelal minder ernstig dan die van andere analyses. Welke beperkingen heeft de clusteranalyse? Ten eerste moeten de varianties van de variabelen zoveel mogelijk gelijk zijn, ten tweede kan het aantal operatoren niet veel groter zijn dan 200 tot 500 (afhankelijk van het computerprogramma) en het aantal elementen niet meer dan 200 tot 1000. Hier staat tegenover, dat bij de hoofdassenanalyse het aantal variabelen niet groter dan 70 tot 150 kan zijn, het aantal proefpersonen altijd gelijk of groter moet zijn dan het aantal variabelen en de maten verdeelt op interval niveau dienen te zijn. De hoofdassenanalyse is dus in aantal opzichten beperkter dan de clusteranalyse, daarbij wordt nog afgezien van een toetsings- of een hiërarchischonderzoek, dat met de clusteranalyse vrij eenvoudig is uit te voeren. Welke vergrovingen voert de analyse in? De meest opvallende en ook de belangrijkste is de codering in nul en ëén. Deze 'vergroving' maakt het mogelijk geen aannamen nodig te hebben ten aanzien van de maten van de variabelen. Hierdoor wordt de gebruiksmogelijkheid van de analyse sterk uitgebreid. Wij wijzen o.a. op de problemen, die zich voordoen, als de onderzoeker een factoranalyse wil uitvoeren op tegelijkertijd kwalitatieve data als beroep en sexe en kwantitatieve data als testuitslagen en leeftijd. Bovengenoemde 'vergroving' heeft wel in sommige gevallen tot gevolg dat de ladingen minder nauwkeurig worden geschat. In de volgende

192


paragraaf wordt daar verder op ingegaan. De voorlopige conclusie is dat de gegeven kritieken op zichzelf vaak niet onjuist zijn, echter meestal vrij specifiek zijn geformuleerd, als zou de kritiek alleen voor de clusteranalyse gelden en niet voor bijvoorbeeld de hoofdassenanalyse. Dit zal nader worden onderzocht voor de schattingen van de ladingen en voor de bepaling van de subclusters.


193

6.3.1. De ladingen De schatting van de ladingen is voor de iteratieve clusteranalyse een kritisch punt. Er zijn namelijk verschillende redenen, waarom de iteratieve clusteranalyse de ladingen minder nauwkeurig kan geven dan de hoofdassenanalyse. Ten eerste werkt de clusteranalyse met nul en êén coderingen en de hoofdassenanalyse met maten in een groot aantal eenheden. Bij normale verdelingen kan dus het z.g. 'coarse grouping' effect (Peters and Van Voorhis, 1941) optreden, waardoor de correlaties van de clusteranalyse te laag worden. Door omzetting van de point-biserial r in de biserial r (zie bijlage 1.5.) wordt een correctie aangebracht voor dit effect. Ten tweede kunnen bij kleine clusters 'part-whole' effecten optreden, waardoor de correlaties te hoog worden. Guilford (1954) en Henrysson (1963) hebben formules ontwikkeld om deze verhoging uit te schakelen bij 'item-total' correlaties. Deze formules zijn bruikbaar bij de clusteranalyse. De formule van Henrysson voor de point-biserial r is r' = (/n/n - l)'(r · σ

- Spq/Sai-

Epq)

Hierbij is r' de gecorrigeerde correlatie, η

het aantal operatoren van de cluster,

r de berekende point-biserial correlatie, Ρ σ de variantie van de clusterscores, en ρ

de proportie één coderingen van de operator (q = 1 - ρ ) .

Ten derde kunnen de ladingen van variabelen, die in meerdere clusters voorkomen, worden verlaagd of verhoogd. Dit is vooral het geval bij de variabelen van een subcluster, als deze variabelen in een zelfde algemener cluster voorkomen. Mosier (1936) en Guilford (1954) hebben hier, weliswaar in andere termen, op gewezen.

194


Het is nu belangrijk om na te gaan in hoeverre bovengenoemde beperkingen ook praktische consequenties hebben. Daarvoor is bij simulatie III t/m VIII het gemiddelde absolute verschil in z-waarden bepaald tussen de gevonden ladingen en de populatie ladingen voor de hoofdassenanalyse en clusteranalyse. Hierbij zijn alleen de factoren bekeken, niet de subfactoren. Bij de hoofdassenanalyse is verder het werkelijk aantal factoren geroteerd. In tabel 6.3.1.1. staan de resultaten van deze ver gelijking. Tabel 6.3.1.1. Gemiddeld absolute verschil in z-waarden van de ladingen geschat door de hoofdassenanalyse en de clusteranalyse bij simulatie III t/m VIII N

η

F

hoofdassen

cluster

III

100

30

1

0,07

0,12 (0,10)

IV

600

27

1

0,05

0,15 (0,09)

V

100

12

2

0,13

0,11 (0,12)

VI

100

14

3

0,14

0,16 (0,16)

VII

100

14

3

0,19

0,14 (0,17)

VIII

100

14

3

0,15

0,11 (0,11)

Uit tabel 6.3.1.1. is af te lezen, dat als de factoren overgepresenteerd worden en de steekproef groter wordt de hoofdassenanalyse duidelijk nauwkeuriger is dan dje clusteranalyse. Bij simulatie III en IV geeft na correctie van de ladingen voor 'coarse grouping' de clusteranalyse resp. 0,10 en 0,09 als gemiddeld absoluut verschil. Bij de andere vier onderzoeken geeft deze correctie geen verbetering, ook niet als


195

eerst voor het verhogend effect van de 'part-whole' correlaties is gecorrigeerd (zie de tussen haken geplaatste waarden van tabel 6.3.1.1.)· Hierbij dient wel opgemerkt te worden dat de clusteranalyse vaak twee keer is uitgevoerd of omdat uit de resultaten bleek dat een verhoging of een verlaging van de overeenkomstindex een beter resultaat zou geven of om door opgave van een pivot tussenvariabelen beter te presenteren. Zo geeft simulatie V bij een overeenkomstindex van 0,30 ook twee clusters echter met meer specifieke clusters namelijk drie. Hierdoor is de schatting van de ladingen ook minder nauwkeurig namelijk met een verschil van 0,13. Bij een overeenkomstindex van 0,20 is er maar één specifiek cluster en is het gem. absolute verschil 0,11 (zie paragraaf 6.2.1.). Bij simulatie VI moest de derde cluster als pivot worden opgegeven om een betere representatie te geven. Dit gebeurde zonder 'voorkennis' van de populatiestructuur dat wil zeggen alle variabelen werden opgegeven, die in het cluster zaten of een lading boven de overeenkomstindex

hadden. Deze bewerking vond ook plaats bij simulatie

VII. Zonder deze bewerkingen zijn de gemiddelde verschillen respectievelijk 0,19 en 0,20. Simulatieonderzoek IV kan nadere informaties geven over subcluster-effecten op de schattingen van de ladingen. De factorstructuur van dit onderzoek bestaat uit één algemeen cluster en vijf subclusters (zie bijlage III). De ladingen van de variabelen in het eerste cluster lopen per drie variabelen op van 0,40 t/m 0,80, dus variabele 1, 2 en 3 hebben een lading van 0,40, variabele 4, 5 en 6 van 0,45, variabele 7, 8 en 9 van 0,50 enz. Vier subclusters bestaan uit vier variabelen met


196

ladingen van 0,40 t/m 0,60. Een subcluster heeft drie variabelen. Vier subclusters hebben een variabele met een negatieve lading. ledere variabele komt niet meer dan maximaal in ëën subcluster voor. In tabel 6.3.1.2. staat de vergelijking voor de 8 operatoren, die geen lading hebben in de subclusters, de 15 operatoren met een positieve lading en de 4 met een negatieve. Berekend zijn gemiddelde (niet absolute) verschillen tussen de geschatte ladingen in z-waarden en de populatie z-waarden. Bij de clusteranalyse is dit gebeurd met de voor 'coarse grouping' gecorrigeerde ladingen. Tabel 6.3.1.3. Gemiddelde (niet absolute) verschillen in z-waarden van variabelen van simulatie IV met geen, positieve en negatieve ladingen in subclusters bij de hoofdassen- en clusteranalyse. η

hoofdassen

cluster

geen lading

8

+ 0,05

+ 0,08

positieve lading

5

+ 0,06

+ 0,10

negatieve lading

4

-

0,03

+ 0,03

Bij beide methoden doen de verwachte effecten zich voor. Bij de negatieve ladingen in sterkere mate dan bij de positieve ladingen. De kritiek van Mossier en Guilford valt niet te ontkennen. Het is echter de vraag of hij wel zo specifiek is voor de clusteranalyse. Samenvattend kan worden gesteld, dat de hoofdassenanalyse bij overpresentatie van de factor (n > 20) en/of bij grote steekproeven (N > 500) nauwkeuriger schattingen geeft dan de clusteranalyse van de ladingen. In de andere gevallen is de clusteranalyse echter niet onnauwkeuriger dan de hoofassenmethode.


197

Subclusters De iteratieve clusteranalyse is niet in staat subclusters te bepalen, de hoofdaseenanalyse wel. Dit voordeel van de hoofdassenanalyse is echter vrij theoretisch van aard. De factorstructuur van factoren met subfactoren is meestal geen 'simple-structure'. Bij varimax rotatie worden dus de subfactoren versterkt ten koste van de factoren. Tenopyr en Michael (1963, 1964) hebben hier al op gewezen. De onderzoeker moet dus weten uit hoeveel factoren en hoeveel subfactoren de populatiestructuur bestaat en dit aantal moet hij exact weten, anders krijgt hij een resultaat, dat zowel voor de factoren als de subfactoren gefalsificeerd is. Bovengenoemd effect treedt vooral op, als er sprake is van een algemene factor (Tenopyr and Michael, 1963, 1964). Met simulatie VIII zullen we demonstreren dat dit echter ook het geval is bij groepsfactoren. In tabel 6.3.2.1. staat de factorstructuur van simulatie VIII. Tabel 6.3.2.1. Factorstructuur simulatie VIII (nulwaarden zijn weggelaten) F

1 2 3 4 5 6 7 8 9 10 11 12 13 14

,

F

2

0,60 0,60 0,40 0,50 0,60 0,80 0,70

F

3

F' 1

F' 2

F' 3

0,54 0,50 -0,50 0,45 -0,44 0,60 0,60 0,40 0,50 0,60 0,80

0,44 -0,50 0,35

0,70 0,38

0,80 0,70

0,39

Deze structuur bestaat uit drie groepsfactoren en drie subfactoren. In tabel 6.3.2.2. staan de resultaten van de hoofdassenanalyse voor de eerste


198

factor en wel na extractie; na rotatie van factor 1 en 2; rotatie van factor 1, 2 е п З ; 1, 2, 3 en 4; 1, 2, 3, 4 en 5; en 1, 2, 3, 4, 5 en 6. De resultaten zijn gegeven in 100 χ de z-waarden. Tevens staat in deze tabel het resultaat van de iteratieve clusteranalyse voor deze eerste factor. Het volledige resultaat van deze analyse voor de eerste drie factoren is gepubliceerd in Boon van Ostade (1965 a en b). Deze resultaten zijn verkregen met enigszins afwijkende keuze van de eerste variabele als in deze publicatie is beschreven. Tabel 6.3.2.2. Resultaten in lOOx de z-waarden van de eerste factor, simulatie VIII popul atie 1 2 3 4 5 6 7 8 9 10 11 12 13 14

69 69 42 55 69 110 0 0 87 0 0 0 0 0

extractie 55 91 74 79 73 100 -5 -4 79 18 23 9 -32 -40

Gem absolute 0,17 z-waardeverschil

2 55 95 79 83 68 97 -14 -12 71 9 13 -2 -35 -42 0,19

rotatie 3 79 89 44 87 58 116 13 -17 89 2 10 -17 6 -7 0,11

iter

4 69 48 47 51 68 129 20 19 107 -9 16 8 5 -1

5 -2 41 42 45 126 78 9 25 59 -3 18 7 -19 11

6 -3 33 19 26 147 55 4 22 59 5 8 13 -24 17

65 76 38 65 62 85 -7 -23 78 5 19 -2 -11 -4

0,11

0,23

0,30

0,10

Aan de gemiddelde absolute z-waardeverschillen is af te lezen, dat varimax rotatie zinvol is (van 0,17 naar 0,11), echter duidelijk on gunstige resultaten geeft als subfactoren worden meegeroteerd (van 0,11 naar 0,30). Niet veel aandacht moet worden besteed aan het gelijke resultaat van de eerste factor bij rotatie van de drie groepsfactoren (3 : 0,11) en de drie groepsfactoren en de eerste subfactor (4 : 0,11). Deze rotatie gaat in dit geval niet ten koste van de eerste groepsfactor, echter wel van de tweede en derde.

199


Hetzelfde effect treedt ook op bij de subfactoren,, In tabel 6.3^2.3. is dit nader gedemonstreerd voor de eerste subfactor. Tabel 6u3.2o3. Resultaten in lOOx de z-waarden van de eerste subfactor, simulatie VIII populatie

extractie

0 55 0 48 0 0 0 -55 0 37 0 0 0 0

-4 42 -25 31 -21 -27 6 -65 -24 60 12 14 3 -9

Gem absolute z-waardeverschil

0,14

1 2 3 4 5 6 7 8 9 10 11 12 13 14

rotatie 4 30 87 4 74 -5 12 -16 -113 -3 15 -18 -29 2 -12 0,20

5 17 89 3 78 5 12 -16 -107 -5 16 -17 -28 -1 -6 0,18

6 16 93 9 87 8 17 -13 -102 -3 14 -15 -29 -1 -6 0,18

Subclusters of subfactoren zijn alleen te ontdekken als het aantal factoren exact bekend is. Dit is mogelijk door b.v. eerst een clusteranalyse uit te voeren en daarna een hoofdassenanalyse. Een dergelijke methode is echter alleen betrouwbaar bij grote steekproeven (N > 500) en/of bij voldoende presentatie van de factoren door variabelen (n > 20). In alle andere gevallen kunnen de data beter gecorrigeerd worden voor de invloed van de (algemene) factor (Boon van Ostade 1965, b) , zoals o.a. is geschiedt door Reumkens (1962) Gooyen (1966) en Jansen van der Sligte (1969). De clusteranalyse wordt dan herhaald op z.g. ïpsatieve scores, gevormd door aftrekking van de clusterscore van de (algemene) factor van alle scores van één proefpersoon of element bij die operatoren die een lading hebben in de (algemene) factor.

SAMENVATTING

201

7. Samenvatting Op logische gronden kan worden gesteld, dat een klassificatie, als klassificatie van een verzameling elementen, doelmatiger is Эо naarmate er meer kenmerken opgaan voor de elementen die in de klasse vallen, b. naarmate deze kenmerken niet opgaan voor de elementen die niet in dl klasse vallen, en c. naarmate vijftig procent van de elementen in de klasse valt. Een klassificatie is in een empirische wetenschap verder als klassificatie ondoelmatig wanneer a. er geen operator is om de klassificatie uit te voeren, b„ alle elementen van de verzameling in de klasse vallen, of с

geen een element van de verzameling in de klasse valto

Een operator is hierbij gedefinieerd als een variabele, die met behulp van een vast observatie- en coderingsvoorschrift onderscheidingen aan brengt tussen de elementen» Onder elementen worden daarbij verstaan: individuen of stimuli» De waarde van een operator voor een bepaalde klassificatie wordt primair gegeven door de validiteit van de operator, dat wil zeggen door de kans, dat bij toepassing van de operator constante- en/of toevallige fouten worden gemaakt» In de analy.se wordt deze validiteit bepaald door berekening van de correlatie coëfficiënt tussen de operator en de bedoelde klassificatie. De bedoelde klassificatie kan worden geconstrueerd door explicatie van de eigenschap in een aantal nevenschikkende kenmerken, die zodanig in operatoren worden gespecificeerd dat de operatoren variëren in hun niet-relevante aspecten. Hierdoor is de representativiteit van de set van operatoren voor de bedoelde klassificatie

202

SAMENVATTING

theoretisch gewaarborgd. Met behulp van de verhouding tussen het aantal operatoren dat het element tot de klasse rekent ten opzichte van het totaal aantal operatoren, waarmee het element is geobserveerd voor de bedoelde klassificatie, kan de klassificatiemaat van het element worden bepaald. De analyse dient nu om de set van operatoren empirisch op bovenstaande veronderstellingen te controleren. Dit is mogelijk doordat gesteld kan worden, dat de centroïd factorstructuur isomorf is met bovenstaande theorie. Een centroide factorstructuur bestaat uit ëën algemene factor (de bedoelde conditie), een aantal gebalanceerde groepsfactoren (de niet-relevante condities) en uit η (unieke) factoren, waar bij η het aantal operatoren is. Een set van operatoren is nu te toetsen door na te gaan in hoeverre de intercorrelaties van deze operatoren een dergelijke factorstructuur vormen. Voor een dergelijke toetsing is het nodig van tevoren de minimum validiteit of overeenkomstindex te bepalen en wel om de convergerende validiteit van de set te kunnen controleren. De divergerende validiteit kan alleen worden gecontroleerd als in het onderzoek variabelen van niet-bedoelde condities zijn opgenomen. De analyse wordt meestal niet toetsend toegepast, maar explorerend. In het laatste geval tracht de onderzoeker clusters te vinden, die voldoen aan de eisen van de convergerende- en divergerende validiteit. Bij controlerend-toetsend- en controlerend-exploratief onderzoek vindt de analyse plaats op een van tevoren bepaalde set of pivot van operatoren, waarbij in het eerste geval getracht wordt het beste cluster te vinden, terwijl in het tweede geval de intercorrelaties van de pivot worden geanalyseerd conform de exploratieve methode. De waarde van de geconstrueerde klassificaties of clusters kan worden bepaald met behulp van de formules 20 en 21 van Kuder en

SAMENVATTING

203

Richardson. Daarbij dient echter wel rekening te worden gehouden met het feit, dat deze formules te hoge waarden geven. Uitvoering van de analyse bij minder dan 60 elementen blijkt de resultaten duidelijk ongunstig te beïnvloeden* Verder blijken specifieke clusters, bestaande uit ëén operator, van weinig betekenis. De operatoren dienen met nul en ëën te worden gecodeerd met zoveel mogelijk gelijke p-waarden (kans op coderingen éën) van 50%. Wanneer bij de dataverzameling de observaties in zoveel mogelijk (ordinale) eenheden zijn gecodeerd, roept dit voorschrift geen ernstige bezwaren op,. Voor eenvoudige factorstructuren, bestaande uit weinig, niet-overlappende factoren, kan van de regel van gelijke p-waarden worden afgeweken. De van tevoren gestelde overeenkomstindex bepaalt ook de orde, waarin de klassificatie plaats vindt« Door gebruik van verschillende overeenkomstindices is een onderzoek naar de hiërarchie van de klassificatie mogelijk. De vorming van clusters vindt in de analyse plaats door 'item synomization'. Van Sen operator wordt uitgegaan en dit cluster wordt uitgebreid met steeds ëén operator, afhankelijk van de correlaties met de ongewogen somscore van het cluster. De operator, die wordt opgenomen, heeft de hoogste correlatie boven of gelijk aan de gestelde overeenkomstindex. De gevormde clusters dienen te worden gecontroleerd op a. hun kans op ontstaan, bo hun betrouwbaarheid, en с

hun homogeniteit van clusterladingen. De analyse kan worden toegepast als R- en Q-analyse bij

individuen en stimuli. Het verschil tussen R- en Q-analyse is gelegen in de berekening van de correlaties. In het eerste geval gebeurt dit

204

SAMENVATTING

tussen de operatoren over de elementen, in het tweede geval tussen de elementen over de operatoren. Bij Q-analyse zijn dus de 'elementen' de operatoren. Hierdoor wordt het mogelijk onderzoek te doen van betekenissen (Q-analyse van stimuli), van psychische functies (R-analyse van stimuli), van interindividuele verschillen (R-analyse van individuen) en van typeringen (Q-analyse van individuen). Verder is de analyse bruikbaar voor conditie-, hiërarchisch- en/of predictief-onderzoek. De vergelijking met de hoofdassenanalyse (uitgevoerd met communaliteiten van ëén en varimax rotatie van factoren met eigenwaarden groter dan éën) heeft plaats gevonden met acht gesimuleerde datamatrices voor verschillende factorstructuren. Uit de vergelijking blijkt, dat de iteratieve clusteranalyse betrouwbaarder is ten aanzien van de bepaling van het aantal factoren. De hoofdassenanalyse daarentegen geeft nauwkeuriger schattingen van de ladingen bij grote steekproeven van elementen (vijfhonderd of meer) en/of bij overpresentatie van de factoren (met meer dan twintig variabelen). Geconcludeerd kan worden, dat de iteratieve clusteranalyse als klassificatie methode goed bruikbaar is in die gevallen waar a. veel variabelen (of, voor Q-analyse, veel elementen) moet worden geanalyseerd, b. de steekproef van elementen (of, voor Q-analyse, van variabelen) betrekkelijk klein is, c. kwalitatieve en/of ordinale data zijn verzameld, en/of d. conditie- en/of type-onderzoek wordt gevraagd.

SUMMARY

205

8. Summary It may be stated on logical grounds that the efficiency of a classification as a classification of a set of elements increases a. as the number of characteristics that may be applied to assign the elements to the class increases, b. as these characteristics are not applicable to the elements that are excluded from the class, and с

the proportion of the elements which fall into the class approached 50%.

Furthermore a classification as a classification in an empirical science is inefficient when a. no operator exists to effect the classification, b. all the elements in the set fall into the class, or c« not one of the elements in the set fall into the class. An operator is defined here as a variable which with fixed observation and coding rules establishes a differentiation among the elements. Elements are defined here as either individuals or stimuli. The value of an operator for a specific classification is given primarily to the validity of the operator i.e. in the probability that in the application of the operator errors (constant and/or variable) will be made. This validity is determined analytically by calculating the correlation coefficient between the operator and the classification referred to. This classification can be constructed through the explication of the quality by the use of a number of co-ordinating characteristics, which are specified in the operators in such a way that the operators vary in their non-relevant aspects. Through this the representativeness of the set of operators for the classification that we are concerned with, is

206

SUMMARY

theoretically established. The relation between the number of operators which assign the element to the class and the total number of operatorused to observe the element for the classification referred to, gives the measure of classification for the element. The analysis now serves to examine a set of operators empirically on the above assumptions. We can do this because it can be stated that a centroid factor structure is isomorphic with the above theory. A centroid factor structure consists of one general factor (the relevant condition), a number of balanced group factors (the nonrelevant conditions) and of η unique factors where η is the number of operators. A set of operators can now be tested by determining the extent to which the inter-correlations of these operators form a similar factor structure. For such testing it is necessary to determine beforehand the minimum validity or criterium of similarity in order to test the convergent validity of the seto The divergent validity can only be tested if variables of non-relevant conditions are included. The analysis is not usually applied to verify but to explore* As regards the latter the researcher tries to find clusters that satisfy the conditions of the converging and diverging validity. The analysis may be carried out through controlled-testing and controlled-explorative investigations on a previously specified set or pivot of operators where in the first case the best cluster is sought, whereas in the second case the inter-correlations of the pivot are analysed in conformity with the exploratory method» The worth of the constructed classifications or clusters can be specified using Kuder and Richardson's formulas 20 and 21. Attention should be called to the fact that values given by these formulas are too high.

SUMMARY

207

If the analysis is carried out with fewer than 60 elements the results are clearly effected unfavourably. Furthermore specific clusters which consists of only one operator turn out to have little significance. The operators should be coded with zero and one, with as many possible equal p-values (probability of coding one) of 50%» This coding rule raises no serious objections in data compilation when observations are coded in as many (ordinal) units as possible» The rule of equal p-values does not need to be followed in the case of simple factor structures consisting of few non-overlapping factors. The pre-determined criterium of similarity also determines the order in which classification takes place. An analysis can be made of the hierarchy of the classification by using different criteria of similarity. Cluster formation takes place in the analysis through "item synomization". One operator is taken as a starting-point and this cluster is increased by one operator at a time, dependent on the correlation with the unweighted sum score of the cluster. The operator to be selected is the one with the highest correlation coefficient above or equal to the specified criterium of similarity. The clusters formed should be tested for a. the probability that they will exist, b. their reliability, and c. the homogenity of their cluster-loadings. The analysis can be carried out through R- and Q-analysis of individuals and stimuli. The distinction between R- and Q-analysis lies in the computation of the correlation coefficients. The former uses the operators over the elements and the latter the elements over the operators. In Q-analysis therefore, the "elements" may be regarded as the operators. In this way it becomes possible to investigate "meanings" (Q-analysis of stimuli) psychic functioning (R-analysis of stimuli) individual differences

208

SUMMARY

(R-analysis of individuals) and individual typifications (Q-analysis of individuals). In addition the analysis is particularly suitable for conditional, hierarchical and predictive research. A comparison with the principal axis analysis (performed with communalities of one and varimaχ rotation of factors with eigenvalues greater than one) has been carried out with eight simulated data matrices of varying factor structures. The comparison shows that iterative cluster analysis is more reliable in specifying the total number of factors. Principal axis analysis on the other hand gives a more precise estimate of the loadings when there is over-presentation of the factors (more than twenty variables). It may be concluded that iterative cluster analysis is especially useful as a classification procedure when either: a. many variables (or, for Q-analysis, many elements) have to be analysed, b. the sample of elements (or, for Q-analysis, of variables) is relati vely small, c. qualitative and/or ordinal data are involved, and/or d. conditional and/or type analysis is required.

209

LITERATUUR

LITERATUUR

ADAMS, E . , FAGOT, R . F . and ROBINSON, R . E . A t h e o r y of a p p r o p r i a t e Psychometrika,

1965

statistics

30, 99-128

BLALOCK, H.M. 1964 Causal inferences

in n o n - e x p e r i m e n t a l

C h a p e l H i l l : Un. of N o r t h C a r o l i n a BOON VAN OSTADE, A.H.

Press

1965a

F a c t o r a n a l y s e p r o g r a m m a ' s UNIVAC

III

I n : P e r s o n e e l s o n d e r z o e k m e t d e UNIVAC H e e r l e n : N.V. Ned. S t a a t s m i j n e n , BOON VAN OSTADE, A.H.

III

Rapport

1628 C . P . ,

methodieken

Amsterdam: N I P P - m e d e d e l i n g e n n o .

165,

8-11

1968

M o t i v a t i e - en s a t i s f a c t i e - o n d e r z o e k Ned. T. P s y c h o l . , 2 3 ,

in het

bedrijf

347-370

BOON VAN OSTADE, A.H. e n HERMANS, H . J . M .

1967

Een methode t e r v e r h o g i n g v a n d e s t a b i l i t e i t multiple

23-35

1965b

De o n t w i k k e l i n g van e n i g e

BOON VAN OSTADE, A.H.

research

van

regressieformules

Ned. T. P s y c h o l . , 2 2 ,

696-715

BOON VAN OSTADE, A.H. en HERMANS, H . J . M . Nogmaals o v e r m u l t i p l e Ned. T. P s y c h o l . , 2 3 , BRIDGES, C.C.

1968

regressieformules 179-183

1966

Hierarchical cluster Psychol. Reports,

18,

analysis 851-854

BROVERMAN, D.M. 1961 Effects

of s c o r e t r a n s f o r m a t i o n s

i n Q and

R factor

techniques Psychol. Rev., 68, BROWNE, M.W.

68-80

1968a

A n o t e on lower b o u n d s t o r Psychometrika, BROWNE, M.W.

the number

of

factors

33, 233-236

1968b

A c o m p a r i s o n of f a c t o r

analytic

Psychometrika, 3 3 , 267-334

techniques

analysis

LITERATUUR

210

BRYDEN, M . P .

1960

A n o n - p a r a m e t r i c method of Educ. P s y c h o l . BÜROS, O.K. Tests

The Gryphon

Press

1941

The f a c t o r s New Y o r k : BURT, C.

of

mind

MacMillan

1949

The s t r u c t u r e factor

of

t h e m i n d : A r e v i e w of t h e r e s u l t s

of

analysis J.

BURT, C.

Educ.

Psychol.,

19,

100-111,

176-199

1950

The f a c t o r i a l Brit.

311-315

print

New J e r s e y :

Brit.

20,

scaling

1961

in

BURT, C.

Measmt.,

i t e m and t e s t

J.

analysis

Psychol.

BIJNEN, E . J .

of q u a l i t a t i v e

Stat.

Sect.,

3,

data

166-185

1969

G i u s t e r - a n a l y s e . O v e r z i c h t e n e v a l u a t i e van Tilburg:

academisch

CAMPBELL, D . T . Convergent

Psychol.

and d i s c r i m i n a n t

The s c r e e

56,

81-105

Harper 1966 test

Beh.

COMREY, A . L .

for

t h e n u m b e r of

Research,

COOK, S.W.

245-276

a n d p r o g r a m f o r minimum r e s i d u a l

analysis Reports.

15,

91-96

and SELLTIZ, C I .

A multiple-indicator Psychol.

1,

factors

a n d AL AHUMADA 1964

An i m p r o v e d p r o c e d u r e

Psychol.

Multitrait-

1952

CATTELL, R . B .

factor

v a l i d a t i o n by t h e

analysis

New Y o r k :

Multiv.

1959

matrix

Bull.,

CATTELL, R . B . Factor

proefschrift

and FISKE, D.W.,

Multimethod

technieken

Bull.,

62,

1964

approacn to a t t i t u d e 36-55

measurement

LITERATUUR

211

COOMBS, C.H. 1964 A theory of data New York: Wiley COM, R.W. 1964 Facts, factors and artifacts: the quest for psychological meaning Psychol. Rev., 71, 123-140 CRONBACH, L.J. 1951 Coefficient alpha and the internal structure of tests Psychometrika, 16, 297-334 CRONBACH, L.J. and MEEHL, P.E. 1955 Construct validity in psychological tests Psychol. Bull., 52, 281-301 CRONBACH, L.J., RAJARATNAM, Nt and GLESER, G.L. 1963 Theory of generalizability: a liberalization of reliability theory Brit. J. Statist. Psychol., 16, 1-163 CURETON, E.E. 1956 Rank-biserial correlation Psychometrika, 21, 287-290 DAS GUPTA, S. 1960 Point biserial correlation coefficient and its generalizations Psychometrika, 25, 393-408 DAVIS, F.B. 1965 Item analyse Leuven: Nauwelaerts (vert. Willemaers) DAVIS, F.B. and FIFER, G. 1959 The effect on test reliability and validity of scoring aptitude and achievement tests with weights for every choice Educ. Psychol. Measm., 19, 159-170 DIRKZWAGER, A. 1966 Intelligentie en schoolprestaties Amsterdam: Swets en Zeitlinger DUYKER, H.C.J. 1959 Nomenclatuur en systematiek der psychologie Ned. T. Psychol., 14, 176-217 DRENTI!, P.J. 1968 De psychologische test Arnhem: Van Loghum Slaterus

212

LITERATUUR

EBEL, R.L. 1962 Content Standard test scores Educ. Psychol. Measmt., 22, 15-25 ELSHOUT, J.J. 1963 Programma hierarchische clusteranalyse Amsterdam: Psychol. Lab. G.U. EYSENCK, H.J. 1947 Dimensions of personality London: Routledge and Kegan Paul EYSENCK, H.J. 1951 The organization of personality J. Pers., 20, 101-117 FELDT, L.S. 1965 The approximate sampling distribution of Kuder-Richardson reliability coefficient twenty Psychometrika, 30, 357-370 FISHER, R.1932 Statistical methods for research workers Edinburgh: Oliver and Boyd FLANAGAN, J.С 1962 Discussion Educ. Psychol. Measmt., 22, 35-39 FOKKEMA, S.D. 1960 Methodologie en "voorwetenschappelijkheid" in de psychologie Ned. T. Psychol., 15, 266-294 FOKKEMA, S.D. 1967 Attributen-correlatie en afhankelijkheidsrelatie in de psychologische research Ned. T. Psychol., 22, 568-582 FREDERIKSEN, N. and MESSICK, S. 1959 Response set as a measure of personality Educ. Psychol. Measmt., 19, 137-157 GARDNER, E.F. 1962 Normative standard scores Educ. Psychol. Measmt., 22, 7-14

LITERATUUR

213

GEER, J.P. VAN DE, 1957 A psychological study of problem solving Haarlem: De Toorts GENGERELLI, J.A. 1963 A method for detecting subgroups in a population and specifying their membership J. Psychol., 55, 457-468 GLASS, G.V. and TAYLOR, P.A. 1966 Factor analytic methodology Rev. Educ. Research, 36, 566-587 GOOYEN, J.M.B. 1966 De analyse van een arbeidscurve Heerlen: afd. Personeelsresearch N.V. Ned. Staatsmijnen, Rapport no. 60 GROOT, A.D. DE, 1961 Methodologie 's-Gravenhage: Mouton GROOT, A.D. DE, 1966 Vijven en zessen Groningen: Wolters GUILFORD, J.P. 1954 Psychometrie methods New York: McGraw-Hill GUILFORD, J.P. 1965 Fundamental statistics in psychology and education New York: McGraw-Hill, 1950 Intern. Student Edition Tokyo: Kogakusha GULLIKSEN, H. 1950 Theory of mental tests New York: Wiley HAGGARD, E.A. 1958 Intraclass correlation and the analysis of variance New York: Dryden Press HARMAN, H.H. 1960 Modern factor analysis Chicago: Univ. of Chicago Press

LITERATUUR

214

HAZEWINKEL, A. 1968a De waarde van predictieformules voor de voorspelling van een criterium Ned. T. Psychol., 23, 109-121 HAZEWINKEL, A. 1968b Enige opmerkingen naar aanleiding van "nogmaals over multiple regressieformules" Ned. T. Psychol., 23, 184-187 HAVIGHURST, R.J. and MACDONALD, D.V. 1959 Development of the ideal self in New Zealand and American children J. Educ. Res., 49, 263-273 HENRYSSON, S. 1950 The significance of factor loadings Lawley's test examined by artifical samples Brit. J. Psychol., Stat. Sect., 3, 159-165 HENRYSSON, S. 1963 Correction of item-total correlations in item analysis Psychometrika, 28, 211-218 HECKE, A.F. VAN, 1965 Psychologisch onderzoek van de houwersfunctie in afbouw on steenwerk Heerlen: N.V. Ned. Staatsmijnen, afd. Pers. Research HERMANS, H. 1967 Motivatie en prestatie Amsterdam: Swets en Zeitlinger HERMANS, H. 1968 Prestatie Motivatie Test Amsterdam: Swets en Zeitlinger HETTEMA, P.J. 1967 Trekken, processen eVi persoonlijkheidstests Ned. T. Psychol., 22, 618-641 HOFSTEE, W.K.B. 1963 Enkele notities over G.J.S. Wilde's "Neurotische labiliteit, gemeten volgens de vragenlijstmethode" Ned. T. Psychol., 18, 481-499 HOFSTEE, W.K.B. 1967 Method effects in absolute and comparative judgement Groningen: van Denderen

215

LITERATUUR

HOEL, P.G.

1962

Introduction t o m a t h e m a t i c a l

statistics

New York: John. W i l e y HORN, J . L . 1965 A r a t i o n a l e and t e s t factor

for

HOTELLING, H.

30,

of

factors

in

179-185

1933

Analysis of a c o m p l e x principal

of

s tat is teal

variables

into

components

J . Educ. P s y c h o l . ,

24,

417-441,

498-520

1967

On s u b j e c t i v i t y

in

factor

Educ. P s y c h o l . M e a s m t . ,

analysis

27,

HOWARD, K . J . and GORDON, R . A . Empirical n o t e o n factor

number

analysis

Psych omet r i k a ,

HORN, J . L .

the

the

8ii_820 1963

number

of

factors

problem

in

analysis

Psychol. R e p o r t s , HUMPHREYS, L.G.

12,

247-250

1964

Number of c a s e s

and n u m b e r

where N i s v e r y

of

factors :

an

example

large

Educ. P s y c h o l . M e a s m t . ,

24,

457-466

HYMAN, R. 1967 Het p s y c h o l o g i s c h

onderzoek.

Utrecht: S p e c t r u m ,

prisma

JANSEN VAN DER S L I GTE , H . W . Criteriumanalyse.

Fasen

no. de

Timmermans)

Icons t r u k t i e

van

een

empirisch

K.U.

1955

An improved m e t h o d

for

Psychometrika,

253-258

JOHNSON, S.C.

L.A.M.

personeelsbeoordelingen

Nijmegen: d o c t o r a a l s c r i p t i e JENKINS, W.L.

(vert.

1969 in

c r i t e r i u m met b e h u l p v a n

46

20,

tetrachoric

r

1967

Hierarchical c l u s t e r i n g Psychometrika,

32,

JONES, L.V. and F I S K E , Models f o r t e s t i n g Psychol. B u l l . ,

50,

schemes

24 1 - 2 5 4 D.W. the

1953

significance

375-382

of

combined

results

21b

LITERATUUR

JÖRESKOG,

K.G.

1963

Statistical

estimation

Stockholm: KAHNEMAN,

D.

Validity Pers. KAISER,

Almgvist and

and

and

23,

Een

en

Ned. KONINGH,

The

models

DE,

analysis

for

mental

testscores

59—72 A.H.

ideaalbeelden 24,

1969 v a n E u r o p e s e jeugdigen door

clusteranalyse

46-60

1968

ervaringen

D.N.

r o t a t i o n in f a c t o r

19 6 2

iteratieve

Psychol.,

De P s y c h o l . , LAWLEY,

van

de

H.L.

Enkele

analytic

BOON VAN O S T A D E ,

van

T.

for

F.M.

27,

typologie

middel

he t e r o s c e d a s t i c

distribution

Psychometrika, G.

1962

187—200

LORD,

A theoretical KEMPEN,

E. E.

1—11

criterion

Psychometrika, J.A.

analysis

Wiskell

nonlinear 15,

factor

1958

The v a r i m a x KEATS,

and

GHISELLI ,

Psychol., H.F.

in

3,

met

de

A.B.V.

bij

leerling-verplegenden

3 0 6 - 3 12

1940

estimation

of

factor

loadings

by

t h e method of maximum

1 i k e 1 i h o od 1'roc. LAWLEY,

Royal D.N.

Further Proc. LAWLEY,

Soc.

Edinburgh,

investigations Soc.

D.N. and

SWANSON,

of

significance

Brit.

J.

Stat.

Barton: LENTZ,

and

Psychol.,

estimation

Section

A, 6 1 , 176-185

1954 a 7,

factor

a n a l y s i s of a r t i f i c i a l d a t a

75-79

1953

analysis

Houghton

of

pencil—paper

experiments E.F.

a

194 1

method

reaction 6,

i n psychology and education

Mifflin

synonymization:

Psychometrika,

factor

Z. in

T . F . a n d WHITMER,

Item of

E.F.

in

Edinburgh,

Tests

Design

Λ, 6 0 , 64-82

1941

Royal

LINDQUIST,

Section

13 1 - 1 3 9

for

d e t e r m i n i n g the t o t a l meaning

LITERATUUR

217

LEYERLY, S.B. 1959 Significance levels for the K.R.(21) Educ. Psychol. Measmt., 19, 73-75 LOEVINGER, J. 1947 A systematic approach to the construction and evaluation of tests of ability Psychol. Mon., 61, 15-49 LOEVINGER, J. 1957 Objective tests as instruments of psychological theory Psychol. Reports, 3, 635-694 LORD, F.M. 1955 Sampling fluctuations resulting from the sampling of test items Psychometrika, 20, 1-22 LORD, F.M. and NOVICK, M.R. 1968 Statistical theories of mental testscores Reading (Mass.): Addison-Wesley LORR, M. and RADHAKRISHNAM, B.K. 1967 A comparison of two methods of cluster analysis Educ. Psychol. Measmt., 27 I, 47-53 LORR, M., KLETT, C.J. and McNAIR, D.M. 1963 Syndromes of psychosis New York: MacMillan LUTTE, G., MÖNKS, F., KEMPEN, G., SARTI, S. 1969 Ideaalbeelden van de europese jeugd. Het onderzoek in Nederland en Vlaanderen 's-Hertogenbosch: Malmberg LUTTE, G. et SARTI, S. 1969 Le moi-idéal de l'adolescent recherche génétique, différentielle et interculturelle dans sept nations d'Europe Leuven: Nauwelaerts (publikatie in voorbereiding) McNEMAR, Q. 1942 On the number of factors Psychometrika, 7, 9-18 McNEMAR, Q. 1963 Psychological statistics New York: Wiley

218

LITERATUUR

McQUITTY, L.L. 1957 A pattern analysis of descriptions of "best" and "poorest" compared with factor analytic results Psychol. Mon., 71, nr. 446 McQUITTY, L.L. 1960a Hierarchical linkage analysis for the isolation of types Educ. Psychol. Measmt., 20, 55-67 McQUITTY, L.L. 1960b Hierarchical syndrome analysis Educ. Psychol. Measmt., 20, 293-304 McQUITTY, L.L. 1960c Comprehensive hierarchical analysis Educ. Psychol. Measmt., 20, 805-816 McQUITTY, L.L. 1963 Best classifying every individual at every level Educ. Psychol. Measmt., 23, 337-346 McQUITTY, L.L. 1964 Capabilities and improvements of linkage analysis as a clustering method Educ. Psychol. Measmt., 24, 441-456 McQUITTY, L.L. 1965 A conjunction of rank order typal analysis and item selection Educ. Psychol. Measmt., 25, 949-962 McQUITTY, L.L. 1966a Similarity analysis by reciprocal pairs for discrete and continuous data Educ. Psychol. Measmt., 26, 825-831 McQUITTY, L.L. 1966b Single and multiple hierarchical classification by reciprocal pairs and rank order types Educ. Psychol. Measmt., 26, 253-266 MILL, J.S. z.j. A system of logic London: Longmans, 1949 (heruitgave)

LITERATUUR

MOLENAARS, F . M . T h . Α . Enquête onder d e

e n JANSEN VAN DER SLIGTE, H.K. z u s t e r s van

Eindhoven: E i n d h . MOSIER, С.

Psychol.

1968

Schijndel

Inst.

1936

A n o t e on i t e m

analysis

Psychometrika,

1,

MULDER, M.

219

and t h e c r i t e r i o n of

internal

consistency

275-282

1958

Groepsstructuren, Amsterdam:

motivatie

en

prestatie

С.O.P.

NEDERLANDS INSTITUUT VAN PSYCHOLOGEN, Documentatie v a n

tests

1969

en t e s t r e s e a r c h

in Nederland

Amsterdam: N . I . P . - b u r e a u NOVICK, M.R. a n d LEWIS, Coefficient

alpha

Psychometrika, OERS, J . J . A .

Heerlen:

in

composite

measurements

1-13

o n d e r z o e k v a n de A m s t e r d a m s e selectie-situatie

Staatsmijnen

OPPENHEIM, A.N.

of

1964

Een v e r g e l i j k e n d Vragenlijst

1967

and t h e r e l i a b i l i t y

32,

VAN,

Ch.

i n Limburg,

en

Biogragische

niet-selectie-situatie

afd.

Personeelsresearch

1966

Questionnaire

design

and a t t i t u d e

measurement

London: H e i n e m a n PARKINSON, C.N.

1963

De d e r d e w e t v a n Amsterdam:

Parkinson

S c h e l t e m a e n Holkema ( v e r t .

PAYNE, W.H. and ANDERSON, D . E . Significance

levels

sampling e x p e r i m e n t Educ. P s y c h o l .

for

Cambridge:

Univ.

PENNINGS, H . J . V .

for

PENNEL, R.

an a u t o m a t e d

23-39 1954

statisticians.

Volume

I

Press

1966

Beambten e n a r b e i d e r s Sittard:

twenty:

approach

PEARSON, E . S . a n d HARTLEY, H . O . tables

Wellen)

1968

the Kuder-Richardson

Measmt. , 28,

Biometrika

J.G.M.

i n de

inudstrie

Alberts 1968

Iterated communalities,

convergence

Educ. P s y c h o l .

28,

Measmt.,

793-802

and t h e number of

common

factors

220

LITERATUUR

PERRY, N.C. and MICHAEL, W.B. 1954 A tabulation of the fiducial limits for the point biserial correlation coefficient Educ. Psychol. Measmt., 14, 715-721 PETERS, C.C. and VAN VOORHIS, W.R. 1941 Statistical procedures and their mathematical bases New York: McGraw-Hill RICHARDSON, M.W. 1941 The combination of measures In: P. Horst, The prediction of personal adjustment New York: Social Science Research Council, Bulletin 48, 379-401 ROSKAM, E.E.Ch.I. en HORSTEN, A. 1968 Algemeen programma factoranalyse Nijmegen: Psychol. Lab. Programma-Bull. 10 REUMKENS, P.J.M. 1962 Een vergelijkend onderzoek van beoordelingsgegevens, personalia en testgegevens Geleen: N.V. Ned. Staatsmijnen RYAN, T.Α. 1960 Significance tests for multiple comparison of proportions, variances and other statistics Psychol. Bull., 57, 318-328 RIJKSARBEIDSBUREAU 1956 Beroepsbeelden Den Haag: Min. ν. Sociale Zaken en Volksgezondheid RIJKSARBEIDSBUREAU 1958 Beroepeninventarisatie (nieuwe reeks) Den Haag: Min. v. Sociale Zaken en Volksgezondheid SAUNDERS, D.M. 1956 Moderator variables in prediction Educ, Psychol. Measmt., 16, 209-222 SAWREY, W.L., KELLER, L. and CONGER, J.J. 1960 An objective method of grouping profiles by distance functions and its relation to factor analysis Educ. Psychol. Measmt., 20, 651-673

LITERATUUR

221

SCHEERDER, Α. en KERKHOFF-MEEUWIS, I. 1969 Rapport gerichtheidsonderzoek LHNO Eindhoven: Eindh. Psychol. Inst. SEGERS, J.H.G. 1965 Verslag over de interviewphase van het onderzoek naar de fluctuaties in het arbeidersbestand der nederlandse steenkool mijnen Tilburg: Instituut voor Arbeidsvraagstukken SEGERS, J.H.G. 1968 Het personeelsverloop in het ondergronds mijnbedrijf, methoden en resultaten Tilburg: academisch proefschrift SNEDECOR, C.W. 1937 Statistical methods Ames (Iowa): Collegiate SOKAL, R.R. 1959 A comparison of five tests for completeness of factor extraction Transactions of the Kansas Academy of Science, 62, 141-152 STARREN, J.С.M.G.M. 1965 Het meten van studie-motivatie respectievelijk studie-attitude bij technische vakscholieren Heerlen: N.V. Ned. Staatsmijnen, afd. Personeels Research SÏKl'llKNSON, W. 1936 The inverted factor technique Britt. J. Psychol., 26, 344-361 STEPHENSON, W. 1953 The study of behavior Chicago: Univ. of Chicago Press STEVENS, S.S. 1951 Handbook of experimental psychology New York: Wiley Hoofdstuk 1: Mathematics, measurement and psychophysics STEVENS, S.S. 1962 Measurement, psychophysics and utility In: Churchman, C.W, and Ratoosh, Ph. Measurement: definition and theories New York: Wiley, 18-63

222

LITERATUUR

STOUFFER, S.A. GUTTMAN, L., SUCHMAN, E.Α., LAZARSFELD, P.F., STAR, S.A., CLAUSEN, J.A. 1950 Measurement and prediction Princeton (New York): Princeton Univ. Press TAYLOR, E.K., SCHNEIDER, D.E., and SYMONS, N.A. 1953 A short forced-choice evaluation form for salesmen Pers. Psychol., 6, 393-401 TARSKI, A. 1964 Inleiding tot de logica Amsterdam: Noord-Hollandsche Uitg. Maatsch. (vert. E.W. Beth) TELLEGEN, В. 1968 Over rigiditeit Zaltboimnel: Avanti TENOPYR, M.L. and MICHAEL, W.B. 1963 A comparison of two computer-based procedures of orthogonal analytic rotation with a graphical method when a general factor is present Educ. Psychol. Measmt., 23, 587-597 TENOPYR, M.L. and MICHAEL, W.B. 1964 The development of a modification in the normal varimax method for use with correlation matrices containing a general factor Educ. Psychol. Measmt., 24, 677-699 THORNDIKE, R.L. 1953 Who belongs in the family? Psychometrika, 18, 267-271 THURSTONE, L.L. and CHAVE, E.J. 1929 The measurement of attitude Chicago: Univ.Chicago Press THURSTONE, L.L. 1947 Multiple factor-analysis Chicago: Univ.Chicago Press TORGERSON, W.S. 1958 Theory and methods of scaling New York: John Wiley TRAVERS, R.M.W. 1955 Educational measurement New York: MacMillan

223

LITERATUUR

TRYON, R.C. 1957 Reliability and behavior domain validity Psychol. Bull., 54, 229-249 TRYON, R.C. 1958 General dimensions of individual differences: cluster analysis vs multiple factor analysis Educ. Psychol. Measmt., 18, 477-495 TUCKER, L.R. 1955 The objective definition of simple structure in linear factor analysis Psychometrika, 20, 209-225 VERNON, P.E. 1950 The structure of human abilities London: Methuen WARD, J.H. 1963 Hierarchical grouping to optimize an objective function J. Am. Stat. Ass., 58, 236-244 WASSENAAR, G.M.C. 1956 Labiliteit as temperamentsfactor Stellenbosch (Z.Afrika): academisch proefschrift WELTEN, V.J. 1969 Konstruktie scoringssysteem van de I.S.I.-Interessetest, Vorm I en II Groningen: Wolters WESTENDORP, P.H. VAN 1965 Verslag van een onderzoek naar de houding tegenover het parlement, met enkele methodologische overwegingen betreffende schaalconstructie Sociologische Gids, 12, 359-373 WHERRY, R.J. and GAYLORD, M.H. 1943 The concept of test and item reliability in relation to factor pattern Psychometrika, 8,

247-264

WHERRY, R . J . and WINER, B . J . A method f o r f a c t o r i n g Psychometrika,

18,

1953

l a r g e n u m b e r s of

161-179

items

224

LITERATUUR

WIEGERSMA, S. 1959 Belangstellingsonderzoek bij de differentiatie na de lagere school Leiden: Batteljie en Terpstra WIEGERSMA, S. 1960 Psychometrische betrouwbaarheid Ned. T. Psychol., 15, 22-46 WIEGERSMA, S. en GEMERT, W. 1961 Hoe denkt U over Uw werk? Mens en Onderneming, 15, 17 9-192 WOLFF, Ch.J. DE 1963 Personeelsbeoordeling Amsterdam: Swets en Zeitlinger WRIGLEY, C.F. 1957 Cluster analysis or factor analysis? Psychol. Reports, 3, 497-506

BIJLAGE 1

I.l. De betrouwbaarheid van de point-biserial г De betrouwbaarheid van de point-biserial r is afhankelijk van de volgende parameters: N ; de grootte van de steekproef, ρ ; de populatie-correlatie, Ρ ; de proportie één-coderingen van de binaire variabele i, Pn; de proportie nulcoderingen van de binaire variabele i, de verdeling van de scores van de continue variabele, de verdeling van deze scores met codering één, en de verdeling van deze scores met codering nul. Geval 1 : ρ - 0 Aannamen: 1. de scores van de continue variabele zijn normaal verdeeld, 2. de scores met codering één zijn normaal verdeeld, en 3. de scores met codering nul zijn normaal verdeeld. Geval la: ρ - 0, N > 30, 0,16 < ρ < 0,84 De hypothese ρ = 0 kan bij grote steekproeven worden getoetst met de volgende formule t = r · Siï waarbij r de gevonden point-biserial is. Bij ρ = 0 heeft t een normale verdeling met gemiddelde nul en sigma één. Deze verdeling staat in nagenoeg alle handboeken, zie onder andere Guilford (1965, tabel В en C ) , Hoel (1962, tabel II) en McNemar (1963, tabel A) .

BIJLAGE 2

Geval lb: ρ - O, Ν < 30, 0,16 < ρ < 0,84 Bij kleine steekproeven kan de hypothese ρ • 0 worden getoetst met de volgende formule

t

,

=

r

^2

waarbij r de gevonden point-biserial is. Bij ρ = 0 heeft t' een student's t verdeling met N-2 vrijheidsgraden. Deze verdeling staat onder andere in Pearson en Hartley (1954, tabel 9 ) . Geval 2 : ρ j 0 Aanname : 1. de scores van de continue variabele zijn normaal verdeeld. Aannamen 2 en 3 van geval 1 zijn, als de populatie correlatie niet nul is, niet acceptabel (Das Gupta, 1960, p. 403 en 404). Om die reden zijn de betrouwbaarheidsgrenzen van Perry en Michael (1954) niet bruikbaar. Deze bezwaren bleken praktisch relevant voor steekproeven kleiner dan 70 van de kapittel-enquête (zie paragraaf 4.1). De correlaties van de steekproeven van 120, 100 en 80 bleken onderling te verschillen overeenkomstig de Fisher z-formule voor produkt moment correlaties. De verschillen met de steekproeven van 60 bleken echter duidelijk groter dan verwacht. In tabel 1.1.1. staan de resultaten van deze toetsing. Deze tabel geeft de eerste twee momenten van de verschillen tussen de z-waarden van de correlaties gedeeld door de theoretisch verwachte standaarddeviatie, waarvan de formule is :

BIJLAGE 3

Tabel 1.1.1. Gemiddelde en standaarddeviatie van de gestandaardiseerde verschillen tussen de z-waarden van de voor 'part-whole' gecorrigeerde point-biserial correlaties van de steekproeven van de kapittel-enquête. Ν

Μ

σ

0°

0

1

steekproeven 120, 100 en 80

150

0,007

0,998

steekproeven 60 met andere

165

0,061

1,410

populatiewaarden

Gezien deze resultaten kan voorlopig worden aangenomen, dat het praktisch toelaatbaar is om point-biserial's te toetsen met de Fisher z-formule, als de steekproefgrootte groter is dan 70, en de p/q verdeling ligt tussen 0,16 en 0,81|. Geval 2a: ρ 4 0, N > 70, 0,16 < ρ < 0,84 Op grond van voorafgaande kan bij grote steekproeven als benaderings formule in dit geval voor de hypothese r = ρ worden gebruikt: t =t(z{r} - z{p})|. ^=3 waarbij z{r} de z-waarde van de gevonden point-biserial is, en z{p} de z-waarde van de populatie correlatie. Deze omzetting is mogelijk met de tabel VB van Fisher (1932), tabel Η van Guilford (1965) of tabellen В en С van McNemar (1963). De verdeling van t is standaard-normaal. De hypothese r. • τ~ wordt dan getoetst met de formule: /(N1-3)(N„-3) t = (z{r } - z{r2}) » / — ! = N +N2-6

BIJLAGE 4

Ook hier is de verdeling van t standaard-normaal. Een belangrijke voorwaarde van de toetsing is, dat r. en r„ zijn uitgerekend in twee onafhankelijke 'unmatched' steekproeven. Als niet aan bovengenoemde voorwaarde is voldaan kan de hypothese r

12

=

r

l3

wor

den getoetst met de z.g. Hotelling-formule (1940),

zie Guilford (1965, formule 9.12):

/ t = (Γ,,-Γ,,)

12

13

(N-3)(I+r„)

/

2
2 2 2 _r r 2r r r ) - 23 12" 13* 23 12 13 r

Hierbij dient r«- een produkt moment correlatie te zijn. Deze toetsing is o.a. bruikbaar als moet worden nagegaan of de ladingen van een operator in twee clusters significant verschillen. De clusters moeten daarbij minstens ieder uit 15 operatoren bestaan, anders dient een correctie te worden aangebracht voor 'part-whole' correlatie (zie paragraaf 6.З.1.). Bij clusters kleiner dan 10 daarnaast ook een correctie voor 'coarse-grouping' (zie paragraaf 6.З.1.). De t-waarde van de Hotelling-formule is ook standaard-normaal verdeeld. Geval 2b : ρ Φ 0, Ν < 70 Er zijn geen formules, ook geen benaderingsformules om in dit geval de point-biserial te toetsen.

BIJLAGE 5

1.2. Toetsing v a n e e n

reeks

Deze t o e t s i n g i s

afhankelijke

mogelijk

steekproef g r o o t t e

van

voor

N 5 200

de c o r r e l a t i e s v a n

hoog

naar

grootste v e r s c h i l ,

namelijk

en wel met d e H o t e l l i n g intercorrelatie trachorische r

tussen zijn.

Jenkins ( 1 9 5 5 ) ,

ook

Op grond v a n h e t

de

voor

kleinere s t e e k p r o e v e n

de

(Ryan,

van

geval

operatoren te

volgende wijze:

beschouwd bij

330

rangschik

m e t d e t o e t s i n g van h e t en k l e i n s t e

2a

correlatie

(zie bijlage

moet

die

tetrachorische

p.

een

in dit

1 . 1 . ) . De

g e v a l een t e -

b e r e k e n e n m e t de t a b e l l e n van

schattingen

is

van één cluster bij

grootste

verdelingen,

1965,

De s i g n i f i c a n t i e — d r e m p e l

op de

en begin

de

snel

p/q

dat

(Guilford,

van

twee

g r o t e r dan 2 0 0 n a u w k e u r i g e latie geeft

laag

is

operatoren

en wel

formule

Deze

feit

de

r—waarden.

afwijken

r

pas bij

v a n de 50/50%. steekproeven

v a n d e p r o d u k t moment c o r r e -

en

331),

worden

als

moet deze toetsing

een

bovengenoemde

bij

benadering. toetsing gelijk

aan

1960) 2 α n(K-l)

Hierbij i s α d e n o r m a l e

significantiegrens

(5% of en

η het

totaal

aantal

К het

aantal

operatoren

Bij b o v e n g e n o e m d e t o e t s i n g Wanneer de t w e e wijze h e t o p é é n

is

correlaties na

maar n - 1 . M e t d e z e

grootste

operatoren,

bij

van de

significant verschil

in'

aan n .

v e r s c h i l l e n , w o r d t op d e z e l f d e

getoetst.

К i s dan e c h t e r n i e t n,

d o o r g e g a a n , waarbij

het verschil

Dit i s de z o g e n a a m d e * p l u g g i n g

sub—steekproef.

de e e r s t e t o e t s i n g К gelijk

toetsingen wordt

een wordt v e r m i n d e r d , t o t d a t

1%),

niet

К s t e e d s met

meer s i g n i f i c a n t

is.

m e t h o d e m e t a a n g e p a s t e g r e n z e n . De

BIJLAGE 6

c o r r e l a t i e s van de o p e r a t o r e n v a n d e eerst het grootste v e r s c h i l

s u b — s t e e k p r o e f , waar voor het

niet—significant

i s , zijn homogeen. Bij

de c o r r e l a t i e s k a n d a n d e n u l h y p o t h e s e : Г j

=

ô

* · ·

=

^-¡

=

· · ·

=

îr

β

Ρ

n i e t worden v e r w o r p e n . De b e s t e s c h a t t i n g v a n d e p o p u l a t i e c o r r e l a t i e i s dan

к

к

J

Voor de o m z e t t i n g v a n d e c o r r e l a t i e c o ë f f i c i ë n t e n kunnen de t a b e l l e n

van

t a b e l H) of v a n McNemar

Fisher (1963,

(1932, tabel

tabel

in Fisher z-waarden

VB), van Guilford

В e n C) worden gebruikt.

(1965,

BIJLAGE 7

Toetsing van een reeks afhankelijke p-waarden. McNemar (1963, formule 13.5) heeft een formule ontwikkeld om een reeks van afhankelijke proporties op hun homogeniteit te toetsen. Deze formule is bruikbaar bij steekproeven waarvan N > 30 en luidt n

n

2 2 (n-1) [ηΣ (Np.Γ - (Σ Np.Γ ]

Q

i

Ν

ηΣ s u b

Hierbij is η

i

Ν b

ς

b

sf; b

het aantal operatoren (1 ... i ... η ) ,

p.

de proportie één-coderingen van operator i,

N

het aantal proefpersonen of stimuli (1 ... b ... N ) , en

S,

de somscore van proefpersoon b over alle η operatoren.

De waarde Q volgt een chi-kwadraat verdeling met n-1 vrijheidsgraden. Deze is voor meer dan 30 vrijheidsgraden te berekenen met de volgende formule : χ

{? è a} = n+0, 5 · t

{P < α} + t {Ρ ί α} · /2(n-1) - 1,5

Hierbij is α de significantiegrens, t de t-waarde van de standaard-normaalverdeling voor de gekozen significantiegrens. De standaard-normaalverdeling staat in nagenoeg alle handboeken, onder andere in Guilford (1965, tabel В en C), McNemar (1963, tabel A) en Hoel (1962, tabel II). Voor minder dan 30 vrijheidsgraden kunnen de tabellen van Fisher (1932, tabel III), Guilford (1965, tabel E) en McNemar •(1962, tabel D) worden gebruikt.

BIJLAGE 8

Betrouwbaarheid van de K.R.(21) en K.R.(20).

Hoewel er al verschillende pogingen zijn ondernomen om de verdeling van de waarden van de K.R. formules in steekproeven te bepalen, moet toch nog gezegd worden, dat de resultaten niet definitief en afgerond zijn. Lord (1955) heeft een onderscheid gemaakt tussen drie vormen van steekproeftrekking. Bij het eerste type worden dezelfde operatoren toegepast op aselect getrokken steekproeven van elementen. Het gaat dan om de statistische betrouwbaarheid. Wanneer nu aselecte sets van operatoren worden toegepast op dezelfde steekproef van elementen, kan worden gesproken over type twee 'sampling of randomly parallel forms or tests 1 . Het onderzoek richt zich dan op de psychometrische betrouwbaarheid. Combinatie van beide types geeft de derde vorm; aselecte sets van operatoren bij aselecte steekproeven van elementen. Voor het tweede geval geeft Lord (1955) zelf betrouwbaarheidsformules, voor het derde geval Feldt (1965), terwijl naar onze mening Leyrly (1959) een toets heeft gegeven voor de hypothese K.R.(21) is nul in geval 1. Vrij recent hebben Payne en Anderson (1968) door middel van simulatie significantie niveau's bepaald voor de K.R.(20). De door hen gevolgde procedure is echter aanvechtbaar. Denkelijk wordt met hun tabel alleen getoetst of in het door de onderzoeker gevonden cluster de invloed van de meetfout op de score signigicant kleiner is dan in de door Payne en Anderson gesimuleerde data. Om die reden achten wij de tabellen van Payne en Anderson niet bruikbaar. De toetsingen van de drie gevallen zijn nu als volgt:

BIJLAGE 9

Geval 1 : De vraag luidt: hoe groot is de kans dat dit cluster bij een steek proef van elementen uit dezelfde populatie weer wordt gevonden? Voor de evaluatie van gevonden clusters is deze vraag in de eerste plaats belangrijk. Leyrly (1954) heeft erop gewezen dat in dit ge val de hypothese K.R.(21) = 0 getoetst kan worden met de binomiale index van dispersie (zie Hoel, 1962, p. 255-257). Nagegaan wordt of de verdeling van de clusterscores binomiaal is. Als dat het geval is, is de kans klein dat de cluster bij een steekproef van overeenkomstige elementen weer wordt gevonden. Een binomiale verdeling van de scores ontstaat namelijk bij onafhankelijke operatoren en/of elementen met gelijke ware scores. In beide gevallen meet de schaal of cluster in deze populatie van elementen niets. De formule luidt: η ·N

2

X

= η - (n-1) · r 2 1

2 Hierbij is χ

de chi-kwadraat van deze K.R.(21), bij deze N en n,

η

het aantal operatoren,

N

de grootte van de steekproef van elementen, en

r 2 1 de berekende K.R.(2]) De chi-kwadraat verdeelt zich met (N-1) vrijheidsgraden. In Fisher (1932, tabel III), Guilford (1965, tabel E), McNemar (1962, tabel D) staat deze verdeling voor 1 t/m 30 vrijheidsgraden. Bij meer dan der tig vrijheidsgraden kan de standaard-normaalverdeling worden gebruikt voor de t-waarde, waarbij t = /2v2 - /2N-3

BIJLAGE 10

Het is ook mogelijk de K.R.(21) te berekenen, die bij deze N en η significant is voor bijv. 5 of 1%, en wel met de formule: r

21

{ α 5 Ρ }

=

С

^

-—(

- ) X ia >, P}

waarbij voor meer dan dertig vrijheidsgraden χ 2 ία $ Ρ} = i · t

{α > Ρ) + /2Ν-3 · tía г Ρ) + N-Iji

Voor de K.R.(20) heeft van der Ven gewezen op de index van dispersie voor de gegeneraliseerde binomiaal. In dat geval is de formule:

X

2

Ν ·σ

=

τ

4

1

^ І І*• -

ι

1

η

Wanneer het aantal operatoren meer is dan twintig kan de betrouwbaar heid van de K.R.(20) bepaald worden met de formules van geval 3. Lord (1955) heeft aangetoond, dat de meetfout van geval 3 gelijk is aan de som van de meetfouten van geval 1 en 2. Bij veel operatoren is de meetfout van geval 2 verwaarloosbaar klein en kan dus de meetfout van geval 3 gelijk gesteld worden aan geval 1 (zie ook Feld, 1965, ρ. 364). Hierbij dient wel opgemerkt te worden dat de grens van twin tig arbitrair is en nog niet door onderzoek geverifieerd. Geval 2: De vraag is: hoe groot is de kans dat een overeenkomstig cluster bij dezelfde elementen weer wordt gevonden? Deze vraag is o.a. belangrijk bij kennistoetsingen, wanneer de onderzoeker wil weten hoe betrouwbaar de klassificatie voldoende-onvoldoende is op grond van een aantal op drachten of vragen.

BIJLAGE 11

Lord (1955) heeft voor dit geval formules ontwikkeld. Deze formules, die wij hier niet zullen geven, hebben echter alleen een theoretische waarde. Ze zijn namelijk alleen toepasbaar bij clusters van redelijke grootte. In dat geval is echter de meetfout van geval 2 verwaarloos baar klein (Lord, 1955, p. 6 en 19). Geval 3: De vraag is: hoe groot is de kans dat een overeenkomstig cluster bij een steekproef van elementen uit de populatie weer wordt gevonden? Deze vraag is o.a. belangrijk voor examens waarbij steeds andere vragen uit eenzelfde stock aan verschillende candidaten worden voorgelegd en ook bij het gebruik van parallel tests bij verschillende groepen uit de zelfde populatie. Feldt (1965) geeft een benadering via variantie-analyse van de betrouw baarheid van de K.R.(20) in dit geval. De formule luidt: , (1-P20) , (1-p20)1 , 1 -— < r20 < 1 - — У= 1 - α a b Hierbij is α de gekozen significantiegrens,

'}•

p»0 de populatie of gestelde K.R.(20), r 2 0 de verkregen K.R.(20), F

het linker percentiel punt in de centrale F-verdeling voor ia

F,

het rechter percentiel punt in de centrale F-verdeling voor 1 - Ja

Het aantal vrijheidsgraden voor F

en F, zijn (N-l) en (N-l)(n-l). De

eerste voor de teller (ordinaat van de tabel), de tweede voor de noemer (absis van de tabel). Daar in de meeste tabellen alleen de rechter over schrijdingskans wordt gegeven (F.), kan F

berekend worden met de relatie:

BIJLAGE 12

1 F {Ρ ¿ ia, df,, df } F {Έ $ 1-ia, d f 2 > dfj} Hierbij moet erop worden gewezen dat de vrijheidsgraden worden om gedraaid; df« wordt de teller en df. de noemer. Lindquist (1953) en Haggard (1958) geven bovenstaande formule verkeerd doordat ze dit punt over het hoofd zien. Ook Ebel (1951) geeft de formule echter om andere redenen onjuist. De formule voor de betrouwbaarheidsinter val van p_ 0 wordt: Ρ {1 - (l-r 2 0 ) · F b < p 2 0 < 1 - (l-r 2 0 ) F a } = 1 - α Tabellen voor de centrale F-verdeling staan in Snedecor (1937), Hoel (1962, tabel III), McNemar (1963, tabel F) en Guilford (1965, tabel F ) . Bovenstaande formules moeten als benaderingsforjnules worden beschouwd. Bij nul en één-coderingen is niet aan de voorwaarden voldaan die gesteld worden voor toetsingen door middel van variantie-analyse. In een empirisch onderzoek vindt Feldt echter geen grote verschillen.

BIJLAGE 13

1 . 5 . Omzetting van de p o i n t - b i s e r i a l r i n de b i s e r i a l

r.

In t a b e l 1 . 5 . 1 . s t a a n de c o ë f f i c i ë n t e n waarmee de gevonden p o i n t b i s e r i a l r moet w o r d e n v e r m e n i g v u l d i g d om een b i s e r i a l r t e v e r k r i j g e n . De c o ë f f i c i ë n t

is afhankelijk

de p r o p o r t i e enen of

van de p - of q-waarde van de v a r i a b e l e ;

nullen.

Tabel

1.5.1.

Coëfficiënten voor omzetting point-biserial r in biserial r > of q

coëff.

ρ of q

coëff.

ρ of q

coëff.

ρ of q

coëff.

0,15

1,53

0,27

1,34

0,39

1,27

0,16

1,51

0,28

1,33

0,40

1,27

0,05

2,11

0,17

1,48

0,29

1,33

0,41

1,27

0,06

1,99

0,18

1,46

0,30

1,32

0,42

1,26

0,07

1,90

0,19

1,45

0,31

1,31

0,43

1,26

0,08

1,83

0,20

1,43

0,32

1,30

0,44

1,26

0,09

1,76

0,21

1,41

0,33

1,30

0,45

1,26

0,10

1,71

0,22

1,40

0,34

1,29

0,46

1,25

0,11

1,66

0,23

1,39

0,35

1,29

0,47

1,25

0,12

1,62

0,24

1,37

0,36

1,28

0,48

1,25

0,13

1,59

0,25

1,36

0,37

1,28

0,49

1,25

0,14

1,56

0,26

1,35

0,38

1,27

0,50

1,25

BIJLAGE 14

oIJLAot:

Hole

: Vι A N

JATASlMULAUi A S t - L t i K T t L) Л Т Л

4 4 51

i

чJ 1

с

3d 5·+ Ol

¿

'•

у

Ьз З

7

Ö

о

} \

11

32

¿7 71

53 b?

6 6 48

4c

42

57

59

72

49

5?

57 48 56

43 45 5ö

з4 44 41

62 46 5С

64 52 41

5 7 56 66

5fc 35

57

4?

56

57

65

5^ 51

52 51 26 46 .60

55 4o 5^.

49 45

62 30 23

55 52 30

4 3

32 52 45

45 3',

57 50

41 30

M

50

48

51

4θ 65

4 9

53

55

36

62

brt

47

45

49

59 50

46

52

47

58

¿3 *4

53 4b

46

54

50 47 50 59 57

54 54

ù4 57

(S3

7и

52 59

^5

54 37

36

41

¿ 6

37 ¿Г 5 5

48

5f

4 3

55 45

57

53

; • &

to

o4 5^

54 53

6 3 50

? 0 to ' 4 34

5 6 63

32 50

41

-»-»•

6L

53

37

6С

¿7

51

58 64

53 42

4 9

49

ei

39

4 o

54 45

46

57

49

5) 56

50 ?5 34

45 35

51 54

53

49 63

4H

5 3 ,, 4 4

61

54

35

57

40 40

44

53 50 60

5í Ч^

«-В об

4¿ 5*

34 35 49

41 45

34

69

50 44 57

53 46

Ol 57

61 62

Ή 51

56

43

62 56

43

47

42 61

41

56

55 48 42

28 5&

47

53 29 40

43

68

45

60 4 β

40

49

48 52

hi

<*0

41

/. <î

45

43

50

4ь

ЬЬ

5tì

51

47

63

52

^6

48 71

3o 50

53 40

47

35

33 56

33 56 Db

4 0 55 45

59 19

38 39

53 47 47

47 3 5 57

39 56 37

55 56 63

5Z' 55 3^

¿1 44

5В

55 54 58

43 45 i. 7 6 0 5c 4 8

4:> 5^ 54

38 42 56 47 5 0 6 С

59 56 53

50 35 48

4fl 40 50

3 2 38

45 51 57

54 40

ь 6

59 49 43

ЬУ 67 44

5») υΐ 40

47 3 4 44

6 0 55 32

43 о4

44 49 ¿з

55 52 ¿4

4 2 53 ^З

52 6 7 35

54

63

45 57 58

57 61

Ή. 46 44

5ο

3 9

37

45

4О

45 44

48 27

D5

36 5) 7b

4Q

70 48

37 6 7

4f 44

5і 4.5 45

50 38 56

57 46

46 63 44

59 48

44 48 46

54 4?

60

64

63 5С

53

53

63

48

53 55

38

36

66

52

45

2 o SÍ-

κ

1 ^Р

46

6 s 44

36

o9 S4

71 S6

74 56

56 66

6 3 41

SC

ь

4V

5 2 57

53 44

48 o4

49 31

o3 47

52 S4

42 65

53 62

55 ^8

4 η

66

*ъ 53

58 45

49

51

53 57

53 59 54

54

4/ 49

54 44

45 53

ΛΟ 38

60

24

't 5

?¿ 5 6

6·"» fc6

44 ¿ (

45 45

33 49

4' 60

44 4?

?6 S"

4¿ 48

41 3í

57 54

59

4 5 57

7? f-3

Sí

42 37

6 2 62

46

З1 ? "*

42

er, 5?

5°

51 79

61 Η 5 Ο

f1 4^

48

32

52 45

34

4fi

62

bñ 3 7

37 5o

52 50

^2

3?

35

51 2 7 69

·) 62

7

41 47

5? 45

41

ί.

4? 7

3b 47

47 54

κ

Ν

53

41

?8

.1 I

U ^ C P A T J ÍП

5' '

49 50

4Ì

38

81J

AkAÜRAAF-

¿7 59

41 38

6')

52

D

i ZI Y

52 53

52

л^ 50

ьз ь

c L t r l4 Γ Ν Τ Γ Ν

53

5¿ 4t)

'54

.i r

56 52 58

ïd 4-J 54

56 Сч

t N 1 SÄ ZOE К Г N

ÜATASIMULATÍQ

59

ал

BIJLAGE 15

UATASIMÜLATiË I ASELEKTE UATA VAN T' tLLMENTEN B U I 50 JPERATUPFN VERVOLG 3 J 54 t>9 4b bö 5J 5b tl 46 44 40 51 57 64 5 5 46 41 63 64 65 25 40 41 61 31 00 53 48 42 77 41 61 52 68 33 58 70 4C 54 58 6¿ 65 48 72 50 34 31 54 57 52 41 ) '+

*9 46 ob 59 54 53 40 47 57 47 48 49 59 57 4У 50 42 56 6R 49 72 46 50 44 35 54 62 58 57 47 53 44 6Î 44 54 46 47 45 57 53 54 45 59 22 43 59 55 45 37 52

is УЗ 45 6^ 63 45 45 43 54 52 53 60 16 39 37 45 43 51 57 66 43 57 45 50 22 45 55 50 31 29 63 57 52 30 57 56 48 45 45 53 54 oi 61 47 69 36 56 47 51 53 56 ib

45 41 63 59 35 53 52 73 43 51 36 59 57 5? 43 60 45 55 65 П' 50 6U 42 45 33 ЬУ 50 55 61 60 44 39 6( 54 42 50 59 41 44 Ol 49 Ы 52 48 42 46 68 59 53 30

Ϊ 7 49 53 57 57 61 53 64 46 ¿4 5П 43 56 59 41 56 37 48 63 57 43 36 :?4 41 48 41 45 47 60 59 49 53 58 53 41 51 50 43 47 54 51 64 35 37 44 53 46 67 65 56 52 1 ri 53 43 64 46 35 47 48 55 57 49 42 Ά 6 52 23 41 38 56 44 5^ 54 39 50 46 46 49 49 41 <>П 59 54 42 53 63 66 52 44 46 5' 59 53 57 37 32 33 63 41 40 40 57 63 19 35 48 62 47 43 48 43 46 38 68 47 47 49 61 42 48 46 51 50 58 49 54 42 50 33 47 53 47 63 50 60 34 36 55 51 39 71 44 75 51 öO 54 45 51 34 40 ¿5 53 39 63 21 59 61 42 43 57 72 41 72 f6 65 36 75 59 50 49 59 69 59 45 52 50 57 50 54 39 50 31 47 36 37 58 35 41 55 34 34 57 49 5υ 43 57 61 73 59 59 47 30 45 51 33

BIJLAGE 16

.lATASlrtULAlit A S L L t K T f ¡JÄTA

'. ;

3 4 -. . f

4

4

1»

U li

J .3

14

15

16

II VAN )''""', ËLbNcNTEN J l J 50

OPCKATdtU-N

ч 4 Зн- ü3 'i< 50 56 61 b 4 56 ^ 1 b' 1 ^1 66 57 b5 51 46 Í^ Ь і 54 Jb 49 ¿2 55 43 Ъ2 4-5 57 4 1 41 54 Ы> 53 58 5 ^ 5 Л JÍ) J 9 І У 4 J '+5 И 52 52 5? 'И 50 30 i / ( У ч7 Ы 6 4 4 2 46 44 об 50 54 38 23 ; ' ЗЬ 45 41 5 ^ 4В tal -тэ 4). чо 4V iU 53 55 54 36 ò? 50 4(:) 4 4 61 39 51 46 6 4 71 59 4 L ь5 4 7 4 7 45 4*5 5í 4 3 53 4 6 J4 -tt- 57 +9 5 ü 36 54 56 4¿ ьь 54 4 6 50 52 47 5Ь 3 4 4Β ^ f i 45 't*: 34 4 1 52 5V 50 54 ьл 63 37 54 50 ¿5 51 53 49 74 «56 ^ J t з 5 70 59 i>7 44 54 57 45 27 3 7 ."> J5 j * 45 63 56 66 4 1 5? 4 4 45 34 6 9 57 36 41 4 6 55 36 "-> t t í гД D 3 55 26 61 46 50 4 í 4Й 53 44 6 1 54 4 2 ¿-6 36 5? j' t o υ7 29 4 8 5 έ 62 4 2 62 5 ] 4 1 4 3 .> i V J 57 b2 4 2 4 ? 4 5 33 4 7 56 40 42 4 7 43 6 1 56 51 43 6Р 4> 0<, 40 1>ô 49 4b Ы • 49 4 ] 49 45 53 47 40 44 52 53 4Я ¿9 >:э t i j jib 5о оЗ 5¿ 43 5С 4( 4ti Зо 4 0 rJ 4 Í ' 4 9 t>7 4 4 6 4 31 52 55 5 8 5) 50 4 7 63 52 56 71 59 66 j Ί ЪЪ 40 59 5b ?fi 5-i 47 39 55 54 4 1 53 63 52 42 53 55 4Г Л jb 55 ¿9 54 35 4 7 35 5В 56 51 4-4 v i 4 7 54 65 62 3 6 59 29 55 ч 5 59 58 53 4 7 57 37 63 33 52 a, J 43 4 5 43 38 4¿ 59 50 48 32 59 45 54 6t> 53 53 58 ¿9 61 '»l 27 t>0 54 56 4 7 56 35 4 6 I b 4 9 51 l t ' ' b l 53 57 4 5 5 1 50 63 59 4 8 59 50 60 53 4 8 50 í>6 4? 57 40 69 50 47 60 43 4 4 45 55 42 52 54 ,53 54 4 7 54 45 46 6 0 Î4 o ? 61 39 55 6 4 4 9 57 5? 53 67 57 >9 2 4 49 4 4 53 3fc 45 56 44 M ' 44 32 6 3 4 3 58 4 4 33 35 61 ti't 58 56 39 37 45 36 49 41. 52 47 4 1 52 60 44 45 33 4? 4¿ ¿b 46 f u 45 4 8 5 5 51 37 4 3 55 54 32 tb 6b 47 45 4 9 6 6 43 5C 44 48 4 4 27 53 76 ò 7 4 4 62 34 4 8 62 5 1 50 57 46 59 44 54 б'"' 6H 37 52 51 42 41 57 59 4 6 7? ï 4 4 1 38 4 6 6 3 4 6 46 4 2 53 37 56 50 • 17 40 i o 54 59 5 7 63 56 45 56 o4 4 4 63 4 6 4 8 55 42 52 45 о У 54 69 48 58 53 56 6 1 46 44 4 0 5 1 57 64 55 4 6 4 1 63 64 )5 2b 'tò 4 1 6 1 3 1 6Г 53 48 ч 2 77 4 1 >ι 52 ')8 33 5 8 7 0 40 54 5Р 62 65 4 8 72 50 34 31 54 57 52 41 4 9 46 65 59 54 55 40 47 57 4 7 48 49 59 57 4-9 5Ú 42 56 io 49 7¿ 46 50 4 4 35 54 62 5ß 57 4 7 >î 44 o l 44 54 4 t 47 45 57 53 59 45 59 2 2 4 3 59 55 45 ?7 52 .33 45 60 63 45 45 43 54 52 53 60 16 39 37 45 43 51 57 o/> 43 57 4b 50 22 45 55 5Г 3 1 2 9 ò 3 J 7 ^ 2 i0 57 56 4 t 45 45 53 54 6 1 6 1 4 7 t>9 36 56 47 51 54 bo 4 5 4 1 63 59 35 53 5? 73 43 51 36 59 57 52 43 6 0 45 55 j b 7 0 50 O0 42 4 5 33 6 1 5C 5 5 61 6 0 -+4 39 o d 54 42 5 Г 59 4 1 4 4 ò l 49 6 1 52 4 8 42 46 68 5^ 53 30 4 9 53 b7 5 7 fcl 53 64 46 44 50 43 56 59 4 1 56 3 7 48 63 •>7 43 36 54 4 1 4 8 4 1 45 4 7 ò<"> 59 4 9 53 58 53 4 l 5 1 5C 43 47 54 5 1 ö4 35 37 4 4 53 46 67 65 ^ б 52 b J 4 3 64 46 25 47 48 55 57 49 42 46 52 23 4 1 38 56 44 33 54 39 5υ 4 6 4 6 49 4 9 4 1 4 0 59 5 4 .1 л

BIJLAGE 17

LMTAblMULAUr II A b t L E K T L ΟΛΤΑ VAN

i^fi

tLtMfcNTfcN

L 4 J 50

CPfcKATOkEN VERVOLG

+Z ' j i J 3 ÜO »Z 4 ' . 4o 5¿ 59 5 Ì Ь7 37 } ¿ 33 <ЬЗ 4 1 40 AC ^ 7 ь h i ЗЬ ч о 62 47 Atj 48 43 4 6 ЗЬ 68 47 4 7 ' У t.1 4¿ чЗ 4Í1 V Í j a '+У 54 42 5 f 33 47 ЬЗ 4 7 63 50 к L i ου 34 3 6 ab 51 3 ^ 71 4 4 7S bî 60 54 45 5) г. 4 40 45 3 ^Я c 0 оЗ і>У 6 1 4¿ 43 1.7 7¿ 41 72 5b o5 36 75 ЬУ 50 49 5 9 69 . t b 5¿ 50 57 5i) 54 39 5C 31 4 7 36 37 1У J J 35 4 1 55 34 3 4 57 4 9 b< 43 57 6 1 73 59 59 47 30 ¿5 ^ 3 i 6U 6 ч 32 51 34 62 44 4 ^ 65 45 4 1 43 4 8 42 50 ?6 44 *4 ч 7 45 36 55 32 71. 31 57 46 39 4 4 59 ?' ·>? 57 52 48 5 ö 5é 48 54 64 54 42 50 6 6 58 53 39 5 1 ^ б 4'» Ы 4 2 4 6 6 4 63 44 66 4 - 35 44 53 5б 45 38 64 4 4 4ö 36 4 « 36 54 4 5 59 7 6 4 t 53 4 6 48 50 4 8 5 7 tl 19 t o 57 57 4 8 5 ; · 4 0 55 44 57 58 42 7 1 58 74 40 62 46 ¿^ ч ч ьЗ 49 62 59 52 60 4< 53 48 52 58 67 3 4 52 4 7 42 43 1Я .)4 62 6 1 38 чЗ 4 2 73 34 53 4 0 4 1 5 1 ^ 2 ' J 5 4 5 43 t>2 59 5S 45 45 40 73 69 4 8 5 4 4 b 53 34 j 8 57 4 6 54 5 ] 4 1 47 33 45 58 59 ^ f i 53 4 9 46 bt> 3 9 59 63 48 b? 64 70 46 39 61 65 5 ^ 72 5 1 41 49 63 6 6 17

oO 57 36 39 4 8 4Ç 38 55 5? 53 46 42 6 1 57 6 1 50 57 ь 3 4 6 чУ 6 3 4 i ' 42 53 52 26 47 ?6 6 1 52 4 8 45 6 0 40 3 4 48 58 56 •+7 5d 58 50 4 9 3¿ 45 48 46 23 51 52 24 4 s 5U 57 50 5 4 43 44 4 7 4 ч 31 41 4 8 4 8 58 4 2 40 6 1 56 ^З 44 4 7 6 1 42 6 1 46 6'"> 56 55 5Л 53 56 49 55 60 4 9 42 λΟ 56 >6 J 3 4 8 54 4 3 5 2 49 51 51 51 60 4 6 2') 58 27 54 50 6 9 4 4 63 55 З ^ 52 43 55 5 4 40 30 56 74 51 44 47 53 39 5 4 37 43 59 44 Ь8 4 1 49 38 44 4 8 48 Ь2 6 ) 73 3 9 54 7 4 55 35 55 44 65 50 5с 52 55 4 2 ¿ь 52 J 2 3 1 39 57 4 7 49 6 3 40 35 58 27 59 55 48 54 56 5 6 *П 32 4 5 61 51 38 70 45 5¿ 53 28 54 " 4 9 4 9 ¿9 45 44 50 42 4<э u2 4 1 50 77 4 о 5 1 4 8 4 3 42 6 9 32 5 2 2 7 j 6 47 70 43 57 ч / 42 43 5Í 35 6 І 4 5 30 ¿8 4 9 71 68 65 ?» 47 ч 9 4 7 4 0 48 51 67 50 54 4 6 58 4 4 45 3 4 39 34 53 ?0 ^ б П 4 4 5 0 70 59 32 53 34 4 " 66 57 5 0 е. 1 J 7 4 ο 54 36 56 54 3 8 38 61 4 3 34 67 57 ЗЬ öO 53 33 4 6 54 71 3 ) 51 57 44 bò 39 53 4 1 32 34 4 6 41 37 42 63 43 41 З« o l J 1 4 4 34 52 6 f 56 4 7 5R 4 5 5 1 4 1 29 o i +6 4 4 40 33 52 52 4 1 46 36 3 4 60 5 1 6 І 29 59 69 63 4'> 39 36 üO 5 ü 53 45 52 37 57 35 60 4 4 49 7 4 47 3 7 47 53 3P W 53 55 52 29 3C 75 56 4Q 53 4 0 7 1 i o +2 48 4 7 60 5 1 35 58 46 34 53 55 5 1 5o 55 61 4 8 62 65 5? 48 38 50 47 44 34 38 46 40 ¿
BIJLAGE 18

J M FAS I MUL A U L AbLLi-NTL DATA

li r> ЛМ i. r

LLtMFNTLN

hlJ

bU

bPLKAfi.btN VERVULb

io

•>! -*; .>u ¿a hi ^ f 5 * t i -54 bo ¿il 33 M< 5? 41 48 S3 ^Я ^Й Ы Ь ) ЬЬ o¿ oi> 4t? 37 <*г ^ 4 4 ^ 47 52 6 ÍN ^ э ^Ь 4 ^ <W 4? ?7 J'J !JU ÒÒ эо 4 7 Ь5 44 ^ 4 46 4 l 39 4 5 Γ* JO 4¿ ч і 46 5b 4C ¿5 46 65 ЬС' 48 54 52 4 4 4 ò 43 45 7 f 49 '56 í>6 4 ^ ЬО 50 Ь7 51 4? 5 ^ 53 4 2 59 51 ^ 9 65 40 60 54 * q t4 . J Í ^7 43 5ü b c . 72 3ti 23 53 51 4to . · ' o7 oO ^) 64 48 3 2 4Ь 37 46 ^ І 43 35 6 0 71 56 57 t? ЬС M 47 Jö Ь6 33 5rt Л2 48 38 56 43 ЗС 46 61 60 54 4 7 6 1 45 77 J4 ЬУ 4 t 4 6 4 1 56 65 7 1 54 4 0 63 63 ς V ·>2 'jb t 3 57 55 5'J 4f· 36 45 56 4 0 4 8 4 4'-' 63 62 50 44 4 ^ 4 ^ f t ; 4ò 4 4 Ы 42 69 40 35 59 59 55 5 ч 54 49 54 ^В 51 54 ІІ 11 5 7 70 5 9 43 52 45 4? 4 1 45 58 f чЧ b'j 31 42 38 4 4 4? 40 V 58 55 59 56 4 7 5 9 54 3 7 65 43 4 5 4 2 57 6 0 54 45 4 0 43 54 51 44 37 49 36 59 42 5ö 48 2Ρ i'j LJ4 3 9 5 5 h b о ч 70 5 7 34 5 7 45 52 іЛ u'J 48 oO 30 59 44 44 44 53 62 45 b8 5 1 4 1 4 6 56 58 f.с 6П 40 4Ь 4 6 33 21 71 40 51 4Ц 4Ь 55 54 35 7 1 59 4 2 г? 38 44 5 ) ЬО 1J<J Ьі 50 46 52 4С 4 " 4 І 44 4 3 39 о9 48 59 70 47 4 2 6 І 42 4 Г 29 42 5 1 39 5 8 57 51 54 *· 8 44 49 4 8 62 49 52 fil» 74 45 5Г> 53 ь9 45 46 4 9 55 7 1 62 ^ 5 * 4 ? 4υ

-чі

42

*3

^ч

Но

'tí-

47

4..

52 55 4 7 32 І5 31 55 4 7 ьО 51 и9 62 58 4 4 33 46 55 54 30 56 - ^ ^ 7 4 9 , 5 5 56 58 46 63 57 4 7 53 3 7 4Ü 44 62 31 67 5 1 47 ^ б 45 52 64 60 80 54 60 5 7 60 55 >6 4 9 56 45 53 33 62 55 35 57 40 4 9 чб bu 4 b 63 4 5 5 3 54 4 4 6'" 51 38 6 1 6 2 67 52 35 65 59 4θ 40 о 2 67 35 50 51 4 0 38 62 5'» 62 47 5ч 59 68 53 58 «Ч 6"» <Л 46 4 9 46 5 4 3 1 60 37 59 61 Ь2 59 'J6 72 54 34 55 46 57 5С 49 53 46 54 6 2 4 7 56 35 50 44 44 4 5 3 1 42 4 9 57 47 49 62 56 47 57- 56 60 37 48 55 4 7 52 4 8 57 48 50 53 6 0 5 t 4 9 42 53 46 6? 36 50 64 4 1 4 7 65 58 52 39 53 4 8 4 1 48 3 2 67 57 52 42 4 9 52 52 4U 59 4 6 26 45 45 56 56 35 37 46 59 55 35 56 56 52 44 ЧЬ 55 28 29 66 4 9 36 4 7 5). 6 0 80 36 38 32 37 38 4 2 6 3 36 35 35 6 1 37 4 1 46 4 7 51 4 4 60 64 55 52 6 1 6 4 4 2 44 66 46 6) 43 54 65 53 63 4 ь 44 3 7 50 54 Ь? ч9 0 0 42 45 53 55 58 57 36 45 38 4 5 38 ч 4 4 4 50 4 0 4 7 4 7 52 54 51 50 5 4 26 6 5 7 1 52 51 4 9 45 4 1 49 47 2 J 6 1 49 43 45 6 2 34 4 4 56 46 48 38 40 58 37 44 53 54 59 46 3 6 4 2 24 37 47 4 1 33 6 2 51 75 60 50 4 1 3 5 4 9 4 1 54 58 49 4 5 58 41 4 9 56 63 5 3 59 70 30 4 о 72 62 35 63 43 4 ^ 51 37 49 53 58 47 4 8 ч5 ¿3 6 1 ЬО 53 6 0 59 7 8 54 4 0 4 4 36 4 6 78 50 39 4 9 43 53 56 55 52 32 37 6í. 37 65 53 47 49 55 4 7 45 53 6b 55 5 4 56 52 64 54 ЗС 52 63 50 52 34 54 57 4 7 51 58 6Г 54 34 5 2 5 1 39 4 9 60 34 50 4 2 53 36 4 6 4 2 50 59 39 50 53 52 i l 38 47 4 5 68 6 І 4 7 58 56 53 52 72 4 4 45 5 1 62 44 54 56 54 47 44 30 64 ¿8 57 49 53 63 6 А 60 53 5 1 4 9 32 5 6 6 1 44 45 28 45 4 6

BIJLAGE 19

DATAbl.MULATifc AbtLtïKTc ϋίΤΑ

II VAN

}Π(' tLfcMLNTEN Ü U 50 UPF.KA ГГКЬ N VEkVül'o

i>e> oiJ 59 5ii 4 β 45 56 '»б 46 Ó3 65 ч 5 ¿3 62 44 ¿rf 52 5 "ι 30 51 4t ofl 52 э 7 57 39 3? 4?. 61 ь 4 4 7 5ò 41 M 47 54 j t í -*9 5 4 J Z 5 5 5 1 6 0 4 t 55 5 9 32 50 o 5 60 Ы 4 1 43 5 1 54 4 4 40 72 53 44 5 7 42 ί-β 78 46 6A 4 * 45 ч?і 4*) 55 4o 56 46 33 34 51 77 4o 52 53 42 48 4-i 56 54 ч і 4 1 (>6 56 5 3 5C 59 56 4J f- 7 43 30 5 ^ 56 •+(• :>:) 65 53 53 46 67 46 64 52 54 4 * 4 2 4 4 _-·6 ^ ΰ ¿4 50 7J 4 4 49 56 47 ¿4 51 49 41 4 7 42 77 36 41 39 47 58 3ft 6 9 35 57 69 5 1 4C 43 6 0 38 53 47 4 6 5U 5J ·)4 57 45 Ы 6(> 42 4 C 58 53 4 4 3Π 53 42 67 Μ г 6 5Γ ^ 5 6 1 49 4 9 48 c7 ^-6 25 45 54 52 46 76 32 34 4 ^ 5,6 4Q 5? ':7 'J) 5Ü 4 7 5 3 5 2 62 6 2 6C 4 7 58 4 1 г ь ; 4 1 t 2 43 58 3 9 35 4 4 5Я 54 4 7 4 6 68 53 32 52 oí э 5 55 .л5 о ч 60 42 6 1 Í 4 4 9 53 59 62 4 7 38 4B ^.9 6П 4 9 51 4Я 55 ;<: 40 45 i¿ 52 52 57 53 27 34 63 6 0 46 34 54 69 4 7 2 5 53 46 47 4 9 45 6 2 6¿ 71 66 57 6 6 3Q 35 5 3 o l 4 9 42 45 42 64 40 ¿<} 52 55 4 1 55 о 4 36 54 5 1 6P ^ 55 >1 4 0 4 8 43 3 7 43 56 52 47 47 7 1 4 4 57 4 9 35 64 4 7 54 56 5<"· r>9 5П 39 5 1 46 48 45 4 7 4? 59 54 5 3 4 / 57 40 62 57 58 37 51 44 69 53 4 9 52 5Г 75 65* 4"» b¿ 54 43 55 49 4 3 4 6 3 7 44 26 oO 57 оь 59 54 69 73 5C 56 47 55 5П 49,-55 7 6 59 4 5 43 4 « Ы ¿ t 4 í 32 43 54 54 41 4 1 5¿ 63 48 6 4 4 7 6 1 4 4 54 4 ] 54 4? A4 50 31 4 9 Ü 9 6 0 44 73 4 5 59 55 72 4 1 ч 7 56 5 7 28 58 51 23 37 Я4 61 54 54 53 5b 67 44 i.2 55 ^ 0 5>> 4 0 5b 55 59· 49 56 45 55 ^ 3 63 62 58 28 47 74 53 *° 39 40 56 %7 53 58 4 1 63 4 4 51 35 4 9 58 32 6 1 40 45 58 6 6 42 56 46 75 35 43 36 58 4 8 50 6 8 54 4 4 46 55 5 7 47 36 54 50 42 63 40 4П 38 48 33 55 55 4 4 33 5* 54 38 43 60 4 8 38 47 35 73 33 52 57 4 6 5 4 36 5 1 4 7 55 48 57 75 51 61 4 6 35 5 ° 3B ьЛ 4 1 68 55 4 9 5 9 59 50 54 58 4 5 52 56 υ8 50 63 65 31 50 55 43 63 54 54 55 ü 8 63 46 47 4 4 47 41 37 32 52 59 65 52 43 62 53 39 68 56 54 37 4 6 55 63 4 4 38 39 4 9 50 3 9 4 8 4( 4 4 53 53 4R 50 77 58 3b 53 4 1 59 58 4 9 55 34 41 57 22 .t¿ '+4 5 6 5o 54 6 t ^0 o 4 53 4 4 t i 4 4 54 18 49 57 45 55 59 6 4 4 4 33 50 60 62 b2 34 60 ¿ 1 4 4 5o 42 4 6 33 30 45 43 43 34 52 30 53 57 55 4 8 52 59 59

¿τ') ^ 4

4D

jM

il

.»..

Í-.'

i. '+ 5.-

56

57 5«

59

í

ti

58 o l t2

o 4 52 54 4 3 ¿ 7 4 3 6l

42 fc>3 32

4 6 3o 32 53 4 4 73 54 49 5« 54 60 47 4 8 51 47 46 4 5 59 38 55 Í Ü 4 3 52 48 42 61 ?·> ?7 53 54 50 28 40 63 59 6 0 39 4? 52 42 56 36 45 55 39 43 57 53 58 52 t. j 5ь 50 46 45 4 7 5 5 55 5 3 42 45 31 4 2 7 1 62 32 60 54 4P 48 5 J OO 4 9 50 44 42 40 40 24 34 50 65 48 42 48 4 0 62 24 38 36 4 J 70 53 4 l 52 4 0 i Ç 4« 33 39 53 L-4 3 5 43 4 3 55 55 4 3 3 7 2 7 4fr ЬЧ 52 62 5 9 5 1 36 55 46 4Q 4 9 Ь4 50 47 48 26 48 48 53 64 47 5 1 42 59 65 44 55 5b ^ б 57 55 4 2 4 1 43 4 6 6 5 4t> 46 73 36 47 5 1

BIJLAGE 20

)ATA;>lMULATIt5 I I A S L L h K T f О Л А VAN

J n o LLfcMtNTEN J I J

5C

UPERATTReN VfcRVULG

tb

ч-і j o ; J 4 οό '+¿ 3<5 67 t-h ч ^ 5 1 49 27 3ο 4Í ü 4 A4 42 ί>6 éP 6 J 3 1 Ь9 f>0 41 71 ^ 4 50 58 62 4 5 4 9 λ<* f-9 60 41 53 46 47 '5 3 ЬП 39 47 Ы 4 1 56 3 3 35 56 49 50 OÍJ >1 44 69 34 49 3 ? 4 1 43 46 61 3 1 ó« 36 62 55 50 4 7 27 35 4·+ <Л 3t. 6¿ 4ò І 8 5Î 4 а 62 65 45 51 44 4 7 45 4 6 6 1 52 38 53 6 8 60 5¿ 5 3 50 64 60 39 43 47 3 3 Ы 45 4? 45 48 4 8 53 35 50 47 53 38 58 4 2 6 ] 6 3 53 25 55 54 4d 6 1 43 4 7 45 54 4 5 48 33 44 22 56 4 8 4 0 4 9 52 4 1 63 6? J O o3 -t? 39 39 5fc 4 8 4 8 6Г 52 32 52 où ' Ί ' Л J 9 34 5 1 56 5(і 5tí 52 36 57 43 4 8 56 6 5 47 6 5 41 't? VJ 4 0 4 6 4 4 υο 43 5 1 D 4 4 4 4 ч 56 42 56 4 7 Ы 54 45 58 48 Ь4 Зо 52 55 5 2 31 70 43 46 34 3J 4 2 υ·» - 9 u i 37 4 4 53 5 С - 3 5 ¿ Ί 64 4 ^ 39 6 1 ЗП 33 58 70 * 9 «Ч ч? 5 7 4 3 32 ьі 54 ^4 30 35 63 4 7 4 6 43 40 39 50 45 6 1 4ß 56 50 55 4 4 6 4 4 0 5 2 6 1 56 38 35 51 59 7« 49 58 4 1 6 1 29 6 8 38 56 4 9 61 74 4 8 ь 7 39 4 6 51 47 Ч? ^5

71

72

73

/4

75

7ъ

77

70

Í4

tu.

54 5 4 56 59 5 8 63 54 4 1 і 5 3 53 4 4 43 31 63 47 53 69 36 6? /0 34 4 6 43 5 Ί 4 4 48 Э4 50 5 1 40 4 4 48 2 7 50 39 4 4 57 4 2 4 1 4Г 3 6 47 62 52 4 4 60 47 о 4 51 5 ° о і 5 4 З 4 J ¿2 53 ¿1 5) 31 ь^ 34 47 4 9 63 55 55 6П 13 *Ч4 +2 60 оО 52 65 34 5 1 53 64 54 39 32 62 50 45 35 53 56 55 63 51 55 65 -65 55 45 3 4 4 4 ',3 34 3? 5;> 5 8 6 4 52 Ъь ¿3 56 26 52 51 54 23 46 5 1 35 68 48 42 3 7 •43 4 4 4 3 7U 33 48 4 7 65 57 4 9 70 36 36 57 эб 39 о2 5 1 45 40 63 4 7 66 31 7 1 38 51 60 49 53 54 52 6 1 40 3 1 5 1 44 50 40 4 4 57 36 49 5п 60 62 50 39 34 54 7t> 3 4 t>5 6 2 53 4 9 4 8 55 46 4 0 5 1 55 66 35 54 об 4 2 4 4 59 55 47 38 58 38 6 6 52 58 56 55 6 1 55 6 ) 5 2 4 2 38 33 47 55 40 50 62 30* 51 38 6 1 3 1 2 8 57 59 53 о 7 58 55 4 2 4 ö 6 2 57 47 46 6 5 4 7 5 8 58 -+3 4 7 49 4 8 4 4 64 63 5Г 3 8 4 4 36 5 4 58 75 4 6 4 7 I P 4 9 53 5 4 45 6Ü 50 45 62 56 4 9 38 53 59 4 7 6 9 48 5 7 50 58 4 " о9 57 45 55 56 4 1 63 50 43 54 47 3 4 0>5 4 1 54 57 6 0 2 8 3 1 73 38 6 4 51 4 5 59 6 1 53 50 4 6 69 64 67 5 6 54 4 8 36 34 52 4 4 5 9 50 50 42 30 53 59 42 64 58 4 0 49 3 0 4 8 57 28 56 49 56 45 55 50 43 41 70 60 48 4 6 5 6 42 53 43 29 30 50 4 7 5Г 49 34 34 3<э 4 6 42 53 4 8 3 1 43 54 4 2 , 4 6 6 ь 60 58 63 55 4 4 43 47 6 4 53 49 ^ 7 39 64 67 39 5Ь 4 8 6 1 ¿6 6 0 55 56 58 ч8 39 52 о2 bt 66 6 7 6 4 38 43 42 5 0 42 48 32 62 47 54 50 o l 55 52 45 52 59 3b 4 6 39 43 49 6 2 4 1 54 4 1 37 77 71 4 7 ò b 5 8 55 4 8 6 4 57 37 38 5 1 69 42 Jb 5b 52 57 73 3 1 44 49 55 5 1 55 37 8 1 5 1 5^ 55 55 49 50 55 43 4 4 53 63 5J 4P 58 66 59 45 54 45 48 50 53 49 ?1 4 8 49 5 І 8 1 6 1 4 8 36 4 7 4 6 67 55 66 3 1 3o 51 59 4 7 55 3 1 4 7 4 0 5<3 4 5 36 6 1 4 1 59 5 1 57 50 55 4 0 43 b 4 53 43' 5 1 73 40 51 3 7 60 4C 48 6 0 4 0 55 49 39 58 52 a l 45 6 3 47 3 4 5 1 46 6C 49 53 47 4 3

BIJLAGE 21

MTAblMULATIb II ASLLLKTb DATA VAN 100 fcLEMENTfcN b I J

bU UPEt'AICRbN VtKVGLG

. « ,

t л ..'г .1'. ι (.

L'I

ЬЬ

ίιί

9) 9)

•>¿

93 9'-

5 9ο

i 3 » •+¿ ьі 4i> З 1 ! 4 ^ ? ς 4 С 75 43 Ь4 57 5f Ь7 4 1 Ь^ 6 е ; ¿7 6 : j a нь 38 48 ^8 42 53 44 4'; ЬЗ 31 ?î> 6 7 51 48 30 53 5Г j 44 D5 56 5 1 4 J 37 36 4? 46 34 4') t 4 4 J Ч З 50 37 5 i ù3 49 48 54 56 52 54 37 63 46 4 ^ 46 61 4.) н8 5э 55 4 ч 49 41 54 33 61 53 68 5( 65 51 60 Ы 6 К 47 54 1>ь 55 чб ч5 54 64 55 5? 27 38 40 54 59 4 0 43 оЗ 56 42 44 43 86 47 4 7 38 4 ^ 53 ^ 8 56 45 ^ 7 оо 46 ЗУ 50 4ь 39 34 44 53 48 4(' 52 38 3 8 63 4 4 2 7 65 ^ б J 5 -+0 58 41 47 4 5 57 42 57 32 44 5о >Ч ^с. 54 52 58 3 8 22 49 4' 66 66 4 9 6 4 4<- 4 7 57 '·< » 5^ 65 і4 43 53 4 4 51 55 39 5^ 44 6 3 67 6( 60 4 о 63 52 50 63 56 4 9 / 1 Jo з9 32 5 1 49 63 46 56 48 4 5 -+9 59 <+1 40 58 5 3 56 47 4^- 6 1 45 4 7 3 4 оО 62 32 57 ''9 6 0 47 55 4 8 78 57 59 59 5ч 5). 4 1 55 38 38 6 ] 43 4 4 71 53 50 3 OÍ 38 65 5fc 49 4 7 54 4 0 35 55 4 4 50 52 4 8 53 ¿8 73 54 5 9 58 52 51 4¿ 44 36 40 51 6 3 44 44 45 54 3o 47 35 47 44 4 э 4 4 46 52 3P 57 43 47 2 ^ 52 35

BIJLAGE 22

IJATÄblMULATIt II A S b L E K T t OATA VAN H O

ÉLtMENTEM > i l J 5V ΟΡΕΚΑΤΓΚΓΝ VEKVGLG

>') ¿t4 36 iiO 6 8 53 32 48 Α·6 ^ З 30 71 'i 3 Sí 4c 63 Ь4 ^ 4 36 4b t>/ bb 50 35 50 47 63 42 35 6 1 7 1 42 65 55 58 46 64 49 ч ь 1>У 49 43 4 9 39 30 7 1 50 5 4 52 25 У., -44 55 52 44 3¿ 53 4 4 56 6 1 74 33 4 0 6 6 44 37 58 4 8 5° * 5 45 ¿О Ы 7u 57 42 51 55 5 1 53 43 4 4 46 ¿3 4 2 56 35 61 46 '*У uí) 4fc эЗ 45 5 7 42 56 ?6 23 62 4 7 <;-> 47 ϊ Ο 50 50 55 5S 36 53 4P 62 38 65 4 6 6 ) 48 55 ',? ^ 3 3R 37 50 5!D 6 5 54 56 58 54 43 57 45 44 5? 6 4 28 57 50 38 63 55 60 53 4 9 42 3 4 43 56 44 59 47 73 U-'l чО 02 52 4 6 50 4 3 61 Э 46 5 1 36 4 8 6 1 41 42 53 5 1 47 55 40 5 4 5o 54 4 8 39 16 30 54 37 39 ö 4 71 62 57 6 1 47 6R 43 +5 52 44 64 6 7 58 56 46 55 59 36 55 4

BIJLAGE 23

J4T S I M U L A U E Π Ι ^fc.J ALótMEtvfc FAKTCiK MC Γ J E L I J N L LAUbJbtiN. V*f VuoR 30 CPfRATUREN tí[J 1^0 ELEMENTEN

о.) o*J о? VÜ 67 7Ь 7^ tb '·> J 7 7

b'+ 77 Ь 3

t>6 fi<»

74 7э ba bb 73 73 7^ Ь7 ί>1 63 60

ьз

Ьэ 55 7b 80 ¡2 tìl о7 Ы 67 61 эЗ υ5 b? 45 ti¿ 70 Ы Ы 79 Ъ7 47 6d Ь2

'W 0 1 υ 9 81 Q 3 74 о У bu 6 ò 7.·: 62 7 Η ò l S3 lil 63 iti 6 0 7l3 8 7 V ) 7« vi 7t> n j 50 7b 53 o 4 73 86 84 a¿ 6 8 79 75 64 71 (.9 6 4 71 5 7 8 1 b¿ ö7 81 47 63 67 71 85 5 8 o7 61 öB 70 80 61 79 79 7 1 7'+ I¿ 7 4 u3 44 6 0 oü 6 2 62 7 6 7^; 6 5 87 8 7 79 70 7 4 4 o 7ч 7 5 86 /3 83 54 69 77 7 7 6 9 b¿ 6 5 83 ül OÜ 59 70 51 75 Ы 78

84 76 o4 75 68 66 9Ü 80 58 ö9 67 71 77 82 72 93 77 69 70 69 67 55 69 78 81 62 63 57 67 88 30 7o 70 71 61 79 85 73 47 75 55 60 65 74 66 82 65 64 59 69

69 ti 74 t i o 5 t'79 72 71 78 6 9 71 6 0 /7 6 4 79 9 ü t,9 6 7 77 69 74 9 o «ІЗ 5 2 64 7 7 74 68 SI 8 3 76 6 3 72 ol 74 7 5 74 7tj 74 5 0 74 6 ¿ 65 6 5 72 6 4 54 71 49 74 74 53 58 5 5 77 73 72 8 1 62 76 65 71 16 4 6 41 77 57 5 9 64 7 1 59 9 5 58 77 79 6 4 78 64 69 5 7 66 77 63 6 0 56 6 2 77 77 77 6 1 71 5 8 76 6 8 63 7 6 67 6Й 85

Л5 71 64 74 75 60 69 64 83 75 74, ЯС 72 68 84 77 7? 67 67 6? 73 61 61 59 6? 5h 56 62 66 63 75 72 59 54 43 55 75 60, 69 77 72 83 62 69 75 78 71 68 78 93

77 78 62 ¿4 66 49 75 65 PH 7«

ει

88 68 63 66 72 6o 59 69 75 57 75 75 èl

en

66 73 52 78 67 70 77 67 75 69 61 70 61 65 69 77 74 71 72 84 SO 67 6 г. 78 64

86 59 6? 82 ¿9 66 V5 76 f-b t 8 69 fì\ 77 б^ 7¿ Г6 64 77 73 87 71 63 60 54 64 65 5« í> 72 73 ha 73 к 4 6В 69 *>9 84 76 7Г, 74 82 72 57 ^2 73 59 59 6° 1:9 62

65 97 6 η 82 80 73 57 67 87 55 75 58 6о 63 81 72 58 59 83 79 64 64 74 53 48 62 58 73 75 75 90 71 61 7ч 60 71 61 55 80 63 65 68 67 73 64 66 58 75 7,ì 61

63 74 86 68 73 71 65 77 68 89 70 97 65 76 68 64 63 83 92 83 82 6*~ 63 44 56 61 69 74 8 3* 81 76 74 65 82 76 64 70 88 66 56 69 53 8] 54 57 65 70 62 66 79

^П

7¿

0 е-·

F4

17

72

^б

78

7Г

7Г

Oí

( 7

64

79

59

7?

69

64

73

8 2

75

80

84

64

73

b¿

68

71

7^

о 7 71

61

68

Р6

77

67

69

53

74

6 5 74

8 7 66

bO

68

69

76

79

6?

75

66

60

65

61

61

61

74

73

75

7 5

75

73

69

76

67

88

76

79

67

68

ίΛ

7¿

71

63

68

68

53

53

54

77

7)

77

ЧЧ 7 4

62

67

64

76

57

63

53

63

57

64

62

65

6?

60

63

69

67

59

71

68

69

06

79

6t)

65

85

65

52

61

71

78

87

72

75

8'> 5 )

66

73

78

66

53

78

87

82

82

74

57

65

50

67

75

61

52

50

öl

61

72

45

55

52

56

74

89

72

74

67

69

85

77

63

ВО 6 0

67

59

79

35

66

54

68

66

76

98

75

74

68

85

85

70

82

80

S8

7o

^9

74

8о

^З

60

67

75

63

61

58

61

62

50

41

6 0 6?

70

75

73

75

78

67

71

fin

54

BIJLAGE 24

LLÍJ A L b ü M E N E f - A K T J K ^HT b E L l J M : L A D I N b E N V J U k 30 ¡JPLRATORcN B I J 1 0 0 ELEMENTEN

VAN

0,50

VEKVULG ¿>

S-j

ЧІ> _7 4 / 44 > öd 74 02 ¿4 64 5ö Л bü •л. 4 J 70 31 72 93 » J 63 ò'i 3A- o / 89 Í.1 62 77 ')') 72 50 »7 5 3 71 3B 6 1 o7 3'i D B 80 4 υ 83 71 ' t l 81 63 42 70 63 ' t i 00 80 'tt

ч5

03 6(3

64 do ••'•о 5 9 53 'W 5 7 62 48 6 9 8ü 4 i 89 7d SU 6 8 74

62 6 7 7U 4 9 υ 5 6b 0 3 60 ib 8 1 76 81 76 6 9 72 74 83 77 b 5 6-9 79 75 75 9 1 72 7o 73 71 74 69 59 78 79 6 0 65 75 65 74 72 6 6 ü l 61 64 46 53 65 6 4 58 09 67 76 55 69 68 77 78 6 5 75 78 58 78 76 6 1 50 4 8 6U 6 6 72 68 79 6 5 74 63 48 \>$ 5 4 73 79 76 6Ö 62 75 76 71 o4 65 53 6 1 78 ö 6 70 Ы 72 Ы 6 6 71 73 71 82 7 8

50 66 b3 38 79 71 72 81 62 80 71 90 79 67 57 65 87 89 72 75 66 57 72 62 73 65 69 61 77 66 52 68 82 83 65 73 51 47 63 04 72 81 58 65 70 71 70 59 70 75

72 69 59 62 78 82 63 o3 73 73 79 88 61 77 77 79 02 89 74 80 67 64 64 53 06 70 74 67 81 86 57 57 67 66 82 63 57 51 65 77 65 63 09

57 78 72 67 61 70 o9

67 5 b 5 8 66 6 5 5 Я 57 o 2 4 4 68 74 7 С ec 7 0 6 6 82 6 9 80 Í 8 7 4 62 53 6 8 6 0 65 7 4 6 4 67 4 9 7 7 69 7 2 I C C 69 5 4 SO 61 7 4 6 7 6 ) 6 5 eo 60 62 67 8 ] 5 8 63 75 6 6 79 69 7 6 7λ 65 6 4 6 2 73 7 9 6 0 5 9 6 9 5ъ 55 6 7 6 0 69 56 77 60 7 9 4 4 76 4 6 6 2 56 6 1 6 7 6 7 6 7 70 72 62 6 6 56 6 4 85 70 6 2 6 8 69 6 1 5 7 e2 7 5 78 74 7 1 5 6 79 7 1 7 0 75 7 3 8 0 58 6 8 6 8 55 5 5 4 4 65 6 0 , . 5 4 64 6 7 6 2 82 73 6 0 60 6 4 74 79 6 4 71 43 6 9 6 9 42 4 7 58 82 7 8 6 4 66 6 0 77 66 5 7 40 6 1 7 1 66 t l 76 70 80 7 1 с 5

53 73 75 72 71 70 57 86 63 68 71 69 63 с 9 75 59 59 74 80

64 61 5о 7] 8Η 65 66 64 83 73 82 76 79 85 79 66 ЬЯ 74 69 54 74 63 58 7 ? 63 6 7 50 49 57 7 7 63 55 6 5 68 62 78 73 7 8 56 75 72 64 61 6 7 71 6 4 75 65 62 6 6 03 66 7 3 57 58 53 6 6 6 8 78 70 64 57 61 оЗ 67 7 0 5о 52 5о 63 71 7 8 5rt 53 75 63 74 6 1 61 6 6 70

43 76 71 43 68 73 72 71 62 60 82 78 86 73 69 75 80 65 63 59 65 66*56 64 64 74 65 61 78' 70 72 70 68 62 65 76 65 57 90 82 61 71 56 49 75 56 05 ò9 71 60

60

71

59

04

88

60

63

63

62

67

t. 7 7 5

7J

55

72

79

73

74

82

58

83

72

S3

7?

83

79

80

59

71

83

71 6 9

83

66

73

73

61

71

81

б^

85

96

94

71

86

70

78

85

90

84

ft¿

62

77

94

79

66

84

81

77

83

70

58

P?

7R

59

62

79

eu

75

77

7?

84

62

66

54

61

74

85

69

68

64

73

48

67

79

5 7 6?

7^

51

62

53

60

57

61

70

64

84

33

63

82

64

79

59

78

70

95

65

74

78

68

73

71

70

69

70

64

70

73

77

78

81

6ч

Ь5

82

66

60

65

63

75

71

bO

71

52

56

6C

60

76

79

68

75

7C

75

67

62

61

60

75

50

71

48

66

56

70

85

68

86

82

68

78

68

56

67

6 5 60

80

48

54

74

55

45

76

öl

63

59

64

43

45

6 9 58

61

56

61

61

81

06

79

74

56

63

59

7?

69

75

74

72

6 5 75

67

69

рп

BIJLAGE 25

J M A i IMJLAΓΙΓ III Litt A c o û M t N f FAKTU4 У.ЬТ o L L l J K t LA J I Nob ι\ VuJR 30 ÜPL-RAltibFN Л I J H T ULtMLNTt-N

.50

VA'j

VtRVüLG 1

J1

j

>

4α !< —

Ь7

υ -ί

О'!

/¿ 7? 7ο

71. 61

/1 7Х

:J

Ьо

о^

ib

•»ч

6J

ÜJ ol

^ ' j

t. о 7^ bc

іч 01

'i

j

'>>J

'> I .) t 'jv

о 7 υ'f

«

73 S3 7ö bh

«î J l ì 7 3 с,Ч о У 66 6э 7 о

о.; tu

э8 4 8 76 7 о 71 77

7 с. 4 9 73 UJ 74 7 3 6 и 73 64 Ь9 ^ 9 50 bu 70 73

47 74 80 8 0 ііО

'.> ti 'іЧ

/d !з7 6 г 71.

L4 í.-í

c> i

rtl u¿ £5

и'J.

о «i 5 7

7^ S β

7ι'> 7 0 υ ) t. 9

tí t.

70 e 9

ö ν

'•ib

<-

7D

4.i

6Ί.

Í

7 , 7-'t ÏÜ 74

74 69

74 71

7.: 1Ъ

46 52 73

Ы 46 1 5ч

оч

h^t

tj

Г9 61

}

dl

ОС W •'>!)

(.'·' 7 ) 71 I¿ 7J

7t 7b

6 5 65

60 7Ö ->7 о 9 o8 77

н6 t_->

í-' /8 6í>

<e

fcß 54 aj 79 7 ^ 66 •3 2 7 1 6 5 61 63 7" 77 tì(. об 6 В 57 49 1\

o,J 58

7(i 47

'31 o9

Π 79

54 55

62 tí'

a3 67

62 5?

51

9

L9

80 7¿

53

7Ь 54 78 7? г. 8 5r

V-J

73 33 57 58 55

72 64 •-»S

75 54 5c

5 7 6¿ 73 74 115

о 5 71 61 69

t?

60

70 b¿

o7 62 64 58

íí' 76 7.1 6)

65 70 ill Dò / 7 7 о 6 6 5 0 Ь9 73 6 1 72 Ь4 ÒÌI 7¿ fc2 6 7 7 9 6 4 4d 6 9 76 5Ь ОЧ 6 6 6 3 5 9 7¿ b l о·* 7 2 Io -31 7 о 5 9 l i Htì 6.6 7 5 o¿ 73 64 6 7 8.1 Ù ? 0 3 5 7 7 9 Ь 9 ЪЬ 7 4 7 о о З 5і} b 7 6 Э CJ8 8 2 7 9 o d Ъ5 ь 7 7 1 о э t 6 UÒ 7 6 ò b 7Ь 7 0 7 3 70 t l 1Ь 5 7 7 b ЧЧ 1Ъ 5 5

5?

5¿ 7^: R^

73 56 65 65 6 7 73 Ы 63 56 70 b7 72 69 65 78 71 59 60 5 7

4L· î.fl 73

<-6 el 69 51 fcl 55 66 67 69 79 Í4 53 55 75 b4 7П

to 59 69 t4

ει

ЯЗ

58 77 7 н 4;s 77 üQ 7^ 6 7 6 7 57 7* 6Я

59 53 73 ά^ 90 74 63 73 5f' 64 Ъг 60 74 69 71 61 5^

57 5^ 81 fi? 6 7 55 6

7Γ 6-72 65 62 6Ö

ρ

55 ( ^ 67 7 9 6ч 77 60 55 64 6 7 60 5 4 61 6 5 67 74 56 77

яг

7Я

7:^ 8'7 7 lì;

65 VU lì ЬЛ

55 6 э

С'

5?

65 6 8

77 6 5

4 8 73

60 51 55

6 1 65 64 69 6 2 7Ï 78 51 54 75

74 64

Ь2 θо 64 53

6Η 63 73 7? 66 5ίϊ 5? 73

öd

45

о*

53

4 7

54

74 67

77

f'4

3 7

59

78

79

82

75

об 76

70

i)2

6 e,

(7

8?

79

5

90 6 Η

74

76

77

53

о4

09

t?

7

82

6 9

li i.

ил.

7 8 95

68

79

60

79

79

54

6 9

5?

ЬА

78

75

77

61

49

5?

оЗ

69

6 Γ

73

hìì

71

84

5í

53

71

72

91

i ß

7 3

65

6 9 71

75

б^

55

О tv Ί Я

ь2

65

6 9

70

58

54

К'.

6t

76

6 3

60

6 7

б*

f 9 3«

59 7^ 75 If64 б1* 71 ί 7 77 of h f 6 5 6 4 5« 5?

86 7 3 75 68 77 44 71 81 69 66 80 79 43 51

Q

ΙΑ e

6 Я bJ 75 62 B5 57 67 75 6 8 6С

81 57 6 8 40 64 76 4 8 Í f' 6 о 6 2 (>6 7 7 Ь 6 / f 7'-) 7 5

с -j

66 55 6tl 5?

56

*7 f i A4

78 5^ (• η 58

66 73 67 6? 63 7 tí 83 6?

o¿ 46

4'·'

75

f í

53

57

( 5

0 6

5 5

6 5 56 6 5

85

t-4

55

öl

7Ъ

í.b

71

l'i

О2

7(

ö«

65

75

5 7

74

75

ъч 57

70

57

'if)

59

6lJ.

и

5

69

46

7:1

65

79

63

Об

0 9

6 Ρ

7?

Ы

5?

бЭ

65

64

77

t 8

Ь?

67

об

6 0

62

5 5

62

60

81

8 5

7и

Як

73

71

78

Я^

8?

75

7 fi

Ы

4b

об

6 7

7 2

71

74

54

62

60

5 8

68

47

6Я

6?

71

61

65

ol

83

62

6R

54

6 9

70

62

75

tl

76

69

Ρ?

Jι

6 0

78

8 0

55

7C

5А

48

63

51

65

87

70

55

75

5? 7 5 69 8). 69 62 71 69 65 55 8 5 5 2 54 8S ^З 73 69 71 69 69 64

l· 7

BIJLAGE 26

..AUòlMJLATI. I l l LL-i A L O L M L M - f A K T J ^ У ¡,JK

*0

UPLKATÜFVÍ-N

4 L', Л ¡ÌVJL N Vi.! ,

Mr Τ o i L 1 JKL ÎJ

100

'>n

E L L M t . ' J T f ,'\¡

П V л.

bü

Г«? M

'3 >

Ò'ì

^ / í'

Γϊ

5¿ ι' > / . ь 4 (, í 7(· I < Ì t CI

7 J 'ï-t

5 J

Ь i

19

,, : ъ >

üb

67

1« / 5 7 7 > ι ( ^ о') и 7 t » 7¿ 6 7 ... t 3 C u 6 5 LO 'i¿ U .^ ' Ь 7 ья 7 7 / * 7 5 74 .»'t v.: г,з 5'» / 9 5 О 74 s <> 7 o l 7 ¿ 5M (3 5 7 7 ()'>

W

Гз 70 (^ oí Г)Э b¿

)

t -> ν '> π ] i.

li w

t

)') ^о

>r i.\ 1

í

i W J

75

0)

7!j

'3Λ Í 4 ! ^ 5 5'· 6( o l ί.,' 6У 8)

l.i

5<- 'J 3

Ü'»

L 5

74 /1 75 ί>έ. 7? 7¿ í-¿ 6b 55 7^ 57 78 oV 77 60 57 47 ol

(>4 í/S

'.3 .1

A3 Ь1 tl η

It 77 74 ьч 63 tío оН 91 e6 o 6 78 6 9 S3 6V (.7 55 с 2 6 9 ІІЗ 6? f 7 6 5 73 81 75 57 tl· 7Ì 7) 72

•3Ì

50

6] 63 об 58 7ч 58 to 5 1 71 7J 7 3 6θ 67 ЬЬ 5 9 6 4 7C 7 t 62 57 67 71 57 72 68 73 t l 4Í. сГ ö 3 74 6 2 fio 8 3 7C b ( l 7.3 7 г 6 2 оЯ Ь -i 5 3 54 74 7 1 5 о 76 5 1 Ы 62 o7 6 5 5 6 6 7 63 l i о 7 Ьч 6 1 6 5 4 9 о 5 6 7 ót1 7 ^ Ь'л 6 1 6 и 5U 6 8 5 7 4 6 6 ' ) 53 55 5 o 72 6·> 6 1 ' o 5 6 i 6 β 6 υ 6 1 75

73 79 73

7'· 55 7*1 IJ ì O Ù 61 Ь ì Св 59 6 3 54 57 ì '1 f: 7 5 0 Ь ) 60 7ù 1¿ О б 7 ^ Ö b 53 Ы 69 С ) 67 7J P i 70 ò B I 7 75 7^ 6 6 7 0 5 3 7 7 «3 у о 5 61 o i о'i 6о 52 0 6 5 7 Í О 04 52 r

э

66 73 67 74 84 76 67 79 с9 62 73 65 68 72 59 (5 сС 68 сЗ 62 fci 75 К 56

/>«· f- 4 5 8 53 54 5 " 6'· 7 4 e-t Ηг c5 7 1 71 Ь5 7 4 72 6 1 f6 64 oí Η4 « η 6( 73 6 6 73 92 5 3 ьп 65 7 f 6 7 85 59 7^ 6 7 78 6 0 «50 74 70, 6 н 7^ 55 6 ' ; 77 7« К 4P 4 8 68 5 2 73 73 6 8 75 6 0 7 2 70 6 9 7T 75 7 ^ 7 7 67 7 9 50 7 4 83 7 7 71 75 5 ^ ti б^ 65 68 51 7'ì 7 3 55 5 5 7r> 65 6 ί 7 1 73 5 6 74 5 6 76 53 5 6 3 6'· 5 9 47 7 8 4, 1

6 5

"б 73 6 3 /,q f 5 6 з

66 55 4Г

7^ 75 7* 8? e; V 0 4 7 9

76 71 77 •^4

о5 7')

)

74

61)

56

',9

77

7''

o7

6*'-

cl

31

72

63

-4

7:,

(1 fa

tii

6 5

oí

7 8 7)

. г

67

73

77

73

71

75

^7

7?

'-.f

63

bJ

6c

7 6 ο2

'·4

72 8Г

75

7'·

62

6 9 81

76

7 = рц

7o

75

e ci 7<

79

M

6 7 г4

65

77

7 6 'з5

6*

З

77

8 3

( 4

8 5 9')

71.

o4

f 9

(4

5^

6,

6 5

7 7 6'

оь

5 8 ( 7 62

f, о

υ4

59

70

56

70

62

6 8 (·4 57

72 4 8 63 6 " 53 (.о 5 3 Я"1 6 8 67 67 61 8 0 4'^ 6 4 fti 'Ю З 77 8 η б ^ 72 67 61 7' 7 1 6 8 65 7'. (.9 82 6 0 7 Ì 65 71 7 0 6 1 5г 61

-^

Ρ,Ρ

72

0

б^

79 з5

7 Ρ б^ ·. f 1 7'

54

'л7

*4

μτ

5J

66

79

Ρ?

7^

77

70

66

fco

7¿

PI

75

65

52

68

u

l

65

70

6 5 63

74

83

73

5 9

7Δ

67

67 M

73

об

о4

54

67

77

7o

5 9 5-í

60

64

68

6°

7ь

65

7i

64

о2

tir

Ь7

4°

00

63

78

64

66

о5

7^

8?

>-î

6 9 ъо

6-j

72

7J

69

77

61

ου

6]

51

60

58

47

71

64

о 7 72

51

50

75

^5

5е;

75

45

62

74

82

57

50

51

8]

65

74

63

66

53

7^

61

/-> 9

2

5 г,

5* 6'"> 6 8 5 9 71 61 ö9 6 4 70 6 5 7? 5 7 0 2 ^ 4 7b 7 5 7 9 74 6 7 ' ¿ 7 7 0 52" 58 5 5 6 8 г л 5b 6 5 8.1 7 3 6 6 6 6 03 70 64 61 52 г. 8 7 ó 72 72 3 3 7 6 h l 71 6 2 63 6 5 4 3 5 3 ем 6 2 6 9 Ίο 7 9 7 6 7" 7 2 72 7 0 7 4 71 о<і 6 3 5 1 68 5 0 f 3 78 6 0 5 9 70 6 6 6 6 57 73 5.5 7 3 .-Я 6 6 6'ϊ 58 S 8 71 53 ( 5

0

BIJLAGE 27

JAT А Ы MULA Τ 11. IV LûN ALoLMhNE Ь AKI ПК ЬЪ V I J F SUril- Α,ΝΙ UK FN ( ¿ I e S1MULATIL· IV P U P J L A T I t . FAKTGKb TP UKTUUK ) VUUR 27 ÜPf.KATUKti\ H I J h ι К) cLFMcNTf Ν J-

,^ 1

't

s

Üi

1' ι 7 i >η S'/ 7'j 79 74 «5'»

Ηβ i

О J.

dl / 4¿ i >

ья

41 J 7/ rtj ) OiJ •І 5 / 'Jo Λί *~ 77 J У1 ч 9197 Ь 7«i tí¿ vJ 71 89 7 80 bb о Но ч 9β BI ОЮ-) LOfi 1 4¿ 89 7o 9¿ j 97 91 Ч 77 96 !> 8 ¿ 79

74 8 3 7 J b6 d3 o d 82 ^ Ь t>9 i b b2 8 9 1 0 0 b b b l з: bu 76 9 8 7¿ 3 b Ь6 9 8 6 ] ^ 9 6ü 42 7'+ 9 9 1 ( с J b tí t . 5 2 U8 87 bC 3b У7 7 b 8 ] 41 o3 2 7 6 3 85 88 4 0 6 6 52 9 b 9 1 bo 5 0 79 5 4 9 4 ].«>'! 7 4 i 4 b l 34 b b 8 1 bC i 2 67 43 ьз 3 3 8 b 32 73 3 4 8U 8 0 9 3 b4 77 41 70 9 0 1 0 1 b 6 73 5¿ 9 0 Ob 4 1 b l 57 o b 8 1 83 34 57 35 72 67 ¿6 ò b 4 4 bb 92 9 4 4 9 7 2 b^ 9 b 9 1 ;Ю З 4 7 02 4 7 Ь9 ß 9 ЬЗ 43 7ч 43 93 ü 9 71 3 8 b'j 4 5 « 4 74 76 4 4 72 4 8 b b 76 7 8 5b 80 54 79 8 0 8 1 Ь9 6 4 4 1

23 с 6 7 3 7^ 82 4 2 %n 9 7 ( Ъ 77 8 5 40 S ü l l e 78 78 9( 1 8 79 7R 76 76 40 7 9 1 ( 0 76 ei 9 1 2 0 1, < о 9 6 74 69 93 3U ^ 4 9 1 7 b 79 8 3 19 e 6 8 9 6 9 ?1 9 0 27 6 1 1 0 4 77 6 9 8 2 3 4 fc8 76 7 5 i:9 8 7 141ГР 4 2 8 0 75 9 4 3 ö S3 7 7 72 75 i ;o 9 5 72 68 8 5 3 b 92 I C H 7 7 €1 8 5 3 8 54 86 8 1 79 8 6 32 94 H3 82 72 8 7 2L 77 79 S i 56 6 8 29 68 5 9 c 8 82 45 d i 82 9 ü 75 9 6 42 9 Ы Г - 0 Ob fc3 9 6 1 9 78 9 0 64 Rb 2 1 ecj 7 4 o9 72 1 b 79 9 2 70 6 b 8 9 2 8 77 9 3 8 6 78 9 4 4 0 77 9 2 74 6b 85

25 78 38 6π 33 óf 19 62 b, 75 37 69 39

ö7

88

74

78

с7

с

3

94

8 7 8 0 77

«9

?,( Ь І

Ob

8Г

с6

Xt

9

57

ь7

Ь2

94

74

83

8?

75

7^

НЗ

72

84

75

8Ь

7

Я9

8 8 1 0 0 70

66

86

92

87

НЗ

7 4 9^

Я4

Ρ ' 79

57

т-

ъ7

81

73

91

58

R5

88

73

(Л

*-0 8 7

о5

,10 7 8

RQ

91

70

ь?

f 7 97

Tv, 9 <

7Г

9'1

98

83

58

78102

67

«9

77

яч

95

56

77

92

89

86

^)

*NK

Η6

89

63

53

71

79

67

89 6с

75

84

11

Ь 9 73

83

5«

96

79

67

77

73

Ы

84

83

84

92

78

В*

9 Γ 88

82

9 6 90

88

Ь7

67

87

96

77

73

Н6

93

6 9 8¿

77

OS

77

51

58

78

88

64

bo

47

70

82

69

68

70

f.2

84

83

67 f6

87

78

7Ь

92

84

69

92

91

46

99

77

73

Q9

89

77J Ot> 6 6

84

88

65

0 0 88

84

75

98

71

P7

66

74

68

Ьь

77

77

79

74

79

78

71

81

Pi-

77

94

82

86

67

83

о2

95

78

6

7b

B u ]LOO

8 Λ Ι f' 0 9 2

ез

2 0 ^ 4 87 б'» 2 8 7Р 9 9 7* 39 72 89 87 4 0 π ì 9'J 7* 22 o p 7 Λ 65 З ^ Γ; 4 ei 7θ 43 о З 9 ) 73 2 0 Η Pifií, 91 52 ί 6 ^L 72 U l o ? 86 63 эз а З 76 58 2'+ <'] 9 9 .83 23 о 8 8 5 82 2? 7 8 f 7 71 3 3 7? 8 0 28 70 39 72 IP 7^

с

45

r

3

1'

•ч

82

54

o?

7b

65

Ь6

84100

НО

71

84

80

Ti

77

Ь8

9'»

89

77

9?

«4

A4

po

^7

80

70

83

84

80

96

67

86

77

qi

BIJLAGE 28

. I . V I A J I M Ü L A 11 1

IV

ι LT* . a o L t f L . ' J L FAKT .К Г\ V I J F U I L Ы lUL'iTK I V Pi PUL», Γ Ι f VIJÜW

2 7 i)Pf K A T í J K b N

òUKFAMjkbN F A M L R S T K bKTüJf- )

r

ti ^

гЛ J

FLtMfWThN

Г-ч ОІ J

Г )

ir, )

7 i •г J . /

7Ь

(Ί Ь i

7 1 Ö?. òJ /3

Ou

6J

r>4

)9

4 7

b'j

79 34

¿У 68

71

« i l ü u

20

d4

33

7¿

оЗ

7Í1

об

í>7

dì

91

7¿ 97

52

11 64

v-O 29

74

17

qV

7¿

4Г

ti г 72

9Í

оЗ io

7í

u4 31 /7

73 ÖD

J'-

7^

л* С),

tí

+¿, '+7 td t'í -)()

70

+P

83

35

8 Я

И

7í'

7о

77

ι 8

9ί·

üB

9 8

6Í

81

?(<

ht,

6.-

79

72

*l¿

1

7)

49

h\

54

ί-οΚ

«se

IA

71

и О

8 2

Ы

72

b j

bd

77

81

5?

эі 80

23

84

о 9

86

о4

7d

86

72

ο7

>iC

6Γ

78

27 73

6')

9U

97

72

7.

ί (

Pb

71

}• 5 7 6

Η

«Ы

M

85

58

6'<

92

77

o 2 i <«b

^3

t Г

71

7 9

59

bC

» • « '

77

ЬО

5 1

76

96

9 7

87

79

6 -J

nt)

91

o'i

Η )

7^

107 .· 2 :

69

о 7

f ί·

9 3

80

hl

'-J

7J

«î ^

« (ι

9]

74

t

,η

< 4

67

4Г>

77

Ol

70

5 9

hb

Λ1

35

53

7ч

75

82

61

6 7

6

8 5

95

75

t91(

υ

81

891.02

84

Ьі

79'

8?

οΟ

6 9

99

741

Ы

72

8f 9 0

74

7?'

6P 72

23 73

77

h 8

Ы

¿3

-•tl

Ь5

'33

74

70

0 8

fb Í3

79

из

3-

34

73

d3

τ Л Ьч

7Ь

32

Ъ\

92

78

ς·' 64 Η4

64

і^

b? ?5

81 79

01 4 9 U

Н7

8 7 Ч

?·>

71

73

d

л

r

Э

J:> 09

47

?L bo

tu

96

Pb 231 ' ? 75

7о

85

16

66

75

16

-.4

8)

77

60

'•7

7Ь

ЬО

57

85

r

28

51

34

64

tl

78

ЪЗ

73

tío

7 5

36

73

8 tí

83

76

d¿

77

79

92

33

72

62

3 7 74

77

74

14

92107

9 7

8Ь

66

76

Ь5

97

80

93

8Я

41

87

УО
H¿ 9 2 S2U'7

Н4

Ы 71

t>9

71 di

HS

Зо

7b 9 b 69114

І З

7о

л\

7P

79

7э 49

BI t i

11 09

68 t9

^І

db

93l('l

8S»

41

53

4< 79

70

24

4

t

71

вз

18

M 4 97

90

61

/Ζ

7 8

96

77

77

70

0° 19

72

58

74

(»6

65

иг

69

'j^

6 9

54

09

67

91

7)

2?

4P

8]

9 0

73

66

t 6

72

6 8

"59

f

tO

9Ï

72 23

г,?

8¿

5°

81

Ь9

h 5

67

83

6?

od

70

92 77

33 80

64

79

71

9] 67

Во

-ι

Ы Ь7

9 ì

95

44

74

9 3 Ì5b

<τ7 2 6

o4

33

ЪЧ

23

Ü3 71

o 7

ob ¿Ь Ж)

d9 46

95

2 7 1. " 5 74

'7

67 69

74 77 6 9

bu

F9J

81 12

89

о 7

79

43

72

bS Ь4

7u

27

/4

S>l

i

80

f 75

77

L8

9

46

d') H2

49

οι з і

7-> T'J

51

97

3ó

(< І H t'r

9 8

6 9

9 ó

tiî 6¿ ti4

of

77 87

67

t i

67

t3 61

78

ЬО

73

¿3 79

6Í

t i · :1 0 4 э

75

4L-

8iJ dl

2) 53

3 i 100 40

87

1

kZ 79

·< > 71

^ t

7!

61

art

3 i

£2

o¿

•J.^

¿ '

¿8

4¿ )9

SO

11 o1·

94

'.-9

r)'+

- 1

•> J

/.3

7J

J J

-> -

4 ¿ Ь7

/3 li

/7 7;

»-

->*. 44

¿ i J }

JO oU

oí.

Ml )

^4

)5

c

82 21 74

7 о

8OÏ01

71.

71

(9

Ь9

07

87

66

19

'>•?

76

6b

57

bb

f 7

6« ι

74

7^

6"»

7o

77 91

60 Si

^Г

)и

9?

8-

74

St,

88

761 ^5

77

b2

9 8

65

78 59

BIJLAGE 29

.UlAbHiJLAÎIF IV ' il* A L J E M t h i F í - A K T u k t ,\ V l j b b J o f ЛК Τ Uh Ы ( ¿ i L òLMUcATIt- IV P ü P j L M i e PANTU'iïkUKTUU'- ) V'JUK ?7 J P I K A T U K F N H l J МЮ tLfcMti^TfN V L h V JL j .>' >

>
o/

7o

•i,: i /

h7

іь

ь:.

'il

(ι 7 7 ^ 6 9 /) <:Ï> 74 ^г Ι ^ ) VJ 7t' u¿ cM 4 4 7 4 4 3 ·. t '«4 '><> 7 b ' ^ h 1 '.Π t i b υ 2 >•' v i ) 7v 7 . ' 9 it ^ 4 ( ) / rivO ' и / 7 9î> U3 HJ υ i J 7 Я,: f i 4 ' 7 К· \ и З J o t i l ci Î 3 6 79 ч 4 -ч > ; Ì J -».1 V Í ' Ç'j. 9 j Ь4 ' П 5 2 ^ t i l f)7 3.! 6 7 h 7 зЗ f j i 3Ü . 1 / i Мб 7 . П и 2 Ь ^ 31 7 " 3 4 •ι 7d чі, 9 9 9 Ь 7 3 1 6 J 4« 6 2 1 t ' , 9 1 861 UI 92 Ы 8 2 (.6 J 5 8 6 8 9 7 6 4 4. 4 : ί,6 8 1 6 ] o't fi4iu4 8» 84 9ï5 4C' 6 7 J 7 ·. > U 7 wO 82 / 6 7 7 3 4 72 3 4 )) b) 7b 81 H l 4 t 46 6 6 44 ,í ib 77 9 ' 9 9 9 . 4 7 υ ЬЗ >., 9 / 8 8 7 9 1 0 7 66 62 6 8 4 4 ) i « 6 9 9 7 4 fib 4 t ^.7 7 3 4 9 7 - Н4 7 7 J t . ) 7 6 7 ί з 7 7/ ЬЬ 75 8 ч 77 83 / 8 b h 19 ы 33 I.. Іг> υ 9 LÌ.) 6 2 82 39 7ч bit 7'> ^С 9311. U 9 2 1 1 2 4 9 Ь4 6 3 7ч 4 + 9 4 8 о 8 3 91 68 8 7 4 8 7 ) 9Ь 77 8 6 8С 8+ 34 67 50

"5 c3

»^

А/ІСРІчг

чіі

-¡с yi

?«

17

ЬЬ 12

'M

76

64

,, Г 7б

77

ίΠ

^¿

ЧГ

«'

7Г

Rri

?í. 6 t

7Ь

?¿

Ы'

о?

Мэ ( 4

7«

i« o6 64 4l1fti 77 ¿1 tìb 7^ 4r' ^7

o;

79

^

t r.

76

'59

F'·

PP

hH

^2

7Hi'.d

оъ .J4 7 7 о > г<5 64 4( <14 ^/ S3 32

{.ft / h 72 A¿ tì re tìUlf'f. 75 HO 76 »У· 63 4 7 ÌKJ Ϊ 4 ГО 1 9 с9 t 7 Ь4 6 7 7м 3 6 79 8 6 t,? f 8 ö 3 jji £1 77 t 6 t l 7^ І^ 76 ^ ( ) M Ы< 7l b 1·9 Ч/ 6 9 еВ 4 9 3.J ^Ь 9 6 9е . " I H 4 2 1 81 4 0 7 7 /4 8 7 2 7 c.?. 6 8 8 3 71 ftî 2 3 àV 7'» f 7 ^7 78 4 4 'ï i 8 7 8 2 72 9 o 44 £4 9 2 /3 f 2 88 28 ί ' 4 ΐ θ 3 6 6 f6 ' Ï O 3 0 t * · 96 7Ь / 6 fì1' 3 6 78 9 0 оо 6 " 9 3 2 9 t o 77 71 Ь7 (.7 3 7 t b ЬІ 7b i.? 76 зОК-ьП'б 71 76ІОГ 2 9 79 9 Г 8 9 9С « 4 4 0 t-3 9'> 78 t-n 91

j¿

7?

8'Э 9 S

7/. ы }

тсі^с

F(3 Я6

6b

7¿ «·2

Ь7

ί>8 7 S Wt

"^.

<)? Htì

7S

7«/ 7(·

91

d'

f»'*

70

'• "J

6Л

í'l

сГ

MF

7->

6

f·?

К-·

99

7ß

б 1 ' 1,7

ЬЧ

7(. í· -ι 7Ь

94

υ·> 7 6

ьіі

о4

ί /

83

Ьб

б'ч

fi

7"·

7(

о ¡i ^ 7

К

і«

59

7(,

7Ц

.PI

7Й Í'^

'^)

70 З ^ l"-7 76 2.' ί Π 5ь 7' 7S б" ,-'ί M 67 311' 6 94 21 76 7C 22 Ь^

>

^ 96

R^

94

77 :іб

<,Ь (.7

f7

Н4

7*»

w'

·* г

76

9'·

94

79

6 4 ] ^ О ) Оо

9 6 1 >' i

7Г.1ЛГ.

S'

47

74

η'« Ρ 6

tío

7Í

f

Ρ6

93

91

71

79

79

93

<jQ Ь -

t,7

9^

81

3 6 ' 68

64

76

71

64

75 f

6.,

79

46

84

6r

ÍÍ6

б)

91

40

63

67

f

6

9(

7R

84

6θ

7^

π?

S{.

R7

7f

8о

96

8ч

72

<с 9 t

87

99

71

84

76

84

44

63

6о

tí'

86

ol

об

Γ8

93

41

7J.

і я .•.t) 6 > 33 4Î. 78 221« 6 74 3ι- r ^ 7C 3 o Γ>3 73 м> « 2 7Q 24 7 3 66 28 f-'З 7f 2Γΐ·ΐ0 93 611' ι о7 ^ ' »2 77

l

r

ч^

»о

77

Я^

^І

73

,

"!',

>8 7 4

^f

72

80

7^

87

ΠΙ

78

ч '

7е

Ρэ

77

92

75

7т

с

7

74

77

Ьб

ol

-8

б^

ус.

46

8_<)'4

и9

761-4

Мб 9 6

66

79

4 1 . а^.

^;

¡зб PB

с

71)1 ( 93

ο

0

9Г

82

46

8?

9'

74

91

79

97

BIJLAGE 30

J M U O I

lULU It

IV

I f f « A L . E M û X t f - A K T i ì ^ t-"J \ / l J f ( ¿ I L ÒIMJt-ATIu IV PJPULATIL V'JJR ¿ 7 J P c K A T ü p t . M H I J '.ПЬ

ο 9 ?4 76 3 3 5 5 lì 6 7 9 9 31 ¿5 8 4 π 31 7 4 7R 8 5 i » Ab ччі 9 6 35 х to 9 7 y c 7 У HS ¡'.<J 5 7 ни 5 1 г *:Ι υ ^ Ι Ο Ι 9 9 7 9 2 o l C 3 8 7 70 /9 9 9 Ъ J 4 Η 7Ь 4 9 , . 7 о )4 1 8/. sa 8 7 É 4 9 1 > ) 77 72 l o 47 4 / 74 4 3 öS» í 4 7 7 M t В'ч ^ З 77 о ï» 2 5 S í 9 6 9 9 .--á 5 9 4 1 о 5 59 8 5 , ^ 7 Г. 7 9 75 2 4 85 6 2 6) 7 6 Ti 3 3 4 5 ;>.' f ó 6 1 3 8 e? 9 9 A j 9 1 74 103 31 eh 9 G 74 4 4 7 λ 4 7 7 6 7 6 8 6 ' W ЧГ 6 7 8 2 8 7 4 3 72 9 4 β 7 Ц З 7 4 4 5 8 1 73 qù. ч l b o 9 ^ 1 0 1 6 9 1 7 83 76 ьа 3 7 6 5 3 4 7 Г t s 7 5 íy ö 5 7 ^ 8 1 7 7 1? 69 7 3 tit 66 1 8 53 Zo ')') 7 7 83 73 3 8 8 1 4 4 81 32 7 1 4 4 74 ,' ,

7^

СЛ,'

74 4S '5 5 tí 7 9 1 'Л

?2 7," 19 6? 3'! 41 Гьі 68 2с

ь<з Ζ7 7·ι ib 63 32 07 34!

er 27 75

76

/2

^5

Ч?

64

Mía

í 5 8

8 7

9 5 ]! Ι 6 6 5

90

H-1 9 Λ

9ί

f5

8«

7 6 ! >1 +

·Ί7

61

8^

72

M'j

65 6 7

8 7 93

79

•it

"19 8 6

75

82

74

^8

ος

9 В 85

68

η 2 II M "

«9

9ъ

94

72

Г?

З".

а^

79

'·2

q

2

по

6Н 5

«5

h·i

92

72

7^

55

46

90

77

6 5 Во

'ì'!

''ч

4 0

74

75

i 4 .ч 7 8 4

78

8 U ( ' · 92

761 У 3

71

f υ »Ъ

73

^)

pr

e?

84

7Γ

^-7

8 9 7 ί

г 8 8)

эг.і

82

4)

67

7 4 8]

J

ι

·7

α

Г

RO

62

»
et,

9 J 1 ( 4 ! 6 8 .'.9

Hr-

Ч-

\

69

1

7 Î 11 rtq

ο 8 6)

7·,

9 7

5 2

53

b)

7(

ЬЗ

7С 8 3

'"Ч

67

'T

^ 9 Τ 6 79 6? 26

S U o ^ - K l lìki-N hAKTul· STKjKTUUh ) fcLfcMC^Tth VhKV.ïLo

ri 5

ИЗ

8 2 64

54

77

8J

66

75

87

ло

45 ^ І 68 ?.. л 7? PI 37 93 94 2 2 '5 3 82 з-» h 6 65 23 Ρ 9 б« Ί 1 "M SB 3? f Η 77 251Г4 80 30 ч 5

С) с

82

69

79

64

89

65

90

Op

82

!» !\ НО 'б 7

75

65

7';

7 г« h 2 6 г

7«-.

* і 81

90

82

93

93

76

98

81

95

95

71

74

82

72

78

8 0 56

RA

7о 98

90

46

7 7 75

63

84

77

О"

951и0

66

58

87

80

78

87

64

R·?

951^3

79

74

«2

e.¿

771 05

β? m s

db

74

6 7

o U

Ы

87

74

82

f-ς

8°

ил

3 8 65

77

89

88

71

47

7Γ

86

41

80

02

59

76

79

57

8 3 72

76

.' ι 8 2

6"

0 J

^І.

88

62

.' 8 5 5

6 c¡

89

79

72

^ *· 8 7

об

Ы

7?

ез

^5

6 h 2¿ 5

75

г

?4 7 4 6ó

1

^

57

BIJLAGE

\ Г Л Ь І l U L A T l L IV , u . AL . e -Ih NC ι-AKT f Ь \ V I J F l^li bIMuLUll· IV P J P J L . M I K VUJ4 ? 7 ot'LHATüFlrN 4J '5^0

1

31

SU jb ч М Ь К І ,4 I-Ais f ν * S 1 k U s T ' J U r ) ULrMfNTfN VI l· V J l ó

Ih lb 7c 7 7' 7«·. j ; 7 4 7W Ч -з > -w 7 ^ f^ S ) f 7 í ,' " ^ Γ ' i Ь) 8 . ' ( ' i ¿ 4 9 ^ 1 ) ;ί 1 іЧ ' ï ö ν» 4 1 ; S 9 4 J / 9 Ь S 5 y g ? >> оЧ " з 9 Í /f 'vi /~ ч л Λ - i Ъ<~ hl ЬЬ 9 ì Hl 1 ι μ r , 4 4 7 « L - jH 8 ? 7 < .•"» / S -И ?'• ? 7 / h 4 »3 < 7 ) ^ З " · ( ì " j< 7о t>l 7ö 7Ь 9 b ^ ^ c r 9«. J ^ 7 9 8 6t> 7 ' 1^ ^ 7 ¡і^. о Г ' ^ f j 7r> b.S ί'^ ¡ M / o «t · 3 '. Л'· с*. Ъ 9 5/' i L 7 i hl· эі П ГР ?( i b ñ-, 7 Ь 7 1 St, ι , 9^ 7; .j 7f Pi ' 7 < 7 4L· 6 7 · 7 9 ^ 7 ' Î 7-> ü 1 ' 7 b : f Н ¿. 9- 1 Ъ і о ) 4¿]·^ IH ЛЬ ( j t ' l!< ^ З 9 » 1 n i 7 Ì b ) ' ; J c 6 6 7 r S 7Г ^ 7 У ^ Я'. 7 « s t ) 81 H e s 81 ^ d i.' bJ 9 3 ¿ Ь Ь4 h Ί J . i ' W · 7<> iíf Pt) 7ti ^ í í J 8 t>M f 7 f 1 '^ 1 -Ч í.H 7. 4 9 7 7 S U 0 6 7 J V < (» ^ β ) ·*4 i«' c 9 8 ) J ' β ι 9 S MS 7Γ l, î 9¿ 8: '4 * 7 чч Η ft ' Ι ü 9 SC 72 7Ь Я S 7Г ^ о 8 4 9 2 1 «. b , \ ' ¿ г? 1 7 ^* 1 Г Г ' 9 Ь 7t H 7 1 M H Í - 7'· - ~ V 81 : · ) S / 7 7 9 7 7 Р -Ь 9 ί · 7'^ Л 881 ( O b l Ъьіі ( 9 2 2 2 , J 4 ^. 8h 82 Π í.9 ^ S 7-i ( 5<Í 7) ' 7 í ЧЧ ч< b'> 4 4 7 6 7-» 9 t , 7 s 7 l f 7 2 9 ) 9 ] 2 0 ,t< 9 9 ¿ t P 3 9 4 7S" 7 ^ 7 8 8 2 8 3 fti J l 7Г P"» bh 3 7 f.8 ^(> ')ü Г- 79 7Λ ¿ y »'Λ)ι.*ν ' M З Ы і ^ 7-í ''W ι ' Η 9 ч ч ι < о ч ч ;«<-, t,'j >s « 7 ^ . ' Ί г ι 9 7 '>'+ ι ) Ь 7 8 3 Sb Q8 *-> 9Μ l J 2 8 ) 1 1 2 ? 3 9 ^ ч З 2 9 8 9 s ( ' 9 ι о Г ' Л ' S 7 ) í » ' 7 o l • > 8 4 1 ' " ' 9 4 :>7 7 7 4 5 7 7 t'¿ ^ 8'^\ 4 7 0' b( 3.1 9 6 9 4 3 ^ <··4 9 } 7 b u r > 7 ^ f 7 8 ü 7 8 1 ( 4 s4 4/. 4 · 4 9 S 81 4 с ' 8 3 'Ib '39 7 6 0 8 7 о«- о 9 ι-ν 3 2 7Ь b S ? ì ' ^ ч ^ 7 о 7 1 <ІЧ ' ν 8 3 8 1 « 5 (-t 9 8 j ί)1 ο , 4 8 7 9 с·' 8 8 h 9 9 4 7'5 7 b 0 8 ^ 9 ¡'9 Ль І ^ м ъ 7 > 8 S 79 <•>] " J ь_- 9 7 8^ 6 8 Ч ' 'із î 4 7 ' 'J' < J e r 7 7 6 J i.' ' » ! } j " · , 7 1 · ι 3 ¿,,. So 9-3 S/ l i ^ t l l U T O p s f3 0 < s 4 2 9f Π 7 r 4 i r c • l ) o b i ' 2 7 7 9( s ò l 1 J 99 ц 8t il .>! b 4 l e li ' о Г^ 'if .. < ^ ; С 8 ЬЧ f ¿ 7 ^ 6 b h ? '-.t 4 Ь ^ 9 1 S 9 З о 8 4 -J 7 7 b ' i 7 o 79 7 8 7 1 2H 9 І 8 2 2 2 7 4 t l 8 2 9 . Ы Sf 7 9 6 7 7 7 7 ¿ 7Г 7 2 3 3 7! 4 2 9 7 чб 6 9 to'1 8·+ »-β 79 8 9 3 9 LO с ^ i l i r f i о 7' 71- 3 7 8 - 9 о 7 7 1 ! 2 f-r ς? b 2 6 i ^ о 4 4 8 4 9t> 9 6 У « Ь1 t)3 M 7 8 3 4 * 9 7 ' 2 ) '\~ 7 í 8 6 6 1 7 ^ f 4 í b 71 79 ^ 9 7 ^ 7 ) 2·ι 7 ^ 4 7 7 ; Ci» 8 ' 7 1 fi i Í " S" s Ι ^ч <" 7у .- * ) )o '/ > κ !

BIJLAGE 32

. >, Гль IMOLA l i t iV t L.J A L o C M t N f ( - A K T U K fc.M V 1 J Í SUü^ Xbì (il LfJ Uit blMULAÍIl IV POPULATIE f А К Т . * bTKUKTJU". ) VJ ih / 7 UPtKATMHEN »i I J 60Q fcLcMtUTtN VfchV )LG .' e- >

0 91 o?

Во

8

^> 04 ¿7

M 99

53 81 33

ì.( -t 1 7^ .:? .>

:

j

OÌ> ñi

) ' І

7,> 7?

- l

ы

44 i l 74 4¿ Vi i 4

72 7.)l('3 57 41 8S 8 4 U 1 38 57

il OL

3

ÌL.

ì

ϋ

i

I t

) 4-> i

]<*•λ'ιΐ ) «..'

41

\ 4l)

Уо ^/ .ι <<-o !: f < l i t ? « ЧН

7·» 7J

90

7d 41 7o

46 7b 46

92 8o 70

46 78 i 4

7a

1«. ' Ι1»

ι

^5 tíí. t>4 9* ¿-7 76

70

ч*

б^

86

PO

71

Pi'

64

Q1

69

7S

8 5

91

86

8-1

75

^•а

77

í-6

t

i

82

7 o

7 Γ

74

A4

7"

ьь

90

71

5 7

78

75

6 8

о 9

pi.

76

J 1

74

9?

82

7 £ ·>

86

ЬЗ

64

о 9

61

Ρ?

73

76

65

57

52

7C

80

74

72

47

ЯР

44

89

73

7.i

96

98

63

50

Ί*

97

73

8 9

5 8

72

79

et-

7?

87

i?.

74

70

8 3

Ь9

7J

93

ь*

90

71

8¿

яс

90

84113

91

86

ι

-2

71113

75

87

78

«4

85

8 9

ЯГ

81

57

5 7

91

92

58

80

60

68

on

PO

f Η

6 7

4 }

74

po

79

Я2

86

95

65

40

83

93

8 8

77

г 7

6*

8^ 73 78

l<~ +

ς:

59

74

75 37

ì h

At

90

77

80 47 8 y 90 82 6 6 88 95 82 4 6

41

95

91

57 33 8 8 84 3? Р2

83

зг

75

96

60102 84 8 « c9 72

51 70 57 89 39

42 98

7 Г 78 83 89 70

72 В)

22 90 71 71 81 471C2 98 88 87101 23li,5 90

a«)

со

УЧ 84

b7 23 78

53 72

74 95 85

.¡7 71 8? 17 67 37 71 11 э 8C 2 4 б« 50 o 2 9 3 8Г 2 7 78 5 0 o 6 9 4 8 8 15 7 o 4Ì 65 79 83 2 7 7э 54 79 8 5 96 21 62 49 6 0 78 78 41 ни 4 1 6 2 77 98 35 83 50 ο 8 9 8 b7 41

/9 66

7) 72 6¿ 88

SP

Í.1

S5 56

tì8

biJLüS Ы tí/ 74 tí/ Ни 99

9 56

73

70

1 8 7 3 36 78 29

55 79

ы

101 c9 79 91 75

83

8 7

til t-'i

2 7

b-i

62

85 73

7^

91

11 64

67

SI J 97

12 73 56

S2

44

Г 4

o 6

5 b 8b 72 48 49 9 4 91 7 8 bu 78 79

9'+

14 73 35 79

31 74 21 66 8 6 8 28 79

79 33

J 7

во

es

47 7b 65 7 9 1 9 ] . ' , 6 . 1И 5 Со 7 4 60

t8 £6 54

8/

)3 36 7 υ o4 40

1J/IÜÜ ЧЧ

l i ?

1

¿H

38 9C 19

94 7? 7ч

j ò

1 3J

t

82 37 83 4 3 8ъ 44

47

u

62

/2

с7 9 2

87 66 S4 71 78 í' 1 S i l

82 8 8 77 76 87 f o

o9

88

S5

73 86 8 3

62 93 77 Ы 87 59

76 89 84 81 83 40 81

54 13 6 h 2Я

2Г

8 8

V

46

47

9 2 :105

84 161161С 8100 68 Ín о Ч 78 84 64 31

»17

9\і

8 5· 7 3

78

7ч

72

54

M

74

ol

65

6 8

'·?

74

71

73

78

65

78

93

44

7Ρ

8 7

i?

73

9Р

80

86

68

57

ЬЪ

8э

681

г ') ^ 4

PI

79

82

W

8 1 « 3

81

78

93

70

«I

4 7

92

90

69

ο9

80

95

71

44

68

7 f-

86

7Г

98

8(

í.b

71

du

66

87

76

98

8 7

ЬЬ

92

73

7.i

^5

»12

64

4

η

36

90

74

74

79

6 5

7 4 1 ('6

81

92

Où.

64

7 0

84

88

6 8

6 ч

'.2

77

83

82

f>2

92

7í)

1ч

'òt

•іа

82

P9

98

76

76

74

77

7? 11 о5 1« 64 37 77 14 67 34 74

ІХЧ

70 27 7^ 4 3 74 25

2

7 "s L< J

BIJLAGE 33

JA I ' l i H U H f i t IV L L J A L o c M b b b ΓΛΚΤΓί '»'Ν V I J F SU,i-\ічТ UM Ν (¿le ЬНоиЛТП IV I»! PUL.* TI I f-uKT^KSTKUKTJUM l VJJK ?7 Jp.-hATOt'F'i I J 0(1') L L T M U U U N VhF- V U 1 .

1

•

>

t

t J

Vi

tjí

?0

i¿

ь^

66

1

t -,/ 1 '

rfb 1

1

о ' b

(Í

^Ь

bí,

ь^

4f

ι

1

^о

7!,

/ . f Λ

•> J

)

. (

(

l

ι> ) 1

f'

J '-

»'t

S 7 7 J

j

i t 40

1С o 1С i

7 s) 6 J

1 ';b 1 <w ) Г i 1 /i J 11 1 7"

7b 7 α

S 7<Í

75 Ь7 63

'«2

77

α /,

1t 3

li

8 7

87

10

72

77

bb

8?

--1

ч

7"

2 •*

^З

67

86

t-7

t. 2

7¿

92

6-

4П

76

7?

9,.

82

81

Ь

J 6

85

50

г ^

Rfv

л)

do

98

73

75Ϊ .'

oí

8 5 1 Oo

7 Г 1 Ι ΟΟ

79

7¿

^4

72

<Ί7

7('

'>7

б^

8 6

7У

v8 9 Τ 74} ! 0 1

¡i"

5 6

/'О ob

77

b8

'С

;>ь

64

76

»9

01 4Ь

d

it-

64

eti

Hl 77

8¿

(

2 /

7' S5 e4

ы

91

¿¿.

f) о

Ь7

71

с4

31 о!

Lb з7 64 b7

¿3

6 5

73

5¿

65

η 8

7''

RO

f ')

8 )

38

71

74

7С

6 b

b3

7Ь

г, К

71

<• 2 1 f A

86

83

791»

0

87

68

s 2

66

«4

77

15

7 2

w_

84

5 6

76

n'¿

51

7 8

<;)

б^

7S

76 79

6/ 24

71

яь

5'·

•;6

59

79

»-o

66

72

63

66

8 3

8'

6b

4 7

73

fct

6 5

ί b

6'-»

78

Ь9

72

Я0

7«

c

76

{•6

7^

71

86

66

al

b2J t 5

8 8

оЗ

74

07

oí

791 '

f i

79

61

ол

, 7 7.,

92

90

6

" с

ÛI' 5Ü

pt,

7·>

93

78

ut

t О

7't '1

74

79

8010 b

ςς

17

6¿

Зо

f 7

81

?4

ьч

ί. Ί

6 )

40

45

8 '

bl

Л

b\i

8b

G6'

2ъ

9 л с]

1

4 s

84

2 J

f

£4

Vi»

47

(ib

31 57

7?

77

75

b0 8 7

34

-tl

7 h

74

i Ь

oí· ab

7>

0'

0 »

88

3

47

18

JO

1 31 , )

77 9Γ

6ь

о/

o 5

2.

71

db

>

Ы

òb 77

ЬЗ

163

í6

6

4

f '

í-b

-7 ¿•G

с 2 29

ι to

00 56 44

lb

4

^7

/9

17;»

7;

3c

í.2

¿.ь

8 5

81

ь7

73 t b

88

7 8 Н6

î 5

7?

/з

¿4

4¿

7 η

'-ί

6Р

86

77

7 ;

t

t ь

7'

••7

J

о 5

Ü0

tí't л7 4(3

7-

3] 7b

η

74

7Г

74

15 75

7¿

Λ1

f t

4Ь

73 ¿6

bi

6·'

И

ч« ы

9 0 tb

ρπ

iл

.W

l i

7c

74

OB ^¿

«jl·

/1

Ь9 Ы

^7

9'~

7^

6'Í

4lì

74

77

8 b

Ь4

u'·

.i J Ui

2:

7") < 2

9?

67

4 2 3o

5 b

f-v

76

Lb

«ί 7 7^

7b

4

7,.

¿J 7u

<\1

ν Λ

7 Ρ

2* bl

77 37

«. 4 S

33 55

'Ί

7'

7υ y¿ Нч

li

9 7

7 '

6 7

83

r

Η>

64

l

г-3

87

Jb

О/

l

'

t

СИ

Éb 79

ι, ,<

Ь8

1

< J

¿ь

37

7'

7,

ò<<

7»

ли

74

7(

¿9

•id

7 s

4 ; d9

't¿

TÍ

с ^

r

7Ρ

0"

7

1 '

Г 4

ь7 0 L

Γ 9

¿Ъ

8

0 ·

ι , ί

i

3

7s

4^

74

7.

hb

lí.t

! 7

7a

l i

1 DJ

1

г ,

7-

То

11

i υ.:

д

3<

Ml

ti

,

7 7 f

7о

J

7 ,

i

.ь

1 7

LJ ι ι

1

f

74

1

^ < 7')

, i . 1

.7

L· t·" '*і ч 7¿JC « и 7 ^І ь«; í . c

l

Π

>- b 5 5 01

1«-

8Г

96

ti' 3ό

F 9 ] '^З

88

67 ÌP.

7?

9υ

8 3 74

78 11

7«

7 9 :L U

83 82

8ч f- 9

8 «•>

ЬЗ

1ч

77

8 8

82

l

5

78

89

Ή

Fl

Об

DO

i- i

84

72

8 5

f 7

7-3

t 9

6 3

5]

90

86

79

6f

»6

86

7<Í

tío

91

44

/6

77

PI

¿1 70

4Ì tn

64

2D

f 6

β?

о7

7"

on

£ 3

t6

68

Li

7 =

73

¿1 57

65 59

72 7ь

72 it:

7 9

71

73

bo

bo

( 7

84

63

71

89

74

i.7

BIJLAGE 3 4

JAT мЬ ІМІЛ.Л 1 ΙΓ

ith

IV

AL ij LM E iE (-ΛΚΤϋκ

(¿It VÜUK

blMOLATlC

IV

I ,м V i j f - oUDfAK T (irfcW

PI'P'JLATIE

FAK Τ ^ K S T K U K T U ' J K )

27 ÜP'.RATUfttN P I J ft00 b L l ' M t N T l N VFkVJLG

ι h

1 9 64 82 2 3 4 6 8 6 9 9 е<> 6 9 86- 7) 1 9 S3 72 2 2 9 5 7 7 7 7 ) rr Ь4 I Q 7 7 63 8 1 7 2 J t , 9 7 .,7 38 ^ 3 8 6 2 1 1 0 8 ! О ч ! 1 0 1 8 8 70 9 5 9 5 V b зл 1 ІЧ V i î , 4 44 g А 81 3 87 яг 2 ) 71 6 0 ö>3 63 Jl Î „ . i Nb oO 32 F2 81 1 0 P5 92 7 6 /о ¿о 63 c 9 7 7 6 6 ' d 7 н 91. 2 3 FO 8 4 3.' P3 8 2 9 0 7^ 4 4 7 4 5 1 7o η 74 9 1 2 9 S4 3 6 25 6 6 71 7 8 7} b u 3 5 73 65 6 4 6 0 1 Ч i 91 97 9 2 4 7 ς * l o o 33 U 4 4 8 9 7 Чі o 3 9 ) 6 5 9 3 1 0 1 i l 6 9 4 l o ^ ìb 8-í 8 8 2 2 81 9 7 2«-» 7 5 98 8 9 ч ч - f ù 5 9 3 0 6 5 63 7 7 7 4 ι l'j 8 0 7 9 8 0 9 0 3 4 1 C2 Я С 31 72 9 \ 8 9 8 1 3 5 6 7 3 9 6 6 сЗ 7 4 6 4 93 ? 1.61 0 3 t";M 76 8 4 2 6 74 Κ I 3 5 " 1 1 1 4 ч10 4 5 9 6 9 5 ? 6 7 71 9 7 75 l o / 9і 9 5 85 8 / 4 8 64 9 9 3 6 8 7 9 7 9 2 я» 4 t 8 0 5 1 8 0 84 82 ? Ì-Ì d b l . « • 3 1 0 5 9 2 1 6 £7 9 9 3 0 i < 4 8 8 9 2 8 ^ 39 86 58 6 3 79 fW 8H 1 » Í 79 ^ 8 8 Ζ 9 5 3 2 8 1 8 3 17 ЦП 82 6 0 8 6 ^ 3 6 е . 4 8 4 8 76 « 2 68 ) 9(' ' 6 75 8 2 4 J 58 7 0 28 7 7 85 9 8 ' 75 ¿ 8 71 3 9 6 6 г-4 8 9 7 0 l'U 8 3 9 b 7 u f.:- 3 5 ez]L I U 3 8 1 1.02108 9 1 ВЗ ùO 77 3 9 8C 76 8 4 6 5 1 'Tï 7 / 79 8 7 8 1 2 6 69 8 9 3 3 8 8 9 5 8 4 8 9 4 4 7¿ 3 7 7 3 73 6 2 6 3 9 ^ 1. 0 2 8 1 8 5 1 1 76 7 5 16 " 4 7 4 8 2 î4'l 4 0 3 5 71 3 4 77 67 8 1 5 0 3 9 5 82 8 2 70 7 9 9 3 ¿ 4 6 6 8 1 } '"»'t 8 4 В * ч 4 6 9 4 3 6 1 ь 5 82 . 6 4 l Vp b í 9 8 9 3 B2 2 2 67 9 1 34 Ç5 94 1 0 4 10 ¿ 3 J 7 1 4 1 7 7 68 8 1 7 3 Ι Ό 7 7 8 0 7 9 8 6 4 6 57 9 3 35 7 9 9 « 78 67 3 5 3 9 6 7 7¿ 7 6 6 7 1 Ч 7 1 1 Ш o 5 9 1 ВС 21 S J 8 7 35 7 8 9 4 1 0 6 9 0 3 9 6 9 5 5 8 1 73 9 7 76 9 4 НО 8 3 2 2 66 6 7 1 7 7 6 7с 8 9 1 )ιι 72 2 1 6 4 4 4 75 54 81. 6 6 ] · ì 85 9U 8 9 1 0 0 32 £2 1 1 0 46 9 \ 1 П Ы 0 8 1 0 4 4 8 9 4 5 9 1 0 5 8 1 9 7 84 b d 8 9 1 0 6 9 2 2 8 1L C Ó I Ι Γ 7 2<· 8 7 ) ι ^ 1 0 2 i.« (• 1 0 0 4 4 9 U 5 3 8 0 s? 9R С J *-

ι :, · ы

/ ) 91 7 "i 4 4

ι

»Γ 39 74 44 8 5 1102 И . 55 77 6 7 26 76 9 e 6J 41

81 82 81

Вг

65

53

f 3H2

74

85

(*

64

72

ч]

85

7Г

8 S

Η'"

82

31 89

9^

θ(

9d

74 1| o r

70

5 9 fib

91'

65

73

67

86

67

іЧ

}"!6

75

77

76

66

μα

75

7J

b¿

Ь8

7(

Η?

76

86

64

5ч

i'Ζ

81

61

} 5

54

76

84

9и

H5H'3

81) •»4

96

Q1

63

70

о β

82

66

74

7С

Ρ2

80

61

Ы

83

84

8-3

65

69

73

Ыі

79

97

80) " 3

pi

77

76

73

«3

90

77

45

79

87

79

82

99

b]

68

97

86

96

61

74

Ηг

77

67

чі

В4 αϊ

73

79

7Γ

97

59

83

72

76

75

76

^{112

68

Ы

Я5

88

68

71

(-9105

77

75

8?

87

81

б^

8^

87

64

78

76

PC

67

59

u

5

93

49

65

7?

8°

43

62

94

84

59

78

76

85

68

70

74

94

6 9 87

63

77

66

36

ЬО

93

76

сч

7Г

92

о7

64

74

78

71

ei

54

83

84

8?U J

99

84

89

87

о

95

791 i f 2

4t

8Β

91

80' I f 4

1

7S

э

BIJLAGE 35

JATASiMULATlE IV L L N A L A M E N E l-AKT.JK FN V I J F SUtìhAKTQRLN ( ¿ I E b l M U L A T I C I V P L P U L A T I E t-AK T C R S T R U K l U U M VUUR 2 7 ÜPCRATOREN E U 6 0 ' ^ ELEMENTEN VEPVULG 2f 1

74 94 2v)t 9 2 65 2 > J 99 102 2п/> 88 72 *'>•> 9«. S3

49 47 4 6 86 9 7 bò 4 0 49
76 48 81 37 96 48 05 33 78 48

<ІОІ.;4

73

89

7? ¿4 , ι 7 8 8 Üb 9Ü 4 2 . « 'j 8 0 8 7 87 6 1 2<.9 9 7 8 9 79 17 i l l 73 69 86 5 5 k J l 66 73 7 7 3* ¿ 1 ? 75 82 86 55 * IJ» 71 76 8 1 33 ¿ 1 4 ö8 86 82 4 1 ! 1 5 / 6 U4 81 47 <-l6 7 3 1 0 0 «9 29 < 1 7 9b об 8 4 53 η ' j 88 и / t-9 а 2 l ' > 73 9 8

¿Л 2¿i. ^2_ 223 224 225

72 Зь 85 84

tì't

37 ö4 17 62 ЪЬ 75 39 76 41 73

43 79 tl 52 85 73 72 73 70 ТО

32

Eb

9 ? 3 1 PÎ <33 8'-» 7 6 87 13 80 82 62 64 95 2 4 1 1 3 1 0 0 9 6 85 7 2 1 1 Э^ 8 3 76 6 0 9 0 4 0 9 0 88 7 5 52 Ρ6

68

S3

38

75

Й9

81

84

87

Р4

90

b3

71

61

77

78

46

79

¿8

7?

85

79

82 9 6

84

77

87

81

93

90

67

62

69

84

5¿

89

7J

ЯГ

85

81

82

62

79

56

73

7П

74

85

68

66

84

76

81

J¿

79

ЯЗ

84106

73

93

71

9Γ

78

84

76

91

57

74

97

80

62

(8

8П

fit

64

93

76

«2

73

8?

91

70

ο5

82

6b

79

94

81

7?

88

93

9?

75

88

52

63

79

77

97

81

91

78

9Г

78105

79

72

66

6R

85

89

b7

81

79

36

ttì

79

60

84

67

Я9

91

96

66106

72

З-1

80

72

59

65

54

75

77

27

61 46 90 99 7b 42 6 1 77 b'3 4 3 85 ßc 7 8 Ън 70 75 69 43 73 8 1 b9 37 94Ц 2 72 45 97 93 b l 38 90 99 90 49 9 8 76 68 39 8) ^4 o1- 5 4 bb 86 6 6 лб Иэ 8 7 77 4 6 75 86

öO 62 2 5 98 77 SI 2 9 79 7 5 65 1 6 68 73 t i 2 4 Ь7 68 t 2 15 69 bO 51 37115 7 9 73 1 89 73 C6 3 6 1 IJ 8 5 fc6 1 1 7l 70 6 7 2 5 74 73 73 43 ob 73 t 3 36 U 78 с7 9 63

82 94 Б6 8<л 7ì 9A B<' ö.> 8е: 8і 72 9 7 7Q 96 76 97 Чі 97 6° 77 ЬО bc 8 7 98 9( 82

71 29 8 9 1 0 0 89 77 7 1 72 4 6 74 8 2 7 4 6 4 72 75 2 1 fl? 4S 8 5 7 2 7 8 67 3tí ч і 7B 7 0 7 1 6 1 65 ' 2 9 72 65 0 9 5 9 53 53 40 ° 5 84 8 7 9 3 81 8? 29 7 " 37 7 5 6 4 65 68' 2 0 І М 9 1 1 0 4 66 67 76 2 3 Bl 9 7 3 o 6 7 6 9 78 21 8 5 74 8 4 6 b 74 67 2 8 с 2 83 6 4 5 0 7 6 66 16 Q6 8 4 9 9 7 4 6 5 8] 18 7 1 7 6 7 4 6 4 5 7

71 69

58 21

7( 78

ь4 О СО 69

31 82

7 6 ¿ 1 5е' 3 0 4 8 8 1 8 3 9-4 6 4 3 2 6 4 3> 7 7 4 4 7 7 74 92 78 85 31 7 0 4 6 Ь4 4 7 70 9510') 67 80 4 8 8 4 9 6 9 2 4 72 9 1 6 b 8 2 «П 4 2 7 8 5 4 75 4С 75 9 3 7 9 98 9 0 2 7

63 75

59 7 5 6 1 SO 9 7 403 6 1 9 5 71 72 8 3 2 3 65 7 5 6 4 8 0 І 0 І 38 68 7 8 7 4 fcl 9 ^ 17 77 ñ< 76 76 8 7 4 0

96 64 79 60 ai егюь ег

c

0

73

57

50

69

79

53

«И

53

6Р

Г^

85

88

90

76

82

^4

63

82

75

78

91

81

78

il

73

81

80

ьС

ь7

75

96

83

90

59

ьб

74 7 7 1 0 0

70

81

64

8^

98

98

92

68

ь6105

ОЗ 8С

^2

61105

97

90

91

65

75

99

75100

9ftJСЗ

76

BIJLAGE 36

,>АТДл I TULA l i t IV [ UM A L G L M t N h F-»Kl;V t , , V U (· bU'i F A K T l ' K h N ( ¿ I L S I MUL AT I L I V P C P U L A F I L F A K Fill· b T u U K T U U K ) V J Ju 2 7 U P f c K r t T d f f c N o l J 6 0 ' ' t . L t M E N T l - N Vfch V>3L:i 7ò

^2 ')

Ь4 :•

:

7 ir» Hb

7 3 V') 38 о 8 7 8 üb 4 4 O't

ч-l

9О 7 4 /8

9 b 46 81

βί> ' ч h<) 8 9 У il

:;J

І

::.·)

? JM ' ) 6

^л

U-I 7n

ι i..

91

4 7 86 61 961 ) . 79 ÍO 9 0 7) Öl· 8 4 7 ] j 9 7 / ЬЗ

Jb 73(03 19 ü J 42 90 M l l ' J e. 5 1 9 7 0 4 4 77 7 8 73 74 0 9 3-> 7 1 2 9 ι Π 9 ti 8 0 9 1 " Ь ' V j 7 9 bO 7м / ò l i ? 9 b

o't

Л ,5 .' -0

ÌÌ4

.' i 7 d b 1

lt'5

,1 5;i 8 J

40 В9 9ч

63

сЧ?

о 4

«.4't

υ/ 97

51 92

.:ч1і

Ü3 9d 84

50 78

чо 67

7 J

9¿ tbO

9 7

75 47 73 32 731 42 4¿ Ь7

lb

84 49

«JO 1 ^ 2 71 4 3 99 92 7ч 86 71 7 3 ^3 78 71 ou 1(4 84 79 86

Ом 40 74 35 99 52 79 44

6 7

69

76

99

76

7t

'U

73

CJf

90

98

9?

75

85107

94

6 8

95

77

8?

87

85

72

71

79

69

86

^b

86

74

85

96

Ы

7¿]if ¿

84

71104

Й4

97

Ρ6 56 « 1 7 9 4 2 94

17

79

72

96

61

75

Bb

87

67

8 8

7<)

8

70 7t 81

ЬЗ 20

ςο

79101

64

6 7

8 3

83

74

85

69

77

6 8 15

77

91.

62

74

70

8 0

7b

6?

79

61

7^

J'» 7 л 4< 9?

96

1

74

80

ü 8

e9

94

70

82

«^

f η

48

85 11Ù

81

81

86

87

7«

8 0

67

8°

21

79

9't

96

80

7)

9( 101

8<*

96

84 1 0 ?

ζ 4 ?7

f*?

78

83

49

70

8 0

81

61

83

55

65

•' 7 20

7'

ti i

88

69

53

87

85

8-

81

НО

88

U

'.5

72

6 4

70

6 4

75

77

51

56

64

74

61 6

03

öl

82

67

60

93

9b

53

9 8

7'.

oo

78 1 i «7

9]

83

68

6510Í,

81

66

80

75

97

84

78

86

65

74

79

76

7¿

9 0

8Г!

РЗ

87

97

94

63

82

9b

90

66

97

84

79

f0106

84

79

6 8 «9

66

89

li

84

54

77

60

67

-l

65

77

69

P7

71

И* 63 7 b 80100 93 9 8

so

87 96

86 57 /4 8 3 (•h 8 6 J: 2 9 0 64 85

27 66 16 84 2 8 88

85

86

(4

92 3b

75

77

Π

84

96

76

57

87

66

82

7Г 7b 65

4¿ 74

70

82

73 to

62 37 /4

ir

Pl

'5 7

ν*

63

83

27

ЬЗ 86 2b 94

7 8

7b

40 8b

6 3

76

79

78

6'. 6(;

72

86

S]

«:4 c

¿'t i

3b

95 bb

8 5

Í9

b7 74

6Ь 6 7 63

81 90

27 Ь8

99 59

^7

81

S8 0 8

70 51

48

2b 3b 20 79

75

84 27 78

85

8ö Ы

L

S« 70 Sb 78 2 8 1. 0 3 7 6 77 S410 8 23 77 9 b 91-, 81

З'З 91 20

79

71 8.i

87 99

8d 78

4 b 9 f) 9 6

«.tl

.:4^

tb

7M

ьь il

2^0

It-

^r'l 9S

4¿ 'Л

21

64 16 64 U

dj /ί.

65 78 35117 96 F6

, 1 V i IO. ¿'t·)

19

70 ПО il 65 ili) ЬбЮ*

41

О 7/ V5

:. . i j

Q4

ч4 66 34

еь

86 82

81 90

Ьэ 76

97 78

4 9

6 8 35 73 31 79

351001 75 7) 1 3 74 b? 7 7 44

31 83 7 57 2 8

73 25 65 42 78 29 79

7-» 2 1 56

02 Ci 83 68 86 7b 7 i 66 tl to 71 ^7 9 8 7 7 91 75 8 9 78 9 t

C

27 74 23 66

781

>Ь

86

74

73

44

6 0

Bü

80

81

89

76

7:>

ÇQ

74

77

60

65

56

68

93

71

86

53

75

0?

97

99

79

7 6 ) LOZ

87

74100

68

9?

86

J6

76

82

84

99

RO

7 7 1Ι Γ Ό

8b

7 o r

87

BIJLAGE 37

IJATAblMULATIfc I V LtiM ALGfcMbNh PAKTUR b.N V I J F SU3FAKTCREN ( Z I L S I M U L A T I L I V POPULATIE FAKTORSTHUKTUUR) VÜUH 27 üPfcRATOREN tí I J bOO ELEMENTEN VEF VÜLG 251 252 253

87 74 Θ5 80 72 9i>

:Р'+

sa

fi A :ь5 ÜO 82 2 5 o 91 66 Ь Z57 92 9b 25 75 2 59 74 76 ZoOlílO 90 83 99 0 2 62 98 2 6 3 71 84 2 6 4 72 bu 2 6 5 71 92 2 6 o 80 78 2 6 7 79 84 2 6 8 75 7U 2 6 9 71 73 2 7 0 92 80 2 7 1 79 95 9¿ 2 Г* 101 2 7 1 80 79 i.öl

75 51 85 33 93 27 80 30 78 30 73 27 83 39 80 23 78 27 92 39 95 47 86 47 7Î 48 02 24 88 27 80 35 91 42 76 25 70 28 81 39 Üb 54 92 4/ 9') 48

:74 8 9 1 0 8 95 <+9 75 8 1 72 84 4 4

85 88 95 69 94 72 89 öl 92 59 90 65 89 75 93 56 92 56 94 64 76 70

85 63 73 49 91 39 73 35 86 43 76 49 60 44 31 28 95 40 75 50 76 46

98101 69 59 77 77 58 42 72 88 48 25 82 77 58 3 8 77104 72 44 94 88 68 55 78 83 65 34 75 91 70 28 78 86 74 41 86 99 8 7 04 9U 80 0 8 56 77 67 58 l ì 87 96 7 o 42 04 83 67 24

40112 84 80 63 90 28 62 68 84 72 85 201 OB 1.13 53 73 69 21 69 87 59 Ы 06 12 64 64 68 75 72 23 82 74 61 66 89 2ü 35 82 73 79 79 16 SI 79 56 51 74 18 91 83 60 54 72 26 67 80 71 60 77 19 6 6 1 0 3 74 ¿9 81 37 64 92 75 81 93 32 67 6 4 66 67 72 12 61 73 61 65 57 -2 94 82 70 63 72 17 61 79 77 66 fi 4 26 78 72 75 86 32 72 95 65 69 75 10 79 78 57 67 70 38 65 <10 72 60 82 38 60 88 87 76 89 ?9 67 8 5 74 8410.:' 16 64 80 9 6 73 H I 2210111 0 65 75 H i 22 68 6 1 62 63 84

36 91 78 21 P7 72 24 78 62 31 76 51 23 feO 65 Zi 96 67 32 77 74 28 95 58 - 4 7C 56 351< 2 73

зпгз 67 23 90 79 28 7 6 57 9 77 62 15 7 6 52 2 1 86 62 25 73 67 4 c3 58 1 73 54 l b 88 73 2? 8 2 75 261C9 /5 ?8 ' 4 67 2« 4? 73 23 8't 64

85 88 9 9 74 87 83 63 99 77 92 85 93 6 7 79 77 86 75 62 82 75 95 8 1 68 73 82103 64 74 69 9? 74 8 7 65 68 8<* 86 78 6 8 75 85 78 9 7 71 70 88 73 46 80 69 94 75 9 4 73 59 76 74 62100 65 77 8 6 ) 0 0 66 74 77 85 76 77 69 BP 74 77 77 65 80 81 5 5 84 5 8 70 76 95 62 54 90 83 65 73 63 84 76 70 75 63 86 59 64 99 75 77 94 95 67 66 99 91 77 81 66 94 82 86 75 57 97 94 77102 8510? 93 82 59 61 86 81 66 69 73 79 73 85 48 54 66 68 66 66 61 80 94 81 64 78 75 99 54 56 67 81 70 78 61 64 87 74 50 85 65 ßn 78 96 67 65 81 62 63 87 66 77 86 92 68 65 86 78 49 84 58 99 77 87 64 62 97 83 73 79 74 P3 77 84 71 6 3 73 84 69 94 63 76 07 87 82 76 95 75 06 84 РОІСі^ 80 82 80 75 94101 7? 44 76 84 7? 04 62 70 74 83 7 3 84 66 88 97 81 66 841Г5 89 7П 96 73101 90 5 9 62 61 bO 94 63 79 58 75

BIJLAGE 38

.ілілаі.тлпЕ. iv :

r

г. Гі AluLM'ïNb гАКТГР . J V I J F З О о Ь Л М і К Г і ч ( ¿ i L b l M U L A T I b IV PUPULATÍE F A K T O ^ S T H U N T U U U ) VJÜF ^ 7 OPtKA FOREN B I J 6 0 0 L'LlMfcNTtN Vf ^V!¡L li.

/h

.l ì

/л 7о

ì ( íjj llî .7-J tJ7 β·>

041 Юъ tí/ ti^

SI ?;.

Н7 44 .ьч 70 79 t 'J 8 3 84 .. ilo И'* 76 ¿. ,4 7 tì'> H') :i -S»i 89 »:ь ) 74 ¿Sí)

7ь 73

tV'i

β^λ

11¿ 72 71 8rì ƒ ) dl 8Ы 9 2 : Ч І 77 90 β4 93 >7 Ü3 83 •3

79 77 74 ЗГ'О 741 111 '->Ч

>3 4?. 64 M 2 78 5 7 bu /4 6 9 4 0 7^ 7 7 94 3 0 Ы. Ol 97 4Ь 78 -U Ν:) л 9 69 l fH; b > Л(> b4 З Зо 4 b 7) 7 9 3¿ 4 6 64 Üb 88 4 7 80 35 7^ 33 Ы Ь 4 8Ь ЬЗ 8'і ^ З 81 3 9 6¿ 9 0 84 4 9 6о ьЪ 84 4 3 71 u i dt. ί>1 8ó 7 7 81 4 6 68 ВО 8b 77 ib 81 η ъ bl ôl 88 b9 64 30 9S 97 7¿ '+3 74 ГЬ 7^ 34 86 93 69 40 86 31 b¿ 3 8 87 9(' Ь7

8 υ 32 ti ч( ib 48 93 12 91 48 91 39 85 L>t) 86 bb 98 45 92 47 ü8 36 86 5f 7J 4) 95 44 99 53 78 42 81 35 93 55 30 46 84 40 95 54 b¿ 37 79 <і-5 75 36 97 49 69 32 87 56

81 71 82 66 o» 7J P.«t 71 84 6* 6^ 75 Í9 8* 55 7 8 5 8 8 0 3 76 5 ? < 1 9 4 6 3 71 b*-. Q l 12 y] 1 0 7 59 5 3 f l 6 4 13 72 78 42 PO ЧЯ 7ò 67 ì^ 73 bc 74 Hi б«· fl" 6o 69 7 9 68 23 fc9 8 5 3 1 Q5 82 8 6 7б /4 Ь4 75 8 6 8 1 ¿ 7 4 7 76 69 8 0 7C 161 02 8 4 ? 5 QQ 9 3 П 4 8r> 8 7 1 ( 2 94 6 7 О/ 7 M 0 4 82 }<4104 8) 2 5 £5 80 28 P9 7+ 9Г 7б 6? 87 9l. 79 94 ^Ç 91 64 75 92 74 40 60 83 25 5P 75 88 73 75 с 3 68 76 65 74 ^ 65 t6 ai 69 27 96 86 42 f-l 85 85 77 91 86 97 71 9 5 1? 9c 75 76 90 Я4 27 75 7 7 14 76 «jo a4 87 7( 9 4 8¿ 70 78 6 M Ol 70 72 Bit 71, 24 έ21Γ1 35 ε 5 87 89 78 91 82 90 71 0 4 77 S4 74 76 87 88 18 83 74 2 4 ч о 7 7 7 5 7 9 ο 9 6 7 7 8 4 7 76 Μ 7 ^ 71 65 6 8 ori 33 S 7 1 0 6 32 rt5!p5)Ü] 82 8 2 ^ 0 1 0 5 74 9j Ρ ] о-» 77 73 82 75 54 30 9 0 2 1 Ρ 8 8 2 9 5 43 79 ί-8 81 7 3 9 9 7 2 9г. 69 87 8R 73 17 fcS 9 5 2 9 3 7 8 6 7 5 74 6 5 7 6 76 7f 9 1 7 3 8 4 72 ЬЪ 7B 68 38 71 98 23 79 88 77 66 80 83 92 68 86 65 Ρ? 61 49 С9 68 27 85 9 0 2 9 1 0 3 9 2 9 7 85 8 9 8 8 1 0 1 7 8 9 0 8 4 9 7 79 94 9 5 7 1 19 r»8 34 31 7 5 8Р 76 58 68 86 72 67 6 7 7Г. 7"і 57 öS 78 fc5 23 68 77 23 <\\ 74 75 57 68 63 67 5? 82 61 B? o(.' 67 74 64 451 Ol 162 43 P2 95104 73 86 99 88 71 96 921.0? 8b 78 92 -82 1С: 69 86 18 p 8 75 91 74 60 64 73 6 0 75 7Г g f. 66 70 86 61 4Г. t^ 88 31 78 90 J6 7(3 7? 75 9o 71 '?7 7^ 9P 77 tb M^ 08 23 tJ 87 13 85 9С 70 66 73 87 77 74 79 7 * pr 62 54 77 61 2 υ 83 93 12 9 4 91 87 68 75 < ! 1*6 b3 74 80 9 ? bU 65 8 0 7 0 33 fc7 8 7 12 83 6П 84 59 85 83 83 60 85 57 94 61 56 85 68 27 76100 51 '38 ->6l0! 72 90 ^ t U " 80 97 Z? «? 82 97 86 86

BIJLAGE 39

. , A T A b I 4 J L A l I E IV LU, ALbErtbNt F4KTüi< EN V Í J F bUot- ΑΚΤί,κΕ U ( ¿ I L SIMULAT U' IV PL'PULATIfc FAK TüKbTHUKT UUr. ) и и л ?7 UPFrtATUREN B I J ά'Χ) LLEMt'MTfN Vfl· VOL! : t i

..

4 ' j . i. ' » /

11** 0 2 П и ! Г4 es

4'$

; ι j» ι L 4 4 0 't\¡ ^ ( ' t S U J4

υ.ι

Af 3 4 , . ->' > 7 4 7 f J 86 57 3' Ί 9 ' . f u 7 8 ЛЗ .-•l f Hb b l 9 - 'TÍ 1 3 L Ì 76 o u b? 4 6 -» ' П О ^ Х ' в l u l 40 3 1 J ÖC bO 7h ч Т j Ji

7 b

7S ;'. 1 ¿ / H ЬЬ 3? 3 7 5 Ö2 3 14 03 Ób

.).:> аз

ÜÖ

¿4» •¿4 ál

аь

45 85 t>2 ft 8 36 RI 44 -ÍZ 37 32

1С «ι :j) o i c o ь^ U 7 76 74 J Í J tìl ь У ¿f» -ï ί 8 7 0 7 1 0 0 39 .ч. » 8 4 1 0 4 l i ' ¿ ?9 . : ) Sb 79 ич 4 b i-w-íi a a 41 7 8 ¿9 -•»í-á 7 3 9 3 81 4 0 3)L4 6 Ь 76 73 24 fib tíüll¿ 101 чб

7410 7 81 5·'o i l 74 ü3 45 Уі»1»'1> a l ' 51 9ü ai 77 6 0 83 76 tob 4 6 H 7 92 7î> 4 0 67119 Ь9 4<· 8 7 7b 58 42 9 3 9C 71 6 1 83 86 lì? 5 8 78 61 6H 2 9 8 6 75 6 9 53 74 77 Ь9 4 8 94 9 4 '34 5 1 83 9 5 75 3 9 86 99 79 46 9 1 77 61 27 67 84 оЗ 32 78 8 7 3fc 80 75100 8 5 53 7ь 8 1 68 3 6 89 78 63 42 6 υ 71 59 25 98 6 9 63 2 b об 96 96 63

c 8 8-, tt 95 lì 5 8 3 59 62 87104 79 q i S8 8 2 79 91. /8 76 58 7 5 7« 7 7 1)^ 71 83 12 8 1 7 0 75 ts 8 0 1 1 82 8 0 58 60 76 1 9 ]. Г З 8 8 öl /9 9 π 2 8 Éb 8 2 8 6 73 8 7 2 ч 64 9 7 6 1 rj6 7 8 2 3 S3 7u 8 0 b9 8 2 1 5 80 7 3 bü 55 7»' 4 4 S3 9 9 7 7 79 9 ? 2 6 92 8 9 77 8 1 8 4 3 b 77 9 0 8 5 79 8 9 1 0 SO 76 81 c i 78 1 3 72 6 9 5 5 66 5 8 22 S6 8 3 6 6 fcfc fi^ 2 5 <л 8 9 ' 79 6b 8 9 2 4 88 9 2 6 8 H P 7.5 2 9 SO 6 9 o 7 62 8 4 2 3 63 7 8 э2 ¿t 6 7 2 1 £7 8 8 4 8 56 5 9 3 6 f 7 96 7 6 c3 8 7

32 77 29 61 31 74 2i: 83 12 bb 2(

і ч і .^2

97

88

a«

4 3 90 81 78 78 15 o n 8 U 0 1 77 4C 9 7 6 9 8 b 80 1 7 75 8 8 7 2 72 2 0 V г 82 9 6 63 g Ρ 4 8? 8 3 67 17 - i l 82 7 8 67 23 8Π О" 9 0 80 19 f 6 91 8 7 79 2 1 7 0 83 8 2 72 •н" 77 9 1 27 О 72 20 8 3 7 1 76 58 12 8 3 79 9 2 79 2? п з Я1 9 0 ' 75 24 8 6 ) 0 1 91 Ίλ 40 78 79 9 1 56 27 69 57 58 51 26 8 5 8 3 9 0

4)

'ч3

GO

6 7 6?

63

Q-Ч

V9

t-1

Rp

bO

57

79

4 4

8 8 73

57

7C

5*

7'·

43

77

6?

Mb

li-

8?

с с

79

b8

ч 7 60

no

73

7 b f 9 68

64

'9

78

89

71

681СС

95

82)13

77

96

7P

71

7/

<"Г

81

61

<^5 VI

87

7 3 1L Ì

75

88

SI

IO?

69

81

54

7о

68

75

f5

O Í

8¿

ι 3 8¡·

t

67

71

79

fc-¿

6°

84

о7

55

77

ь7

67

71

69

75

82

7b

6 81 : o

78

7?

71

52

93

71

70

88

5Ç

87

73

60

9 6 98

821

!

85

92

74

72105

b¿

7f

8 9 'Ί

83

75

98

P I '' 7 4

74

75

98

76

ь(

г.Ь

tl

78

79

75

73

4Ь

66

70

73

58

71

Γ 2

65

68

о a с?

09

89

89

86

81

8 2 ]i ' 1 b 7

b5

43

77

85 87

(

9? «· 5 Л 7^

1

90

bi-

ìt 73 16 65 21 63 5 47 22 58 36 9Γ>

69

90

87

75

91

69

67

1 •Se h ,

90

84

65

dí

6Г

86

72

91

66

72

ьо

80

64

η2

fc7 86

75

fia

66

60

67

с

-з

7)

53

72

SP

79

67

75

79

72

o5

82

1¿

58

©0

5?

76

85

ъи

98

84

9 - . ]К

6 9D

ao

91

84103 1

BIJLAGE 40

íJATA.>í.4JL4 Γ ι С IV iL·:* ALvïLMfcùc ΓΛΚΤ^κ Π, Vijf- S U b F A M u í L N (¿IL b l M ü L ^ T l L IV HilPULATIE ΓΑ*. TChST K Ü K T ' J U K ) Vüilil ¿7 U P L R A T ' J ^ E W d j 'JOO L L C M F N T » h Vtl·· VoLG 91 ; І " Λ θ ' l i l 6 t 9(. 4 9 87 t 4 ü^ ! 76 η * Í1 ο υ ]. I I 9 ^ ¿ ? Π 4(- 4 5 "I . .> 8 β i l j l l t Ufi 1 5 7? '-î3 í t J 6 7 Sl ; •·> І І У 7-> 6 9 66 22 SiO b'¿ 7 4 o b 6 5 . i 4 4 •>¿ 6 o 8 3 2 0 9') i-1 i'j oO 92 '. - ί ο »0 7 3 7 ü 26 Ij/. Di 7', b 3 6? .> . 7 f i l J 4 ò9 «- "-У v , ^ / ι 64 8 9 37 . > 61 /2

L-5]L O P v<'l<>Cl

8 J • 6 6 η -¡•7 Гч ^ І f>.i Ы 75 79 2 3 6b ¿9 . > 9J b5 6^ 79 Н о
f-J S3

. м

v

6'ft.

40

93 • 97 o l 'ti 7υ h 6 6 7 2& 4·* 6 7 7 3 87 2 1 V J tí4 <3b tìZ 3 8 ' t 0 7 «. Г) 71 28 н Г 8b 9 0 10 Hb 4;>ΐ09ΐ'.«ΐ 1 0 G

107 *'»

8¿ 76

^α во 99

74 9^. 69 91 6 2 94 об

46

87 49 74 41 77 31 ал 9 2 o b 32 77 7 1 ьн 2 9 84 Ol 39 62 υ ) 99 isa 9 ( ' 7 2 J4 64 82 42 68 45 9 8 1 Ü4· 7 8 Ь6 78 6 4

bin

25 6 7 4v 73 9 73 1b 70 11 56

ς4 69 Ы 75 73 Fb '>7

7r. 75 03 86 81 89 8 5

70 Л

(

71 82 74 87

7'« U tb 79

Rl 9 0

а 09

6 9

88 9') 9 3

70

87 fc9 9 ? 76 8 1

44 66 20 69 19 53 2b 06 18 a5 14 71 25

ein 4 76

79 75 7 П SB 9 5 60 9 8 fc2 6 5 59 69 /8 76 5P 7 6 67 9 6 61 78 75 9 1 54 7 6 77 9 5

70 8 6 8C 341.0?] LID 9 8 1 .1.611« 3 1 62 97 67 6 9 P.B 22 92 9 2 85 76 8 8

93

89) Í ц

72

Н'?

71

51

89

7e

6 7

«С

91

К

89

79

79

77

НО

7 0

гі<- h 5

82

76

8Г

с

'6

9)

'1Ь1 ' Ί

ν

98

oa: UH

к]

7'.

»

71

85

8 7

6 3

71

81

96

92

ût

41 9 3 8 7 7 2 83 ? 7 1 (-· e ! 0 4 ]1 0 4

77 19 74 3B 66

fS]1 * 3 87 76 8 4 3 2 fcb 8 7 7 4 8 8 eo ? 6

93 2 6 1 .C2 6 59 es 9 37 341 0 4 8b

45

54 2 i»

Í,

Γ

4 3

94

76

7ч

79

79

ь?

86

с-"»

JO

77

87

81

о5

5 ^

6 7

76

67

7S

f-r·

77

8 5

Р7

1' »

<1

7ft

56

'.?

6 5

Ίο

95

69

е."

7(

to

57

Ь .<

Ц

97

75

66

4^

Г4

h¿

62

,-ìi

'i 7

8-+

66

50

67

77

';ι

оЗ

8

7'5

1

t

CO

4<- : 5 6 : ?'5 4 7 7S ?f 55 2 3

77

)

«Г

7te

86

93

79

59

86

Ьб

Hi

9 5

76

ЪЬ

ЯЯ

76

6 В

69

6 9

Ь2

64

8 7

¿ς

94 76 65 3 0 1 ι 5 ]1.14 80

9 3

74

731^8

79

72

Ы

*7

98'

89

83]1081(.5

77106

97

3 7

77

74

76 32 61 4

78

89

79

71

66

73

77

61

C5

91

87

75

75

ьо

9В

701 ) ( .

a?

74

58

77

55

58

t tí

72

74

7 9

63

69

84

94

60

57

OB

81

67

75

^б

64

76

79

5Ь

5t>

84

Ь6

56

79

75

'»'i

85

84

6?

7'1

71

88

64

84

74

771.'·2

86

72

70

82

86

7?

84

76

99105

86

9/1'

931 ' В

tJ7

2 Я 82 8 2 81 6 f! i r > 3 ( 2 J 0 3 ]L U .

б'

55

78

83

66

45

70

89

77

9 3

£4

If

s

74 3tt 74 14 59 4 48 9 64 32 62 23 64

это

9119

7 b

9'

j

г τ

BIJLAGE 41

J A l A b l M ü L A T I E IV L L N ALvitME.NL FAKTO« ГГ4 V I J F SüyFAKTLbL.N i¿IL· SIMULAI I L IV PUPULATIE F A K T C K S T R U N T J U h ) VUÍ^K 27 n p t R A T D R t N 14 J 6 0 0 E L b M f N T t N VtKVüLG . M - >.: -••jj

-J 2 31 Sr- 4 0 β υ 47 е 9^ 7 )

во'

:<}

j'Vf

3b ι

«1 83 ij/.

4ί! Ob ^7

.4 0 J 1

.^.7 3 0^ :[> г д, . -

JfJÌ

id

л

^63 JO^

.'os

Sa

.»3 3 3 9 3 77 7i 37 bUlul VJ 64 FÜ 9 3 7V 4 7 9Ü 7<J ρ*: 4 9 bò 8 2 аз 4 1 67 83 93 44 Ы> 9 b B¿ 4 4 87 79

7 3 4¿ .-'(. j 8 7 ìi'i 8V 4 4 . - f . 7 S4 « 3 ÜB зь 93 зс a 7« 41 j f.·} 7 8 ò l 8 7 ¿Τ i / ι . 74 ЬЬ ЬЬ t l 79 :. 7 i til 74 41 .W2 7 9 9 3 1 Ы 4b a7.> 9 2 ai 'і 4 9 ¿7
80 öb d7 72 04 73 77 7.· 91

79 46 96 99 47

7c 83 Ь9 Ol

ь

80 6¿ 77 73 59 60

74 41 84 43 84 37 83 47 72 35 78 49 94 50 90 41 do 50 80 55 99 41 82 16

tíb 71 78 87 9 3 63 4 3 1. ' ¡ 6 1 С 4 Ь7 73 ^ 7 Я5 19 t o 75 37

/6 96

90 8 3 79 85 63 2 3 ¿3 9 7 71 73 8 1 2 3 1. 0 2 9 3 72 6 9 8 5 B1C2 η 78 9 0 1 0 0 3 0 1 PU 8 0

73 ?3 77 15 72

84 26 58 32 72 34 76 16 75 MO 24 81 50 64 15 63 31 67 30 ь9 34 75 43 64 33 67 3b 71 10 55

сЗ 99 ά6 Fft (.3

eo

58 71 68 10 96 67 €b 10 41 62 78 ob 97 71 84 59

SO 70 85 72 87 72 C4

72 9ii 74 S2 72 72 54

86 95 89 7) 85 85 78 74 Ri 93 84 91 91 81 85 85 78 73 81 88 66 8? 78 82 79 96 74 97 73 99 68

32 7? 24 68

«6

76

07

ö<.

Чь

11

76

73

77

61

Bf

8?

90

99

73

78

75 .94

67

іЗб

74

С! 6

ь

0

9 6

82

62

67

t y

CJ5

Ь8

ri β

Р6

ας

lì

81

6 8

64

80

Ьн

6 9

9Г

б .

17

77

H¿

Р*

71

УН

<ч7

7 4

ft e

Л5

Η*

Ь6

7Р

76

93

79

Q*

4 4

73

85

Ь4

67

8 6

74

76

R6

8 5

Ρ η

ЯΡ

8 7

75

8 5

9 0

7С

84

04

6Р

Η 6

91

75

Ρ?

Η5

73

7^

•э)

73

91

95

64

9^

84

70

ЯР

ЧЪ

76^01

92

рп

77

71

78

90

30

58

70

.4

L«' 47І С з 69 Η9 4"

3 4 9 2 7 9 7 5 ЬЛ 3 6 7 3 Ci 1 4 -4 7 8 S 7 9 5 6 7 6 8 1 9 5 6 8 66 8 ¿ 8 1 6 г. 2 3 Η7 8 7 9 0 78 64 78 3 9 Н2 8 9 1 0 5 6 0 6 4 7 9 9 4 67 Я5 131Г01Г9 98 77 78 82 74 9 8 88 Zu Р З 9 ö 8 1 6 8 71, 9 4 9 3 7 8 61 2 1 ні 7 8 7 7 5 6 5ь 76 h 2 Ы чг73 22 67 80 83 75 63 74 81 5 9 73 24 ^ Р 94 08 5 8 7 b 9 3 9 2 72 63 2 3 1 Г О 6:J 9 3 6 3 75 78 75 8 0 76 4 ? ОО. 9 4 3 6 ' ' 7 9 7 8 8 8 9 1 8 5 72 2 8 '"6 72 7 7 6 9 53 Ь 4 9 1 7 3 1 67 2 7 ,4 7 8 9 9 3 5 8 5 6 9<* 9 7 8 7 72 1 8 9 0 6 8 7 3 73 ^ 4 7 9 9 0 7 2 57 39 F4 7H103 70 64 8 5 8υ 72 .59 34 8 0 8 9 8 2 73 83 1 1 8 2 7 9 74 19 8? 77 7 6 64 6 4 8 5 8 9 73 69 32 88 7 9 1 0 7 83 7 7 8 7 7 7 7 7 68 3 4 1 Г 1 8 7 8 2 8 0 6 4 <->! 8 9 6 5 75 17 7 3 92 7 9 73 6 3 9 7 1 Г 5 8 3 78 2 3 ft 8 1.10 6 8 57 6 6 72 83 6 4 66

BIJLAGE 42

',*T.*:>l4ULATlh -LH

{/.LL VOiJK

MLÓLM£\C

IV 1

· i

РЛКТГМ· ,

VIJ(-

S^bTA^TuKtN

oI.lULiTIL I V P t ) f 4 , L A T I f c ГАКТОКЪ Η UKT J U f ) ?ï Ü P b k A T . ' l K E N u i - ЫП FLbMENTI'N VLi- V L Í L Í .

.2? i 7 5 л

. ' 7 5 7

7 J lb

7¿ 46

29

'Л

77

10

4u , 7 5 6 ·» H/ - /<*1 I ('3

7Ь

41.

b2 39

31 7В

78

75

36

62

58

51

7b

66

¿6

76

71

о 9

ος

71

з

64

5 9

Ь6

70

6 9

65

74

bo

72

79

Γ,Γ,

НГ

70

о9

Ч(

78

ьо

«η

77

77

97

48

9 ч

ι. С,

<Ь

Ù4

08

Ρ7

C4

82

76

75

91

84

74

92

61

8S

ч \

НЗЮЗ

60

7^

Pb

8 о

Ы

6 J

7 7 11 " ?

76

72

78

6 υ

59

65

7 ι

73

60

69

7

8''

81

9 2

76

94

P9

85

«31 0 7 79

90

Ъь

78

л

*•

е

72

70

6

9)

92

21 70 2?

9b

ЬЗ 91

65 3f c3 9 S 15 88 72 391 111(4

-+2

33

46

83

68

«7

ìli

75

96

9 0 49

ЗЬ

75

73

7и

79 89

- 11 . Î b t

'í-j

Ü7

16

74

7β

24

73 9ÍJ

1?

91

78

9c

«5

78

.Í2

ч4

b¿

62

•)1

Μ·

R7

^ l '

•al

77

86

17 6Я

87

ЬЬ

m

7·1 ¡6

AS

b

¿7 •iú

9 b чЬ

81

?1

7]

7«

77

51

06

7]

ья

6?

74

Sc

76

60

o7 о 7

88

^7

71

.' t 1 l Lj i 1 ' *

76

'^! " Л

77 Gti .· . Ì »

t

? >^ -

l

bl

71

u i

77

6^ 6 -> 74

34

46

f. υ J4

7¿

. Ja

O ( j

77 68 ol

ее

71

25 81

89

70 87

8'V

8 5

5ο

b )

7/

89

44

b.j

61

ri

eb

81

Ir 6'

7*

6(> ul

12

Si

99

15

75

θ'".

84

7.)

71

M

9 о

72

7ь

7 '

Я7

o7

70

78

74

82 79

31

^6

O.l

88

72

81

82

7^

73

85

sq

ОЦ

72

64

J 4

73

¿6

.'ii 7

69

41 66

67 59

.J ïj O

7¿

8 0 1. 0 4 45 7:> 9]

74

21

Ϊ4

6 f.

(И

82

54

47

7^

t3

48

6-*

54

6 3

«ib

6t·

47

58

5 4ώ-

7(

ti С 74

12

75

08

2'

74

75

85

45

6 6

bb

80

б^

74

/ 3

72

53

t6 US

6 В

64

79

2*

79

82

7 9 ' 6(>

71

Г2

65

54

72

7?

f Ρ

67 О 9

67

H7.

ai t4

42

7 3

7'.

7?

/l

Ot

} 9

78

ЗЬ

-1

4 4

P¿

72 3 9

77 8

63 91

78 Ь5

77 34

fìl

84

98

79

65

bt

96

64

75

7P

7 7

63

Ь4

52

é9 ¡£6

67 89

37

7^1

dì

34

7o

6 0

c

86

64

41

65

Q^

fu

?4

90

4(' 6 8

£6 78

66 9гі

17

on

9'+

62

71

оЯ

««ь;L i

65

81

P7

8 5

9 3 .8'r ?5 0 5

84

80

Û3

58

с,-5

71

65

all

^г

5Я

ς?

f 4

74

77

bl·

/•

74

71

48

<>H

6-

0 2

of»

'-5

63

Ρ?

10 iij í

74 4Ь

tv»

ob 44

il!»

7Ь

dj

87

32

73

21 ^4

55

bt.

5Ь Ь9

t>9

64

7
- -Jt-

. M

77 4J.

_ , < • ' _

»

^ 5

";'* J

4

tìì

i

J ^ o

j

»

Л bo

В7

« 7 *»2

ч4

7^

7Ь

b5

42

81

9ч

fi 7

b i

i l

9¿ 7o

83 36

24 b9

59

9^

i г ¿ 7

6β

72 3¿

9

11

3 9

;3

7i>

a7

72

5i3 35

33

b3

39

3fc

t'l 7:t-

9 2 43

84 70

87

31 80

9¿ Ϊ6

82 :S7

'Л ч

7^ ¿7

J

79

¿

77 1

7^ 74

17

83

23

78

77

79

fcl

L .5

ьб) ΙΗ

Ь2 93

62 3(

9P

81

8 9

70

87

0 2

76

731 o r

73

8?

82 15

K P ]. ' ^ '

8b

b7

6 7

^2

ЧС

7K

ib

-7

Ρ 2

7' 34

64

74

62

5о

77

97

57

79

6S

78

.J V ι

ьч

9 4

8 7196

¿0

a

41

71

3 4

8Z

73

¿. 1 , •

tí] 74 bc

tí6).03 ¿9 b¿

76

26

2 5

62

"»6102 c2 68

102 PS

57

5t

9 9

BIJLAGE 43

DATASIMULATIE I V CLN ALGEMENE FAKTOR FN V I J F SUBFAKTOREN ( ¿ I E SIMULATIE I V P O P U L A T I E F A K T G R S T R U K T U U R ) VUUR 27 UPERATGREN B I J 6 0 0 E L E M E N T h N VERVÛLG

401 ÜA o'h 89 79 16 en 79 26 73 92 86 48 59 68 78 69 79 61 76 7i; 33 5U 39 57 67 69 77 41»?. 87 ЯЧ 85 73 3101 71 V3 77 63 86 71 65 77 76 76 92 74 77 Lin 92 MO ü7 4( 4 8 4 93 40'3 9 7 91 4tJb 8 9 а9 4 0 ? «9 Ь6 4(/t> 8 7 6ΰ ¿ 0 9 76 79 410 8 4 77 4.11 8 9 87 41¿ 8 6 96 4 1 3 83 86 4 І 4 75 97 4 1 b 8b 93 416 67 92 4 1 7 74 77 41bl<J5 94 419 9 8 LOI 4 2 0 90 LOO 4 2 1 66 ьо 4 2 2 74 86 423 71 69 A 2 4 96 97 4 2 5 86 95

35 74 5 6 9 5 85 7 6 41 68 4 4 8J 90 97 4 1 7о 4 1 89101 99 4 о 89 4В 9 4 7 7 7239 84 45 76101 92 4 1 8 1 bO 67 88 92 36 6 4 40 84 90 80 30 77 4 4 9 2 75 6 7 32 4 6 43 84 97 73 4 1 74 42 89 7b 95 53 7 8 6 5 80 94 74 47 63 47 91 88 70 ¿9 7 4 4 ¿ 82 89 80 40 74 31 78 77 9 4 47 74 33 86 95 6 7 32 62 3 7 8 U 94 9 1 4b 85 6 6 92 73 79 6 2 72 4 9 9 о 82 7b 47 77 55 8 4 53 6 4 3b 4 4 2 3 86 95 7 4 42 70 44 8 1 84 87 36 56 47 95 95 93 52 76 50 9о 81 87 34 92 59

8 2 71 8). 2 2 84 9 8 7 0 71 8 5 3 2 €9 9 3 7 9 72 8 9 331C81C2 73 76 87 2 3 75 9C 70 /2 8 9 4 1 68 9 8 6 6 70 8 6 3 0 84 8 3 5 8 fc4 7 4 2 8 67 9 3 8 5 6] 8 5 1 3 78 6 7 6 3 67 8 0 1 5 60 8 1 6 4 59 8 3 3 0 fcl 8 1 7 9 73 8 6 2 8 67 9 1 7 7 70 8 5 2 3 64 7 9 7 8 72 7 7 1 7 85 9 2 7 8 69 8 6 1 4 62 8 7 7 4 73 7 8 2 3 99 7 4 62 68 8 1 48 Ç2108 8 7 78 9 3 1 8 79 9 1 8 4 60 9 6 26 9 1 1 0 4 6 3 79 9 4 6 78 7 5 4 7 56 5 2 3 5 «55101 8 9 70 7 9 2 3 67 6 8 6 6 68 7 8 3 7 94 83 7 0 82 9 3 3 5 S4 7 2 8 0 78 9 5

71 29 65 19 71 30 69 38 71 27 85 30 57 34 68 34 60 25 68 35 73 28 60 35 66 12 81 31 84 31 6? 30 74 17 73 41 93 24 •56 31 72 32 72 34 84 26 73

86 8П 88 76 69 80 85 64 78 71 79 95 97 93 60 81 83 99 62 91 74 85 96 89 99 74 83 95103 77 85 71 90 91 89 83 64 76 85 85 79 87 67 80 B5 93 96 58 71 90 78 76 94 76104 89 74 69 68 62 76 73 65 91 62 79 96 88 98 85 55 82 85 79 83 58 84 86 75 05 57 82 70 62 61 81 43 65 91 85 92 80 64 75 86 73 93 70 81 02 84 84 66 80 80 91 61 89 68 96 88 94101 79 63 79 97 67 89 82 9П 71 95 89 65 68 83 77 73 82 75 81 96 81 80 67 67 87 82 70 92 721.00 93 94 74 59 75 80100 74 83 79 88 89 73 89 46 75 74 85 67 75 67 85 91 87 94 62 83101 93 89 98 81 95 93 67 88 63 70 87 86 71 96 72 95 82 93 96 69 71100 95 73 95 74 97 74 78 71 68 71 69 68 72 71 66 63 76101 90 70 77 89 96 65 71 86 82 86 71 95 74 67 98 81 55 93 68 9П 83 95 84 73 81 93103 65101 86 96 83 77 91 78 79 78 74 56102 74 98

BIJLAGE

44

JATAJIMULATIE

IV

l t N A L Í i E M E N t FAKTUR t N V I J F SUBFAKTClUTN (¿1С SIMULATIE I V POPULATIE FAKTGKSTRUKTUUR) VUUR 2 7 UPEKATUREN R I J 6 0 0 ELEMENTEN VERVOLG ^ Lo ^Я7 4¿(i 429 43 0 431 432 433 4 34 4 3 5 43 6 ч37 43b 43 9 44 0 4 4 3. 44 2 443 444 44b 44 ъ 44 7 t4U 44 450

33 7*' 9 4 9 0 70 5 i 84 61 75 1 0 9 2 8Ь 82 9 9 4 5 74 40 15 ΰβ 9 0 82 93 69 7Ь 4 6 L«>3 4 3 72 8 1 72 76 24 66 7Ь 3 3 5 7 31 74 32 77 8 0 1 0 9 7 9 3 2 78 45 72 16 8 9 80 65 93 8 2 ЗЬ 6 4 4 5 77 94 8 8 85 86 30 8 J 4 7 71 51 RI 9Ь 85 9 0 78 19 89 4 1 79 47 75 d o t>4 8 8 о б 1 4 69 38 ö4 39 65 8310íi 9). 9 8 4 5 91 Ы 77 49 91 7 5 80 92 39 93 ìò 4 8 9 4 59 83 82 8 4 07 76 12 7 3 21 43 36 65 So Б 9 8 0 6 9 24 85 4 5 80 40 62 8 υ 85 86 16 72 92 42 62 47 50 90 77 65 71 25 7Ь 4 2 71 30 69 8 4 8 0 97 8 6 33 79 45 76 52 81 82 8 4 86 82 22 70 2 6 56 36 57 83 85 88 91 15 98 5 1 72 4 5 Ь4 84 75 76 76 24 В 2 33 64 42 82 9 6 9 1 741C 0 1 9 90 40 63 39 61 9 9 9 4 8 7 7 С' 2 9 LOO 4 o 6 7 3 5 8 7 7 9 17 78 70 75 74 1 i 49 28 49 8b 5 7 70 70 14 Ь4 2 8 53 36 58 94 83 82 92 30 88 4 8 83 43 61 91 79 8 4 1 0 1 46 95 52 68 49 74 ЧЬ 97

2 0 R5 8 5 1 0 0 63 3 3 H8 0 6 8 6 72 33 8 9 8 9 9 3 81 30 8 1 60 72 57 23 88 87 9 1 71 ? 0 9 6 Й2 8 0 50 26 79 9 4 1 0 8 78 2 b 9Q 8 6 9 5 75 3Ó R 8 9 2 7 b 69 38 « 4 97 94 76 31106 84106 80 17 9 2 2 7 6 8 8 5 6 8 fc4 7 3 4 4 8 1 0 2 19 82 86 95 65 71 68 7 7 7 2 29 6 i 76 8 1 64 7 1 6 6 €3 7 9 3 8 ΘΘ 6 1 73 65 7 5 68 S6 8 6 15 9 9 8 0 1 0 4 7 7 8 6 83 S I 83 1 1 9 5 77 83 65 70 53 9 6 32 6 3 1 0 0 7 7 72 8 8 76 16 9 9 7 1 8o 84 69 02 8 7 6 4 90 9 82 84 87 68 8 1 62 £ 6 1 0 5 3 3 P9 9 1 8 3 93 9 3 87 79 5 8 1 4 9 0 8 7 7 5 48 6 b 42 fc9 0 5 2 1 7 4 7 6 9 2 5^ 77 59 93 9 2 22 9 5 9 6 98 76 9 4 7 7 96106 2 6 9 6 9 4 83 82 9 6 75 Uà 18

Qò 96 91 78 7 9 ςι 9 1 79100 76 9 5 6ö 76 e9 6 4 84 9 1 B9 tí4 49 72 ςι 9 9 75 87 61 7 6 71 9 ? 61 65 7 8 78114 78 1 0 2 P.Q 9 1 84 9 4

eo

eo

77

81

94

55

68

68

70

61

76

78100

85

91

6 9 84

86

85

70

86

62

94

73

95

78

93

79

P5

84

49

76

67

69

79

69

82

84

7J

85

70

98

52

55

82

81

77

94

73

вв

75

65

90103

72

83

74

97

62

81

84

85

87

85

77

89

87

70

71

90

51

81

64

72

75

94

86109

81

97

74

96

65

83

91

89

81

91

85

95

52

56

81

69

6)

68

71

7?

66

70

64

90

78

82

55

69

62

68

66

72

77

74

52

77

66

75

86

93

52

60

46

76

66

91

66

80

76

95

63

9«;

53

64

62

79

71

65

54

76

57

68

97

69

7]

03

76

92

66

65

94

80

76

81

70

96

72

71

94

69

50

78

62

62

83

60

9]

99

73101

84

45

61

63

63

60

46

66

52

68

61

57

75

63

66

68

66

66

69

82

68

84

88

86

79103

76

75

84100

92

99

63

89

BIJLAGE 45

DATAS ¡MULAT Ι E I V t E N AHiEMtNC FAKTOK EN V I J F SUBFAKTOKEN ( ¿ I E SIMULATIE IV POPULATIE FAKTCRSTRUKTUUR) VÜÜft 27 OPERATOREN b I J 6 0 0 ELEMENTEN VHRVÜLG ¿Ы

6 4 8 0 73 72 tìo 52 70 <+ä 4!>? ÖJ ¡ ^ 78 80 6ó 2 9 54 22 4 5 3 ИЗ 9 7 88 9 6 94 b b 79 5 7 4i4 'Jb óf 95 71 100 43 73 47 b-jb '¿4103 90 82 99 5(1 80 45 456 82 87 78 86 82 io 51 32 457 87 90 80 82 c,9 4/ 64 52 458 86105 77 84 Bil 53 72 53 459 98 77104107 90 4 i 78 A 9 460 bu ¡j9 83 73 71 37 67 49 4 Ы 83 9 2 8 1 1 0 1 95 ¿3 5b 3 1 4 6 2 87 9 7 88 73 tì<> 57 87 5 7 4ò3 8tJ 3 1 85 84 8U 4 1 77 4 0 4 o 4 82 9 1 70 93 91 51 77 31 465 91 89 73 97 91 40 77 47 466 80 74 81 83 74 28 72 41 4o7 88 87 98 95 105 37 69 42 468 94 92 89 78 87 34 72 4b 469 78 60 93 80 86 46 71 49 470 82 8 ) 83 68 72 41 83 36 471112 83 88 79 72 42 80 32 472 38 84 89 91 92 45 78 45 473 85103 79 77 94 49 69 38 474 82 97 87 97 85 52 56 51 475 70 67 80 63 77 21 66 40

3 0 £5 49 73 7b 75 18 73 68 74 Ы 77 3 7 fcl 98 9 0 ÜB 9 9 27 t9 80 80 7J 90 25 92 97 87 84 92 20 67 77 70 57 74 33 Gl 84 72 74 82 21 £3 73 70 67 80 471C7102 81 04 89 32 9fc 72 71 69 78 7 ES 90 6 7 70 77 28 S7109 75 85 87 11 98 80 73 74 76 2 4 82 9 0 67 70 92 25 90 81 75 66 92 31 96 67 56 71 64 3 88 77 74 72 82 30 S8 82 71 62 86 29 80 78 65 /9 85 28 89 84 71 66 88 33 SO 95 69 76 91 28 93107 77 73 97 4 70 87 71 63 86 31 79 82 66 77 81 42 85 92 72 61 80

33 83 96 7 1 73 36 70 72 6 8 47 29 8 5 1 0 9 9 0 80 29 98 82 91 77 34 97105 85 76 20 77 77 81 72 31 76 81 74 68 32 87 81 79 73 31 88ІС0120 75 29 85 83 82 63 19 88 88 78 70 33 8 5 1 1 1 9 8 82 26 73 77 80 7Γ 33 « 2 87 88 56 1510l' 89 90 72 16 81 73 80 67 23 85 89 94 71 33 91 93 77 65 25 95 94 93 68 22 78102 90 73 24 96 89 97 68 48 90 85 88 80 22 97 94 84 62 22 91 93 89 76 42 69 98 97 69

58 7 1 8 7 1 0 1 85 89 6 8 8 ) 66 6 9 6 4 7 1 62 79 54 6 9 84 8 4 1 0 1 1 0 6

87 93 82 9 5

82 63 71 85 64 94 75 76 76 71 89106 84103 75 99 59 67 76 83 61 68 62 73 76 68 90 88 63 84 71 90 62 71 86 82 68 87 63 86 86 81 98 91 83 96 73 94 53 71 87 77 65 80 79 76 6 1 76 9 1 9 4 5 8 82 57 8 2 62 74 98 98 75 89 7 6 93 59 58 76 77 65 8 1 59 7 ? 76 6 5 9 0 9 0 8 0 78 7 5 85 80 76 94 92 74 88 76 86 65 70 94 73 73 71 60 70 65 78 82 87 77 93 70 78 72 65 78 91 65 92 73 69 55 79 92 83 71 74 73 91 61 64 72 89 61 78 76 74 79 71 81 89 62 83 7J 87 81 76 86 89 80 96 74 94 65 67 82100 82 81 57 89 65 62 99 92 73 92 61 96 72 60 72 71 68 82 77 73

BIJLAGE 46

U A T A M M U L A l I b IV ELN A L l i t M t t \ t HAKTUR FN V I J F SUBf-AKTLKLN ( ¿ I L · S I M U L A T I E I V POPULATIE FAKTOKSTRUKTUUK) VUUR 27 ÜPtRATüREN R I J 600 ELEMfcNTEN VEKVULG Η J 9 1 84 96 I l i ЭО 8 8 4 9 4 7 7 (Iti 9 0 92 8 9 9 7 i o 77 4 9 4 7 S 91 8 8 91103 ч'э 3 7 9 4 6 3 A7'5 6 ù 8 0 8 1 8 8 7 8 J 4 6і> ¿ 9 4 ht) O l 8 0 8 8 8 6 al 32 53 4 8 4 8.1. u¿ 9 2 0 6 7 8 84 4 1 77 44 4tí¿ о 9 83 84 Он 2 8 63 3 4 ^ Я З і и ^ J 9 77 83 '0 6 5 2 7 8 5 2 ¿ ΰ ^ 9 1 1. 4 ) 8 5 8 5 LC<{j о 4 83 6 1 4 L 5 5 i 7 1 95 85 91 Зо 81 6 6 ч 8 6 9 2 9 7 88 75 9 1 4 0 75 4 9 4 8 7 J i 8 4 89 77 9J> 3 0 7 4 4 7 4 'IB :J9 9 2 8 9 8 9 9 o 4¿ 7 3 5 5 4tí9 9 2 8 7 89 88 9 4 38 77 38 4S0 84 78 99 99 9 6 't ь 1 1 0 6 5 4 9 1 no 7^) 8 4 9 2 8b 4 4 62 3 8 4 9 2 77 8 ü l 0 9 8 0 9 0 ¿ь 7 9 4 9 4 9 3 9 91. )о 9 5 6 9 8 8 40 61 42 4 9 4 84 8 3 89 9 8 8¿ 3 4 6Ь 5 1 4 9 0 : L U Í 9(з 8 8 8 4 9 2 ЗЬ 7 0 3 9 49Ó 7 8 7 о 95 96 ßb 33 74 4 8 4 9 7 6 6 73 8 1 9 4 7 ч 3 3 66 31 4 9 3 7 8 79 8 0 8 4 Ob 2 9 43 4 9 9 85 90 80 80 8 4 3 7 77 4 0 ьио 9 0 5 7 8 6 7 6 73 37 71 39

A7o

2 8 So 1 0 0 8 6 69 9 ? ? 4 94 9 3 6 5 71 8 8 481 ('0108 99 S3i{!3 2 1 74 8 5 о 9 ΊΟ 7 ) 1 65 7 5 72 67 6 8 3 5 еб 8 9 73 64 8 1 4Ü Í 9 8 9 5 9 36 7 9 3 6 S6 8 4 7 8 tb 9 6 1 9 85 9 4 8 7 езіго 3 8 1 СО 0 3 8 6 ei 8 6 24 £710^ 8 6 78 8 8 3 2 Ей 6 9 7 6 64 8 4 3 0 80 8 1 7 4 78 9 5 2 4 72 7 5 5 8 56 7 5 4 5 SO 8 9 9 2 91 9 8 3 1 ¿8 9 3 7 2 68 8 3 2 3 81 72 5 8 66 7 9 8 77 7 8 1ь 66 8 2 2 7 fc4 7 7 6 4 62 6 5 20 f 7 83 7 4 57 8 6 23 t g 82 6 7 79 7 6 80 45 ь 5 74 72 1 6 77 6 7 6 3 68 6 7 6 85 8 1 7 9 70 8 5 4 6 80 8 5 6 8 62 9 4

a

ЭЫ 01108 91 90 2 9 83 88 88 61 36 89 92 9 2 84 26 67 76 78 54 25 85 8 8 1 0 3 65 21 8 9 70 89 69 1С 8 3 9 2 9 7 59 3 1 9 9 1 С4 9 6 85 4 0 1 Г 4 89 9 9 84 19 76 97 96 80 18 9 0 88 77 76 23 8 2 Я 7 1 Г 0 70 17 9 3 76 8 9 68 2 0 9 1 73 8 3 64 24 8 9 1 0 0 95 84 2 1 80 85 75 59 4 5 82 71 8 0 63 18 69 67 86 60 1 77 76 90 74 2 9 9 1 8 6 81. 69 3 5 9 1 8 1 83 85 2 1 8 8 82 8 4 60 79 67 74

и

48 43 77 36 63

77

81102

96

73104

8 1 1.П5

78

81

92

77

84

90

61

84

76

82109

96

86101

94

95

64

54

85

64

74

72

74

85

77

73

69

75

58

87

50

72

63

65

90

85

62

71

72

91

72

78

80

85

51

90

67

fifi

75

79

60

92

66111

75

95

87

81

87

99

82105

75

95

80

72

81

78

84

79

70

90

67

78

86

96

68

91

72

87

80

84

96

82

79

93

62

90

72

76

80

79

78

72

61104

67

72

83

65

64

78

69

81

95

97

91100

91

Ç4 9 ^

63

57

99

91

71

87

59

97

76

78

69

82

78

94

72

89

63

71

70

89

58

78

68

67

67

65

92

81

70

80

70

92

73

76

89

82

66

99

58

78

69

76

82

89

81

91

5710?

70

66

97

76

63

83

55

94

62

54

88

69

42

81

59

73

яо

87

85

86

65

81

80

82

67

83

75

78

97

69

76

74

76

78

85

84104

68

85

BIJLAGE 47

JATASIMULAΙΙΠ IV tth ALGHMLNh FAKTUR FN VIJF SUöFAKTUREN (¿IL- S I M Ü L A T I L IV PUPULATIE FAKTQRSTRUKTUUK » VUUR 27 UPLRATUREN BIJ 600 ELEMENTEN VERVULG 86 о 2 иЗ 9 0 31 74 44 4'ij ч) 77 ВЗ Ui 31 lJ.' 77 93 02 7 2 3 1 6 7 41 S) ¿ ПН 71 74 82 0 3 34 60 41 ыз 77 9*5100 74 7^ 15 62 31 Я ч 'і^ »i i Ü3 77 4¿ 'il 78 4 7 7J 77 6о 96 'JI'J db 51 70 41 blti 07 8 ч 95 4 0 «»1 Э 'J 66 4 9 Ы 7 vu Ób 7В102 7 3 43 64 42 Ь7 У l)Ü β 7 87 84 ^з 2-i 65 48 1 Ï. 'J Mb d5 9 3 1 0 4 51 66 57 Iti 'І20 77 9] 65 93 h ¿ 5 4 68 53 !]4 79 01 6Ü 'J¿Í. 4 1 82 об bZ2 72 dl 78 74 2 7 76 43 O^ì 8 5 9 3 90 Oö 90 4Ь 72 50 Ь2<* 4¿ 83 94 92 ч 7 88 48 Ь25 оЗ 7 2 63 74 Oö 2ö 4 4 17 iiOl

r

15 lil 76 об li 6 9 10 €5 86 87 73 90 11 1:9 81 62 68 66 30 <;41l"i 74 71 87 24 'i2 96 79 7? 96 24 ¿7100 71 77 8 Я 2610Ρ1Γ·4 75 'Л) 102 86 30 74 61 74 9 71 72 59 47 6 7 14 93 96 87 78 91 2 E7 77 63 67 62 40 74 72 о9 72 80 23 SI 75 75 u4 77 39 Ç4 85 75 67 92 26 69 96 68 e« 82 30 98 81 8 3 Ь4 П6 29 74 83 76 78 84 16 85 90 77 71 7) 43 S9 87 82 73 90 29 97 90 73 ¿9 82 37 75 84 68 71 93 19 95 68 57 68 81 251 ГО 93 69 to 93 22 74 93 78 £4 98 25 66 81 51 45 73

22 70 67 21 91 59 22 7 8 57 45103

77 9 0 69 76 79 91 72 81 6 7 7P 89 Ol

Ь9 60 03 94 5 4 1 0 7

75 85

71 65 84 70 72 6 7 69 90

81 89

71 79 94 88 80 97 62 91

71

89

ni 28 72 J6 76 37 75 23 50 19 65 17 78 26 56 31 49 20 70 32

87105

88 78 87 89 92 63 84

90 98 9 4 78 741Г1

02 82

9 5 1 0 6 1 0 9 75 83 90101

72 9?

79 7810·?

65 96 76 93

80 95 02 72 65 88 80 78 79 65

73

85 78 75 50 60 86 87 6 4 86 53 71 81 9 5 1 0 4 72 72 9 6 99 74 98 86

79 76 55 66 70

71 63

82104

76 57 80

80 94 80 6 4 71 82 64 74 76 60 79 8 5 81 93

72

89 91 92 65

75 74 83 80 72 72 8? 80 90 88 7 3 1 0 4

59

pr

an

24 8θ 90 72 65 44100 93 98 77 10 82 85 79 62 за 74 89105 66 20 90 62 93 79 27 93 9 4 1 0 0 84 33 94 80 97 55 29 85 76 81 72 30 9 0 1 0 3 1 0 6 79 24 95 91 81 77 13 79 79 6 8 47

75 69 60 80 73 77 78 73 60 70 89 95 80 90 81 69 83

89 68

^о

62 79 84 93 72 87 76

77 92 76

e?

81 7R

76 93 06 62 8 2 74 97

72 65 84 85 80 91 79 77 76 83 85 6 3 70 BI

72 89

85 79 76

77 58 fil 61

77 70 87 88

an

82

85

81 91

51 68 9 8 87 69 99 85 89 71 4 4 65 74 46

03

73 58

BIJLAGE

48

iJ/. TAS I.MULA Τ I E IV t.fcN A L o h . M E u t FAKTOR I.N V I J F S U b F A K T U R E N ( ¿ 1 С S I M U L ^ T I t IV PUPULATIE FAKTbRSTKUKTUUR) VUUK ¿1 UPfcRATHREN B I J 6 0 0 E L L M E N T F N VrKVOLf.

/I

99 54 71 77

л

t-2 7« 71: 73 79 8 5 fc5 9 2 ЬіЛ tí i .4'j 3 8 93 «О 7 7 3 5 O l e б 7(' Ь'^> 1 8 (1-4 7 9 92 6 ü 2 7 4 5 ά4 6 9 ЬЗ'' 02 d i 4 4 t b 7 5 ^ ") (.) J ^ «. 6f3 4 8 5 2 66 6 5 [3 i l /ч V 2 L 0 3 7 6 13 92 9 7 9 (J 3 o 6 J 4 1 u 7 ά4 8 0 bìZ 7o 7 5 6 6 / 9 16 70 7 9 6 S 3 3 6 4 3 0 6 3 54 7 5 5 3 3 •2 υ 7 9 8 5 8 7 2 7 68 7 4 7¿ J 1 7 0 2 7 7 8 75 7 8 ь:;+ ;зз 77 7 9 U 6 3 7 88 9 0 ^ ¿ 4 f · 7 7 5 9 9 3 71 9 3 33 ъ 75 7 J Ы 9Ü 3 4 S i 7 8 (3 2 4 5 6 7 4 1 7 1 12 7 8 80 •- 3 6 О 7 7 9 0 7? β 78 7 y 3 2 6 4 -><; 5 1 5 7 713 •j j 7 У* ti 7 i') l o fc5K>2 ν 5 52 69 34 75 7 7 81 bO 74 7 7 8 5 4 2 73 9 3 ьа 5 1 7 8 52 73 ?7 8 7 ЬЗ i VU 7 Ü 7 6 7 7 2 3 75 8 9 7¿ 2 v 51 3 4 70 54 7 4 7 9 7 4 7 8 4 0 62 73 4 0 6 2 4 2 6 1 63 5 7 ib J l 7 7 9 4 3 1 72 8 8 b t l 9Ь 7 3 w/ U5 5 9 9 0 /8 9 3 • i d b ' t J 7í3 UH 7 1 JO IL· m 3 0 13 4 6 1 Ы 7 7 72 8 4 'JO 6 6 U7 2 4 ÉO 8 4 ЬЛ ) 9S >5 7^; 6 ( , 4 2 6 3 71 7 6 7 J 9 0 Btí V7 1 2 S 6 8 9 9 2 3 6 6 5 4 0 7 4 57 7 2 b ^ ' J n¿ 7 5 7 9 l u 5 1 4 79 8 1 70 2Í3 4 9 3 9 5 8 67 6 9 ЬЧ6 bb 7 7 7 2 8 3 5 4 S3 8 7 ñ¿ 3 0 ü b 4 1 8 1 63 8 0 Ь 4 7 вь .34 7 7 9 7 1 4 7 4 9 ) d4 :>4 7 9 4 3 73 67 9 0 Ь'. ) 9L· 9 0 7 9 7 6 3 1 83 8 2 99 3 ^ 76 5 9 70 6 1 87 э49 Ь 9 9 0 6 4 4 2 88 8 6 8 J ^ 0 7 1 4 7 7 0 72 8 0 9 5 6 7 9 5 9 0 3 6 83 7 1 76 3 1 6 1 4 6 6 9 68 8 8 *n' J

Я '"хі 2 5 77 li) >«'» 5 1 ІЗо 1.7 -3 3 3 i lu it 73 37 7t> (> S

79 21. 4 9 71 dO 1 7 43 6 9

45 72 67 67 30 99 87 70 18 8 6 9 4 67 7 69 88 63 21 6 5 6 2 66 54 6 6 87 83 27 74 83

59 18

72

83

71 70 ЯГ 79

76 6 8 9 5

93

79 98 76 86

97 59 67 87

76

87

7 8 57 82

73

50

84

7 8 65 68 52 80

84 59 62

88

8 0 81

68 70 9C

91 50

86 77

8 6 72

70 71 73

70 63

55

73

8 7 74 69 60 71

541Г 4

9 3 67 65 6C 86

61 90

8 9 67 92 83 95

50

75 91 90 68

7Γ 30 9 7 78 32 9 2 74 18103 56 18 9 4 80 36 82 64 14 84 66 8 69 66 32 84 90 41 7 7 68 15 8 2 55 21 84 74 . 18 83 57 19 85 82 16 85 71 32 8 2 81 35 9 1 79 27 9 3 59

72 84

96 74

84

94 73

87

88

60 66 9 4

8 6 82 86 66 PI

69

75

57

5 6 49 87 53 66

84

97 68 64

9 9 1 0 5 72 73 84 95

89

62

77 63

86

9 1 58 82 73 85

71

75

74 6 0

75

7 6 43 72 62 67

72

73

72 5 9

80

7 2 74 63 73 85

82

85

98 8 9 1 0 9

8 8 76 92 67 92

75

76

76 68

85

82

85

69

72

68

7 1 61

55 7 7

56

75 79 78 68 76 70 86

92 88 ö2 84 89 83 69 78 68 91 79 05 62 48 87 74 72 75 66 68 83 87 85 80 88 76 69 72 66 79 86 78 52 72 90 86 60 85 75 94 94 88 74 69 93 87 84 94 73 90 91 88 70 69 85 97 72 96 87101 86 78 67 70 74 85 67103 83 84

BIJLAGE 49

JA Г А Ы MULA TIE IV L t N ALitCMuNC I AKTOR IH V l j h bUüf-AKTUBbN ( ¿ I e o I M U L A T U : IV PUPULATIE FAKTCRSTRUKTUUK » VUUK Zî JPtKATOREN B I J 600 ELtMENTFN VFKVÜLG 75 8 2 ) 3 /ь 7 2 4 9 6 4 86 6 J '1 82 ' 5. 8 8 9 7 /7 31 о ни.: Ь9 9 0 7 9 4 7 7 1 72 Э 9 'J-JJ iti 90 6 3 5 с9 7 8 7 ι ¿ 7 ó 4 4 1 55 54 ο7 Ь 'J '+ o 9 i . ι / ϋ 9 ΐ π ' + 33 'Л 9 6 1 4 •JO ПЗ 5 1 7 7 09 9 9 b )j s / 1. 1 5 8 9 78 37 ^ 88 1 ')Л 0 2 7 9 5 4 1 0 1 /7 9 ? Ь "> 8 4 72 2 5 Ol 0 9 4 5 7 8 54 ЯП 7У )' r .'i ' J 2 03 7 ü 3 5 68 Ufi 3 3 7 2 4 2 7 7 C l ' 7t» 'ik Ü b 7 7 3 4 t 9 ЬЗ 'j'-'ò 4 4 U I 't 4 6 7 77 9 3 OH J ti ) O l 7U Η 4 1 3 77 9 0 H! 4 ч 7 5 2 3 8 0 £3 7 2 i» J J 7 4 9-) 9 5 OU 2 0 fc f ' 8 6 7 1 4 7 5 6 4 2 74 с. 8 8 0 o d β ч 7 7 Ь 5 1 1 69 8 3 LWJI (io ¿ 1 5 2 / 2 5 7 to 5 6 CJO 7/. t-o^ 71) О б 2 8 il 't 4 b 6 9 4 3 7 0 7? 7 2 bh> tlJ> i H l OU 9 0 4 6 S 2 Q 4 4 ^г 1 8b 4 8 83 РП 8 ' r (Hi d b 8 6 l i b 4 0 9 b Ь? J ><* чь ¿ 4 7 4 5 3 8 9 83 8 8 bh > и- 7 0 9 2 Ь7 ¿ 9 1 f U 9 0 7 . 3 4 5 5 4 ö 7 2 5 н 78 '>o 6 4 1 b ' j U7 8 0 1 2 1. 0 4 8 9 Mo 4 5 8 9 5 8 7 9 eb 8 8 r 74 7 9 8 0 2 5 /7 72 )0 ^ 7Ь 3 6 7 0 3 6 4 9 63 7 6 Í O l i во 8 5 0 3 9 1 за 8 1 8 0 4 1 8 b 4 1 /о ca 7 4 SO J 7о 9 ) 9 8 8 3 2 5 59 ОЗ l i ¿ 3 7 75 4 7 75 7/ 7 5 t»7 1 7U >3 8 1 9 о 2 2 чз mo l J¿ о S 7 9 5 3 6 8 'j j 7 9 Ь П . 11 Ь 2 8 2 8 3 32 74 9Т 92 ^ 7 7 1 5 5 7 о 70 8'* 89 bil 7 b 72 8 3 7 5 4 2 3 9 76 4 2 70 t o 7 7 fi bf'o 7 9 7 4 9 5 7 2 3 1 7 4 1 0 2 С 6 ¿ 1 7 0 3 1 5 6 58 6 7 7 1 76 8 9 8 7 17 84 8 1 5Г<І 7'+ 5 7 4 5 6 7 <:9 6 9 5 7 J UU 7 1 8 5 8 0 2 4 ьг 7 1 4 5 33 6 9 4 8 73 66 9 0

ж

1

l

>

90 И)

l

8 6С 17 84 J6 44 13 74

78

86

о 9 64

59

87

69

70

83

74

or

92105

81

68

70

89

94

К'

86

73107

88

73

85

54

65

76

64

66

94

70

«7

97

90

80

90

97104

37109

7210fr

э*·li οι mins

79

89

99103

85

90

91 31 73 27 61 20 71 2Г 71 35 75 4 52 34 62 45 7J 34 77 10 57 36 70 31 68 25 62 2? 74 37 87 46 88 42 ЬЗ 18 67 16 68 28 66

98

79

97

<,п 8 6 8 1 5 6 8 7 9 6 9 3 7 5 0 2 7 ? 7 1 75

7 0 79

69

71

50

76

66

81

73

7Р

36

72

45

6ч

60

78

75

61

93

66

68

76

93

86

67

73

77

8о

70

94

70

74

75

85

81

79

63

67

75

65

87

75

ηρ

75

60

68

58

50

81

72

61

71

51

8?

Q4

03

79

75

71

69

92

59

71

62

65

88100

99

94

77

88

91

78

89

84

on

85

95

96

84

92100

81

80

87

87

QO

81

96

93

66

60

8 8 94

59

88

73

88

Q4105

93

85

63

99102

69

90

87

97

Ь6

83

83

71

72

74

75

46

78

56

7Γ

75

69

67

60

76

73

67

68

77

65

80

77

68103

77

57

Р2

81

66

85

74

86

89102

93

77

76

96

97

91

43

74

90

74

92

88

78

86

92

90

77

85

^8

97

84

95

88

50

74

83

94

72

85

72

73

86

90

76

54

54

70

86

62

90

54

84

66

73

82

66

58

87

70

70

75

56

72

96

73

91

88

70

93

94

65

69

58

86

BIJLAGE 50

JATASIMULATIE IV LEN ALGEMENE (-AKTUR EN V I J F SUöFAKTUKEN U i t S I M U L A T I E I V POPULATIE FAKTURSTRUKTUUH) VUUR 27 OPtKATUREN B I J 6П0 ELEMENTEN VFkVQLG Ы > )л 7o 577 ü'j он S7H1IO 7o 5 7 > 7ü bO bHi) / 7 81 5 J I 91 «5 5 8 2 87 8H 5 8 ) 95 Ti 5 b 4 7b 7d ЬЬ5 77 Hl 586 7¿ 6 7 587 89 8b 58-} 88 97 589 80 72 591J 77 78 5^1 61 86 592 7b 79 593 73 87 594108 79 595 83 84 59oll)d 9b 597 73 85 598101 9J 599 93 94 60') 94 74

67 9 9 93 30 7b 4 1 / J 8L1I.C 4 2 6 7 41) i l l Ö4 7 4 5С 7tí 37 7 s l O ü 86 3 4 6 6 32 ïb 73 b7 2 7 64 3 3 І.І 84 8ó 4 4 78 42 63 9 1 92 4 2 8U 4 6 95 7 4 75 4 1 73 52 Ó'J 80 35 Ì3 54 42 8 1 83 9 5 b j 87 55 1,1 84 80 20 75 2 7 89 83 94 50 74 50 91 94 82 чЗ 62 57 87 94 79 46 66 53 73 94 82 34 81 36 9 ч 83 95 3 9 6 7 35 92 83 74 28 60 35 8 Ì 83 90 34 74 42 92 85 64 44 62 32 89 73 8b 33 70 34 87 02 76 42 75 44 Л 67 98 47 65 52 97 89 74 37 68 Ы 92 88 96 58 91 68 77 87 75 4b 67 43

34 7L 87 7 0 ¿9 8Θ 25 ctì 93 60 ü9 80 27 7 J 9 9 б ч 65 83 33 t 9 80 69 57 7b 12 78 83 63 63 82 16 70 6 9 69 65 78 2 9 1 0 8 99 8 1 79 95 31 74 86 7C tU 87 2 ö9 72 57 50 6 7 32 8 6 1 Г 6 82 55 78 39 90 79 75 57 71 34 73 79 63 72 85 47 55 82 80 91 96 29 85 82 68 с?. 76 23 f5 82 52 62 80 19 78100 65 62 6 8 11101 74 56 ÉC 77 14 79 61 72 Í0 71 26 66 90 69 59 88 191Г4 85 74 59 78 ld £& 99 78 7b 93 32 68 81 59 t8 83 221C4 79 81 69 90 371CO 90 89 60 94 16 Ε5 72 74 74 83

3.1 92 79 67 1b 77 82 66 IR 97 89 67 27 74 70 58 1С 7 9 83 67 2 1 73 99 63 25 R7 9 4 78 29 88 94 62 23 73 82 55 34 oí. ICO 80 8 71 91 64 31 98 89 75 37 89 75 87 24 89 69 70 23 79 81 69 7 80101 68 27 77 88 48 11 64 73 59 J1100 92 73 ?3 82 91 72 33 79 97 69 27 81 81 78 28 90 80 93 46 94106 90 33 86 67 81

84 53 6Θ 9 2 83 6 5 88 72 86 79 65 86 78 82 77 84 66 4 1 6 7 86 68 81 93 7 6 1 0 1 66 81 98 70 65 77 85 5 8 72 6 7 83 90 7 0 61 93 77 6 9 85 69 70 83 69 57 9 1 66 66 86 7 1 82 87 77 97 85 85 7 5 1 0 5

79 96

8 0 7 0 61 9 1 78 8 0 93 7 4 7 6 7 4 5 1 62 6 9 80 4 7 83 50 6 9 7 0 6 8 75 9 0 93 65 80 7 1 89 78 70 70 90 83 65 70 66 85 86 82 67 86 87 70 90 78 96 91 75 67102 91 66 93 75 89 77 76 77 88 80 67 76 60 71 83 82 66 80 90 73 81 71 84 86 63 59 9 6 7 9 72 84 6 0 90 85 78 63 67 74 65 81 73 64 75 60 59 87 68 60 80 60 81 68 56 68 98 79 63)03 67 R6 90 62 75 82 82 72 74 59 88 92 76 77 97 92 69110 61 9Э 79 74 80 74 74 67 90 70 85 91 64 80101 92 85 97 92 94 93 92 83 84 89 70 91 96 93 84 64 68 78 86 69 83 72 73

BIJLAGE 51

ÜATASIMULATIE V THEE b E L I J K E GROEPSFAKTUREN ( Z I E l A ö E L VOÜR 12 OPERATOREN B I J 100 ELEMENTEN

80 β5 3 97 4 75 b 64 0 68 7 72 8 67 9 59 1«) 7 8 1 1 75 l ¿ 96 ] 3 69 14 78 ) 5 65 І6ІП9 17 80 Jd 5 о ) >) 6 5 20 73 2 1 75 22 9 3 ?3 84 • ¿4 67 25 68 2 0 65 27 66 2d «5 ¿9 74 3(' 86 3 1 76 3 2 79 3'3 4 · * 3 4 83 J 5 4¿ 36 79 37 95 3tì 8 ü 34 58 40 61 4 1 85 42 86 4 3 64 <+Ч 73 4 J 73 4(j 87 4 7 84 4 t ì 78 4? Ы У) 61 1

69 63 69 59 89 79 90 70 55 84 73 82 71 63 ЬО 72 72 73 71 70 68 75 54 59 59 57 57 7ù 40 86 68 67

ли 65 94 49 80 46 68 86 73 68 64 67 51 87 66 73 53 55

80 85 92 77 87 63 93 86 74 92 81 79 75 71 63 84 85 78 59 70 65 67 75 68 61 30 85 74 64 87 78 80 65 62 66 69 74 69 70 76 97 81 75 66 77 91 85 77 58 71

77 64 88 71 77 72 74 74 50 66 75 76 64 47 65 77 64 55 74 73 68 69 85 57 67 51 64 82 66 75 61 68 64 72 72 60 64 58 67 76 76 81 76 76 56 71 73 79 69 59

89 71 75 76 75 67 87 90 72 83 82 78 69 74 79 74 85 75 80 93 ó9 97 77 80 68 62 62 84 73 85 59 80 56 69 79 76 79 76 75 87 87 81 86 71 77 87 82 75 61 68

80 75 87 78 71 65 76 76 48 80 76 85 65 61 74 75 88 65 50 76 70 7? 66 50 66 67 70 85 04 89 72 71 54 65 75 48 81 52 58 63 80

et 69 73 71

eo

65 62 68 60

79 74 80 76 71 69 58 79 80 71 73 70 60 79 82 6^ 94 84 62 80 76 59 61 66 66 75 81 83 PO 71 83 76 75 77 74 69 84 66 72 73 89 77 70 57 f 4 Ь9 73 62 80 65

61 77 77 65 88 86 67 82 67 7 5 66 56 89 6 6 81 7 9 73 75 86 68 72 7 1 56 7 5 77 74 63 78 74 74 81 8 4 9 0 87 75 62 63 7 0 79 7 5 72 7 5 42 6 4 57 7 0 72 7 6 63 6 6 56 6 7 75 5 8 6 4 82 78 8 4 74 75 74 81 7? 99 81 66 80 66 71 58 60 6 6 71 63 65 85 71 75 79 7 9 8 7 7Θ 62103 49 70 68 60 5 i 67 70 61 4 8 82 72 4 9 55 6 9 77 7 7

65 83 70 74 74 64 71 66 64 61 70 73 68 69 69 82 79 71 61 82 58 59 67 55 78 60 76 80 о·'' 59 65 73 71 57 76 74 60 63 55 66 04 76 60 74 ÒR 76 oO 90 72 6Ρ

61 63 81 85 70 82 64 80 63 75 89 66 63 69 80 82 75 66 60 75 62 68 72 87 71 78 65 73 71 64 70 63 61 81 83 88 88 70 61 83 59 94 77 69 62 77 61 83 77 65

67 60 68 74 71 62 76 73 57 74 79 67 58 84 81 74 82 64 66 81 73 67 60 66 70 78 67 68 74 72 66 81 72 67 71 79 79 61 72 79 77 65 85 61 65 68 58 68 57 61

6.2.2·)

BIJLAGE 52

UATASIMULATIE V T J e L G t L I J K t oROEPSFAKTOREN ( Z I E Τ Л Ы L 6 β 2 . 2 . ) VUUR 12 UPtKATOREN B I J ICO ELEMENTEN VERVCJLG L»l 52 53 ( )4 ЬЬ 56 57 58 59

ού

80 73 81 71 48 74 80 o¿

t>e 79 Ы 62 63 64 65 66 67 6Ü 69 70

64 71 56 86 84 66 87 71 63 66

71100 72 73 74 75 76 77 78

63

71 56 72 78 93 84

79103 80 81 82 83 84 b5 86 87 88 89 90 91 92 93 94 95 96 97 9b 99

ino

90 73 70 78 77 71 73 76 85 83 82 78 69 h7

54 81 77 78 78 78 85

54 76 60 56 82 59 71 70 73 47 63 76 47 71 82 81 75 56 65 63 96 67 54 73 72 51 85 68 79 68 67 69 76 79 69 87 73 69 80 62 64 82 71 55 72 77 55 ö5 63 80

o2 S 7 78 75 76 71 88 04 7(·' 74 77 57 77 67 79 57 89 45 63 66 72 72 81 62 7t 50 7Î 64 72 95 69 71 7ч 50 64 87 78 57 68 63 95 88 58 55 65 6C 78 60 9i 72 59 71 73 72 74 65 86 87 87 71 82 51 66 72 71 84 78 80 91 69 91 66 67 64 78 72 82 87 91 65 71 65 73 58 69 59 6 0 52 78 49 76 82 81 60 73 70 6b 76 83 85

bC 76 84 72 85 67 67 94 69 75 55 79 50 76 97 76 84 64 68 71 78 75 75 57 63 78 76 89 92 80 75 73 81 80 76 91 79 79 92 82 66 70 72 55 70 79 66 64 69 73

40 73 fc 83 71 76 72 77 60 68 70 67

Ы

76 86 62 74 68 74 c8 91 52 70 65 78 69 75 74 84 83 78 78 64 72 74 72 65 71 9C 79 04 71 68 4Г 83 64 52 69 71 78

63 9) 59 74 77 75 78 82 72 69 75 64 72 73 80 72 75 72 80 56 96 83 79 70 77 74 81 75 93 77 66 73 76 73 81 82 81 79 66 90 80 76 77 71 75 58 81 72 79 65

61 73 71 76 64 68 65 91. 66 67 68 72 86 62 67 RI 69 60 67 63 4 9 7? 66 66 78 77 56 50 64 84 77 67 76 9 4 70 РЯ 74 8 2 71 70 74 72 67 62 36 88 78 84 80 74 64 82 64 76 66 77 89 9 0 61 ei 64 78 68 65 62 79 57 72 85 59 56 84 81 80 751Г7 63 '78 58 72 78 83 68 P8 80 7 0 56 63 74 79 54 63 72 88 76 83 62 62 55 66

46 53 64 88 57 50 76 72 82 53 71 73 76 56 63 46 66 78 40 57 89 69 79 57 33 80 73 58 88 59 52 58 64 83 69 64 75 71 58 87 71 79 84 74 56 57 76 68 66 44

62 85 70 70 60 79 63 86 82 63 79 73 60 54 71 67 69 61 80 58 77 70 92 68 74 63 89 73 79 73 72 77 79 57 91 80 83 88 70 87 85 82 86 80 72 66 93 82 74 65

66 70 54 78 61 59 82 73 79 69 79 70 67 66 79 64 61 68 57 65 69 58 78 64 78 66 83 80 73 64 55 76 76 58 78 57 82 86 72 66 67 59 67 67 76 64 84 75 71 57

DAIÄbIMULATIF VI DK I - G R Ü C P S F A K T U R F N ГЦ t fcN S ü b K A K T b k I Z I h S I M U L \ T I t V I P O P U L A T I E ЬЛК TOKS TRUKTÜUh ) VÜL.R 1 4 OPI.RATOREN b l j 100 ELtMENTtN

Î ü g

ï.'> IL U 13 Іч 1 О If, ! 7 '.b Ia 2'J

¿1 ¿2 ¿3 ¿4 Я? ¿ί> 2 t ¿о ¿9 31 32 эЗ ^4 ib 0 b J3 3-J ¿•o 41 4¿ 43 •^ч 45 46 47 4V 5G

7,-. ¿i 463ii4102 71 8 7 5 t ì 7L 5 9 76 ö i 17 Η bj 43 7 8 36 6 d 77 2 J 42 7 1 8¿ 70 8 7 a ) 4 b 4*3 9 3 1 0 3 E2 4 8 2 0 30 9 4 8 3 65 8 9 β * 4 1 3 5 9 7 7 5 ЙЬ 7 7 17 3 9 43 7 0 9 1 79 9 1 9 Í 15 41 fc9 8 4 63 9 1 a¿ 2 7 4) as 8 3 74 8 4 71 1 4 \h 6 9 8H 62 8 ) Û6 ?. 4 72 70] 02 85 7 0 3 ó 41 9 3 6.9 85 Я8 7.) ¿i3 3 8 9 0 9 0 8) 97 \ j о С 50 72 76 Bü 3 0 Hu' QO 9 3 78 P I 7b ¿ 1 4 6 8 8 3 9 7 2 1 0 0 tío 1 2 3 5 8 4 9 9 с 4 Р9 tíl» 2 2 3 Î К З 8 3 67 8 7 7d 3 0 3 5 7 9 86 7 3 1 0 3 7 2 2 7 3 0 8 6 8 2 75 8 9 t.5 3 0 5 5 8 4 8 5 76 62 7 b 2 6 3 8 8 0 9 0 54 88 7í) 3 4 2 7 8 2 82 68 96 ò 2 1 7 M 6 1 70 55 95 7 6 ¿Ö 2 2 8 3 8 3 7( 80 6 7 3 7 3 6 9 6 1 0 0 84 83 7¿ 2 4 2 4 9 3 9 3 80 93 6 4 2 9 1 3 9 6 9 0 73 95 8 6 2 t ì 3 7 1 ( 1 6 1 0 0 89 86 71 ¿7 3 7 9 1 94 74 i n О 8¿ 2 1 4 0 9 1 8 9 75 7 7 7 4 1 9 ЗВ 8 3 8 1 6 1 87 bZ Í S 3 5 8 8 1 0 3 fc¿ 97 l ì 3 1 Уч. 8 1 7 8 7С 95 54 2 7 2 В ь 7 fc9 6 1 72 7^ 22 Зп 7 8 8 3 73 93 7u 4 7 2 9 8 9 9 9 6 8 63 6d 31 1 q 7 8 7 6 68 с 3 70 Í . 6 3 4 ЬЗ 9 0 5 7 82 df« 3 8 4 5 7 8 6 9 6 7 62 68 37 26 9 5 83 69 70 6b 2b 36 0 5 8 0 71 76 6 0 2 0 19 7 4 9 0 о б 86 57 20 43 8 2 ) 0 1 ь2 73 63 23 32 С5 9 2 56 84 4 B 2 5 2ь 8 2 3 6 67 80 94 34 3 7 1 0 3 1 1 6 92 92 79 35 3 0 9 5 7 9 59 78 òO 3 0 2 1 8 6 Θ1 75100

11 80 67 2¡, ЬО 65 29 79 б^ 39 79 76 25 81 85 30 8 5 94 6 76 83 7ч 86 8? 19 Ь7 97 18 73 74 28 РЗ 77 241Г31пй ¿п 7 8 9? 2Г 84 85 24 Ь^ 90 19 7 8 ί ο 4 ( 1 ' 1 1 11 28 7 6 85 17 0 5 86 4P 4 4 85 3 9 1 0 5 76 4 Г 83 6 8 37 Q4 8 1 23 9 Г 7 0 2 8 8 9 77 З ^ fi? 77 15 ς ? 9 6 4¿ 92 89 24 89 81 1 9 7 8 91 27 86 87 4 ? 7 6 74 36 7 7 81 27 92 92 16 9 0 7 2 2 7 83 69 31 76 64 9 64 31 37 9 4 82 2 6 9 4 76 34 5 4 72 3 9 8? 83 32 6 9 78 1 9 6 8 93 24 6 91C4 о 8 2 90 2 0 РЗ 9 8 15 8 7 ^ 2 7 8 4 '31 23 8 6 77

77 54 65 75 80 78 55 65 60 59 65 96 84 80 79 69 80 94 78 ьб 89 76 6? 59 76 79 58 90 73 85 67 65 78 87 75 57 82 49 64 63 70 67 59 88 70 58 75 69 59 64

76 62 38 78 63 78 55 63 ÒO 60 78 83 63 69 71. 75 82 57 58 73 69 72 74 59 67 77 71 93

65 76 77 71 7ь 75 ò7 64 66 65 71 62 67 72 о2 75 71

72 75 81 76 65

оi

7и 75 йи 77 6о 64 71 67 74 70 69 70 72 63 66 f О чб 62 64 6 3 88 68 ъ2 оЗ 7í> 71 61 69 75 82 77 ЬО 67 64 70 6 5 79 73 81 76 54' 55 95 71 68 6 7 61 РЗ 63 80 71 87 75 82 78 8? 69 54 80 6 8 62 73 71 54 64 7) 84 84 7ч. 74 66 65 58 6 0 73 78 93 Pi 44 46 74 71 69 55 75 68 ь8 57 58 84 66 71 63 67 63 65 72 78

BIJLAGE 54

¡.'ЛТмЫЧ'Л-Д r i t i Lit

SIMULAI I E

VU'JK

1Λ. u p ! i-ATtif-Ffv.

*f 8 8

7¿

81

ÍA

92

71

6 7

88 96

9 2 flo

'Л

ïb

78 91

3?

7(

•7 **

90

80

23

74 89

'7

82

24

«=2 77

79 Π

69

7 8

IO

75

25

97

45

7*

8) 79

»it

87

67

Ρ 6

27

b>

ì 5

І 5

J4·

о +

¿'Ì

'3 3

'ib

b j

16

вв

.•>(

60

,.r

Ы

do

J O

J 7 11 0 7 1

ч 1 i')

3 4

ii«J ?7

4'» ?t

ππ

8¿

70 HÓ

J o 4 L . :' u í ' J ( Л 1 ì 2 2 71' 7 7 Lt> 19

23

7ч 61

:J.»

о.'.; о.->

i M J ÎOC

8 о 87

31

37 4-

u?

Q I

-.ι ъь

I-YPJLATIE

PL· 89

Ö.J

7o

VI

?.f· 15

)). ) i

* 9

VI

78 74

77 Ы)

«6103

ι

0

5711.1

21 Î5

Ь^ ЬЧ

86 64

3« 35

77

F A K T O K Ì TKUKTUUK )

ELtMLNTb*

88 67

l·? 7 6

83

6 2 o5 9Г

79

64

66

78

73

75

7;

59

72

53

65

74

78

57

67

*>7

71

96

97

71

67

7¿

7 5

82

88 64

62

71

68

72 79

74

Sfc

80

7У

85

78

86

8?

77

5 au 87 90 991 ο ;

α

6¿

90

8'>

66

67

71

69

o2

82 5 ч

ЬО 52

»H 77

62

67

79

fct-i

U

74 63

о б •ы 50 07

75

84 86

66 64

69

6('

t)8

99

22

66 QQ

6 « Η? 6 9 ! ПО

2.ï 15

<'4 8 7

5Ь 55

71

35

77

87

1.'

Ρ4

;3

Ы

72

PO

77

75

83

76 91

84 82

73

72

31

85

61 86

13 ¿С

81 73 51

72

83

2С

^7

81

66

96

71

65

81

21

81

8? 74- 6 5

55

57

87

£·>

93

Зо

0

2

54 61

65 6 F,

75 70

74

71

76 Pi

35

41

84

51 81 9Г

48

2H

о2 92

85 9 9

•J2

88

20

RC

7?

6 9

80

67

6 5

^о

•

>

^

/j't

7ü

33

il

ß.'

¿i

85 УМ

79 »·η

)(

òl

Û 36

2b

7S.

74

о7

Ь7

30

l'j

87

75

. J ->ч

b-j

44

30

73

86

57

Ifi

51

91

с

(' · П.

74

¿9

44

71

7i

31

2B

^

Ь4

31

7 3 .'4

6b' ò l

¿0 9

3(1

Г0

/>

òi

7о

52

74

74 58

76 -79

82

7 9

36

77

73

^t

6 8

0(-

67

73 5ч

72

76

7t

б«

84

74

61

6 7

61

LI

34

7?

8 2

75

btì

52

32

Q7

8э

72

75

26

35

5°

Ы

17

ib

36

76

м.-> Li

2 6

82

75

16

90

Ж'

97 54

32

чг

eì

70 58

56

Ь^

2 72

8 2 6С

03

51

77 9 ) 8П 63 с 7) 6

68 79

44

74 89

62; 8)

59

2)

и5 73

14

• И) 7 ¿ Ы 65

35 2S

92 89

77

70

Ь* 6Ь

75

79

72 9J

35 2α

83 64

48

27

3t> 2<

Ь51ГЧ'

7 Г 7d

68

75

RA ö^

69 6o

ИЗ

37 15

80 8 9

62 94

62

74 63

82

85 8.L

64

J J :"J7

í>5

2 2

90

6 8

55

33

93

95

7i 61

21 16

52

ЬО

76

;-9

4Г

9Г

73 64

87 95 30

20 28

76

77

71 64

^9

59

27 19

7o ВС

bd

lb

3 4 : LOO

91

63

70 b^

11

i¿ 17

71

75

68

ЛЪ

11

rtb 4 i 9'J 4Ì

-чг

¿0

зп

с

79 83 89

85 85

3?

79

34

54 65

71

73

70

9 3 ' 27 46 93 18 7.1 8? 15 7« 1 0 6 2 4

84104 oí 9!1

88

77 78

С?

96 q/v

81

Ρ 4

3?

79

89

M 7? 82 0

76

80

31

36

92

Чэ

83 64

?7

80

^Ч

7ì

23

37 51

89 95

9С

95

88

93

71

89

30 28

64 70

78 69

о? с(<

cc

1 8 1U

-?ь 7 9

31

^о

^7

56

63 70

61

80

72

P3 77 741 ГО 62 63 60

59

61

72

71 68

71

66

78

6?

78

84

95

75

61

o7

65

81

71

75

58

68 61

5^ 84

63

73

72

8^

78

83

'il

6ÌJ

95

33

84

78

76

76 o7

59

)ь

1ь

¿1 28 24

71

öl

23

30

03

82

67

89

31

87

73

78

77

7 3

73

35

42

7о

7'.

84

63

71

32

31

92

7¿

Ч( 90

2^

7 7

81 94

91 70 78

52

76

62 71

68

9 9 1Г>-»

Ò'J

3Q1 г г

76

;мглымиі_АПЬ vi ι ijRIt I Lit VJoft 1. •j M , 59 -" 7 1 •4 VO V »íb (l ч f 6¿ •Í 6 4 9 У ì 1.'^ b b I J bo I J 65 13 6 У І ч 63 l'j 77 li, 7^ l 7 73 l o 7Ó J ? 79 ,"' ) 6 о 8¿ ri 77 J ï 71 2ч 6 2 93 .·() 6 7 2 7 Bb -2 4 7 8 ¿N 7 5 4 0 74 •il 6 7 U 74 Ъ 6d ? t b3 3 4 81 3 ü Hl Î7 b7 '3M 77 З 57 '+1' 7 3 •VI 5 9 42 7 7 43 69 4 4 61 t b fai 46 70 4 Τ 92 'г 8 7 9 ¿9 4 0 bO 7 3

ÓRnLP'jFAKTüRFM FU ΓΕΝ S U B F A K T L R bl.HULATIF V I POPULATIE FAKTÜP bTKUKTUJK » 14 UPfRATOREN £ I J ] f ^ E L t M F N T t M

¿\ 4 , 3 7 1 37 btí 07 3H 8 6 ЙО 6 0 7 2 57 18 ¿t 7 9 ?4 65 8 8 33 7 8 8 7 6 7 7 г· 11 ) 3b 3 b 9 7 9 5 7 6 Ь8 2 4 Ь 4 Ж 6 8 7 7 6 6 4 3 4 3 9 0 9 8 81 9 7 2 4 7 9 8 4 6 3 6 3 ь 8 t i 3« 9 2 9 4 71 7 7 2 7 7 5 76 ьЗ 6 7 71. , η 2 2 9 1 7 b 79 9 3 1Z <58 9 0 7 0 6 3 7 ü е

13 19 bb Jb 19 9 4 ¿•t)

il 3 17 2¿ 10 І13 t b J¿ ¿9 35 12 Í.4

40 39 41 35 27 37 45 32 35 20 29 23

zá 18 19 17 24 29 3o ¿9 15 24 30 12 13

2 2 7 ( 81 57 7 b 78 J h l l t l (i?. b t 7 4 71 3 ] 6 8 76 3 7 7 8 73 43 9U 87 4 І Л из 8 8 3 í 80 85 >. I 7 7 8 0 4 b 7 6 72 2 9 9 0 83 4l> 6 7 75 ^.0 9 5 o t ; ?- 82 84 2í> УЗ 84 4 4 7 8 77 34 77 71 25 9J)03 2П 8 4 9 1 J ? ! ^ 1 U8 4 1 1I 1 1 1 C 7 4 2 82 3 9 ¿b 9 3 8 7 36 78 78 4 6 9( 80 4b 91 84 49 98 9 5 Z?. 7 6 9 ö 33 7 6 77 2 4 6 8 78 32 8 5 89 l o ] LOI 9 5 1 9 7 4 69 2 7 9 1 79 38 82 85 b3 73 74 2 4 9 1 9b 38 «3 91 ¿5 7 6 82 32 8 3 6 9 ]<Τ B I 87 l b 67 Ы Ъа 7 5 8 0

54 7 9 73 8 4 77 6 5 75 7 8 69 82 56100 56 P8 68 65 GO o¿ 'зі 8 0 73 76 fc71u2 75 9 4 77108 741 O t 64 ^ 6 19 73 52 8 8 Hl l ( i 6 !'2 9 5 19\( С 7b ex 72 82 71 9 4 64 77 79 7 8 82 9 7 72 7 6 71 8 8 fc7 6 8 63 9 0 71 8 7 4 9 1 0 7' 66 9 9 6 0 7Δ 73 9 9 72 7 5 70 7 9 63 8 8 74 9 5 66 89 63 8 3 6«· k 5 J9 81

\ 9 8 4 78 1 6 8 2 72 13 oO 8 6 3P 6 8 6 4 4 4 9 0 77 34 8 7 8 4 27 831 05 9 62 7г ?7 L 7 88 ?- 8 0 96 41 64 7 1 2 8 1 0 9 95 ?9 8 8 о и г ?3 9 1 9. 36 9 2 8 1 3 6 71 7 о 2 * t.7 7 ' 4 1 9 4 82 2? ibi О ? з: Ρ λ 03 4 о 7 95 32 7 3 9 3 3 5 8 0 85 ο 44 ι 84 17 7 о Л І 3 4 87 7о 2 * 9 6 ^7 2 8 76 98 3 1 8 ' 85 2 9 7 5 72 11 9 6 8? 16 6 3 9rt 710 5 91 20 9 4 9 7 I J 6 6 34 3° 9 4 6 8 ЭС 6<J 7 9 ?9 87 8 Г 3 ^ е9 8 > 3 8 8 8 86 21 f,9 8 ! 2b- 6 2 tíl' 27 6 7 90 31 9 7 o b

59 74 6 1 61 66 74 6 2 53 74 60 6 5 68 9 2 62 54 65 84 71 71 7 2 6 7 79 79 66 6 2 73 79 7 8 61 83 6 9 8 5 Ч( 60 78 7 υ 6 8 7С 72 6 4 6° Ь7 8 0 7 4 75 8 4 9 1 78 58 64 81 61 62 66 43 65 61 77: 7 9 ьз

60 67 60 об 76 85 73 57 74

8? 68

30 68 72 6 5 68 73 74 73 57 65 56 54 6 о 60 5 2 71 6 2 72 75 87 64 60 65 79 ь2 7 2 74 6 7 57 о 8 73 6 9 7 1 55 71 69 63 73 73 Ы

35 77 63 69 Ы'і 71 59 78 83 87 70 71 85 49 60 Ró 7С 64 63

чч 54

ЬО < 5 66 70 72 82 70 64 89 f 6 66 76 62 57 79 56 73 НО НО ол 66 ^ 69

72 Q l 8b '83 6] bb 74 61 81 63 ь7 76 55 62 60 62 79 61 84 ο2 67 69 72 58 77 69 PO

BIJLAGE 56

ι AT;*i>iMJLATie vil 5 г uf I L Ь' .и^РЬНАКТГК£ і ENJ r b N SUBPART L K ( c U SI MUL M i t VT P C P U L A T i r FAKTüRSTRUKTUuR ) VJitK i* uiPLKAT.JPEN t i j ' 00 Ë L t M r N U N VEbVJLG -. i bc '.-' "j

) + У-'

5 0 ' / -'t г

)

(•>

'

h)

7,. 71 Ьі îi ü¿. 71

»1 33 J ti 2 о ? 7 4<г-1 «.J 3 3 -Vt 3 6

¿ι

Ьч с ;0 77 С 'J

f.·»

^3 8 3 ΰ*. d ó 73 8β о у і Г^. ч і !. n J ( ->l 8 7 9 2 83 (.1 6 9

17

3" ¿1

?. 3 10 3 5

2 h 0? 4J 04 ^4 9}

f ^ ¿'+

te 71 с, _, M о^ . .^ .'.υ tj i1 ^ и

^ч

2'J 1 2 < 7 55 ^ 7 2 fi J H <-^ 3 9 2A

73 9 7 81

82 85 9Д 78 96 79

ь:

83

83 ЪЪ J. 'J 1 7 h o fi с 5 4.Q 8 8 zi'J 2 ¿ 6 2 ь ) Ы 84 3 6 чі Λ ьз 7· Π 6 1 з : 2S 9 4 3tj 9 6 7?. 7 7 ; . ) ÖJ 91 7 i «14 t i 7 t 4 b 1 3 2 fi 9 ь 7 Ь СО 3 6 2 7 8 0 7 о 6 1 33 34 92

92 75 68 91

г-, 7Z

7 7

7 7

.!6

7В 79

52

11

bb 66

¿9 Ь

43

tî't 6lJ ο8 71 7Ь

25 16

2L 87 34 66 3 8 tí(/ ЬЗІГЗ 2ü 78

to öi У2 Г, І b¿r

19 32

18 bt> 7 3 3 ί·.7 о 9 2 3 ft 8 7 9 3 7 f g (,3 3 ? <-( 7¿ 3 1 c 1 7^ 34 9 ;: b i 2 6 чз В 2 2 0 ч<* 5 5 4 1 С Г' 7 9 4 2 ^б 50 ¿ч «7 75 ¿ε о -18 7 3 ЧЯ 7 0 3 5 И f' 6 J 5 9 <> j

2 5 2H 3(>

4 3

98 93 75 9tJ 79 73 79

c

- 2 !. U 64 75 9 9 98 85 86

77

2a 87 471(13 4¿ 83 39 75 41 R7 5i' 81 3 7 8 8 50 82 4 J 82 49 70 78 jy 3^ 82 43 87 " 5 75

35 73 78 9 8 85 78 87 90 80 94 75 93 84 76 94 86 6C 94 8b 86

(.13

34

7 6

7?

8 3 9ß Я?. IJ 71 •it tí 2 R t 62 8 9 88 η '»8 ЯР 6(. 7 9 77 8 2 71 7 8 60 9 9

39 14

7°

7^ Éf с 7 75 59 38 o7 78 96 5із 81 5( "Я 78 C4 t-q

Lb 73 72 55 49 75 7Ы 74 63 75 81 73 74 /8 7b e«. 82 tí? 69 69 67 85

89 Г? 74 74 87 8о 77 7S 91 97 4 »8 98 о8

ч? 86 86 ^З 83 ^5 7Я 83 86 М? 44 40

25 2.' 21 18 3f ЗГ 46Ί

72 73 8'1 РЗ oq 79 ori

8 4

8>ί

-'S 97 87

9«. 9: 7r95 ól

85 л

1Л 7 0 1 n 3 5 1i ц 1 8 PO 26 77 8 15

78 78

') > 88 9u 8'

69 65

oí 65 оЗ 64 60 79 hl 83 68 76 60 56 65 63

ni Π 53 66 70

37 2о 2й 38 3? ?3

ι» З 26 12 2ч

69

PR 8 6 7 5 P U ' ì ' , BH 83 8^1 о ] o? 8 8 78 77 81 81 93 95 86 71 71 6 5

&Γ J 4

4 4 6 3 64 76

«О 71 76

60 8?

68

66 78

5b

an

64 78

64 6)

72 70

71 85

70

t 5 69

68 82 ö5

84 81 8i. 8 8

81 72 6 7 56

o4 81 6 b ( 9

82 81 75 86

8 3 83 63 75 56 * 9 64 t 4 88 9 0 53 4 b

71

57

6 7

71-

74 68 62 73

72 bC 72 82 53 67 51

62

•>*>

72 74 69

6 7 1;4

o8 74

59 79

6 b 48 65

52 64 52

77

87 8fc

74 79

82 79

48 95 38 78

58 74 55 7b 67 97 PI 62 71 79

72 b* 65 6 0 08 7 3 гэй 6 r, 6 2

f.3 73

7 J

63 58 82. 76 76 8 3

86 сзЗ 69

62 74

62 i l 69

71 71

8ö 98 91

7"» 7 8 3 ^ 1 L' (. V i 4j P^ 'Л 2? 7 4 7 6 71 І^ 88 3 2 7 0 8S 3 0 8 4 Ч( 4? 8 1 U 7 ? 4 7 4 3? 2П 7 7 8 6

85 Γ '8

66 71 76 β*

76

61 68 14 27 9 ' 89 53 o5 65 7 9 6 5 63 If 8 7Г 84 56 69 с 9 2 8 5 69 57 79 81 7 t ?t 53 3 31 , > -з 8 л 75 8 J 35 t,5 8θ 8 5 72 fi ЯГ ' V , 6 4 5 8 7 4 78 58 4 b Π 31 oí 7 3 7 5 73 ?' 1' 0 7 ' l ' I 4 1 5 5

78 9 7' 3 ! 0? 4 ' 7 0 2f83 84

82 oí

en 78 7* Я«

Q

6 81 59

60 69 o3 92 63 80

r>5 60

DATASIMULATIE

Vili

DRIE UROEPSKAKTÜRFN EN OKIE SUBFAKTOhtN ( ¿ I E TABEL 6 . 3 . 2 . 1 . ) VUUR 1 ^ OPERATOREN B U 100 ELEMENTEN L HZ 9 1 Ζ 91112 31(4113 4 94126 Ь 991Û0 b 92 97 7104102 β 97116 ч 96 С9 10125118 11 7 7 1 0 7 12 8 9 1 2 0 l i 91117 14 91 9 0 1ЫС2107 16 9 5 1 0 b 17 9 7 1 1 6 18 9 7 1 0 0 19 6 э 1 1 2 20 82 93 21 9 6 1 2 0 ¿2 8 9 1 0 9 23 1U1120 24 85 99 ¿5 9 7 1 0 5 26 9 8 1 0 0 27 9 8 1 2 1 28116119 291С7108 "^0100102 31 9 7 1 0 2 32 Q7107 3álC2128 34 891G0 35104121 36 9 8 1 2 0 37 97 98 38 9 1 1 2 2 39109112 40103117 41 8 4 1 0 0 ^2 9 9 1 1 2 43 9 5 1 1 8 44103115 45H'7110 4bJ¿.01U6 47 Чь104 48 9 6 1 0 2 49 8 6 1 0 1 50105102

6^100 551C7 79109 58l¿4 Ы111 59101 68105 Ò8113 52104 60119 52114 5ь121 59124 58 98 59 99 491U2 55111 t)4 93 62110 50 8 1 63111 40120 77110 58106 5310b 60114 68118 56102 78107 62121 48115 69111 75131 54118 53 9 4 81115 49103 62110 51115 67132 70109 66124 75115 79107 51113 59112 34100 44107 75108 72101

59 9 3 1 1 0 б Т І ^ Ю Я 8 ^ 1 0 3 8^ 93 7 1 8 6 1 0 2 4 4 1 0 3 9Θ107 8 3 9 4 86 53 9b 96 4 5 1 1 0 1 0 0 9 9 7 75 76 78 08108 5 3 1 1 0 1 0 3 95 84 85 9 0 65 97106 6 8 1 0 8 8 9 1 0 8 97 82 91 71 8 6 1 1 2 7 5 1 1 3 1 1 7 1 0 5 1 0 4 80 7 8 57 82113 7 0 1 1 1 Q9112 9 4 77 85 4 7 9 0 1 0 3 4 5 1 0 3 1 0 8 84 7 9 1 0 2 1 0 2 45 6 8 1 0 5 66 о 5 1 0 7 1 0 1 9 7 1 0 3 87 73103123 6 4 1 2 5 1 2 3 1 0 3 1 0 8 1 1 1 96 65 9 3 1 0 6 7 0 1 П 1 1 4 1 1 1 93 91 96 59 8 7 1 2 3 7 1 1 2 0 1 1 9 1 1 4 ) 1 1 98 96 84 9 7 1 2 3 ' 5 6 1 0 2 1 1 3 1 0 6 1 0 5 92 « 5 60 7 8 1 1 0 6 5 1 0 6 1 1 4 1 0 7 1 0 2 84 93 67 90 93 5 7 1 1 ' 90 82 9 0 84101 53 7 6 1 0 7 42 9 8 90 89 78 9 0 1 0 1 7С 96106 5 5 1 0 9 1 2 3 9 9 1 0 5 86 96 52 8 6 1 0 8 43 92 9 6 1 0 6 85 86 93 b2 74 9 4 53 8 1 1 0 5 9 4 8 9 79 86 63 70 92 7 3 1 1 0 1 1 4 1 0 3 95 85 9 8 76104119 6611.6118107109 88102 59 8ЧІІЗ 50 9 1 1 0 0 9 2 94 ^ 6 1 0 2 72 9 0 1 0 2 7 0 1 0 6 1 1 8 87 9 4 78 εβ 55 8 9 1 1 3 56 9 6 1 0 0 87 8 4 9 4 1 0 5 56 80 97 45 96 93 78 81 97 97 56 88110 6 8 1 1 3 1 0 9 1 0 3 1 0 0 90 87 51 83119 4 3 1 1 2 80 75 8 0 1 0 0 1 0 4 681G2114 6 6 1 2 5 1 0 0 1 С 0 9 7 1 0 1 9 0 43 9 0 1 2 0 73 9 8 1 0 0 9 9 9 6 1 0 3 71 6 2 1 0 4 1 0 6 52 9 4 1 1 2 99 89 9 0 1 0 1 59101116 70113 95103 88111115 62 9 4 1 1 5 7 0 1 0 8 1 1 0 1 0 1 95 82 86 7 2 1 1 0 92 5 2 1 1 6 1 0 4 1 0 3 80 79 92 71 85102 56 9 8 1 1 9 90 97 90 90 63 9 6 1 1 5 54106101 87 98 871C0 8 2 1 1 2 1 0 3 5 6 1 1 2 1 0 1 1 0 3 91 78 67 50 9 0 1 0 9 67101 95 8 4 9 3 1 0 1 1 1 7 671001O8 4 9 1 U 1 1 4 1 1 0 94 87 9 6 6 8 1 0 0 1 1 1 5111 O l 1 7 1 0 2 1 0 8 9 1 1 0 4 62 9 2 1 0 4 5 2 1 0 8 1 0 6 89 85 88 88 51 96 99 73 9 3 97 87 87 8 7 1 0 5 7 7 1 0 1 1 0 9 6 1 1 2 1 1 0 6 1 0 8 1 0 3 30 80 47 76 99 6 7 K 2 1 1 6 60 9 4 75 84 7 9 1 0 3 92 771P7 98 98 91 81 79 67 83 95 48111 92 9 3 83 94 83 7 1 1 2 1 94 5 8 1 1 6 94 84 83 95 88 51 8 5 1 2 0 64 9 6 1 2 2 1 1 4 1 0 7 92 92 54 9 0 1 1 ¿ 6 7 1 1 3 1 0 2 1 0 4 1 0 6 97 99 65 81 94 5 2 П З 97 9 0 9 1 86 86 57 9 0 1 1 0 7 1 1 1 1 1 1 1 . 1 1 1 1 0 3 94 9 8

BIJLAGE 58

J>,Tí,al4ULATIE V I T I OKIF ORUtPSKAKTOREN EN ΟΛΙΕ SU8FAKÏÜREN ( ¿ I E TABEL 6 · 3 · 2 · 1 . ) VUUR 14 UPORATUREN B I J i n o ELEMENTEN VERVaiG M 8tí Θ9 52 1.1'πι О 9 ^З 8 Ы 1 3 brillilo Г Ы ( '3117 561C1119 •iTIO'illò 5H10B131 SQ 9 7 1 U B 6-0 Ч і Я О З dl 9 1 1 0 8 6¿ 92 9 5 63113115 64 79103 оіН'4121 66 I О 7 1 2 0 6 7 9 7115 68 91103 69 «•2102 70 9 2 1 0 8 71 9112 3 1¿ 9 1 tí 9 73 9 3 1 " 6 74 9 3 9 4 о 010 О lb 76105104 77 9 0 1 1 4 781(4122 79108119 80 9 6 1 1 7 81 851Р6 82 9 8 1 1 8 33 9 2 1 0 3 04 9 8 1 0 5 85 9 ГЦ 1 9 86 8 9 1 0 9 87 9 5 1 0 4 08102120 89 9 5 1 1 1 9 0 1 0 7 87 91 8 8 9 1 92 95 88 93105 99 94 94111 95100116 96 8 4 1 1 6 97 95112 V8122122 99 9о118 100 95122

7111 J 36 99 46119 66107 56117 62123 56126 6Ü127 47104 56114 55121 26101 47120 67101 74118 6^125 6 6 1 If О8105 ЧІ 9 5 62107 67119 63120 44 93 41 87 55106 50112 751J 7 68117 73110 73106 bJlC9 79126 57106 5Ы07 70119 06114 671t 5 65122 50114 43106 57 8 7 60103 62111 6010 5 73113 42113 47108 71140 76116 69111

55 65 9 4 59 8 5 1 2 9 67 88113 73 9 5 1 2 0 6711)2103 56 9 α ΐ 0 5 74104123 6410710R 66 8 7 1 1 3 69 84 1 1 8 62 Í36106 72 1 2 С 3 6 92 9*;· 5 9 96118 7 Г 93111 62104112 6 3 8υ102 72 93 69 60 8 8 1 1 2 67 9 6 1 2 4 7510Í 119 64 95108 47 7 2 1 0 9 4 d 83 97 7 0 84 9 5 5 6 951 0 1 68 86 9 0 59 87 9 8 6 5 1 1 3 Р6 76101122 6 5 82 9 9 74110 96 76 9 5 1 1 9 57 8 8 1 1 5 56 8 6 1 1 5 51 9 8 1 1 4 Ó911J9114 60107115 6С 8 4 1 1 2 58 9 4 1 2 2 5П 82124 54 9С 1 1 5 54 9 6 1 2 3 78105119 61 94108 61 83 9 3 61 87111 61114100 73 9911 I 56 85 96

54 9 7 10 3 1 C 4 9 4 89 9 4 48 9 Р 1 14 9 7 1 0 8 1 2 1 9 5 4 7 1 0 3 1 2 5 1 1 2 1 06 83106 6 7 1 1 2 1 1 2 961. 0 0 8 1 9 5 5 5 1 0 7 1 0 4 9 2 B9 9 4 9 5 4 2 8 9 1 0 7 7 9 82 9 6 9 6 59126 98 9 3 90116108 ЗЯ1241 15102 99107102 8 2 1 1 3 1 2 4 1 1 6 1 19 9 3 87 6 8 1 0 4 1 1 4 1 1 5 1 07 97106 6 6 1 Г 3 1 0 8 9 7 87 89101 6 0 1 Г 3 1 1 0 9 7 95118113 3 2 1 0 6 9 4 7 9 78102 81 7 5 1 1 0 1 0 7 1 0 0 99 90104 5 2 1 1 6 9 6 9 2 82 94101 5 9 1 2 3 1 0 4 1 0 2 91105 97 5 7 1 0 51 ¿ О Н О 88 89 КЗ 6 0 0 7 9 4 9 3 80 89 78 64 о б 8 3 8 8 82111107 6 8 1 Г 5 1 0 0 1 1 1 94 87 91 5 9 1 1 4 1 0 5 1 0 3 92111104 7 9 9 9 1 0 0 9 3 95102 88 4 9 9 4 1 0 1 1 0 6 93106 94 6 3 О б ! 0 1 6 6 84 96 P9 4 9 1 CO 9 6 8 5 81 92 96 6 5 П 3 1 0 1 89 97 8910 8 5 1 1 1 1 9 4 83 84 74 85 7 3 1 1 0 1 2 2 9 6 1 00 89 80 4 5 1 3 6 1 0 8 92 89 86 90 5 8 1 1 7 1 0 4 1 1 2 98 97 99 6 7 1 Г 5 9 3 6 8 84 97109 5 9 1 1 7 9 1 9 8 87 83 86 7 0 1 0 8 91 8 4 80 95105 61 9 9 9 8 9 6 86112113 4 5 1 Г 4 1 1 1 1 0 1 88 89 86 6 3 1 Г 0 1 0 3 1 0 4 1 04 90 86 7 1 1 1 4 9 8 1 0 3 92101102 5 8 1 0 9 9 5 1 1 6 88 90 83 4 1 1 0 6 1 13 9 7 91 90 87 7 2 1 1 4 1 0 9 9 3 1 02107107 7 3 1 1 1 1 I C 1 0 5 1 031051(0 6 4 1 0 6 1 0 2 1 1 9 93104 92 6 0 1 1 8 1 0 4 9 5 93 88108 8 7 1 1 6 1 1 ^ 1 1 9 1 16 94 90 6 0 9 7 1 02 9 2 87 92 86 5 9 1 0 7 9 9 9 6 94 92 95 6 0 1 0 2 8 3 8 7 84 93101 4 7 П 4 1 0 0 1 0 4 84 99 90 7 6 1 1 7 1 1 8 1 1 0 1 05 76 73 5 0 1 ^ 3 1 0 8 9 4 98 78 76

ri'tt'¿t¿ t t ¿ I t l t t l ¿l £ l t l £ c i ¿í t U ífct í t t £ι(.·££21 11 с l '¿ i £ t I t t С1 ¿ t £ с' ¿ ot £lr:££ZÍ ¿t f 7 Z l £ £ l ¿t £l£ ItZl L¿fZ££Z t l £ t £ £ £ ll ¿IttttlL tt ¿ it ι £ Ζ I £t £ £ J £ £ ' t . l t i. 'ci£2£tZ £t £ l £ £ £ ¿ i 11 cedili í é^ >•" ( £ t £ i i t £ £ U t t t l r t t I t t t ' t l cí £ l t £ £ V . l ¿t. t í t l t t l tt ¿ ιé t£ t ¿ с С fAídidi \ \ t l é t t t l £ 11 l £ £ i t t £í¿£££í tt £ r t £ £ f l tfe ¿ltt£Z¿ tt £ it £ 11 l t t ¿ i t t t t l t£ t í Z l £ £ £ ¿c £tv£l£Z2 te £ £ ¿ l í ¿ £ ct t l e t t f c l £r £ l ¿ t £ Z Z ce £ 11 £ £ с l ce £[£ [£££ t L

b l ¿ < . c í . ¿ i í t ì IL" i £ t i c ¿ c f l l t f l l £ l t ¿ i t L C £ I I t t t l £ l^ c^cíáZlZZZlci J£ tlJctEZt-tt'ltt it £ <: t. .' t f". Г ^ ¿' 7. ? ? ¿ ΐ Г ¿ІСІЕ.ЪІІ££([£І£ t it . e t c i ¿ ¿ ¿ ¿ ¿ i c t i^tfctl i t i U l l i tií.cí.fclíctíl£lt t 11 l e t e i ¿ ¿ Ι ι ί l £ ι ι I t - i ò t t ι lo i ι I I ι ¿ с t. с *l t с ¿ с "l ¿ с I £ tli.LtíllZí'll^lt tii.t<.£ll¿¿n¿l¿ t i c . t . c £ l t £ £ l l¿ l£ t ι i 11 £ l І £ £ [ £ " ! t f t 11 » t £ f tfci 1 1 £ U V i t e t t l l t i l l t l f t ic^ct£ l l l l l l tt t i c t t t l U t l l t i t tier. c £ l i t t . l l i i £ t£.cC4.£lltt.¿l¿e£ t i t t t £ ^ íti IX it· l ttlLl¿c¿llí.»Ll£l t i t t t £ l l t t l U l £ t i t t t £ í U £ l l£ í£ с i £ t t £ r t £ £ l [f. l'r' c i t a b i l i ocliZJ9 t i t n - t f l t c i l t t c t i i . t t Ζ l l l? I l ¿ I t ¿ > . t t c i r c ' l¿¿ i l ¿ l £ w^.«,i»i»ce ' ¿ с J с r. t £ r i e l e t U £ ¿ l t ¿ r c t U t e t l l £ £ l l e l'· t i . e e £ l t t t t l£ l e ct¿lt£lceí"ll¿ir t i t ·. t £ i U £ t t t 14

Γ ι e t ft. I

i. l ¿ I t £ t I t t i l e it

t c ¿ i i ; e £ z i i i t :?л

r

-l J 1 4 Ì 7

¿ l £ í £ £ l í í f T t £ tZ it Z i ? ζ ε ζ ι ί ZZZZZZZ £Z tt l ttZJT Z £ l ¿ £ l £ ttt t é t 111 г Í Z Z l Z ? Z £ it l l £ i t i 11 £ t t \ í l \ It £ l t 14 £ l i í £ ι l £ t t 'it t t t v>"^ t i f £ I ι ε l £ ifc It 111 ε >l ι ttt' ι m 11 £ 1 ι t Z t ï ι ì 111 τ ι £ if t t í I t Z tJ Z Z Z t t ' li" t it £t ÌZitZXt le t£t £ ¿£¿í ΐ ί t ιΐ Λ I I t t Z t [ £ f Ί 1 1 ε t ¿ 11 li" £ it Ç £ t I£ I£ t : z 11 t £ Ι 11 t £ Ι 'с t tt t £ 111 Ci ζ ε ι ιζ íc tl£ 1 1 1 ZI Uól i t t£ ¿Z£ v¿ l¿£ll III lilt tit li l££ U \ t \ UU'f ¿It i¿ i ttt ι t t l £v I t tl£ it ittll г It f £ i I f If li t ££ i ι к it t£ t i t tt it t eC LÌ t 1С ι г. г 11 Z Z I c t t f ι£ ' t i t t £ £ 11 t t Ι [ £ Τ £ it £ l £ b t Z t i Ί £ I o£ о £ К t It t t Z U f £Γι£ tt if e l f l <. t :. tс ¿Ζ f Ζ££ It t U t t £ i¿ ζ ε ι i t l i It c'cZ Z t Z J Z б о е ' с é e It t l £ £££ ti f £t if t t it t i e £ e £ l l t .it I t í t ot t t t ¿ -; £ 1 1 t t ' t t c £ £ i£ £ 11 Ζ l £ £ I t f Ζ £ liΖ t с t i Ι Ϊ I 17 l I lcti e e é t t i t t £Z i ι ζ ε 11 ε 11 U e_ t t £ t.£Ll £t Ι l i t i lele с ¿Ζ U t u 1£V ¿ t ' Ι С ¿ l e i ι £ £ 1111 t £ t ι £ ι « lei' t t £ £ . £ í\ Ζ £ Ι ι Ζ Ι 4 t εε ι ' t . ' t£¿

υε:ι

ν L

U¿ l N

JI 7 )

änuf.i,4V ι»

Jl

ν >'iil M I N V - V LÌlOl M l N v ' - J

^ w rvtvd

ТГЛЧЗОПЭ ЗМХьПП • " M i К".Г,Э

I

-il ζ) Sí. ίΐεη? ν ι ν ί

0

zoii

vivirl

es ао і п я

BIJLAGE 60

u K j f p A : ü b ANTWGIJPJEN UP 1 5 V^'AÔEN ( ¿ I L ΓΑ ;¡ L ¿ o l o 2 o ) Л,\І } ¿(ï / и Ь Г Р К Ь

313112311233313 á ' J o l 1 3 3 П. 3 3.33 l i 31 В Ц 9 8 1 9 2 3 1 3 1 3 3 1 3 1 1 2 / . I l з 3 3 3 13 3 1 3 П 2 2 1 1 3 3 2 3 1 3 т і і з з і і г з і з і з 318) 1 3 3 1 2 3 3 3 3 2 3 3131 1 3 3 1 1 3 3 3 3 1 3 3Ζ32133 . ^ ¿ 1 9 ^ 311311111311113 3 1 3 1 1 3 3 11 ¿ 3 2 3 1 3 212111212332323 3232¿32 12331?13 318119811833313 1 .il Ι . 1 3 1 1 1 J 2 3 31.3 319118911311313 J i m 33 113 3 1 3 1 3 ? ? ^ 2 . ' , ι 1 2 1 9 321 32 i J 3 1 1 3 3 113^1 313 13^2)1212331122 Я j i 2 2 2 2 2 2 2 3 2 22 3 1 3 ) 1 3 3 1 1 3 3 3 313 J323]2213331233 223113311231313 3 1 ^ П 8 8 1 1 3 л 3 313 Π 3)11311333113 222222222222222 313112211233313 31311331133331? 31311.3311333313 31211321123331Î 31 3 U 3 2 1 1 2 32 21'3 31 3 1 1 2 3 1 1 3 3 3 3 1 . 3 313223312331313 313113313233313 *131 1 3 3 1 2 3 2 3 3 1 3 i l 3 1 1 9 9 1 ? 383 313 2 2 2 3 2 2 2 1 3 2 3 1 122 3 33112212331333 ! 3233993 3131213 322123^13333223 1 U8?)11333llll 2233?3J:*13313Ï? 3221123113312)2 313123312333^3 3 322222222332313 313112222232323 313)132Γ1232313 2222222Σ2321223 э 1 ^ В 1 2 2 1 3 3 3 ? 3 1 3 3 1 2 ) 1 8 9 1 1 3 3 3.3)3 U 2 3 H 3 1 1 2 ) ] ) 13 3 1 3 ) 1 3 3 1 1 3 3 1 3 1 3 П 2 2 122 2 3 2 3 2 ) 23 2 ? 2 2 2 2 2 2 2 ? 2 2 ¡ ' 2 2 3111189 13331113 ? 1 д П 3311331313 323213311331313 312)12212333313 3 1 2 1 1 3 3 1 2 332 313 9 9 3 3 1 9 3 1 1 3 3 1 3 U 3 1 2 1 1 3 3 1 1 2 3 2 3 1 : 5 31 391.391 1 3 8 1 3 9 3 ;.121133U343tìl3 323323311333323 J 1 2 1 1321231 З.ЗП 392312212333313 J23313211232313 313119311631313 3 1 3 1 1 ^ 4 1 1 3 3 3 3 1 3 3 1 З П 3 3 1 1 2 2 2 313 3 1 3 1 1 3 2 1 1 3 3 3 3 1 3 313) 1331133333?. 311113 311331313 3131133113323)3 ¿321133 11231313 313119911331313 3131133)1333343 ^23223222432223

115333311331312 31311321123131"» 3131133113*3313 312113311333313 2 2 3 1 . 2 2 2 1 1 2 1 1 312 222222222222222 3 J 3 3 1 3 3 1 1 3 ? 1 3 1 ?

313113311331313 322922222232323 ЗІЗПЗЗПЗ^Зі 3 31111331)333313 312113212223333 313113311331313 21321331223)112 31311321132331? 333313311333313 313113311333313 3131133)1332313 313112313332223 323323211321213 223222222232222 31311131133331* 319113911833313 222122212212222 33212223323*31? 313119891331313 312113211333313 31311221)33131? 313113313333213 322223222222223 333113311231313 312313311333313 223112312232323. 11311131133 3 П З 3121131133332Ì? 3131 13311333313 313313313331313 Ы311331133331 з 31311331133331 * 3131133113333)?

оКиГР 3 : Ut ANTrfUQRÛt'J UP I'S VRACfcM [¿IL· TABEL ' . , ] . ? · ! VA.M 3 00 ZdSTTRS

І І З І І З З И ? >ЗЗІ5 31?П2321?312?2 3 1 ^ 1 1 3 6.14^3 3 3 1 3 3131133] І г З І З І З ^<.Г„22Л222?^22?2 ;>121232113313]3 31U13211331313 31313^с98333313 312113Ξ11?3?313 133331333331312 313Π 3313233213 3^3213311332313 13211111323J313 312118418833313 3131133123^3313 312Π1211333313 332332¿32333212 313113311333313 )11131)1123331) 33)311313331133 313J13-JÏ 13333) 3 322213213222223 123233¿1123?313 313113311333313 3131132113333)3 312222222232222 1 1 1 1 3 1 113 3 3 1 1 1 1 323121111333313 312113311333313 313113311333313 113133212213131 211]2,591323І123 319193319333313 313113311331313 3931)3311333313 333123213333323 313113311331313 1 1 2 1 3 3 3 312 3 331) 131.211112223233 23*12232133331? 313113311333313 313113311333313 313112213233213 313118911333313 1 3 1 3 3 1 13121113). 31111121332)113 31311331 1322313 313113311332323 313112311333313

зізпэ?)лгзззтэ

3383)1311331333 Ì13)13311i33313 332332212221333 3331)3311331313 313113311331313 311119911311313 312113311333313 233322323231213 31311331)333313 3333)3211331313 3121)8911231131 3131133)1332213 333222212331212 313113311333313 2121)113333212) 3121189)3311113 31311121 1333213 3131223223322-13 312112222233212 112)213)2231112 Í13113311331313 313113311333313 223223222222222 3\3U2211333313 313111111333313 311111113213113 313)12 c ai332393 313)1331)332313 213122331332212 313113318333313 313)133) 1333313 313113311Q31313 3131)9811333313 311113111333313 3122)9811391316 313113311333313 312113311313333 313113311333313 313113311333313 313113311239323 223223822222222 31333311131)313 319119919333313 313)13311333393 333113311333313 3313)1113311113 319)13913331313 313113311233313 31311331). Ϊ33313 313)1Jl>??33313

BIJLAGE 62 o i v J F P 4 : Of AfJTfc'JijRJhN ( Z i t T A o L L ^ . J o - ' o ) VAU

U?-31321133231 3 Ы3113П133331 3 322223221322323 3223211)332Î133 3131)3321333313 333313211331313 3121H2122?1313 3131133Î3333313 312113211333313 312113212232313 313113311333313 313113311333313 І 2 3 2 1 3 3 1 33313? 3 3122132133312)3 313212211373323 :»11122'222222223 3 1 3 1 1 3 3 1 . 1 3 3 1 31 3 333113311233313 322212222331323 313111113332113 313112213333313 313133311233313 313113311331313 313119£Ч83?33) 3 323113212333313 3222198113212)3 313313313331312 313113311322313 31J222899323Î213 323112212331373 312113311223313 313113311333313 319129821233313 311113221232223 312112212231213 323113211331313 312222211232213 212113311333313 311112212331313 333113311331313

J P ' b VKAGEN 8'» Z U S T b K b

323122221333313 23??32233231231 322229212322223 313313312321311 222222222233313

зізптіззззіз 312113212223313 312119811333313 3232189122:>2223 311123211333313 322112212232322 312113112333313 312322113331213 313113311332313 3191198)1311313 3131199)2333313 313113311333313 313213311233313 231312212221212 31311311331)333 31211321.1331313 312?13212221223 319118918333313 238222923222212 311U3111U)313 323113311232313 311119118303813 313113311333313 222222221232222 3 i m m i 3 i i 3 i 3 313119811331313 313)13311333313 222222221232223 323218913321113 313113311.333313 313113311333312 333111311331133 222112211232212 313313311231113 111221223212132

„ k j t l > 5 : UP- ANTWlJUROtiN OP 15 VRAòfcN ( ¿ I f . FAbLL ¿ i . l . Z e » VAN ЯО ¿USTEKS

.ï i l i 3 311 г з з з і з ^11131111313313 32 3 1 1 3 i l 1 2 2 3 3 1 3 31 ¿ 1 1 9 »JÏ 2 3 3 3 2 1 3 332112 io3?3J113 133331233?Î1312 313113-1123331 3 313ll2¿i¿Z?,)B9ñ

3i.i)i2:i г з з ^ г п

^3L'3J2Ji3331313 5І311 J i î 1333313 3 U W 3 3 J 2333313 ïl i l l J ^ I 2333313 312313212331313 2131222219333) 3 3131133113323)3 333J32?31b31123 312113211^33313 Î131132Ï1333313 31311331233)213 3¿3112212233313 313U3311333313 322212232?112)3 313111)11331113 3222222213?2313 3131)3211333313 223323321231312 132233311222321 I 131332)1220318 232122222331313 1 3 1 3 2 1 19333114*» 31?213frl2322323 111119813333113 H21132.U333313 31311Ì31 13333)3 3133)29)1333213 ¿23122221333312 3 1 3 1 1 3 311 33 3 " 4 3 322212^12322223 313313?i)33?313

313U.2213333213 31.31 1 3 3 ) 1 3 3 1 3 1 3 312)13311223313 313113311333313 313113211331313 313113311333313 313113311333313 3131)3311333313 313)13311333313 3131 1 3 2 1 2 2 3 3 3 ) 3 213213212333313 3131)3312333313 322222222232223 31) 1 1 2 1 1 3 3 1 3 3 1 3 322213211222313 312212211221213 333)333)3312213 33331321122)313 2222222?2222222 322U2311333213 311113311333213 31311331)333313 3131133)1333313 313112211232323 321323323331313 313113311333313 3131)99)8331313 312122212<:21212 3131133)1332313 222229813222222 113113311331113 312212213222222 313)13311333313 311)13113311133 3191.13811331313 )13123311232212 11311331)331113 313118918333313 3131133113^3313 312)13222333213

BIJLAGE 64

u K L ' l Ρ t : LI A N T U ' J Ü K ü t ' J ÜP Tb VRAOfcN (¿ΙΓ T A b b L ¿ e l . ? o ) VAN ο Ί ¿USTLKS

JJ.31133113333Î 3 3 1 3 1 2 9 8 1 1 3 3 ] 31 3 3131133123323)3 312211832333313 313113311333313

зізпчзізгз^зіз

51311331133331 3 312113211333313 1 11132-112333213 ^131133183334)3 J i m 3312331313 133131331331211 3133131113313)3 ¿9311331233331 3 31311331193231 3 292214 121221213 J 3 3 J 1 2 2 ? 1 2 3 ) 3) ?

31122ö^22?23222 313112211233313 ^'ПВЧІІЗКЭЗІ ^ 112392,^23, 2 ) 2 2 2 1 1 3 2 ) 22) 2 3 3 3 3 1 i 132334^9321131 ^12113313232232 122112 i ) ) 2 3 ] 2 1 2 31311331123?3)3 3)311331133331 3 32331321123)313 333313311231313 ¿1311331133231 3

3131133113-3313 3232132112:)313 323213212332313 31.3113311333313 31231322)232213 312212212399313 3222133)1332313 3193133)133)313 112133311233211 3131133) 133fi3]3 133333311)313)1 2321312)3322121 3331133123333)3 313112311333313 ЗІЗИЗЗИЗэЗЗІЗ 312113213333313 31211321U333J3 3131)3311333313 322122212233213 3191133113333)3 31319331)393313 •»in 1111 * І 3 1 П 3 31321331)332313 э13123311331313 122СП221233).313 313113311332313 313112211333213 313123311231313 333923322331312 332211212331123

Kl:f-P 7 : Hl AINTrtGUkÍJÍfN til T A o t L ^ β 1 « 2 ο ) V\.M

. - J á l l a j l l J233Ì 3 4

-

31ÍJ3->3]133Í3 ІЪ Λ ί·1 1 2 3 ] 1 3 2

' l¿222U3n M U 0 3 2 1 3.M ) 3 2 1 3 ? 3 Я і П І З « . · ! ) ^ ? ) 31 3 :\2Ì 33233?333? 1 Í1222 22]1223212 ¿;.322222*<.3322¿ 3iill331233.-s323 j.1 Я 1 3 J) ] 3 3 3 3 3 . 3 < Л 2 П 9 Ь ) 333^23"' 313 113 3113 3131 4 313113311233313 Jl3113311i333ì3 ^ 1 2 1 1 2 3132 3 2 2 1 3 3 1 3 2 1 2 2 1 3 3 3 2 3 1 •> :.22222222222?22 3 1 2 1 1 3 3 1 2 3 3 ) 313 ^2222222223?2?2 . ) 3 1 ) J Л 12 3 5-*) î ¿33311Ч1431 Μτ 3) ) 1 ) З П 2 2 3 3 3 2 3 33311321133131 3 32311331123131 3 313J13311231313 : 13113,-113333i * 321212211331213 222222222223222 323323321311313

UP «i"

1'J VIlACjh tUSÏLK^

И З ] 1331 1 3 J 1 313 313? И З ' 133 ^ З І З 3121133112313)3 U2223321322222 31311999rí333313 313113311333313 313113312333313 -:1232133123323?3 11823923223Ь911 312113Ь13332313 313U3311Í<:>3313 31315233323311). зІЗІ1331133)313 313113311333313 3111.1321 1 3 3 3 3 1 3 1.33 3 3 1 1 3 3 1 3 u n ':>22U22223-32382 319113211322313 31311321)333313 3 1 1 3 1 Î3J 2 3 3 3 3 1 3 ПЗЗІЗЗ) ІоЗІЗІЗ Я З З І Î3J 1 i i l 3 1 3 33321221123)313 3121222113?3213 313113311331313 311113213233333 312112211233313 333113312333333 222222222223212 319228982332223

BIJLAGE 66

obÜLP Я : Ut. ANTWlhJRJfcN ( ¿ I L TAiibL 4 e ] , 2 . Í VAN

l'îP з VkAGtN A-C Ζ Ubi LH S

3131хз^ііззззіл Ï 1 2 U 2 Ï 133 32223 ] І П 39HV333311 J ]33333133331331 3327Π213311113 31 2 Π . 2 2 1 2 2 3 2 2 1 . 3 313113311333313 313113411233313 313]13311933313 32?ll2.',11332313 322222222322323 333113311333313 313113311233313 313^2331)231313 313113311333313 1 3 3 3 3 ) 31 1.33131.2 32322231)233323 3131133112391)3 313113311333313 31321991b331313

313) т п з з з з і з ^1??2?322?33322 î 1311331.123131 3 3 1 3 ) 1.331 1 3 3 3 3 1 3 312))291β333$93 312122211233213 319)i?212233213 311Π3311233313 313113311331123 3131332113123)3 282222?22fl39383 319113311331313 3121.21212223212 3131.19Я1 1 3 3 3 3 ) 3 Í323321392U133 232331923221122 322222222^33223 31232)33)3312]3 32??1<'R22232322 313113311313313

,Μ^Ρ U I L

-i : TALÍLL

ϊ'Λ~ \NTWOiJKL)bN UP 15 <.1ο?β)

VAN

ЬП

изгпзгіг^лзіг ?J3l]?¿2.'¿2í 2?? .О 2 1 1 Γ 9 8 4 · 1 3 Ι ? 1 3 312Î J U U 2 3 Ш З ',13¿1^31333J323

*\ η 1 Я 2 1 И 3 3 3 1 3 'J33ll?31133)i] 3 'ЗЗПЗЗІІЗЗіЗІЗ )"»ЗЗР.831Р33319 í ) 31J 8 9 1 1 3 3*. 3 1 3 ¿2221 г? 123 37213 31 311ЧЯ1 1 І І І 3 1 3 M З П ? 2 1 1 3 2] U 3 52 22122232212U jil i l l 3 3 1 1 3 ? ? 3 1 3 21 2 1 ¿ * 3 2 2 2 Ji ZI 2 ?12U 2?12333í) 3 313113311Î33313 ^1 Ϊ Π 3 311 3 3 -(313 J 1 3 5 i 331132231 3 31311991193331 3 31310341.1883323 ПЗПЗЗІІЗЗЗЗ] J 3131 J<5flî.n33J ] 3 : 22?2?2222?22;>? 313118911332 323 3] 2 1 2 3 2 1 2 2 2 3 3 . 1 3 -19212313323213 313113311233313 222222222223313 222222222231312 2 1 2 1 1 2 2 2 1 2 3 1 222

лзпззі^з ізгіз 313113311333313 3133J1Î13331313 3221 2 2 2 2 2 3 3 1 U 3 -33313111331313 313113311333313 î 3 i i m i 33 31313 31 31 1 3 3 1 1 2 3 3 3 1 . 3

VRAGtN

ZUSTERS

BIJLAGE 68

bRUEP 10 : DE ANTWOORDEN OP 13 VRAGEN (ZIE TABEL 4.1.2«) VAN 40 ZUSTERS

312112P11333313 232221223522212 323222222231393 313313313311313 313213321231313 3131Ï2212333313 323113312322323 222322222331222 313113311333313 212112231233213 313113311333313 312112212333313 311113311333313 312219311231313 331313211312333 313113311333313 31311331)333313 333311211331113 313113311333313 322213212333213 311113113333313 312113311333313 212122211233212 338313911331813 333313212331313 393913311231313 312112212233213 312112212232223 323229822332212 133131111331111 312112212333313 313313313221222 313113312333313 313113311333313 ¿23222222232212 313113311333313 913112211223323 313113311331383 313113211333313 312113311231313

BIJLAGE 69

ÜIJLAÜE Ι Ι · 3 β DATA BERQEPENIZIE PARAGRAAF 18 BEROEPSblSEN VAN hl BEROEPEN CODERING 1 : BEROEPSEIS RELEVANT CODERING 0 : BEROEPSEIS N I E T RELEVANT

ι 2 3 4 5 6

o o m ooooonoinoooc 00110000GC001P0000 OUOOOOIOIOOOOOIOIO 000100000010010000 0OOCO1O10010000001 110000110000000000

θ 9 10 11 12

OÜO100001100100000 10010000100C100000 011С000010000100ПО 00110000CC00101000 001100000100100000

7 liocoooonoceooooo

13 ooooomoooooooooi

14 000C10C000OOO11010 15 001CCOOOOC10100010

16 ooocooooooioomoo

17 OOIOlOOOOCï 0000010 18 000С0101С001ПО00О1 19 000C1000001OO101OO

20 ooocomooooonoooi

21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36

001C10000C00011010 000110000010010000 0001100000}0010000 001000000101001000 OOOCOIOIOOOOOOOIOI 100C00001100001000 101001C01000000000 101C00000100000000 000 000110001000001 010С000000010Г1100 010000101100000000 OOOCOOlOilOlOOOOOO O0OC000O0001O1O11O 000000010100100010 000C011100O1000000 110СООГ00001001СОО

38 39 40 41 42 43 44 45 46 47

010С0000110Г.001000 OOOCOlOOOÓOOlOOOil OOOCOOlOOOOOOlillO 010C00100001001000 1001000011ΟΟΓ0ΟΟ00 11Ο0ΟΟΓΟΟ1Ο01ooooo ooociocoooiooioioo І00100000СОС100001 OOOCIOOOOOI0010100 001100000CIP010000

37 ooiioocooionooooo

5.2·1.Ι

BIJLAGE 70

b I J L A G F I I »40 D A T * H P S T F L L t N ( Ζ I F PARAGRAAF 6 7 KENMERKiE^ VAN 1 8 1 D P S T E L L E N CilUGRIMG i : К Г И У Г Р К AANWEZIG C n U F H l ' l b O- K r r j M I ' P K AFWLZIG

S.?o2,)

1

i."i l o o M l ι ) o o o o r r n i ι o m p " ! 111 m n n i o n i n r o ] п и ι ο ί D ^ ^ o ^ n u n n i π ι I H · 11 1 1 ( . ?? ο ι η 11 o i n ) m i ι o m π i ) ι o ) ι ] p p ] o n o r 1 1 1 1 1 1 1.1 I H . ! Π. U 1 U i l i l M 11 1 I U ] 1 I J 1 ) Π 1 0 0 1 1 1 1 ) 1 0 0 1 1 l i о м π m i o í ι )/ι:)ΐτι one 21 m l U i 1 P P " 1 О О П ) Π Ю г П О ] ι ППГОР) Π О) 1 0 ] 0 1 ) O C ' O r r o i Г ) 1 1 ) і г п " 1 '11. О f 'MOI 1 1 0 0 ОО) 1 0 0 0 1 POO) ' И o o i o m ] Ρ) ο ο ο ρ ι О О О Ц Г І щ г o o r Op п QO.).)oi o n O Í o o n o o o г п р . о о о о о " п о о о о р о і ю ^ о о о г ) ι 0 0 0 0 1 ρ ο ο η ο ι 0 1 о < OlOOlf l o l 1 3 1 l i l i l i ) ] l 1 1 I 1 1 1 1 1 1 ОПОР'' Р О О П О Р О О О О О С - О О І ^ - Г О Г ^ ' о п о о о г о о о о о ,, Ol") )·"ìí)'V)í)')' Ì O O 0 0 O Г О О ^ Г Г 0 Г 1 0 п П 0 0 С 0 " О 0 О 0 О О 0 0 Г О 0 Р 0 Р О 0 Г ' О О О Р Р О П О 0 0 ч î O M O O O d P O O O O ^ f f POOOOOO^POOOnOOOOOl-OPProoOOf'OOOt.'OrnoOor. 'HIPOOOOPPO / ОГ ηυΟι,ΟΟΟΟΟΟ 0 0 0 POPPI l l l j n i l l H l l i n ООООООРОРООРООППро^п і і П " 0 О " Ю 0 0 [ (Hi OOP Гр ООП о ПО 0 0 ПО ОПОО 0 0 0 0 0 0 PO Г r O P C r i ' O n o p n n p n f O Ί ΡΟ'Ί 11 OOP | Ì f,O OP 0 0 0 Γ ρ p O f PCOOP n o POPO ΟΟΟΡ,π ОПОР 0 0 0 0 Ρ 1 0 0 ЮРООГОП лп.і00пт(,()г, s i n ιΟιίο ι ο η ' - Μ ί Γ ο ο ο ο Γ Ρ Ρ ο η π Γ π π π π ο ο ο , Ί Γ . ο ο ο Γ Ο Η ΐ l i n i π ΐ ] Π n r o o r r ι'O'

JOOOÌÌO

^ГОНОПОГРОРРПОПОООООООПРГОРРОРОРРРООРПОГООРРППРП

O ^ ' - ' J O n p o n i j o O n O O O r n O f ^·0 0 ( ι Ο 0 θ η 0 Ο 0 Μ 0 0 0 Γ Ο 0 Ο 0 Γ Ρ 0 0 0 Ο Γ . Ο 0 0 Ο Γ 0 Ο 0 Ο Ο JO ):Ί ì ) ) Γ Ο ΐ бОС·' . Л і Г і О о т " O ' t O O O r O O f " f c o p n p o o o f t n o o o o o o o t ^ n p O O O O O P P P ) ! J i l l 1 J Ч 1 1 ) I H 111)СОРРРГПОРООРОрОООООГОГПООООООООООООООРОРППП П О П І Х І )0()Г)і м'O'UiOO г О О Р П Р Г О О Г І О О О О О О О О О О О Р О О Р О О О Р Г О О П О О С Р О О О О

.)(Г)ЛО 1 0 0 0 0 7 0 0 · iQO I J í M i O i ( ' l O O O r n o o n o p O f ОПООООООООООРРОГОРПОСООООО^ОГОРО ¡JO·И>0 ) 0 0 0 Р О 0 О ( Ш Π Ι ) 11 η 1 1 1 1 η Ш Ю О О О О О О О О О О Р О О С О О О Р О Р Р П ΊΟΓΟΟΟΟΟΟΓ,προΟΡΟΟΡΡΡΟηοΟΟΡΟΟΟΠΟπΟΟΟΓ OOOOPOOf'Of'OOOOPOOOOpn ιΟΟί) I O O O O Í ' B'tPÔOKOnOOCOOOOOCOPOOOOOOnopOPOpOOOPOOOOf (1000 P O ο ο 0 0 Ρ P O O ρπ о о п о о о о о о о о о т о ^ о о о р н р р р о о п о о о о о о о п 1 1 П 1 1 ) 11 J ι l ì ) 1 1 Π o o r ППЛООООС/ОООСООООРООРООООРПРОООПООООООООООООРООПОООООРОООО ПОПОИОГООП ! . О 10000OQOOPоооооорпоопроорпоо00ΟΟΟΟΠΡΟΟΟΟΠΟΟΟΟΟΟΟΟΟΟΟΡΟΛρο Ο ( . ι ) 0 0 ιΟΡΟΟΠΟΟΟΟί^ΡΟΟΟΡΟΟΟΟ^ΟΟΡΟΟηΟΟΟΟΟΟΡΡΓΡΟΟηρΟΡΟΟΟ^ΡΡΙ 1 1 ) 1 1 1 1 1 1 Π 1 ) 1 1 1 1 1 ЮРРООР.РГ^ОООООООООРОООООООРООООООООГРОРО 00 Ι Ο Ο Ο Ο Ο Ο Ρ 1 Of.'OOOOOOOfiOOOnOOOrCOf ППГОрпорОРОРООООПООООООРОООРОООРРО^О^ ο ο ' р о м п р о о о р о о р о т ο ρ ρ η n o o.' o o o o o p o o o p o o p o p p o p o f o o o o p p n p o n n POOIJOOI-OOOOOOOO I H H ) Π 1 1 Π l ) 1 1 1 1 1 . ) ] 0 ( 4 1 0 0 0 0 0 0 0 0 0 0 0 OOP OOP OOHiJOOOOf 'Ί 1 KiO'JOO ) lOOOOf POO'JfPOPOOCOI.rpOPOOPOOOOOOOOOOOOOPOOOOOPPPOOP 0 0 (ООП ю о о ^ с о о о г г р о г п р о р р п п о п р п о о о о о о о п о о о о о о о о о о о о г р о п о р ooooooiiooooooopooooooopooooooooooooonii i ) ) j π η oooopoooor •ΊΟΟΟΟΟΟΟΟΟ ) ¿ПОООоОООООООООРС^ООРПпрогопроООООРОРООООООООО^іОРООРООрпро j o o o o o o o o o o o o o o o o o o r n o o n o n n o n o o o p o n p n o p o r 000000O000ОР0ООП 0ΟΟΟΟΊ000θΟ000(ΗΗ'Ο0ΡΠΟ00Οπη000Ο0000000Ρ0Ο0000ponili и 1]1

'11111II111

BIJLAGE 71

ÜIJLAGE ІІ«Л„ ОЛТЛ OPSTTLLFM (Ζ IE PARAGRAAF "ί.Ρ.Ρβ) Ы KcNMtRKLN VAN 1 fU OPSTtLLFN CUDERIiJ« 1 : KFNMERK AANWFZIG CnuCRING 0: KFNMERK AFWEZIG VFRVOI G ι s i i O u t ' O - ì n n r . r . i m i ΐ ' Γ ' ί г ooo]i ι п щ m г ш щ о ! one о o i l n r on ] r.n'm ι п г . л ')1 Π ООП P'll. i m i [ 1 i n ( i n 11 u η 1 I 11 1.1 ΟΟΟΟ] ι ο ( i n i ι ποτ o o m ο ι o r η no l í i o n o i J i o o n m o n n o r . ) 001 I I I I on i r о и m o r o 1 1 0 1 Ol Ol 1 Г 11 ГОі ) о lOr'OOUI ) 1 i ^ L m i i i i i i i n i n i i i m i i iroôoorrii.ininoim.nnooniini η o n o n ι .">··>."> П . i f ] i n r j i n n o r n o r o c p r o r v o o n n n n o o o ] о п о р n i l O P P l ο ι ι o r m i 1 1 И ' О Ц П Ц 1 Ol 1 O O i n C l i r o r i n o o o n i O O l l O n p i l l O n o n C l f 1 COOOOlf o n i ГіОиіПО':Г.0Р 1 5 )Q )0')і"ППОООООРППГГі1(· o o o o p i I 01 01 ОПП001 О Щ ! PO) i ГООООПГргоог ί'ί.-ΌΟΓιΟΡΓΚι.ΊηοΟΟΟΟΟΡΓ r p o r p o p O P o p p n o n r l ООП 0 0 ° Γ о Г Г О^ООГ^Г o r г ΟΡΊ onPQl'i 1. O i n p O n r o o O O l ОООООООООРООРГ00010 0ПС Of Γ-ΟΟηΟΟΡΓορη 'ÌO'-OOOOOÔ Ι (, 10 іООИ 1 10 IPO 111. IQ] ГОТ p o i 1 О О О П О Ю Ю Р О Ш 11.011 111 И І Р О І Г Р П ).'"> »lOUOOf'C'Oll 1001РППО1 ΟΟροποΡΓΟΟΟΙ O O O i r O O l l CI OOOOOOPOroin 01 l O i n o O m Ο1Ο000ΓΡ0ΡΟ00ΡΡ0ΟΟΟΟΟ01 1 0 0 0 0 0 0 1 OOOOiOOOOlOPOorO ΊΟ TOO ООП ι 1 7 " l U 0 O O f ΠΙ ^ 0 1 O O O C O O r i r o r O i l o n 101 0 1 0 1 ОРООПОООГРОГРОІ i r o n

U'4)0 n i inj ooooo ron oom ρροοοοοοοοοιοοοοοοοοοοοοοοπηοοοοορ on )0n01ООООІООООГОГОООСРООРРОРРПОООІООГГРООООГОООРОРІРЮР Ol'I'l.JH'llOl'O lann V)onoooo"oriounroof oonooooonooopooooonnooopoconoooprpprr 0 0 0 0 0 0 0 ( 1 0 0 0 0 " 00 О POOP PO OP POO) о о о о о о о о г о р о п о о р о р п п г о р о п г г р п on ï o n n o p p o p o o o r o c o n i и o o i π ι ο ί l o n o i n o o o o r o p f 0 ' 0 0 ) o o r o p o i o iiOOOCnOlOP ід00ПГ)0О">00О00'>0О0Г00ОРОГ) p o r o PO o o o o o ) o p o o o o n r o o o o o n o p o p o o p ¡ιοί o o o o f i p o n o o c i p o ) 1 1 0 0 0 1 1 n o n π i l o o p o i m o n i o r c i o o o i n o n n o nnoOOOjOnOOOOOQPfooroOPPOOnOPPOnOOOfìPPPOfOOrOfOinOOl PPOpP 10)0010000 200Пч0101.0О(Лі) 1 0 0 0 CO) POOPO) ) 1 0 1 0 1 ) O) 0 0 0 0 1 0 1 ООрОГРОСРОГоіОІ 1 О О О э и о ц О ) 0 0 1 ) П И Ol p ) I P POOP 01 POOOOOPOOpOOO OOPOI ОГОГОРООР 0 0 101 'VHiOOOOOOnOOI 01 0О0ОООО00000001 ОООООГОО) OOOOl O l ) T O P P O m. o o o o 11 ri о 2 1 0 0 1 OOOOOOOiiOOOnOCOl noOPPPOOl ) РРРО00000О0Г0ГГОР0РРО0О)ОР1Р n o i І і і о г к і ц ю о і ОГОРРі 011 ο ι 01 π n n o i o o n o o o o o o o n o o n o o o o o o ^ o o o n . n i i o i n o o o o o o n r o o n 001 1 POOI OOOOO) l o o o o o o o r о г о о о щ о о п IP 1 100001.001 ZZ'ïflOOOOOOIPI OlOOOrOOf o r c i POOOI ОООООООООРОГПОРО) OOOOOPPP' O P ПО »000 JOOOOOnoOOriinoPCO) o o ) 01 OOOOOOOOpoOOP) ОГроСРОРОІ oo 1 ГіО 1000 )П'.ОоОООСОГООРРОООРПРООРООООООООС'ООООГОГ'ОООООГОРРРП Г-П0000('ПО ¿ЗіЮ »OOOOOloniulOOPOPI 0 1 0 1 РРООООООІ О00ГООО1 ООООРООЮОоргРОІ ОІОООГ OOP 0001 Of/011 ΟΡΟ PI ΟΡΡΟΙ OP 00 Ю Р 00 0 0 0 Ρ OOP О POI POO Ρ PP ПРО PO )00nof'PP<'pon0O Порог OOOPonpOPOOOOopPPPOl OOCOf ООООЦ P p o o o ) 000 0 0 i o o n ЛЛПООІІООООООЦ 0 0 0 POOI OOOPoniOOl 0 0 0 1 OlPOlOPOOOOPOnpnOPP) PP 1 PP. l O n O ' i p n i O n n o n i 1 0 0 0 0 ) 0 0 0 0 ) о о р о о о о о о щ о о г о о о ю г о ю о о т ΟΡΟ ooiooooooooooooocoooopinnoiopooooioonopoiooooooiponppnir nooooooooo

BIJLAGE 72

aiJL\GF: IIoô DATA OPST^LLENl Ζ1E PARAGRAAF 5.?e2.) 67 KENMERKEN VAN 1 ¡U OPSTELLEN CODERING ) : KENMERK AANWEZIG CODERING 0·' KENMERK AFWEZIG VRRVÜLG ? 5 i 1 0 1 0 0 0 1 OOOOÔOl l.noni ООП) 0 0 0 0 1 O O O I O I O I I O O I C C C O 0 1 f l O o n o n o i W H O O l O n 0 0 1 0 0 0 ] 01.11 1 О ГО 01.00 01 001 ОООООООРООООГГПОООПГРПРР О О Ю О О Ю І ООЮО) OCOOOOOIIOIOIOIOOOOOOJ 0100OOO0000001 Ю Н О Ю OiH'OOOOlll

?.6i'loooooi oooooooocooooooi гonooooooooonoooooooononooorroonn (ônoioonnoooi oj опгторопгоооооооооооооооогоооооппооооооого noooolooooooooooгoooooсооооооооооооооооогоооосооооогстоп

LMiOOOOOOOn 27''ooooloooooiîoocoooooooгοιооооооооооооосоогооооіOOO^nonp oonoooooooi ooooouoioioop.-ioooioooooooocorooc onoooooooonnn (•ООООПООООООООООГООООООПОООООООООООООООРООССОСОООООГГГРРП OOOOOOOOOf) .?3 ) f 0 0 0 0 0 0 0 0 0 0 ^ 0 0 0 C O O f ' O 0 0 1 РРРРОРПООООРГРООГООРОГОРРОООПРПР^ f'OOOOOOl o o o o o o o o Г П О О О О Р Г Р Р О О О Г О О ) О О О О О Г Р Р О О Р О О Г О Г О О О Р О П 'imiOOnOO'ìOOOOOOOrOOl 1 OOOOOOOOOOOOOOOOOOOOOOfOOO) OOOOf.PPI Ρ )000000000 ¿9 0 0 0 0 0 1 ПОП 00 ΟΡΡΟ О СП 101 i n n f η 00 I.POO! 0 0 0 0 1 0 0 Γ 000IPOOPOPP POPI 1 POOOOOOOOOOOl ООООООГООООГО^ОРПОПРООРОООООООООООООООРООРРО 0 0 0 0 0 0 0 0 0 0 1 0 0 0 1 0 r o o i o o oor. o o o o o o o o o o o o o o o o JOOOOCOO 0 1 r o p o 10 01oooooooo Г П

ЗОІОООООСЮООРОООООГООООООРООО^ОПОООІОІООСОРОООООООГОІРРРІРП

< -ooi ooooooooo ooo г . о о о о о о о о о ц o u ООООООООООООГОРООПООГ^ОРР^ i ' i o o o o o n o o o o o o o o o c o o r o o o o o n o o o o o o o o o o o o o o f OOCOOOOOOOOOOPPO CipoQOnoOOO 31 OOOOOOlOOOOlllOO'OOlOOOlJ 1 ЮООЦРООООРООООООООООООООРООЮ O OOOOOOOO 0001. 0 0 0 СООРООРОООООООООООООО 0 0 0 0 0 0 oo OOOOOOOOO IPO ГО 1.000001 U100 0 0 0 Cl O f ' 1 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 О Г o o o o o o o o o

(Π оооооюо i?, tooooonoooooooniooorooooí ΟΟΟΟΟΟΟΟΟΓΟΟΟ]0ΡΟΟΓ01 ooooioooipo '..'OOOOOOJ00001 ooooi 01.0001 oooioooooooooooorooioooi oonnoppoo 0000000000000000 OOOOl. OOOOOOOOO 0001010ОРООООРРООООООООРРРО 0100001.000 331 0000000ООП00000COOOO0000000OOOOOOOOOOOOOOOÍ0000000ООГОР" OfiMODOOl OOOOOOOOll ПООООООООРОРП) OOOOOOOOOPOOOOOOOOOOOPPOP ooooooooooooooooсоοοοοορροοοοοοοοοοοοορροοηοοοοοοοοοηοποο 0000001.000 з^іиoooooroiioioooooooo01oooooooi00000001 f 00)0000000100000 lOllOOOOOllOl. 11011 OOOOOOOI 00)000) І000000О0001ОО1 lOOlOPOOP O) 000 00010000011 10010010).) 1 OOOOOOOlOOOOOPlOOOPOOlOloppinp 10000 11000 35OOOÜOOOOOOOOO000f000101OOPOIOOOOOOOOOOCOOOOOOO) OOOOOOPPOP OPOOOIIOOOOU О0 0ГОО0ОО0ОО1 ороооооооооогопооооооооооооооро oiooiooooioooioociocooooooooooooooooomrooooiioi oooooooo 1 000001000 36OOOOOOOOOOOOOOOOCOXOOOOOOOOO00000000001OPOOOOOOOOOOIOPPPO oooioooooooioooo0000000001rooooooooooococoonoooooooporopp ooooo00000000000C0OOOO0OO10000000001000000000000001coooio ooooooiooo

BIJLAGE 73

-SIJLAGF I I . 4 . DATA OPSTFLLFNi L Τ E PARAbRAAF 5 . ? « , ? · ) 67 KENMERKEN VAN 181 OPSTFLLEN CODERING 1 : KENMERK AANWEZIG CüDF.iUNG 0 : KENMERK AFWEZIG VERVOLG 5 /'»inoOlOOC'lOOOlOOCOlOl ОІОО^ОРОІЮГОІЮПОІІІОПОООПОС^ПІ i n i o c <юі oooooooooi ooi oooooooi ooi] ooooniononooi'f. ooooooi oor nonno 10ιί·)θ10001000 0 0 0 0 0 0 0 1 O O O O o n o n o n r i o n i P O O l O l l 1 0 0 0 1 1 щ о г п г п 100Г О 00 100 τποο v i o o o i o n o i o n o o ^ n o o o o o o n ^ o o o o o o o o o u o o n o o o c ' o r o o o r i o p n o r r · f loo j.iooooooo'»оосооооооооосооіооооооосоооог m o o i г r o o o c o o r onOüC'OOOOnoOOÜOO ГО 1 0 0 0 0 0 0 1 0 0 0 0 0 0 0 1 ООРРГ'ППООСОРООООПГТП г orv »000001001 ^ч )0и0000000ОПОО00С0000СС00П0000ОО0О100000ОГ0ГО1 01 Π Ο^ποορη o m o i 0 0 0 0 0 0 0 0 0 0 0 0 0 ОООСОІОПОПОГОС 0 0 0 0 0 0 0 0 ΟΟΟΟΟΓΟΟΓΓΟΓΌΟποη (Μ lOiv-ìooOOOOOOOOOOOOOOOÔOOOOnoClOOOOOOOrOOOOOOOf r o r r n n r - n lOOT )100Г|0 ^ ' i ' OOOOOOOn1000000ОООПООООООООРОППООООРОООтОСОРОООРОООппгл οοοοοοюгооооооогоопгооюгооогогоооооооогоогооооооогогогг 0( riuOl {(OOOOOOOOOCOOOOOOOOOOOOnooOOOOOOOOí ГОГОСЮОСОО^ПОООО )f 'ЮОООООП ^І ОООООООООООЮЮОГОООООООО'ПООООПОЮОПООО! l o o o c o o r n n o ' v m n Г'Ю! OOOOOOOOOOOl OOOOOOOOOnoOOOOOOl 000O000(jonf)000O00r n 0OOO 'ΙΟΟΉΐαοοΟΟΟΟΟΟΟΟΓΟΟΟίΟΟΟΟΟΟΟΟΓΟΟΟΟΟΟΟΟΟΟΟΟΟΟΟΟΟΟΓΟΟΟΓΟΓΟΠ foonnooooi ^ 2 4 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 СOOOOOOOOôOOOOf 0001г»ПГПСГіГ( o r o n o o o ^ ^ r n o o ο ι ι υ α ο ο ρ ο ο ο ΐ ) o i i o o n o n o o o o o n o o o o o o o o o n c r o f Г00ОГО1ГО0ОГГГГГ Г,?0П000000000000С00Г00000г'о0000О0111Г000ГС010001100гчпг.гг· omoooupi / •-.Mfiooiiu o i o o o i i o r o o p o o o o o ^ n o o o o o o o i o o o o o r l o o n o i OOfOIOOi^^ 1 001000000000100 "OlОГО 100'П 011 0Г POPOOPPOr 0000г.ПЩГ ОППЛ00О looooooooonoooooooof POPPO ipoooprooooooonoirooooooc o m n i 10 Of'OOOnOOOP 4'Г»ОП0001001.)О0010С000101С0ООО0О0ГО000ОГО1Г) noPPPQOnor n o n n o PC01 OOIOOOaOOOlOPOOOOOlPOl ! ooi orpoooooooooooooooooooonom nioooooooooooooocoopoooioolooonooioonoponooponooooonooУ on пооооооооо 4:>о«п юоэооогor»OüoгооррсооооооооoooooooooopioooooooporПОРОГ м\ looooopooioof oooipooci pnoooooooooooroorooooooioinnooooo OPOUOOOOOOOOOOOOCPPPPOOOOOOOOOOOOlooooooom100010П0О00100 (»000001001 'v601 OOOOOOOOOOOl oo ropooooroonoooor 0001Г00ОООГ0ОО1 oooonrmno ιooooooooooooιnooooiooooonnoonoooooooooooorcoonooooorpopn POO'iOOOOOOOOOPOO pPOOOOOPpn 0 0 0 0 0 0 0 0 1 OOPOOMOOOOOOOOOnpOOOO 0001)00)000 ' ' + 7 1 0 0 0 0 0 0 0 ( ì 0 0 0 0 0 0 0 n 0 0 r 0 0 i n o n 0 0 0 P n 0 O 0 0 P 0 n i O C 1 OOOOOOOOOrôonr Of OOUOOOOOOOOOOOOOOt-POOOnnroOroropOPP.POnrOPnoOOOOOOronoro OCOOOOOOOOOOOOOOCOOOOOOOOnno0000JOOOOnonfOOPOOOOOOOnrpnno 0000000001 4 8 1 1 0 0 0 0 1 . 1 0 0 0 0 0 0 1 0 ГГ1000ΓΡρηοΟΟηίΓΓΟηρΡΡΙ 0 0 1 ΡΓ1 OP0001 Π Ο η ρ ο 1 0 0 0 1 0 0 0 0 0 0 0 0 0 0 1 1 0 0 1 Г 0 1 0 С П 0 1 noroOPCOPOPOOOPOrOOlOOPPnrpn OOOOOOOOOOOOOOOOCOOOOIOPI n o o o n o o j 1 0 0 0 0 · POH 11 0 0 0 0 P 0 P P 0 1 P P ioonoooooi

ιοϋϋυοουοΰ notüüootonooüoxooonüüiooioouuoüomouuuoouooo lunoiùoio ΟϋυϋιΟΟΟΟΙΟΰΟϋϋΟυϋΟϋΟϋυυοΟΙυϋυϋ t u o tüüüOuDüuü lüTOuïTXOTt. j . i U l O J J u l ü l I Ü Ü O U 1 0 Ü U Ï O U U Ï O Ï U Ü U O Ï U O I O O U Ü O [ U U U U O \ O O U U O U ) 0 ' } >II9 U[üTOTL4!JU lÜOUüllüüUüfJOOÜJÜUUOOÜÜÜOOOOÜOüuÜJUJOJÖUUÜOuüÜ l'JOÜCUÜÜuIO J Ü O O J J O O U U Ü lOüÜüuUUOUÜOÜOOÜüUO l lUÜULOOOuT ïüüüÜdOuüTuOOU JL' J ü j u ü tüOUUuOÜIOOuOüuIuOüuUUJUüOOUUJU ÍlOÜOTOOUuü tOOdOOOLOUbS ü ιΟΟΟϋΤϋΟΛ U I Ü J i lOXOuüOÜlU'lOUUUUOOlüOOUJOOüaúüUUJ tuJOIO'LÜOOüüÏOOT [ t u OJlÜJ«jOUOOÜJOOOUUÏOOUOUUÜOOjOUÜUUUÜOOUauJÜOOOlUJOUO [Uli'LOO wOüOJüOUÜÜUÜUÜUÜüO l ü lüUUÜUü'lüUUüU IDÜ J lüOdUOOülÜOOOOOÜOl' ) l us ϋΟϋΤϋΠι» л lUJuOuÜoUüOUüOOÜUÜOÜOOÜOU ÍUlÜUu-JüüOOO'íÜ'JJOOOuÜüu t í ü O O O l U t uOvJvJUUUUUUUUUUÜOutUÜUUUÚUUüuUÜO lüUJO LtUUJÜUU 1 1 1 l O ü O t O U o u t uUOJJJUÜJüuüüJOUlÜtOütüaOJlJüUüuOUCÜJJOJJUtOuÜÜOOOOUUOO[ПЛЬ UÜUODtCoít l t ílUOUO tUUOUOÜOUOOÜUJUUOüUUUOOJÏOÏüOUUOJOUOUUUU ΐ υ υ ΐ Ο ί Η Ό Ι ) o u ü l l ü O ü Ü J u O J U O ü l t X ü ü U l Ü J t O l u O i l t t l u t l l u u ú t u ll'íOJüOUüOí/ [ 1 UUJUa iO U lUÜUÜUUJÜÍUuUUOlJOUOOlüÜJUÜO Lü n u U O U Ü U U O O u L t l t O U ^ ^ UU'lUU KH-OU UUüOl lÜtUtOUOJUUÜUOUUUUOUUUJUOüuOOUU JOOU'J JUÜUOUO tOOOOÛLJ J UUUUOuOÜJoOUUÜOÜüUJUUüUtUüÜUUÜüuÜJiüüvJJUJÚUUut LÚUUOtOtO ) ) l ÍUJUJÜÜUUÜUOUUUUU i ü [OUUUOUUOOU'JÜ l Lü l ü ü [UUlÜuüUUtlüUUOUtiü ΐ ? & ItOOUUOttU L L l u t і и О і и і і и О О О и І ITUUOÜO lÜUÜUUU t U U O U U J O J U O U ' l X t U ' l T t O t O L t t UUlUlUUU'JUlOÙ í [ ( J t t O lOüUUUÜtUüUUüClUUOüOJOUU lOUOUOOtOUUU ί J U J l l U l U J U U Í O U tO tlUlOUUUÜUUUUOüUU l ü u U l O U U ' J Ü U U t t u u u t o t c u u ^ s IXTXiJlOiiin t l tutÜUÜl'lUUOÜUUUUOOUUUtUJUÜUOuoUJUUtUtUUOUU LUUUtOUCiOUUOo UJJUüOOÜlUÜUUUUÜuJUüUtüUUUO l O t l u U U t O Ю tUJOUU I t t U t O Ü Í U U U l t ü U J t J Ü Í U t O t U O Ü U u t l t t t Ü Ü U ' t t Ü l O t U t Ü O ü [OU JJ OUÜUU L U Ü Ü U O O O L [ I f G tuuttottíu l t t tüüOOltUUOUUOUUOUÜUUOU ttUUUüU tUJUUOJüJ tOUHUOU t J t t O O ' i O t UUüUlüUÜUGCU t l O t U O J ü l O Ü t [ U t u ü U u l U u L O tUO l ü tOO ÍOOOUOOUü l í ' J O t U ü U l l tO J U t t U U U l l tOJUÜÜttUUUUOUUÜULl Í J t ü U U Í U U t l U U U U / t t u ) t Z Í OlUUüOOuüü UJJÜOüOO tOUUUOOUtXuüütUüOuUOUUUüOOUJüUJOJUUOUttUtUUutO'J ['J UOJUuJüOÜOUUOUOUUlUtOUUXOÜÜUU lUÜOJÜU i Ü U U J u Ü U L t t O U O O t O O t ^ j i UUUUJJOUUUUUO tUÜUUUUUUOUOUOOUU lUUUUUUUUUÜUUC-wUOUUOUUUUl U(' [ b OOti/lUOlUt

lUlUJJXU tU tXUUUUU mUOUlGOUUOUjJ i t LUUtüUJ tutoo itxouuncu J I t u J ü U U U l ü t t ü n U U U l U J l t u ü l t [ [ U I L t I t U l O U l l t t t tÜuOUOv.oXCfl L UuOÜJ lUOU l ü t l lUUOUOU'lOtUUUUUCfU l U d t l O i l U L Ü O O t IX l U O ' u X u X l t ' J tlK. U ü J t ü U O »O ) UUJJUUUOOUUÛtUUUUOOUUtUuuUUUUU lüJdO [UJüJÚUOUCUüUOÜOUOí OC' UJUJJUUlULìUJUUUU JOUOüUU lOOüUUUu lUÜJUUOüüJOUÜUX(JU()liO()OC¡» ) L UUUUJOUU'JUÚUUUU ÍUUOUO [UUUUUUUUUUOUU t JU tOjUOCUOUUOUXC'OOUUUó*; ОІОЛЧЗЛ Í I I Z 3 M N V V яаякмзн : t э м т о п э N3ni31«;dU l ü l NVA N:lNy3l»N3V ¿9 (•¿•2 0 9 dVVyOVaVd 3I7)N3"n3iSòU ViVü e 7 0 I I - j o v i r n í

^¿ ж т п я

BIJLAGE 75

. i l J L A ^ r 1 І в г ю DATA OPSTTLLEN (Ζ I E PARAGRAAF 5 · 2 · ? · ) 67 KENMFRKLN VAN 18) UPSTELLEN CüDEîriG 1 : KENMERK AANWEZIG CUDERINGOï KENMERK AFWEZIG VERVOLG b) "ηποοοοοοηηοηοϋΟΓ,ηοοηηΓΟΟοηοορηηοποποηηοοροοηπΓΌοοΟΓΡΠΓπη ronnijnnnnonoooonronnoonnprnornooonnnoonnoonpoonnoaonrr.noo m oiooop]oooooioi.oocoorpn^nooooooippniiionpno]00ono^r>ppnn ічооооіспо (-,2 inioononoooopoooroonoonpponooonoponooppopoooopooonorronor» t^riOOOOPOnrO ОПООГОООПРРОПРПРРРРПРППРПРОООПОГ'ПОЛООПО^Г^ГРП on ictooopooiooooonoooiccoipporronnonpoooooinonnoooporpippi poinoooorn 631OoOOOOOOOlOOJ 0000П1}РГРОСРПРПОПООООПОРПРПОРПРПРОООПР^ ррп oooooo'ior.poni o m icooroonproooooppoopnppopcooooonooonppoop ooijooooonoi oo noocoononrooppooconooooonpnoonnoooni no rorros or.ìlOOIPPO іло(100000000001 οοοceroni rppppppponpnopoppooiooooononorrrrpo •)OOOOPOIoooonooocoooopooooooppnpoooppnooroooooonoonnpppoi OOOOOnOOf) 01 00000 С00000001ПОРОООООПРОООООГООГ 000 ico onppnpo 001)000000 ( 5O0OU0O(J0000OOOOOGJ OOOOPOpOPppOOOOlPl unii 01П0Р1 0001ГРРГО1 j n o o o o i o o o o n o o o o m o r o r n m i r r o o r o o n i i i o w i i i o o ) οι n i Ο Ι Γ Ρ Ρ O l ^ o i P n l ι 00011010000Р0ГР0ПР0000000000О00ГГ001Р0ОРП1 к m i

оглюоноо

66 0РП100000 0010000Г1П)РОРОРОРРОГ010РООООООООПРОРОППООПО]РЩ РОО00ОООРО00О000 00000РРОРРО0ГООРО01О00О000РГГОООР000ОГ1ОР

ooooonoiι οιоооооcononoooppooopoonoooooooooopopooooonoonnn onoooooio

6 7C O.lOOOOOOOOOoOOOQOOPPOPOpOlOOOOOOOOOOOOOOOOOPnOOPOOÎ ПРОПП npnooooooooonooooooopoopooooooooooooopooooooopooooirroioi iioioooiiiiooooooioirmoonoooooooooooiroooooooioirioinp 0000001010

BIJLAGE 76

dIJLAGE I I . 5 . DATA A.M.-ONDERZOEK ( ¿ I E PARAGRAAF 4 . 5 . ) DE NUL EN EEN CODERING VAN D I T ONDERZOEK STAAfc I N T¿bEL 4 . 5 . 2 .

BIJLAGE 77

Bijlage III. Populatie factorstructuur simulatie-onderzoeken Simulatie I Populatie factorstructuur: geen factoren Simulatie II Populatie factorstructuur: geen factoren Simulatie III Populatie factorstructuur: één algemene factor met gelijke ladingen van 0,50 voor 30 operatoren Simulatie IV Populatie factorstructuur (nulwaarden zijn weggelaten):

1 2 3 4

0,60

0,40 0,40

0,55

0,40 0,45

5 6

0,45

7

0,50

8

0,50

9 10

0,50

11

0,55

12

0,55

13

0,60

14

0,60

15 16

0,60

17 18

0,65

19 20

0,70 0,70

21

0,70

22

0,75

23 24

0,75

0,60 0,55 -0,60

0,45

0,50 0,60

0,50 0,50

0,55

0,50

0,40 0,45

0,65 0,50

0,65 0,40 0,45 -0,45 -0,40

0,75

25 . 0,80 26 0,80 27 0,80

0,40

Simulatie V Populatie factorstructuur: twee gelijke groepsfactoren (zie tabel 6.2.2.) Simulatie

VI

Populatie factorstructuur (nulwaarden zijn weggelaten

1

0,60

2

0,50

3 4

0,40 0,50

0,50

5 6

0,60

0,50

-0,60 -0,50

0,80

7 8

0,60

9

0,40

10

0,50

11 12

0,60

0,50

0,50

-0,60 0,70 0,70

0,80

13

0,80

14

0,70

Simulatie VII Populatie factorstructuur: zie Simulatie VI Simulatie VIII Populatie factorstructuur: drie groepsfactoren en drie subfactoren (zie tabel 6.3.2.1.).

Stellingen

1. De iteratieve clusteranalyse is een bruikbare methode voor schaalconstructie en type-onderzoek. ;-'. Het informatieverlies, dat door nul en één coderingen optreedt, is psychologisch meestal niet relevant. 3. Bij het afbeelden van psychologische 'overeenkomsten1 in 'afstanden' wordt vaak onvoldoende rekening gehouden met de wenselijk!юid alle eigenschappen van 'afstanden' in termen van 'overeenkomsten' te interpreteren. C.H. Coombs A theory of data New York: Wiley, 1964 ή. Chefs kunnen geen goede promotievoordrachten van hun directe mede werkers maken. 1). Het dient bij bedrijfspsychologische selectie de gewoonte te worden om sollicitanten in de gelegenheid te stellen hun sollicitatie in te trekken na kennisneming van het psychologisch rapport. A.C. Rümke Nieuwe selectie-procedures bij de P.T.T. De Psycholoog, 1968, 3, 150-152 6. Diegenen, die selectie een noodzakelijk kwaad noemen, ontkennen de positieve functie van de menselijke rivaliteit. W. Hofstee Selectie: een noodzakelijk kwaad? Congresboek van Groningse Psychologen Congres

γ. 1Je reden dat europese meisjes in tegenstelling tot europose jongens iêen beroemdheden van het lichte genre als ego-ideaal beschrijven, moet meer worden toegeschreven aan de narcistische houding, die in onze cul tuur van de vrouw wordt vereist, dan aan het sterker normbesef, dat haar wordt bijgebracht. G. Kempen en A.H. Boon van Ostade Een typologie van ideaalbeelden bij europese jongeren Ned. T. Psychol., 19б9і 24, 4б-б0 8. De ontwikkeling van de bureaucratische staatsvorm in Rusland heeft tot gevolg, dat alleen een tweede marxistische revolutie nog de communistische heilstaat kan brengen. 9· Aan de universiteit moeten de studenten het laatste woord hebben ten aanzien van het onderwijs, het administratief- en technisch personeel ten aanzien van de efficiency en de academische staf ten aanzien van het wetenschappelijk onderzoek. 10. De betekenis van het woord 'subjectief' voor menselijke waarnemingen is het beste te leren door zich te abonneren op twee verschillende nederlandse dagbladen. 11. De factoranalytische methode kan als een Rorschach Test worrfeir gebruikt. 12. Psychologen dienen lid te zijn van het H.I.P.

Nijmegen, 23 november I969.

A.H. Boon van Ostade.

Stellingen

1. De iteratieve clusteranalyse is een ЪгиікЪаге methode voor schaal constructie en type-onderzoek. <\ Het informatieverlies, dat door nul en één coderingen optreedt, is psychologisch meestal niet relevant. 3. Bij het afbeelden van psychologische 'overeenkomsten· in 'afstanden' wordt vaak onvoldoende rekening gehouden met de wenselijkheid alle eigenschappen van 'afstanden' in termen van 'overeenkomsten' te interpreteren. C.H. Ooombs A theory of data New York: Wiley, I964 /\. Chefs kunnen geen goede promotievoordrachten van hun directe medewerkers maken. ^. Het dient bij bedrijfspsychologische selectie de gewoonte te worden om sollicitanten in de gelegenheid te stellen hun sollicitatie in te trekken na kennisneming van het psychologisch rapport. A.C. Rümke Nieuwe selectie-procedures bij de P.T.T. De Psycholoog, I968, 3, 15&-152 6. Diegenen, die selectie een noodzakelijk kwaad noemen, ontkennen de positieve functie van de menselijke rivaliteit. W. Hofstee Selectie: een noodzakelijk kwaad? Congresboek van Groningse Psychologen Congres

γ. be reden dat europese meisjes in tegenstelling tot europese jongens fjeen beroemdheden van het lichte genre als ego-ideaal beschrijven, moet meer worden toegeschreven aan de narcistische houding, die in onae cul tuur van de vrouw wordt vereist, dan aan het sterker normbesef, dat haar wordt bijgebracht. G. Kempen en Л.Н. 3oon van Ostade Een typologie van ideaalbeelden bij europese jongeren Ned. T. Psychol., I969, 24, 46-6O 8. Be ontwikkeling van de bureaucratische staatsvorm in Rusland heeft tot gevolg, dat alleen een tweede marxistische revolutie nog de communistische heilstaat kan brengen. 9. Aan de universiteit moeten de studenten het laatste woord hebben ten aanzien van het onderwijs, het administratief- en technisch personeel ten aanzien van de efficiency en de academische staf ten aanzien van het wetenschappelijk onderzoek. 10. De betekenis van het woord 'subjectief' voor menselijke waarnemingen is het beste te leren door zich te abonneren op twee verschillende nederlandse dagbladen. 11. De factoranalytische methode kan als een Rorschach Test worden gebruikt. 12. Psychologen dienen lid te zijn van het N.I.P.

Nijmegen, 23 november I969.

A.H. Boon van Ostade.

е е. u t. ks a s s i f i с a t i e m e t h o d e. voor

Recommend Documents