Inhoudsopgave: Inleiding Hoofdstuk 1: 1.1 1.1.1 1.1.2 1.2 1.3 1.4
Intelligentie Theorieën over intelligentie Psychometrische theorieën Andere theorieën Intelligentie tests ISFIC-reeks Terugkoppelingsmaten
Hoofdstuk 2: 2.1 2.2 2.3
De Capaciteitentest Figurenreeksen Ontwikkeling Interpretatie van de scores Afname instructie
Hoofdstuk 3: 3.1 3.2 3.3
De Capaciteitentest Verbale Analogieën Ontwikkeling Interpretatie van de scores Afname instructie
Hoofdstuk 4: 4.1 4.2 4.3
De Capaciteitentest Cijferreeksen Ontwikkeling Interpretatie van de scores Afname instructie
Literatuur
Inleiding In deze handleiding worden de capaciteitentesten uit de Ixly Series For Intellectual Capacities, oftewel de ISFIC-reeks, besproken. Momenteel bestaat deze test uit drie verschillende capaciteitentests, te weten de test Figurenreeksen, de test Verbale Analogieën en de test Cijferreeksen. In de toekomst zal deze reeks aangevuld worden met andere capaciteitentests. Aan de hand van de op dit moment bestaande tests uit deze serie kan een beeld gevormd worden van de intellectuele capaciteiten van een bepaald persoon op drie specifieke gebieden: abstractanalytisch vermogen (figurenreeksen); verbaalanalytisch vermogen (verbale analogieën) en cijfermatig analytisch inzicht (cijferreeksen). Deze handleiding begint met een algemeen hoofdstuk waarin het begrip “Intelligentie” nader wordt toegelicht. Verschillende theorieën omtrent dit begrip worden behandeld. Tevens wordt aandacht besteed aan het meten van intelligentie middels intelligentietests. Ook komt in dit eerste hoofdstuk de ISFIC-reeks aan bod. Het is van belang dit hoofdstuk goed te bestuderen voor u start met het afnemen van capaciteitentests. Dit hoofdstuk biedt u namelijk informatie over het precieze construct wat aan de hand van de tests gemeten wordt. Kennis hiervan is onmisbaar wilt u de tests in zijn volledigheid kunnen benutten. In de daaropvolgende hoofdstukken worden de hiervoor genoemde capaciteitentests stuk voor stuk behandeld. In deze hoofdstukken komen specifieke zaken met betrekking tot de afzonderlijke tests aan bod, zoals het ontwikkelingstraject en de interpretatie van de scores. In hoofdstuk 2 wordt de test Figurenreeksen besproken. In hoofdstuk 3 de test Verbale Analogieën en in hoofdstuk 4 de test Cijferreeksen.
Hoofdstuk 1: Intelligentie In dit hoofdstuk wordt het begrip Intelligentie nader toegelicht. Verschillende theorieën komen aan bod. Tevens wordt ingegaan op het meten van intelligentie middels intelligentie tests. Aan het eind van dit hoofdstuk wordt een toelichting gegeven op de ISFIC- reeksen en de precieze theoretische achtergrond van deze reeks. 1.1 Theorieën over intelligentie In deze paragraaf worden een aantal theorieën besproken omtrent het begrip intelligentie. Er wordt een onderscheid gemaakt in de psychometrisch theorieën en overige theorieën over intelligentie. 1.1.1
Psychometrische theorieën
Psychometrische theorieën vinden allemaal hun basis in de differentiële, ook wel psychometrische of correlationele school van psychologie. Het belangrijkste punt binnen deze visie op psychologie is de studie en het meten van individuele verschillen in psychologische karakteristieken (Walsh et al.,1990). De eerste die in wetenschappelijke zin aandacht besteedde aan het begrip Intelligentie was Galton (1883) aan het eind van de 19e eeuw. Hij formuleerde een theorie die sprak van “general mental ability” in mensen. Deze theorie is gebaseerd op het volgende idee: aangezien alle informatie ons via onze zintuigen bereikt, is intellect de som van alle simpele afzonderlijke aspecten van sensorisch functioneren. Volgens Galton ontstaat intelligentie dus uit de snelheid en precisie van onze sensorische responsen op omgevingsstimuli. Cattell (1890) ontwikkelde verschillende tests om deze afzonderlijke delen van het menselijke intellect te meten, zoals test om het vermogen om verschillen in afmetingen, kleur en gewicht te bepalen. Zij noemden deze tests “mental tests”. Er bleken echter nogal wat tekortkomingen te zitten in zowel deze theorie als in de gerelateerde tests. Zo bleken de tests onderling nauwelijks te correleren en leken om deze reden dus niet het overkoepelende construct "general mental ability" te meten. Verder waren de vele verschillende tests die nodig waren om het construct te meten en de vele herhaalde afnamen die nodig waren om een betrouwbare score te krijgen nogal onpraktisch Aan het begin van de 21e eeuw is deze kijk op intelligentie dan ook verlaten (Walsh et al., 1990; Janda, 1998). Tegelijk met Galton en Cattell ontwikkelden Alfred Binet en Theophile Simon een duidelijke andere theorie met betrekking tot menselijke intelligentie. Zij deden dit met als doel een test te ontwikkelen die geestelijke gehandicapte kinderen zou kunnen onderscheiden van normale kinderen. Binet en Simon waren van mening dat onder intelligentie de “hogere mentale processen” zoals oordelen en redeneren, vielen. Ook stelden zij dat de capaciteit om deze hogere mentale processen uit te voeren zou moeten toenemen met de leeftijd van een kind. De score op de Binet-Simon test werd gegeven als het mentale niveau of de mentale leeftijd van een kind. Deze test kreeg veel aandacht en werd in 1916 bewerkt door Lewis Terman en later door enkele anderen, tot de test die nu bekend staat als de Stanford - Binet aan de hand waarvan de “Intelligentie Quotiënt” oftewel het IQ bepaald wordt. Charles Spearman (1923) onderzocht met zijn zelf ontwikkelde techniek van Factor Analyse de tests van Galton-Cattell. Hij concludeerde, in tegenstelling tot anderen, dat er veel van deze tests wel onderling positief correleerden. Hij trok hieruit de conclusie dat een “general mental ability” zoals Galton deze had gedefinieerd wel degelijk bestond. Hij noemde dit “general intelligence” oftewel “g” . Hij stelde verder dat testscores veroorzaakt werden door twee componenten: de g-factor en factoren specifiek voor de betreffende test, die hij “s” noemde. Deze theorie staat bekend als Spearman’s Twee Factoren Theorie van Intelligentie (Spearman, 1923). Intelligentie als zijnde “g” kan als volgt gedefinieerd worden: “intelligentie is niet wat we weten op een bepaald moment, maar hoe goed we kunnen redeneren, problemen oplossen, abstract denken, en informatie flexibel en efficiënt manipuleren, met name wanneer het stimulusmateriaal in bepaalde mate nieuw is” (Walsh et al., 1990).
Spearman’s theorie werd niet algemeen geaccepteerd door zijn tijdsgenoten. Een voorbeeld van een tegenstander van de twee- factor-theorie was Leon Thurstone (1938) . Thurstone stelde dat de overlap tussen verschillende intelligentie tests niet veroorzaakt werd door de g-factor, maar door het feit dat bij het oplossen van bepaalde test dezelfde vaardigheden nodig waren. Thurstone meende dat intellectueel functioneren het best beschreven kon worden als een verzameling onafhankelijke vaardigheden. Middels multiple factor analyse formuleerde hij dertien van deze “primary mental abilities”. Om deze mogelijkheden te testen ontwikkelde hij een batterij tests, genaamd de Primary Mental Abilities Test (PMA). De theorie van Thurstone is, samen met bijvoorbeeld die van Guilford (1967), een voorbeeld van een Multiple Factor Theorie van Intelligentie. Kenmerkend van de multiple factor theorieën is dat zij ervan uitgaan dat alle factoren gelijk zijn wat betreft belangrijkheid en generaliteit. Andere onderzoekers waren echter van mening dat er wel degelijk een hiërarchie in de factoren was aan te tonen middels factor analyse. Deze kijk op de analyse van scores op mentale tests resulteerde in de “Hierarchical models of the nature of mental abilities”. Voorbeelden van onderzoekers die dergelijke modellen ontwikkelden zijn Vernon (1960) en Burt (1949).
1.1.2
Andere theorieën
Bovenstaande theorieën zijn allen psychometrische theorieën. Zij vormen de basis van de testbeweging. Er zijn echter nog andere theorieën over intelligentie. Deze focussen zich niet zozeer op het meten van intelligentie als wel op de beschrijving ervan. - ontwikkelingstheorieën Deze theorieën onderschrijven het idee van Binet dat intelligentie toeneemt met leeftijd, maar zij maken een verder onderscheid in de aard van de intelligentie die zich ontwikkelt. Een belangrijke voorbeeld van een dergelijke theorie is Piaget’s “stadia van intellectuele ontwikkeling” (Piaget, 1952). Hij onderscheidt drie fasen in de intelligentie-ontwikkeling van een kind: 1. de sensorimotorische fase (0-2 jaar) die gekenmerkt wordt door “weten” aan de hand van een proces van sensorische en motorische interactie met de omgeving; 2. de concreet operationele fase (2-11) waarbij het kind leert concepten intern te representeren door middel van taal en gedachten; 3. de formeel operationele fase (vanaf 11 jaar) waarbinnen het vermogen tot abstract denken wordt ontwikkeld. - Cognitieve psychologische theorieën De theorieën onderzoeken het fenomeen menselijke intelligentie aan de hand van hun werk op het gebied van informatie verwerking. Studie van informatieverwerking is gebaseerd op de assumpties en methoden van de experimentele psychologie. In onderzoek binnen de experimentele psychologie ligt de nadruk op verschillen in prestatie als gevolg van variatie in stimuli toewijzing, in plaats van op individuele verschillen. - Neurologisch-biologische theorieën Deze theorieën tot slot onderzoeken intelligentie op het niveau van het functioneren van de hersenen. Zij veronderstellen bijvoorbeeld bepaalde relaties tussen intelligentie en fysiologische kenmerken van de hersenen of stellen dat bepaalde gebieden in de hersenen gespecialiseerd zijn in bepaalde mentale functies.
Hoe wordt intelligentie nu vandaag de dag gedefinieerd? Uit onderzoek blijkt dat er na ruim een eeuw onderzoek op dit gebied nog steeds geen consensus bestaat over wat er nu precies onder intelligentie verstaan moet worden. Een hiërarchisch model met “g” aan de top vertegenwoordigd volgens onderzoek het standpunt van het merendeel, doch zeker niet alle onderzoekers op dit gebied. Naast het ontbreken van consensus omtrent het te hanteren model, bestaat er nog minder overeenstemming omtrent de exacte betekenis van “g”. Benamingen als “mentale energie”, “gegeneraliseerd abstract redenatievermogen” en een “enkel statistische grootheid” worden hiervoor gebruikt (Janda, 1998). Voorzichtig kan wel gesteld worden dat zowel Binet's nadruk op het
vermogen te oordelen en redeneren, als ook Spearman's principe van het leren van relaties en correlaties, de basis vormen van onze huidige conceptie van intelligentie. Dit zou als volgt gedefinieerd kunnen worden: "Intelligentie is niet wat we op een bepaald moment weten, maar hoe goed we kunnen redeneren, problemen oplossen, abstract denken en informatie flexibel en efficiënt kunnen manipuleren, met name wanneer het stimulus- materiaal in bepaalde mate nieuw voor ons is." (Walsh et al.,1990) Kortom, het ontbreekt nog aan eenduidigheid op het gebied van exacte definiëring van het begrip “Intelligentie”. Dit neemt niet weg dat er vele testen zijn ontwikkeld om dit begrip te meten, ieder gebaseerd op een specifiek idee over wat onder intelligentie verstaan dient te worden. Deze veelheid aan testen komt in de volgende paragraaf aan bod.
1.2 Intelligentie tests Zoals in de vorige paragraaf reeds kort aangehaald zijn er in de loop der tijd zeer veel verschillende typen intelligentie tests ontwikkeld; van de sensorische testen van Cattell tot de vandaag de dag nog steeds gebruikte (sterk gereviseerde vierde editie van) Stanford-Binet (Thorndike et al., 1986). Intelligentie tests kunnen op een aantal manieren geclassificeerd worden. Eén van deze classificatiesystemen is die in individueel afgenomen testen en groepsgewijs afgenomen tests (Walsh et al., 1990). De individueel afgenomen tests worden door een speciaal getraind persoon afgenomen bij één individu. Deze tests bevatten onderdelen waarbij gewerkt wordt met allerlei materialen of waarbij de tijd opgenomen dient te worden. De prestatie van de kandidaat moet geobserveerd worden om te kunnen worden gescoord. De Stanford–Binet is een voorbeeld van een test die individueel afgenomen dient te worden. Bij groepsgewijs afgenomen tests kunnen grote groepen mensen tegelijk dezelfde test afleggen. Voordeel boven de individueel afgenomen test is uiteraard de kosteneffectiviteit. Tevens is hier sprake van meer standaardisatie van de afname dan bij de individueel afgenomen tests. Nadeel is dat er bij een degelijke testafname minder rekening gehouden kan worden met specifieke individuele factoren en er dus een minder uitgebreide beschrijving van de persoon verkregen wordt. Naast een onderscheid in wijze van afname en scoring van tests, kan er ook een onderscheid in tests gemaakt worden op basis van de verschillende typen inhoud van de test. Zo kan er een onderscheid gemaakt worden in verbale tests (taal; gesproken of geschreven), non-verbale tests (figuren, symbolen) en prestatietests (puzzels, doolhoven). Tot slot kan er nog een onderscheid gemaakt worden in culturele-specificiteit-van-de-testinhoud. Cultuur geladen tests zijn tests die de nadruk leggen op kennis en vaardigheden zoals die worden aangeleerd in het onderwijs systeem van een bepaalde cultuur. Cultuurvrije items zijn non-verbale items en prestaties die niet specifiek zijn voor een specifieke cultuur of op school worden aangeleerd (Walsh et al.,1990). Het gaat te ver om hier een uitgebreide beschrijving van specifieke intelligentie tests te geven. Hiervoor wordt de lezer doorverwezen naar toegespitste literatuur op dit onderwerp. 1.3 ISFIC-reeks Zoals in paragraaf 1.1 beschreven zijn er vele verschillende theorieën omtrent intelligentie. De ISFICreeks is gebaseerd op het idee van de multiple factor theorie. Om deze reden bestaat de reeks uit verschillende tests die allen een verschillend aspect van intelligentie meten. Bij de ontwikkeling van de ISFIC-reeks is als uitgangspunt genomen het ontwikkelen van capaciteitentests welke met name van toepassing zijn op de werksituatie. Aangezien binnen verschillende functies verschillende capaciteiten van belang zijn, is het binnen de ISFIC-reeks mogelijk die test te kiezen die het best de capaciteiten meet die voor de desbetreffende functie van belang zijn. In plaats van een algemeen beeld van de intelligentie (oftewel "g") van een persoon wordt een specifiek, op dat moment relevant, onderdeel hiervan in kaart gebracht. Zo is het bijvoorbeeld bij een financiële functie van belang de cijfermatige capaciteiten van persoon in kaart te brengen. Verbale capaciteiten zijn voor een dergelijke functie minder van belang. Er kan dan gekozen worden de test Cijferreeksen af te nemen. Aan de hand van deze test wordt een goed beeld verkregen van de numerieke aanleg, oftewel het cijfermatig analytisch vermogen van de persoon.
Momenteel zijn binnen deze reeks de volgende test ontwikkeld: de tests Figurenreeksen, de test Verbale Analogieën en de test Cijferreeksen. Aan de hand van deze tests kan respectievelijk abstractanalytisch vermogen, verbaal analytisch vermogen en cijfermatig analytisch vermogen bepaald kan worden. De reeks zal in de toekomst uitgebreid worden. Bij de ontwikkeling van de testen in deze reeks is zoveel mogelijk getracht cultuurvrije items te ontwikkelen. De test Figurenreeksen zal uiteraard meer cultuurvrij zijn dan de test Verbale Analogieën. Bij het afnemen van deze testen dient dit cultuurelement in overweging genomen te worden. Wanneer de tests van de ISFIC-reeks onderverdeeld worden in verbaal/non-verbaal kan dit als volgt gedaan worden: de testen Figurenreeksen en Cijferreeksen kunnen benoemd worden als non-verbale tests, terwijl de test Verbale Analogieën een duidelijk verbale test is. Van de test Cijferreeksen bestaan twee versies, te weten een versie voor hoger opgeleiden (HBO/WO niveau) en een versie voor personen met een opleiding onder HBO-niveau. Van de testen Verbale Analogieën en Figurenreeksen is op dit moment één versie ontwikkeld. In de toekomst zullen naar verwachting ook van deze test verschillende versies ontwikkeld worden. Voor specifieke informatie over de afzonderlijke testen wordt verwezen naar de volgende hoofdstukken van deze handleiding.
1.4
Terugkoppelingsmaten
De capaciteitentest worden teruggekoppeld aan de hand van een drietal maten: 1. sten scores Deze schaal loopt van 1 tot 10. Sten-scores zijn een vorm van standaardscores. De ruwe scores van de persoon worden gestandaardiseerd naar een bepaalde schaal, in het geval van sten-scores naar een schaal van 1 tot 10, met een vast gemiddelde en een vaste standaarddeviatie. Standaardscores, en dus ook sten-scores, geven een beeld van hoe een bepaalde score zich verhoudt tot het gemiddelde van alle scores. Uitgaande van een normale verdeling liggen sten 4,5,6 en 7 allemaal binnen 1 standaarddeviatie van het gemiddelde. Sten 2,3 en 8,9 liggen tussen 1 en 2 standaarddeviatie van het gemiddelde. Sten1 en 10 liggen meer dan 2 standaarddeviaties van het gemiddelde. De gemiddelde score in de normgroep ligt precies op de grens van de vijfde en zesde sten. De percentages die horen bij de afzonderlijke sten-scores zijn als volgt: Sten percentag e
1 2,3%
2 4,4%
3 9,2%
4 5 6 7 8 15% 19% 19% 15% 9,2%
9 4,4%
10 2,3%
2. T-score Deze schaal loopt van 0-100. Ook t-scores zijn een vorm van standaard-scores. T-scores hebben een gemiddelde van 50 en een standaarddeviatie van 10. Binnen een normale verdeling kan gesteld worden dat 99,74% van alle scores binnen T-scores van 20 tot 80 vallen aangezien deze scores 3 standaarddeviaties boven of 3 standaarddeviaties onder het gemiddelde liggen. 3. Percentiel score Een percentiel score refereert naar de proportie mensen in de normgroep wiens score lager dan een bepaalde testscore was. Dus: als 15 procent van de personen in de normgroep een (ruwe) score lager dan 20 heeft behaald, dan wordt gesteld dat de (ruwe) score 20 een percentielscore van15 heeft. Bij de interpretatie van percentielscores dient men te onthouden dat hoe hoger de percentielscore is hoe hoger de score van de betreffende persoon, ten opzichte van anderen. Percentielen zijn niet evenredig verdeeld over een normale verdeling. Binnen een normaal verdeling is het grootste deel van de personen gecentreerd rond het midden. Personen met een extreem hoge of extreem lage score zijn er relatief weinig. De afstand tussen het 1 e en 2e percentiel is om die reden veel groter dan de afstand tussen (bijvoorbeeld) het 5e en 6e percentiel.
Hoofdstuk 2: De Capaciteitentest Figurenreeksen In dit hoofdstuk wordt allereerst de ontwikkeling van de capaciteitentest Figurenreeksen behandeld. Verderop in dit hoofdstuk wordt ingegaan op de interpretatie van de resultaten van de test en de afname instructie. 2.1 Ontwikkeling Allereerst zijn er een 40-tal items ontwikkeld. Uitgangspunt hierbij is een bestaand format voor capaciteitentests op HBO / WO- niveau geweest. Deze lijst met 40 items is voorgelegd aan een groep van 27 personen. Bij het invullen van deze test hielden de personen de tijd bij die zij per opgave nodig hadden. Op deze manier kon een inschatting gemaakt worden van de benodigde tijd voor deze test. Het opleidingsniveau van deze groep was als volgt verdeeld: opleidingsniveau WO HBO VWO MBO Totaal
Aantal 59% 19% 11% 11% 27
Tabel 1: opleidingsniveau personen versie 1 Figurenreeksen
De gemiddelde leeftijd van deze groep was 31 jaar. Van deze groep was 59% vrouw en 41% man. De resultaten van deze 27 personen zijn geanalyseerd aan de hand van SPSS 10.1. Van ieder van de items in deze lijst zijn de itemdifficulty en item-discriminability berekend. De itemdifficulty wordt uitgedrukt in p-waarde. Deze waarde geeft aan welke proportie van de personen die de test hebben gemaakt het betreffende item correct hebben beantwoord. De itemdiscriminability wordt uitgedrukt als Rbis. Deze waarde geeft aan in hoeverre de score op een bepaald item samenhangt met de uiteindelijke totaal score op de test. De verwachting is dat personen met een hoge intelligentie meer items goed hebben dan mensen met een lage intelligentie. Wanneer dus personen met een lage totaalscore op de test een bepaald item beter maken dan personen met een hoge totaalscore op de test dan kan men stellen dat het desbetreffende item niet goed discrimineert tussen hoge en lage intelligentie en dus geen goed item is. Bij de berekening van de Rbis is uitgegaan van een normale verdeling van het te meten construct, in dit geval verbaal-analytisch vermogen. Dit uitgangspunt is bepalend voor de keuze van formule aan de hand waarvan de Rbis berekend wordt. Aan de hand van deze berekeningen zijn 10 items uit de lijst verwijderd; de items met de hoogste pwaarde en de items met de laagste p-waarde en de laagste Rbis. De overige 30 items zijn gerangschikt op moeilijkheidsgraad en vormden versie 2 van de test Figurenreeksen. Vervolgens is deze lijst met 30 items voorgelegd aan 91 personen. De gemiddelde leeftijd van deze groep was 27 jaar. Van deze groep was 40% man en 60% vrouw. Het opleidingsniveau van deze groep was als volgt verdeeld: opleidingsniveau WO HBO VWO HAVO MBO MAVO
Aantal 6% 11% 8% 22% 29% 13%
LBO Totaal
11% 91
Tabel 2: opleidingsniveau N=91
30
20
10
Std. Dev = 5,04 Mean = 15,8 N = 91,00
0 2,5
7,5 5,0
12,5 10,0
17,5 15,0
22,5 20,0
27,5 25,0
grafiek 1 verdeling totaalscore figurenreeksen
Grafiek 1 geeft een overzicht van de verdeling van de totaalscores die behaald zijn op de test Figurenreeksen. Uit deze grafiek is ons inziens te concluderen dat de scores voldoende normaal verdeeld zijn om het gebruik van de Rbis-formule die uitgaat van een normale verdeling te rechtvaardigen. Ook is uit de grafiek op te maken dat de gemiddelde goedscore van deze groep van 91 personen 15.8 opgaven is met een standaarddeviatie van 5.04. In een volgende analyse-ronde zijn de scores van deze 91 personen geanalyseerd met behulp van SPSS 10.1. Ook van deze test zijn de p-waarden en de Rbis per item berekend. Uit deze 30 items zijn de items met een p-waarde hoger dan 0.91 (te makkelijk) en lager dan 0.15 (te moeilijk) verwijderd. Hierbij vielen 6 items af. Vervolgens zijn de vier items met de combinatie lage Rbis / lage p-waarde verwijderd. De verdeling van de waarden binnen deze test is minder gelijkmatig dan binnen de test Cijferreeksen en Verbale Analogieën zoals te zien is in de volgende twee hoofdstukken. De keuzes voor de te selecteren items zijn dus ook minder eenduidig als in deze overige twee testen. Uiteindelijk bleven er na deze analyse nog 20 items over. Deze items vormen versie 3 van de test Figurenreeksen. Deze versie is momenteel op de Toolkit terug te vinden. De tijd die voor deze versie staat is terug gebracht van 30 naar 20 minuten.
vraagnr 20 30
Rbis 0 0,14
p 0 0,03
Opgenomen in versie 3 Nee Nee
29 21 28 27 25 26 24 22 23 13 18 12 15 17 14 16 19 7 6 5 10 8 11 2 9 4 1 3
-0,1 -0,18 0,18 0,51 0,28 0,45 0,48 0,41 0,58 0,28 0,27 0,5 0,53 0,44 0,23 0,34 0,53 0,49 0,47 0.53 0,51 0,31 0,37 0,52 0,31 0,35 0,29 0,15
0,04 0,1 0,14 0,16 0,28 0,31 0,36 0,47 0,47 0,48 0,49 0,49 0,49 0,49 0,49 0,49 0,49 0,53 0,61 0.67 0,71 0,76 0,78 0,8 0,81 0,84 0,91 0,93
Te moeilijk
P 0.15-P 0.30
P 0.31-P 0.50
P 0.51-P 0.70
P 0.71-P0.91
Te makkelijk
Nee Nee Nee Ja Nee Ja Ja Ja Ja Nee Nee Ja Ja Ja Nee Ja Ja Ja Ja Ja Ja Ja Ja Ja Ja Ja Ja Nee
Tabel 3: opname items versie 2 in versie 3
De normgroep waarop de rapportage in de Toolkit gebaseerd is, is voorlopig gedestilleerd uit de groep van 91 personen die de 30-item versie hebben ingevuld. Specifieke gegevens met betrekking tot de Toolkit-versie van 20 items was op het moment van dit schrijven nog niet voorhanden. Wanneer dit voorhanden is worden deze gegevens aangevuld. Tevens zijn er op het moment van dit schrijven nog niet voldoende gegevens voorhanden om specifieke normgroepen voor verschillende opleidingsniveaus te genereren. Er is nu nog sprake van een algemene normgroep. Wanneer er voldoende gegevens beschikbaar zijn zullen de volgende normgroepen gegenereerd worden: - WO - HBO/ VWO - HAVO/ MBO - MAVO/ LBO
2.2 Interpretatie van de scores Met de test Figurenreeksen wordt het abstract-analytisch vermogen van de kandidaat bepaald. Aan de hand van de resultaten van deze test wordt een beeld verkregen van de mate waarin de kandidaat in staat is structuur en verbanden te ontdekken in abstract materiaal. Om deze structuur en verbanden te kunnen ontdekken dient men in staat te zijn overstijgend naar zaken te kijken. Personen die hoog op deze test scoren hebben een groot analytisch vermogen en zijn in staat orde en logica te ontdekken in schijnbaar onlogisch geordend materiaal. Analytisch vermogen is van groot belang bij zeer veel functies dus deze test is zeer breed inzetbaar.
2.3 Afname instructie De test Figurenreeksen bestaat uit 20 opgaven. De opgaven lopen op in moeilijkheidsgraad. Deze test is een test onder tijdsdruk. Dit houdt in dat de kandidaat een bepaalde vastgestelde tijd heeft om de test te maken. Voor deze test is dit 15 minuten. De kandidaat mag eventueel gebruik maken van kladpapier. Dit zal naar verwachting echter tot vertraging leiden bij het maken van de test en wordt om deze reden dan ook niet aangeraden. Overige instructies met betrekking tot de afname die gegeven kunnen worden zijn meer algemene instructies die in principe bij iedere testafname in acht genomen dienen te worden. Zo dient er sprake te zijn van een rustige ruimte waar de kandidaat zo min mogelijk wordt gestoord en afgeleid. Vanwege toepassing van de Toolkit is controle op de omgeving minder mogelijk. De test kan immers eventueel ook thuis gemaakt worden. Wel kan er een tijdsperiode worden aangegeven waarbinnen de test gemaakt dient te worden door de kandidaat. Deze tijdsperiode kan bijvoorbeeld afgestemd worden op de perioden dat de kandidaat aanwezig is op het werk. Hierdoor kan er toch enige mate van controle uitgeoefend worden. Tevens is het van belang dat de instructie voor de kandidaat helder is en dat precies duidelijk is hoe de test ingevuld dient te worden. Aangezien de test, door toepassing van de Toolkit niet perse in een omgeving gemaakt hoeft te worden waar professionele ondersteuning aanwezig is, is deze mogelijke afwezigheid van uitleg, getracht te ondervangen door bij iedere test een voorbeeld opgave met duidelijke uitleg aan te bieden. Tevens maakt de kandidaat voorafgaand aan de werkelijke test drie oefenopgaven waarbij telkens een uitgebreide toelichting wordt gegeven. Deze oefenopgaven kunnen bij onduidelijkheid zo vaak als voor de kandidaat wenselijk is herhaald worden. Bij alle testen binnen de ISFIC-reeks welke middels de Toolkit ingevuld worden, is het van belang voorafgaand aan de test bij de kandidaat te controleren of deze over een basisniveau aan computervaardigheden beschikt.
Hoofdstuk 3: De Capaciteitentest Verbale Analogieën In dit hoofdstuk wordt allereerst de ontwikkeling van de capaciteitentest Verbale Analogieën behandeld. Verderop in dit hoofdstuk wordt ingegaan op de interpretatie van de resultaten van de test en de afname instructie. 3.1
Ontwikkeling
De ontwikkeling van deze test is begonnen met de ontwikkeling van een 80-tal items. Uitgangspunt hierbij is een bestaand format voor capaciteitentests op HBO / WO- niveau geweest. Deze lijst met 80 items is voorgelegd aan een groep van 24 personen. Bij het invullen van deze test hielden de personen de tijd bij die zij per opgave nodig hadden. Op deze manier kon een inschatting gemaakt worden van de benodigde tijd voor deze test. Van deze groep was 50% man en 50% vrouw. De gemiddelde leeftijd van deze groep was 33 jaar. De resultaten van deze personen zijn aan de hand van SPSS 10.1 geanalyseerd. Van ieder van de items in deze lijst zijn de itemdifficulty en item-discriminability berekend. De itemdifficulty wordt uitgedrukt in p-waarde. Deze waarde geeft aan welke proportie van de personen die de test hebben gemaakt het betreffende item correct hebben beantwoord. De itemdiscriminability wordt uitgedrukt als Rbis. Deze waarde geeft aan in hoeverre de score op een bepaald item samenhangt met de uiteindelijke totaal score op de test. De verwachting is dat personen met een hoge intelligentie meer items goed hebben dan mensen met een lage intelligentie. Wanneer dus personen met een lage totaalscore op de test een bepaald item beter maken dan personen met een hoge totaalscore op de test dan kan men stellen dat het desbetreffende item niet goed discrimineert tussen hoge en lage intelligentie en dus geen goed item is. Bij de berekening van de Rbis is uitgegaan van een normale verdeling van het te meten construct, in dit geval verbaal-analytisch vermogen. Dit uitgangspunt is bepalend voor de keuze van formule aan de hand waarvan de Rbis berekend wordt en in het verlengde hiervan dus voor de samenstelling van volgende versies van de test. Items met een p-waarde hoger dan 0.90 (te makkelijk) of een p-waarde lager dan 0.10 (te moeilijk) zijn uit de lijst verwijderd. Tevens zijn items met een lage Rbis uit de lijst verwijderd. Dit laatste is gedaan omdat de score op deze items een te geringe relatie hebben met de totaal score op de test. Uiteindelijk bleef een lijst van 32 item over. De na deze analyse-ronde ontstane lijst van 32 items is voorgelegd aan een groep van 111 personen. De gemiddelde leeftijd van deze groep was 27 jaar. Van deze groep was 34% man en 66% vrouw. Het opleidingsniveau van deze groep was als volgt verdeeld: opleidingsniveau WO HBO VWO HAVO MBO MAVO LBO Totaal
Aantal 5% 24% 8% 19% 21% 14% 9% 111
Tabel 1: opleidingsniveau
Grafiek 1 geeft een overzicht van de verdeling van de totaalscores die behaald zijn op de test Verbale Analogieën. Uit deze grafiek is ons inziens te concluderen dat de scores voldoende normaal verdeeld zijn om het gebruik van de Rbis-formule die uitgaat van een normale verdeling te rechtvaardigen.
40
30
20
10 Std. Dev = 4,26 Mean = 18,8 N = 111,00
0 5,0
10,0 7,5
15,0 12,5
20,0 17,5
25,0 22,5
30,0 27,5
grafiek 1: verdeling totaalscore Verbale Analogieen
Ook is uit de grafiek op te maken dat de gemiddelde goedscore van deze groep van 111 personen 18.8 opgaven is met een standaarddeviatie van 4.26. In een volgende analyse-ronde zijn de resultaten van deze groep aan de hand van SPSS 10.1 geanalyseerd. Wederom zijn de p-waarden (item-difficulty) en de Rbis (item-discriminability) berekend. Items met p-waarden hoger of gelijk aan 0.90 (te makkelijk) en items met p-waarden lager dan 0.10 (te moeilijk) zijn uit de lijst verwijderd. Dit waren respectievelijk items met p-waarden 0.91(2 items); 0.90; 0.05; 0.06 en 0.08. Vervolgens zijn items met een Rbis van 0.33 en lager uit de lijst verwijderd. Dit waren items met Rbis van 0.18 (2 items) 0.22; 0.26; 0.31; 0.33. Na deze analyses bleef uiteindelijk een lijst met 24 items over. Vraagnr. 25 31 30 32 29 22 23 15 24 26 14 12 18 16 27 10 28
Rbis 0.49 0.68 -0.03 0.55 0.46 0.18 0.56 0.40 0.66 0.44 0.18 0.42 0.39 0.42 0.67 0.36 0.47
P 0.05 0.06 0.08 0.16 0.32 0.33 0.33 0.41 0.41 0.48 0.50 0.50 0.52 0.57 0.65 0.66 0.66
Te moeilijk P 0.10 - 0.30
P 0.31 - 0.50
P 0.51 - 0.70
Opgenomen in versie 3 Nee Nee Nee Ja Ja Nee Ja Ja Ja Ja Nee Ja Ja Ja Ja Ja Ja
11 9 21 4 13 17 2 3 1 19 5 6 8 20 7
0.41 0.50 0.33 0.31 0.63 0.26 0.22 0.53 0.46 0.66 0.54 0.69 0.43 0.55 0.79
0.68 0.71 0.72 0.73 0.75 0.76 0.78 0.80 0.82 0.84 0.87 0.88 0.90 0.91 0.91
P 0.71 - 0.90
Te gemakkelijk
Ja Ja Nee Nee Ja Nee Nee Ja Ja Ja Ja Ja Nee Nee Nee
Tabel 2: opname items versie 2 in versie 3 Verbale Analogieën
De normgroep waarop de rapportage in de Toolkit gebaseerd is, is voorlopig gedestilleerd uit de groep van 111 personen die de 32-item versie hebben ingevuld. Specifieke gegevens met betrekking tot de Toolkit-versie van 24 items was op het moment van dit schrijven nog niet voorhanden. Wanneer dit voorhanden is worden deze gegevens aangevuld. Tevens zijn er op het moment van dit schrijven nog niet voldoende gegevens voorhanden om specifieke normgroepen voor verschillende opleidingsniveaus te genereren. Er is nu nog sprake van een algemene normgroep. Wanneer er voldoende gegevens beschikbaar zijn zullen de volgende normgroepen gegenereerd worden: - WO - HBO/ VWO - HAVO/ MBO - MAVO/ LBO
3.2 Interpretatie van de scores Met de test Verbale Analogieën wordt het verbaal- analytisch vermogen van de kandidaat bepaald. Dit geeft een beeld van de mate van inzicht dat een kandidaat heeft in verbaal materiaal, zijn algemene verbale aanleg. De score op deze test geeft een beeld van het vermogen om verbanden te zien tussen woorden, woorden in een bepaalde context te kunnen plaatsen; oftewel het vermogen te redenen op het verbale vlak. Tevens geeft het een beeld van de woordenschat van een persoon. Goed verbaal analytisch vermogen is van belang in functies waarin verwacht wordt dat men veel schrijft en/of leest en uit verbaal materiaal (teksten, gesprekken) snel de benodigde informatie moet kunnen destilleren.
3.3 Afname instructie De test Verbale Analogieën bestaat uit 24 opgaven. De opgaven lopen op in moeilijkheidsgraad. Deze test is een test onder tijdsdruk. Dit houdt in dat de kandidaat een bepaalde vastgestelde tijd heeft om de test te maken. Voor deze test is dit 12 minuten. De kandidaat mag eventueel gebruik maken van kladpapier. Dit zal naar verwachting echter tot vertraging leiden bij het maken van de test en wordt om deze reden dan ook niet aangeraden. Overige instructies met betrekking tot de afname die gegeven kunnen worden zijn meer algemene instructies die in principe bij iedere testafname in acht genomen dienen te worden. Zo dient er sprake te zijn van een rustige ruimte waar de kandidaat zo min mogelijk wordt gestoord en afgeleid. Vanwege toepassing van de Toolkit is controle op de omgeving minder mogelijk. De test kan immers eventueel ook thuis gemaakt worden. Wel kan er een tijdsperiode worden aangegeven waarbinnen
de test gemaakt dient te worden door de kandidaat. Deze tijdsperiode kan bijvoorbeeld afgestemd worden op de perioden dat de kandidaat aanwezig is op het werk. Hierdoor kan er toch enige mate van controle uitgeoefend worden. Tevens is het van belang dat de instructie voor de kandidaat helder is en dat precies duidelijk is hoe de test ingevuld dient te worden. Aangezien de test, door toepassing van de Toolkit niet perse in een omgeving gemaakt hoeft te worden waar professionele ondersteuning aanwezig is, is deze mogelijke afwezigheid van uitleg, getracht te ondervangen door bij iedere test een voorbeeld opgave met duidelijke uitleg aan te bieden. Tevens maakt de kandidaat voorafgaand aan de werkelijke test drie oefenopgaven waarbij telkens een uitgebreide toelichting wordt gegeven. Deze oefenopgaven kunnen bij onduidelijkheid zo vaak als voor de kandidaat wenselijk is herhaald worden. Bij alle testen binnen de ISFIC-reeks welke middels de Toolkit ingevuld worden, is het van belang voorafgaand aan de test bij de kandidaat te controleren of deze over een basisniveau aan computervaardigheden beschikt.
Hoofdstuk 4: De Capaciteitentest Cijferreeksen In dit hoofdstuk wordt allereerst de ontwikkeling van de capaciteitentest Cijferreeksen behandeld. Verderop in dit hoofdstuk wordt ingegaan op de interpretatie van de resultaten van de test en de afname instructie. 4.1 Ontwikkeling Van de test Cijferreeksen zijn twee versies ontwikkeld; een versie voor hoger opgeleiden, vanaf nu genoemd Cijferreeksen versie A; en een versie voor personen met een opleiding onder HBO/WOniveau, vanaf nu genoemd Cijferreeksen versie B. De ontwikkeling van de test Cijferreeksen versie A: Allereerst zijn er een 30-tal items ontwikkeld. Uitgangspunt hierbij is een bestaand format voor capaciteitentests op HBO / WO- niveau geweest. Deze lijst met 30 items is voorgelegd aan een groep van 23 personen. Bij het invullen van deze test hielden de personen de tijd bij die zij per opgave nodig hadden. Op deze manier kon een inschatting gemaakt worden van de benodigde tijd voor deze test. Het opleidingsniveau van deze groep personen was als volgt verdeeld: Opleidingsniveau WO HBO VWO MBO Totaal
Aantal 63% 10% 22% 5% 23
Tabel 1: opleidingsniveau versie A
De gemiddelde leeftijd van deze groep was 31 jaar. Van deze groep was 61% vrouw en 39% man. De resultaten van deze personen zijn geanalyseerd aan de hand van SPSS 10.1. Van ieder van de items in deze lijst zijn de itemdifficulty en item-discriminability berekend. De itemdifficulty wordt uitgedrukt in p-waarde. Deze waarde geeft aan welke proportie van de personen die de test hebben gemaakt het betreffende item correct hebben beantwoord. De itemdiscriminability wordt uitgedrukt als Rbis. Deze waarde geeft aan in hoeverre de score op een bepaald item samenhangt met de uiteindelijke totaal score op de test. De verwachting is dat personen met een hoge intelligentie meer items goed hebben dan mensen met een lage intelligentie. Wanneer dus personen met een lage totaalscore op de test een bepaald item beter maken dan personen met een hoge totaalscore op de test dan kan men stellen dat het desbetreffende item niet goed discrimineert tussen hoge en lage intelligentie en dus geen goed item is. Bij de berekening van de Rbis is uitgegaan van een normale verdeling van het te meten construct, in dit geval cijfermatig analytisch inzicht. Dit uitgangspunt is bepalend voor de keuze van formule aan de hand waarvan de Rbis berekend wordt. Aan de hand van deze berekeningen zijn 10 items uit de lijst verwijderd; de items met de hoogste pwaarde (te gemakkelijk) en de items met de laagste p-waarde (te moeilijk) en de laagste Rbis (deze items hebben een te geringe relatie met de totaal score op de test). De overige 20 items zijn gerangschikt op moeilijkheidsgraad en vormen versie 2 van de test Cijferreeksen versie A. De ontwikkeling van de test Cijferreeksen versie B: Deze test is ontwikkeld voor personen met een opleiding onder HBO / WO-niveau. Ook voor deze test heeft een bestaand format voor capaciteitentest op dit niveau als uitgangspunt gediend. Allereerst zijn 30 items ontwikkeld. Deze items zijn aan 81 personen voorgelegd, waarvan het opleidingsniveau voor het grootste deel onder HBO / WO-niveau lag. Voor deze test hadden de personen 20 minuten de tijd.
Het opleidingsniveau van deze groep was als volgt verdeeld: opleidingsniveau WO HBO VWO HAVO MBO MAVO LBO Totaal
Aantal 11% 11% 7% 19% 19% 20% 12% 81
Tabel 2: opleidingsniveau versie B
De gemiddelde leeftijd van deze groep was 26,3 jaar. Van deze groep was 34,6% man en 65,4% vrouw. Grafiek 1 geeft een overzicht van de verdeling van de totaalscores die behaald zijn op de test Cijferreeksen. Uit deze grafiek is ons inziens te concluderen dat de scores voldoende normaal verdeeld zijn om het gebruik van de Rbis-formule die uitgaat van een normale verdeling te rechtvaardigen.
16 14 12 10 8 6 4 Std. Dev = 5,78
2
Mean = 15,5 N = 81,00
0 5,0
10,0 7,5
15,0 12,5
20,0 17,5
25,0 22,5
grafiek 1 verdeling totaalscore Cijfereeksen Versie B
Ook is uit de grafiek op te maken dat de gemiddelde goedscore van deze groep van 81 personen 15.5 opgaven is met een standaarddeviatie van 5.78. De scores van deze 81 personen zijn geanalyseerd met behulp van SPSS 10.1. Ook van deze test zijn de p-waarden en de Rbis per item berekend. Uit deze 30 items zijn de items met een p-waarde hoger dan 0.9 en lager dan 0.1 verwijderd. Hierbij vielen 7 items af. Vervolgens zijn de drie items met de laagste Rbis verwijderd: 0.31 ; 0.48 en 0.49.
Uiteindelijk bleven er na deze analyse nog 20 items over. Deze items vormen versie 2 van de test Cijferreeksen versie B. Deze versie is momenteel op de Toolkit terug te vinden.
Vraagnr. 30 26 29 27 28 25 22 23 24 11 20 17 19 18 12 21 16 10 13 3 15 8 14 2 6 4 1 5 7 9
Rbis 0.51 0.38 0.77 0.07 0.70 0.43 0.60 0.79 0.87 0.69 0.62 0.72 0.49 0.75 0.69 0.71 0.48 0.64 0.79 0.31 0.78 0.68 0.64 0.64 0.84 0.82 0.88 0.73 0.76 0.79
P 0.02 0.07 0.07 0.08 0.13 0.28 0.28 0.28 0.37 0.38 0.43 0.47 0.48 0.5 0.57 0.58 0.6 0.61 0.61 0.62 0.62 0.63 0.75 0.78 0.81 0.9 0.9 0.91 0.91 0.95
Te moeilijk
P 0.10 -0.30
P0.31-0.50
P0.51 - 0.70
P 0.71 - 0.90
Te makkelijk
Opgenomen in versie 2 Nee nee Nee Nee Ja Ja Ja Ja Ja Ja Ja Ja Nee Ja Ja Ja Nee Ja Ja Nee Ja Ja Ja Ja Ja Ja Ja Nee Nee Nee
Tabel 3 : opname items versie 1 in versie 2 Cijferreeksen
De tijd die voor deze test staat is, vanwege het terugbrengen van het aantal items van 30 naar 20, verminderd van 20 naar 15 minuten. De normgroep waarop de rapportage in de Toolkit gebaseerd is, is voorlopig gedestilleerd uit de groep van 81 personen die de 30-item versie hebben ingevuld. Specifieke gegevens met betrekking tot de Toolkit-versie van 20 items was op het moment van dit schrijven nog niet voorhanden. Wanneer dit voorhanden is worden deze gegevens aangevuld. Tevens zijn er op het moment van dit schrijven nog niet voldoende gegevens voorhanden om specifieke normgroepen voor verschillende opleidingsniveaus te genereren. Er is nu nog sprake van een algemene normgroep. Wanneer er voldoende gegevens beschikbaar zijn zullen de volgende normgroepen gegenereerd worden: - WO - HBO/ VWO - HAVO/ MBO
-
MAVO/ LBO
4.2 Interpretatie van de scores Met de test Cijferreeksen wordt het cijfermatig analytisch inzicht van de kandidaat bepaald. Dit houdt in dat er aan de hand van de scores op deze test een beeld verkregen wordt van het inzicht dat de kandidaat heeft in cijfermatig materiaal. Meestal wordt het onderliggende construct wat met deze test gemeten wordt omschreven als een subcomponent van het bredere concept “abstracte intelligentie” (Drenth, 2001). Het bepalen van dit inzicht is van belang bij functies waarin veel met cijfermateriaal gewerkt wordt en waarin men snel de logica in dit materiaal moet kunnen zien. Functies waarbij dit van belang is zijn bijvoorbeeld functies in de financiële sector, beleidsmatige functies en functies op het gebied van de ICT. 4.3 Afname instructie De test Cijferreeksen versie B bestaat uit 20 opgaven. De opgaven lopen op in moeilijkheidsgraad. Deze test is een test onder tijdsdruk. Dit houdt in dat de kandidaat een bepaalde vastgestelde tijd heeft om de test te maken. Voor deze test is dit 15 minuten. De kandidaat mag eventueel gebruik maken van kladpapier. Dit zal naar verwachting echter tot vertraging leiden bij het maken van de test en wordt om deze reden dan ook niet aangeraden. Overige instructies met betrekking tot de afname die gegeven kunnen worden zijn meer algemene instructies die in principe bij iedere testafname in acht genomen dienen te worden. Zo dient er sprake te zijn van een rustige ruimte waar de kandidaat zo min mogelijk wordt gestoord en afgeleid. Vanwege toepassing van de Toolkit is controle op de omgeving minder mogelijk. De test kan immers eventueel ook thuis gemaakt worden. Wel kan er een tijdsperiode worden aangegeven waarbinnen de test gemaakt dient te worden door de kandidaat. Deze tijdsperiode kan bijvoorbeeld afgestemd worden op de perioden dat de kandidaat aanwezig is op het werk. Hierdoor kan er toch enige mate van controle uitgeoefend worden. Tevens is het van belang dat de instructie voor de kandidaat helder is en dat precies duidelijk is hoe de test ingevuld dient te worden. Aangezien de test, door toepassing van de Toolkit niet perse in een omgeving gemaakt hoeft te worden waar professionele ondersteuning aanwezig is, is deze mogelijke afwezigheid van uitleg, getracht te ondervangen door bij iedere test een voorbeeld opgave met duidelijke uitleg aan te bieden. Tevens maakt de kandidaat voorafgaand aan de werkelijke test drie oefenopgaven waarbij telkens een uitgebreide toelichting wordt gegeven. Deze oefenopgaven kunnen bij onduidelijkheid zo vaak als voor de kandidaat wenselijk is herhaald worden. Bij alle testen binnen de OSVIC-reeks welke middels de Toolkit ingevuld worden, is het van belang voorafgaand aan de test bij de kandidaat te controleren of deze over een basisniveau aan computervaardigheden beschikt. Voor de test Cijferreeksen A wordt zodra deze lijst beschikbaar is voor de Toolkit een afname instructie bijgevoegd.
Literatuur
Burt, C. (1949). The structure of the mind: a review of the results of factor analysis. British Journal of Educational Psychology, 19, 110-111, 176-199 Cattell, J.M. (1890). Mental tests and measurement. Mind, 15, 373-380 Drenth, J.D. (2001). Drenth Testserie Hoger Onderwijs. Handleiding. Swets & Zeitlinger B.V., Lisse Galton, F. (1883). Inquiries into human faculty and its development. London, Macmillian Guilford, J.P. (1967). The nature of human intelligence. New York, McGraw-Hill Janda, L.H., (1998). Psychological Testing. Theory and Applications. Allyn & Bacon, Boston Piaget, J. (1952). The origins of intelligence in children. New York: International University Press Spearman, C. (1923). The nature of “intelligence” and the principles of cognition. London, Macmillan Thorndike, R.L., Hagen,E.P., Sattler, J.M. (1986). Guide for administering and scoring the fourth edition Stanford-Binet Intelligence Scale. Chicago; Riverside Thurstone, L.L. (1938). Primary mental abilities. Psychometric Monographs (whole no. 1) Vernon, P.E. (1960). The structure of human abilities. London: Methuen Walsh, W.B., Betz, N.E. (1990). Tests and Assessment. Prentice Hall, Englewood Cliffs, New Yersey. Second Edition