‘Probeert u dit eens zelf’: Effecten van oefeningen in leshandleidingen op kennis en vaardigheden van softwaregebruikers HESTER GLASBEEK
Samenvatting In het experiment waarover ik in dit artikel verslag doe, werden twee soorten oefeningen in leshandleidingen vergeleken: probleemoplossingsoefeningen, die de gebruiker een welomschreven doel bieden, en minimalistische ‘zelfprobeeroefeningen’ die de gebruiker uitnodigen zelf verder te experimenteren met de zojuist geleerde programmafuncties. Uit de resultaten komt naar voren dat probleemoplossingsoefeningen leiden tot betere prestaties op kennis- en vaardigheidstoetsen bij gebruikers met een slecht gedefinieerd doel, terwijl gebruikers met een beter gedefinieerd doel juist meer profiteren van zelfprobeeroefeningen.
1 Inleiding Leshandleidingen bij computerprogramma’s bevatten behalve uitleg en instructies vaak oefeningen, waarin de gebruikers worden uitgenodigd de zojuist verworven kennis actief toe te passen. Soms bestaat zo’n oefening uit een welomschreven probleem (‘maak de kopjes in deze tekst cursief’); in andere gevallen krijgt de gebruiker een veel globalere opdracht (‘verbeter de opmaak van deze tekst’). Algemeen wordt aangenomen dat het maken van oefeningen bevorderlijk is voor de retentie, het begrip en de bruikbaarheid van nieuwe kennis. Om een oefening tot een goed einde te brengen moet de gebruiker immers zelf nadenken over het programma en eigen conclusies trekken. Maar van wat voor soort oefeningen profiteren gebruikers het meeste? Daarover bestaan verschillende meningen.
2 Zelf proberen of probleemoplossen Volgens een bekende stroming binnen het leshandleidingenonderzoek, het minimalisme, leren gebruikers het meeste van een handleiding die hen stimuleert hun eigen doelen na te streven (Van der Meij & Carroll, 1998). Gebruikers die met het programma doen wat ze zelf leuk of belangrijk vinden, zijn gemotiveerder en meer betrokken bij het leerproces dan gebruikers die opdrachten uit de handleiding uitvoeren. De kennis die de eersten verwerven sluit beter aan bij hun voorkennis, zodat de nieuwe kennis dieper wordt ‘verankerd’. Een van de middelen die de minimalisten aanbevelen om het stellen van eigen doelen te bevorderen, is de zogenaamde zelfprobeer- of on your own-oefening (Van
OVER DE GRENZEN VAN DE TAALBEHEERSING
der Meij & Carroll, 1998: 24). Meestal bestaan zelfprobeeroefeningen uit een aansporing om zelf verder te experimenteren met een of meer van de geleerde functies, of met vergelijkbare functies (zie bijvoorbeeld Lazonder, 1994) Tegen het minimalistische advies om gebruikers hun eigen doelen te laten nastreven zijn bezwaren aangevoerd door de onderzoeksgroep van Charney en Reder. Charney, Reder en Kusbit (1990) vermoedden dat het stellen van eigen doelen weliswaar een positief effect heeft bij gebruikers met veel taakervaring, zoals de deelnemers aan de minimalistische experimenten (secretaresses die een tekstverwerkingsprogramma leerden gebruiken), maar dat het negatief uitpakt bij gebruikers zonder taakervaring. Voor de laatsten is het waarschijnlijk moeilijker om zinvolle doelen te bedenken. Charney c.s. verwachtten dat deze laatste gebruikers meer profiteren van probleemoplossingsoefeningen: oefeningen die de gebruikers een welomschreven doel bieden, dat ze zelf moeten realiseren. Om hun veronderstelling te toetsen voerden Charney c.s. een experiment uit, waarin een ‘exploratieve’ conditie werd vergeleken met een ‘probleemoplossingsconditie’. De deelnemers aan het experiment leerden met behulp van een handleiding omgaan met een spreadsheetprogramma. Twee dagen na de training werd een vaardigheidstoets afgenomen, bestaande uit twaalf probleemoplossingstaken. Uit de resultaten bleek dat de proefpersonen uit de probleemoplossingsconditie beter presteerden bij de vaardigheidstoets dan de proefpersonen uit de exploratieve conditie; de probleemoplossers voerden de taken sneller uit en waren succesvoller. Charney c.s. beschouwen deze resultaten als ondersteuning voor hun hypothese dat gebruikers zonder taakervaring meer profiteren van een handleiding met probleemoplossingsoefeningen dan van een handleiding die een beroep doet op exploratief leren. Op deze conclusie valt echter wel wat af te dingen. Ten eerste zijn de twee condities in het experiment niet goed vergelijkbaar, vanwege verschillen in de taakinstructie vooraf. Ten tweede wijkt de exploratieve conditie in dit experiment sterk af van een minimalistische leeromgeving. De handleiding waarmee Charney c.s. hun proefpersonen lieten werken bevatte alleen omschrijvingen van programmafuncties, met bij elke functie een formele, algemene uitvoeringsregel. Minimale handleidingen daarentegen zijn opgezet rond reële, herkenbare taken. Meestal wordt er een voorbeeldinvulling van de procedure aangeboden, op grond waarvan de gebruiker zich een beeld kan vormen van de toepassingsmogelijkheden van het programma. Bovendien bevat een minimale handleiding expliciete aansporingen om met bepaalde functies zelf verder te experimenteren, bijvoorbeeld in de vorm van de genoemde zelfprobeeroefeningen. Onder meer vanwege deze problemen heb ik een replicatie uitgevoerd van het experiment van Charney c.s. Daarin werden de effecten van minimalistische zelfprobeeroefeningen vergeleken met die van probleemoplossingsoefeningen.
206
EFFECTEN VAN OEFENINGEN IN SOFTWAREHANDLEIDINGEN OP KENNIS EN VAARDIGHEDEN
3 Onderzoeksopzet De opzet van het replicatie-onderzoek was in grote lijnen als volgt. Zestig proefpersonen werd gevraagd hardopdenkend te leren werken met het spreadsheetprogramma Quattro Pro. De proefpersonen konden daarbij gebruik maken van een (door mij gemaakte) minimale handleiding. In de helft van de gevallen bevatte die handleiding zelfprobeeroefeningen; in de andere helft probleemoplossingsoefeningen. Behalve het type oefening was de taakinstructie gemanipuleerd: de helft van de deelnemers kreeg een zeer open taakinstructie, de andere helft kreeg specifiekere aanwijzingen over de taken die ze na de training zouden moeten beheersen. Na anderhalf uur oefenen met het programma kregen de proefpersonen achtereenvolgens een vaardigheidstoets en een lijst met kennis- en begripsvragen. Een week tot twee weken later werden nogmaals een vaardigheids- en een kennistoets afgenomen. 3.1 Onafhankelijke variabelen In het experiment zijn drie onafhankelijke variabelen betrokken: oefening, taakinstructie en meetmoment. De eerste onafhankelijke variabele is het type oefening. In de probleemoplossingshandleiding vinden de gebruikers aan het eind van elk hoofdstuk een beschrijving van een probleem, met daarbij de opdracht dit probleem op de snelste en/of handigste manier op te lossen. Ter illustratie de probleemoplossingsoefening voor het aanpassen van de indeling van een spreadsheet: Oefening: de indeling aanpassen Maak het scherm leeg (als u dat nog niet hebt gedaan) en roep het bestand ENGELS1 op. In dit werkblad moeten een aantal wijzigingen worden aangebracht. Voer deze wijzigingen uit en kies daarbij steeds de handigste manier. a) De tentamens staan in de verkeerde volgorde. De luistertoets staat ergens in het midden, terwijl dit tentamen als laatste is afgenomen. Zorg ervoor dat de resultaten van dit tentamen helemaal rechts komen te staan. b) Bij de Atheneum A-groep ontbreken twee namen: Jeroen Kloosterman en Ingrid Roosenboom. Voeg deze namen toe en zorg er daarbij voor dat de alfabetische volgorde gehandhaafd blijft. In de zelfprobeer-handleiding worden de gebruikers aan het eind van ieder hoofdstuk uitgenodigd een voorbeeldbestand op te roepen en daarin zelf verder te experimenteren met de tot dusver behandelde functies. De oefening voor het aanpassen van de indeling ziet er in de zelfprobeer-handleiding zo uit:
207
OVER DE GRENZEN VAN DE TAALBEHEERSING
Zelf proberen: de indeling aanpassen Maak het scherm leeg (als u dat nog niet hebt gedaan) en roep een nieuw werkblad op, bijvoorbeeld ENGELS1. Experimenteer in dit werkblad verder met het verwijderen, invoegen en verplaatsen van gegevens. De tweede onafhankelijke variabele is de taakinstructie. Zoals gezegd verklaren Charney c.s. de relatief slechte prestaties in hun exploratieve conditie vanuit het gebrek aan taakervaring van hun proefpersonen; doordat deze proefpersonen weinig kennis hadden over het taakdomein waarvoor het programma bedoeld is, waren ze minder doelgericht dan de deelnemers aan de minimalistische experimenten. In mijn experiment heb ik geprobeerd de doelgerichtheid van de proefpersonen te beïnvloeden door de taakinstructie voorafgaand aan de training te variëren. De helft van de proefpersonen kreeg een zeer open taakinstructie. Hun werd gevraagd zich voor te stellen dat de gymnastiekvereniging waarvan zij bestuurslid waren het spreadsheetprogramma Quattro Pro had aangeschaft en dat het hun taak was dit programma zo goed mogelijk te leren gebruiken, binnen de anderhalf uur die ze daarvoor hadden uitgetrokken. De andere helft kreeg een meer gerichte taakinstructie, die hen in staat stelde zich alvast een beeld te vormen van de doelen en mogelijkheden van het programma. De gerichte taakinstructie ging uit van dezelfde situatie (‘u bent bestuurslid van de gymnastiekvereniging’), maar gaf meer aanwijzingen over het product dat de proefpersonen na de training moesten kunnen maken. De derde onafhankelijke variabele is het meetmoment. In onderzoek naar kennisen/of vaardigheidsverwerving zijn met name de lange termijn-effecten interessant (Lysynchuk, Pressley, d’Ailly, Smith & Cake, 1989). Ideaal zou zijn de verrichtingen van de proefpersonen met het programma gedurende langere tijd te volgen, maar daar is om verschillende redenen van afgezien. Om toch enig inzicht te krijgen in de effecten op langere termijn heb ik gekozen voor twee nametingen: een nameting direct na de training en een uitgestelde nameting, een week tot twee weken later. 3.2 Afhankelijke variabelen De afhankelijke variabelen vallen uiteen in drie categorieën: leerproces, kennis en vaardigheid. De variabele leerproces wordt in dit artikel buiten beschouwing gelaten. 3.2.1 Kennis In navolging van Charney en Reder (1987) zijn drie typen kennis onderscheiden: kennis over de condities waaronder programmafuncties van toepassing zijn, kennis over de uitvoering van procedures en kennis over de systematiek van het programma. Volgens Charney en Reder is verwerving van deze drie typen kennis noodzakelijk om vaardig met een computerprogramma te kunnen omgaan.
208
EFFECTEN VAN OEFENINGEN IN SOFTWAREHANDLEIDINGEN OP KENNIS EN VAARDIGHEDEN
Het kennisniveau is gemeten met behulp van een schriftelijke vragenlijst, die deels uit meerkeuze- en deels uit open vragen bestaat. Voor het meten van kennis over condities bevat de toets een aantal ‘wat is de handigste/snelste manier om ..?’-vragen. Bij dit type vragen gaat het om kennis op wat Shneiderman het functionele niveau noemt (Shneiderman, 1987): weten welke programmafunctie het meest adequaat is voor een gegeven probleem. Kennis over uitvoering is gemeten met vragen van het type ‘wat doet u/wat voert u in als u..’ Bij deze vragen gaat het om kennis op syntactisch niveau (Shneiderman, 1987): weten welke handelingen moeten worden uitgevoerd op de computer. De vragen die bedoeld zijn om kennis over de systematiek van het programma te meten gaan met name over de soorten gegevens die in Quattro Pro worden onderscheiden (tekst en getallen), en over de betekenis van symbolen die in sommige procedures moeten worden uitgevoerd. 3.2.2 Vaardigheid De afhankelijke variabele vaardigheid bestaat uit de volgende vier aspecten: 1 Succes: in hoeverre lukt het proefpersonen hun doelen te realiseren? 2 Selectie van methoden (functioneel niveau): welke programmafuncties gebruiken de proefpersonen om hun doelen te realiseren? 3 Paraatheid van methoden: kiezen de proefpersonen meteen voor bepaalde programmafuncties, of doen ze dat pas na raadpleging van de handleiding of na exploratie van het programma? 4 Efficiëntie bij het toepassen van programmafuncties (syntactisch niveau): in hoeverre worden de procedures voor het toepassen van de functies vloeiend uitgevoerd? Nemen de proefpersonen de kortste weg, of voeren ze overbodige handelingen uit? Efficiëntie is gedefinieerd als het ideale aantal handelingen gedeeld door het aantal feitelijk uitgevoerde handelingen. Voor het meten van vaardigheid zijn twee toetsen gebruikt: een voor de nameting en een voor de uitgestelde nameting. Beide toetsen bestaan uit een serie probleemoplossingsopdrachten en een open opdracht. De toetsen zijn dus niet identiek, maar wel vergelijkbaar. De opdrachten in beide toetsen hebben betrekking op dezelfde programmafuncties, alleen de context waarin die functies moeten worden toegepast, verschilt. 3.3 Handleiding Bij het maken van de leshandleiding voor het experiment heb ik me gebaseerd op de minimalistische heuristieken van Van der Meij en Carroll (1998). Behalve van deze heuristieken heb ik bij het ontwerpen van de handleiding gebruik gemaakt van twee
209
OVER DE GRENZEN VAN DE TAALBEHEERSING
voorbeeldhandleidingen, te weten de minimale handleiding bij Apple Lisa van Carroll c.s. (1987) en de minimale handleiding bij WordPerfect 5.1 van Lazonder (1994). 3.4 Proefpersonen Aan het onderzoek werkten 60 proefpersonen mee: 30 studenten en 30 niet-studenten. Geen van de deelnemers had ervaring met het programma Quattro Pro. Drie personen hadden wel enige ervaring met een ander spreadsheetprogramma (Excel of Lotus). Bij de verdeling van de proefpersonen over de condities heb ik ervoor gezorgd dat in iedere conditie zeven à acht studenten terechtkwamen en een zelfde aantal nietstudenten. Afgezien van deze matching vond de verdeling random plaats.
4 Hypothese Naar aanleiding van het onderzoek van Charney, Reder en Kusbit (1990) heb ik de volgende hypothese geformuleerd: Op alle afhankelijke variabelen doet zich een interactie-effect voor van taakinstructie x handleiding x meetmoment. De condities open instructie + probleemoplossen en gerichte instructie + zelf proberen ontwikkelen zich gunstiger dan de condities gerichte instructie + probleemoplossen en open instructie + zelf proberen. De deelnemers aan mijn experiment hebben weinig ervaring met het taakdomein waarvoor spreadsheetprogramma’s zijn ontwikkeld. Ze zullen dus, uitgaand van de redenering van Charney c.s., moeite hebben met het bedenken van doelen. In de gerichte condities kunnen de proefpersonen doelen afleiden uit de taakinstructie; de open taakinstructie biedt die mogelijkheid niet. Eenzelfde tegenstelling geldt voor de oefeningen: de probleemoplossingsoefeningen reiken de proefpersonen scherp geformuleerde doelen aan, de zelfprobeer-oefeningen doen dat niet. Bij een combinatie van een open taakinstructie en een handleiding met zelfprobeeroefeningen zullen de proefpersonen veel energie moeten besteden aan het bedenken van zinvolle doelen en daar mogelijk soms niet in slagen. Bij een combinatie van een gerichte instructie en een handleiding met probleemoplossingsoefeningen hebben de proefpersonen juist te maken met concurrerende doelen: de doelen die ze kunnen ontlenen aan de taakinstructie en de doelen uit de handleiding. Zowel de instructiegedeelten in de handleiding als de probleemoplossingsoefeningen gaan uit van voorbeeldsituaties, die verschillen van de situatieschets uit de taakinstructie. Willen de proefpersonen in deze conditie zowel de handleiding volgen als de leerdoelen uit de taakinstructie realiseren, dan zullen ze de instructies en de oefeningen uit de handleiding dus steeds moeten vertalen. Dat vergt veel van het werkgeheugen, terwijl de leertaak toch al zeer complex is: het domein is onbekend, de gebruikers moeten informatie uit twee bronnen verwerken en combineren, en op grond van die informatie moeten ze
210
EFFECTEN VAN OEFENINGEN IN SOFTWAREHANDLEIDINGEN OP KENNIS EN VAARDIGHEDEN
ook nog handelen. De hoge cognitieve belasting in deze conditie zal vermoedelijk een negatief effect hebben op de ontwikkeling van vaardigheid.
5 Analyse en resultaten 5.1 Schalen en betrouwbaarheden De kennistoets bestaat uit drie schalen: een schaal die kennis over de uitvoering van procedures meet, een schaal die kennis over condities meet en een schaal die de kennis meet over de systematiek van het programma. De vaardigheidstoets bestaat uit een reeks probleemoplossingstaken en een open taak. Bij de probleemoplossingstaken zijn vier schalen onderscheiden: succes, gekozen methode, paraatheid en efficiëntie. Vanwege het geringe aantal proefpersonen dat is toegekomen aan de open taak, is deze taak alleen gebruikt als indicatie voor efficiëntie; proefpersonen die deze taak hebben uitgevoerd hebben blijkbaar efficiënter gewerkt dan proefpersonen die er niet aan toegekomen zijn. Als eerste stap in de analyse ben ik nagegaan of er voldoende samenhang is tussen de items van de schalen door voor elke schaal de betrouwbaarheid uit te rekenen (Cronbachs alfa). De betrouwbaarheden zijn weergegeven in tabel 1. Tabel 1 Betrouwbaarheden kennis- en vaardigheidstoetsen Kennis Schaal Kennis over uitvoering Kennis over condities Kennis over systematiek van het programma
α .81 .76 .77
Vaardigheid Schaal Succes Selectie van methoden Paraatheid van methoden Efficiëntie bij uitvoering procedures Open taak
α .58 .66 .75 .43 .51
De betrouwbaarheden van de variabelen efficiëntie bij probleemoplossingstaken en open taak blijken onvoldoende. Deze variabelen zijn daarom buiten de verdere analyses gehouden. Vervolgens is gecontroleerd of de schalen wel onderscheidbare aspecten meten van de constructen ‘kennis over Quattro Pro’ en ‘vaardigheid met Quattro Pro’, door de correlaties tussen de schalen uit te rekenen en deze te attenueren voor onbetrouwbaarheid. De geattenueerde correlaties tussen de schalen van de kennistoets
211
OVER DE GRENZEN VAN DE TAALBEHEERSING
zijn alle positief en lager dan 1. Dat betekent dat er verwante, maar onderscheidbare aspecten zijn gemeten van het construct ‘kennis over Quattro Pro’. De correlaties tussen de schalen van de vaardigheidstoets blijken na attenuatie echter allemaal 1 te zijn. Er zijn dus geen onderscheidbare aspecten van `vaardigheid’ gemeten. In de analyses heb ik deze schalen daarom samengevoegd tot de schaal probleemoplossen. 5.2 Toetsing van de hypotheses De hypothese uit paragraaf 4 voorspelt een interactie-effect van taakinstructie x handleiding x meetmoment. Om deze hypothese te toetsen heb ik voor alle variabelen een variantie-analyse uitgevoerd (General linear models for repeated measurements), met als within subjects-factor meetmoment (nameting & uitgestelde nameting) en als between subjects-factoren handleiding (‘probleemoplossen’ versus ‘zelf proberen’) en taakinstructie (‘open’ versus ‘gericht’). 5.3 Resultaten Op de variabele kennis over de uitvoering van procedures vind ik het voorspelde interactieeffect van taakinstructie x handleiding x meetmoment (F = 9.45; df= 1, 53; p = .003; MSE = 9.71). In figuur 1 zijn de gemiddelde scores voor deze variabele grafisch weergegeven. open+probleem gericht+probleem open + zelf gericht+zelf
17
score
16 15 14 nameting
uitgestelde nameting meetmoment
Figuur 1
Gemiddelde score per conditie per toetsmoment op de variabele kennis over uitvoering van procedures
De score-lijnen van de ‘gunstige’ condities open taakinstructie + probleemoplossingsoefeningen en gerichte taakinstructie + zelfprobeer-oefeningen vertonen een stijging; de gunstige condities presteren op de uitgestelde nameting beter dan op de nameting. De twee ‘ongunstige’ condities zijn bij de uitgestelde nameting achteruitgegaan (open instructie + zelf proberen) of
212
EFFECTEN VAN OEFENINGEN IN SOFTWAREHANDLEIDINGEN OP KENNIS EN VAARDIGHEDEN
praktisch gelijk gebleven (gerichte taakinstructie + probleemoplossen). Het effect is overigens klein (ES = .12) Bij de variabele kennis over condities is er een interactie-effect van taakinstructie x handleiding (F = 5.1; df= 1, 53; p = .028 ; MSE = 6.11). Het scoreverloop voor deze variabele is weergegeven in figuur 2. open+probleem gericht+probleem open + zelf gericht+zelf
score
15
14
13 nameting
uitgestelde nameting meetmoment
Figuur 2
Gemiddelde score per conditie per toetsmoment op de variabele kennis over condities
Het interactie-effect treedt bij deze variabele dus niet op binnen proefpersonen; de verschillen tussen nameting en uitgestelde nameting zijn niet significant. Verder zijn de resultaten wel overeenkomstig de verwachting: de gunstige combinaties (open taakinstructie + probleemoplossingsoefeningen en gerichte taakinstructie + zelfprobeer-oefeningen) scoren gemiddeld hoger dan de ‘ongunstige’ condities (open instructie + zelf proberen en gerichte taakinstructie + probleemoplossen). Bij de variabele kennis over de systematiek van het programma wordt weer het voorspelde interactie-effect gevonden van taakinstructie x handleiding x meetmoment (F = 7.28; df = 1, 53; p= .009; MSE = 3.25). Figuur 3 geeft het scoreverloop weer. De scorelijnen van de gunstige condities vertonen weer een stijging, terwijl die van de ongunstige juist dalen. De onderlinge verschillen tussen ongunstige en gunstige condities zijn niet significant.
213
OVER DE GRENZEN VAN DE TAALBEHEERSING
open+probleem gericht+probleem open + zelf gericht+zelf
score
15.5 14.5 13.5 12.5 nameting
uitgestelde nameting meetmoment
Figuur 3
Gemiddelde score per conditie per toetsmoment op de variabele kennis over systematiek
Ook bij de variabele probleemoplossen van vaardigheid wordt het voorspelde interactieeffect gevonden van taakinstructie x handleiding x meetmoment (F =4.57; df = 1, 53; p = 037; MSE = 4.12). Het effect is opnieuw klein (ES = .077). Het scoreverloop voor deze variabele is te zien in figuur 4. open+probleem
score
13.5
gericht+probleem open + zelf
12.5
gericht+zelf 11.5 10.5 9.5
nameting
uitgestelde nameting meetmoment
Figuur 4
Gemiddelde score per conditie per toetsmoment op de variabele probleemoplossen
De gunstige condities presteren op beide meetmomenten beter dan de ongunstige condities. Verder presteren de gunstige condities beter op de uitgestelde nameting dan op de nameting. Voor de ongunstige combinatie gerichte taakinstructie + probleemoplossen geldt dat ook. De andere ongunstige combinatie, open taakinstructie + zelf proberen presteert op de uitgestelde nameting juist iets slechter.
214
EFFECTEN VAN OEFENINGEN IN SOFTWAREHANDLEIDINGEN OP KENNIS EN VAARDIGHEDEN
6
Conclusies
In dit onderzoek is de volgende hypothese getoetst: Leshandleidinggebruikers met een scherp gedefinieerd doel profiteren het meest van minimalistische zelfprobeer-oefeningen; gebruikers met een slecht gedefinieerd doel profiteren het meest van probleemoplossingsoefeningen. Voor de resultaten betekent dat dat er een interactie-effect optreedt van taakinstructie x handleiding x meetmoment. De kennis en vaardigheid van proefpersonen die een combinatie krijgen van een gerichte taakinstructie met zelfprobeeroefeningen of een combinatie van een open taakinstructie met probleemoplossings-oefeningen, ontwikkelen zich gunstiger dan de kennis en vaardigheid van proefpersonen die een combinatie krijgen van een gerichte taakinstructie met probleemoplossingsoefeningen of een combinatie van een open taakinstructie met zelfprobeeroefeningen. Deze hypothese wordt bevestigd voor vier van de zes onderzochte afhankelijke variabelen: kennis over de uitvoering van procedures, kennis over condities, kennis over de systematiek van het programma en het vaardigheidsaspect probleemoplossen. Bij kennis over uitvoering, kennis over systematiek en bij probleemoplossen presteren de beide gunstige combinaties met name op de uitgestelde nameting beter dan de ongunstige combinaties. Dit resultaat kan worden gezien als het gevolg van kwaliteitsverschillen in de domeinrepresentaties die de gebruikers bezitten direct na de nameting. De representaties van de gebruikers in de gunstige condities zijn kennelijk robuust genoeg om een periode van ± anderhalve week zonder activering te overleven en daarbij te profiteren van het leereffect van de toetsen die bij de nameting zijn afgenomen. De representaties van de gebruikers in de ongunstige condities zijn na anderhalve week buiten gebruik te zijn geweest deels ontoegankelijk geworden. Bij de variabele kennis over condities is er een interactie-effect in de verwachte richting van taakinstructie x handleiding. Bij deze variabele zijn er alleen geen verschillen tussen de nameting en de uitgestelde nameting. De variabelen efficiëntie en open taak zijn buiten de analyse gehouden vanwege een te lage betrouwbaarheid.
7
Betekenis van de resultaten voor theorie en praktijk
De gevonden effecten zijn eenduidig en in overeenstemming met de verwachtingen; gebruikers met een slecht gedefinieerd doel leren meer van probleemoplossingsoefeningen, terwijl gebruikers met een scherp gedefinieerd doel meer profiteren van zelfprobeer-oefeningen. Daarmee dragen de resultaten van dit experiment bij aan de theorievorming over samenhangen tussen instructiekenmerken, persoonskenmerken en leerresultaten binnen het domein van computergebruik. Het zou interessant zijn na te gaan of de gevonden samenhang ook in andere taakdomeinen bestaat. Voor de praktijk zijn op basis van de gevonden resultaten twee adviezen denkbaar. De eerste is differentiëren: bied in leshandleidingen voor gebruikers met een scherp gedefinieerd doel zelfprobeer-oefeningen en in handleidingen voor gebruikers met een slecht gedefinieerd doel probleemoplossingsoefeningen. Differentiatie brengt echter
215
OVER DE GRENZEN VAN DE TAALBEHEERSING
altijd praktische problemen met zich mee. Wat te doen als de doelgroep niet homogeen is? Twee handleidingen maken? Dat betekent hogere kosten. Bovendien: hoe komen gebruikers aan de juiste handleiding; kunnen ze zelf (vooraf) bepalen tot welke groep ze behoren? De andere optie is: in leshandleidingen zowel probleemoplossingsoefeningen opnemen als aanmoedigingen om zelf verder te experimenteren. Uit praktisch oogpunt verdient deze oplossing de voorkeur; het is goedkoper en het scheelt hoofdbrekens over de verspreiding onder de doelgroep. Bovendien nemen oefeningen over het algemeen weinig ruimte in, dus de omvang van de handleiding zal door het opnemen van beide typen niet buitensporig toenemen. Voorwaarde is wel, dat gebruikers alleen reageren op de oefeningen die voor hen gunstig zijn en de voor hen ‘schadelijke’ oefeningen spontaan negeren. In hoeverre aan die voorwaarde wordt voldaan, moet verder onderzoek uitwijzen.
Bibliografie Carroll, J.M., P.L. Smith-Kerker, J.R. Ford & S.A. Mazur-Rimetz (1987). ‘The minimal manual.’ Human computer interaction, 3, 123-153 Charney, D. en L. Reder (1987). ‘Initial skill learning: an analysis of how elaborations facilitate the three components.’ In: P. Morris (ed.), Modelling Cognition. John Wiley & Sons Ltd. Charney, D., L. Reder & G.W. Kusbit (1990). ‘Goal setting and procedure selection in acquiring computer skills: a comparison of tutorials, problem solving and learner exploration.’ Cognition and Instruction, 7(4), 323-342 Lazonder, A.W. (1994). Minimalist computer documentation: a study on constructive and corrective skills development. Ph.D. dissertation, Twente University Lysynchuk, L.M., M. Pressley, H. d’Ailly, M. Smith & H. Cake (1989). ‘A methodological analysis of experimental studies of comprehension strategy instruction.’ Reading Research Quarterly, 24(4), 458-470. Meij, H. van der & J.M. Carroll (1998). ‘Principles and heuristics for designing minimalist instruction.’ In: J.M. Carroll (ed.). Minimalism beyond the Nurnberg Funnel. (19-46). Cambridge etc.: MIT Press Shneiderman, B. (1987), Designing the user interface: strategies for effective human-computer interaction. Reading, Massachusetts: Addison-Wesley Publishing Company
216