E-learning: ervaringen en toekomstperspectieven

E-learning: ervaringen en toekomstperspectieven Dirk Vanderbist & Jan Vanthienen Vakgroep Beleidsinformatica Departement Toegepaste Economische Wetenschappen Katholieke Universiteit Leuven Hogenheuvelcollege, Naamsestraat 69, 3000 Leuven [email protected] [email protected]

Abstract Dit artikel behandelt een studie over de implementatie van zelftoetsomgevingen binnen de Faculteit Economische en Toegepaste Economische Wetenschappen. De bespreking in dit artikel bestrijkt echter het ganse gamma van ICT pakketten voor het onderwijs: E-learning. We starten met een synthese van opmerkingen en aanbevelingen m.b.t. de implementatie van ICT pakketten. Vervolgens vestigen we de aandacht op de kosten van de implementatie. Daarna worden de mogelijkheden voor en de effecten op het onderwijs van ICT pakketten besproken en kritisch geëvalueerd. Om af te sluiten, bekijken we een overzicht van ICT pakketten die ten behoeve van de studie onderzocht werden. Meer informatie over het ICT-onderwijsproject van de faculteit ETEW kan u vinden op: http://www.econ.kuleuven.ac.be/GIZEH/

Inhoudsopgave INHOUDSOPGAVE ..............................................................................................................................1 1

INLEIDING ....................................................................................................................................2

2

SAMENWERKINGSVOORWAARDEN.....................................................................................2

3 OPMERKINGEN EN AANBEVELINGEN I.V.M. ICT-PRODUCTEN VOOR HET ONDERWIJS..........................................................................................................................................3 4

KOSTENASPECTEN ..................................................................................................................10

5

BEDENKINGEN OMTRENT HET EFFECT VAN ICT IN HET ONDERWIJS .................12

6

HET INVOEREN VAN ICT IN HET ONDERWIJS BETEKENT EERST EVALUEREN .14

7

KOSTENSOORTEN EN KOSTENDRAGERS VAN ICT-ONDERWIJS..............................14

8

OPZETTEN VAN ZELFTOETSOMGEVINGEN BINNEN DE FACULTEIT ETEW........15

9

PRODUCTEN DIE DE MOEITE WAARD ZIJN.....................................................................17

REFERENTIES EN BIBLIOGRAFIE ...............................................................................................18 APPENDIX 1 ........................................................................................................................................19 APPENDIX 2 ........................................................................................................................................22

1

1

Inleiding

Dit artikel is een samenvatting van een studie die weergeeft hoe zelftoetsomgevingen voor studenten binnen de Faculteit Economische en Toegepaste Economische Wetenschappen (ETEW) kunnen opgezet worden. Het bevat opmerkingen en aanbevelingen rond het invoeren van zelftoetsomgevingen waarbij gekeken wordt naar aspecten zoals kosten, motivatie van de studenten, extra of verminderde werklast voor respectievelijk docenten en monitoraat, groeimogelijkheden van zelftoetsomgevingen naar een groter geheel in de toekomst. Het is zeer moeilijk een correcte definitie van een zelftoetsomgeving te geven daar deze omgevingen nog volop in ontwikkeling zijn. Een benaderende definitie zou kunnen zijn : een geautomatiseerd systeem waar een student op een interactieve wijze zijn kennis kan nagaan over leerstofonderdelen door het afleggen van elektronische toetsen die hem voorzien in feed-back doordat het systeem in staat is die toetsen autonoom te corrigeren en te evalueren. Benevens zelftoetsomgevingen behandelen we ook de ganse verzameling omgevingen die Informatica- en Computer-Technologie (ICT) gebruiken voor onderwijsdoeleinden. Deze ICTomgevingen of ICT-pakketten voor het onderwijs bieden buiten evaluatie en feed-back een ruimer interactief kader waar de nadruk ligt op het leerproces in het algemeen. De appendices bevatten een overzicht van een aantal geëvalueerde producten die een zelftoetsomgeving (en/of een ICT-omgeving) realiseren. Er worden maar enkele producten weerhouden voor mogelijke implementatie binnen ETEW op basis van criteria die in het artikel worden besproken. In deze inleiding is het belangrijk nog eens het uitgangspunt van het project, waarvoor deze studie gemaakt werd, te herhalen. Het project had tot doel te kijken welke bestaande producten kunnen ingezet of aangepast worden om een zelftoetsomgeving op te zetten binnen ETEW. Er werd duidelijk gekozen om niet nog eens een nieuw product te ontwikkelen. Er bestaan reeds genoeg producten zodat het overbodig is om weer terug van nul te beginnen en zelf heel de leercurve te moeten doorlopen die anderen reeds overbrugd hebben. Het nadeel van deze aanpak is dat producten nooit perfect aan de eisen van ETEW zullen voldoen daar waar dit bij een zelf gebouwd product wel het geval ware geweest. Dit verklaart het kleine aantal weerhouden producten aan het einde van het artikel.

2

Samenwerkingsvoorwaarden

Omdat het project als doel heeft niet zelf een product te ontwikkelen blijven er twee mogelijkheden over voor het realiseren van een zelftoetsomgeving. Ten eerste kan er een commercieel pakket aangeschaft worden. Een tweede mogelijkheid is in samenwerking met een instelling of een bedrijf een pakket ontwikkelen. Om de eerste mogelijkheid te onderzoeken werden verschillende commerciële en gratis te verkrijgen producten (free-ware) getest. De resultaten kunnen teruggevonden worden in de appendices. De samenwerking uit de tweede mogelijkheid neemt de vorm aan van programmeren (het maken van conversiefilters, een web-interface, …) of het invullen van vragen in een databank die dan gemeenschappelijk ter beschikking gesteld wordt. Het richt zich met andere woorden op het uitbreiden van een bestaand product. Het uitgangspunt bij samenwerking moet zijn dat de faculteit een gratis gebruiksrecht krijgt in ruil voor de in de samenwerking ingezette middelen. De samenwerking dient zich in de eerste plaats te richten op het helpen uitbreiden van de mogelijkheden van een bestaand product. De samenwerking mag zo weinig mogelijk de vorm aannemen van een slaafs invullen van

2

databanken. Men loopt dan het risico veel tijd en middelen in te zetten zonder dat deze prestaties prominent uit het resultaat blijken.

3

Opmerkingen en aanbevelingen i.v.m. ICT-producten voor het onderwijs

In deze paragraaf wordt gekeken naar de mogelijkheden om ICT in te zetten in het onderwijs en de voordelen ervan. Er wordt naar de ruime toepassingsmogelijkheden gekeken die verder reiken dan louter zelftoetsomgevingen. Hierbij worden eerst enkele aanbevelingen geformuleerd.

3.1 3.1.1

Aanbevelingen Bekijk eerst klassieke producten

In het streven naar nieuwe technologieën durft men klassieke producten zoals e-mail en discussiegroepen (news groups) nogal eens uit het oog verliezen waarbij men vergeet dat deze goedkoop en laagdrempelig zijn (Collis [4]). Andere klassieke vormen zijn templates in MS/Word waarbij cursussen vanuit een Worddocument op een eenvormige manier omgezet kunnen worden in webpagina’s (HTML). Docenten kunnen weigeren hieraan mee te werken omdat zo de inhoud van hun cursus heel snel gekopieerd kan worden. Een redelijk zwak argument. Het probleem bestaat immers ook reeds bij papieren documenten. Deze kunnen ook gescand en verspreid worden. Veeleer schuilt achter het argument de schrik van de docent de auteursrechten op zijn werk te verliezen. Een opmerking hierbij is dat in de huidige maatschappij bijna elk medium gecopieerd wordt ongeacht of dit nu elektronisch is of niet (Collis [4]). Nog een andere techniek die binnen het ruimer aspect van afstandsonderwijs valt, is het registreren van hoorcolleges op video om deze ter beschikking te stellen in de bibliotheek. Hiervoor kan men gebruik maken van de multimedia-klas Tavernier, om docenten expertise te laten opdoen, of het opstellen van een camera in een gewoon auditorium. Het idee hierbij is dat studenten steeds de kans hebben zo bepaalde hoorcolleges opnieuw te bekijken of, indien het gaat om afstandsstudenten, ze voor het eerst te bekijken. 3.1.2

Start met een pilootproject

Starten met een pilootproject is aan te raden. Het biedt de mogelijkheid om direct met de geïnteresseerde en enthousiaste docenten van start te gaan zonder direct een grote groep van het nut van ICT-onderwijs te moeten overtuigen. Wanneer de andere docenten zien dat het project goed draait kunnen zij nog steeds toetreden tot het project. Velen zullen immers de kat uit de boom kijken. Het is interessant om zowel kleine als grote groepen studenten in een pilootproject te hebben. Een kleine groep is gemakkelijker te polsen naar hun echte mening over het eindresultaat van de invoering van een ICT-pakket. De feed-back zal daar realistischer gegevens opleveren. Het nadeel van kleine groepen is dat de zware ontwikkelingskosten maar tegenover een kleine groep studenten staan. Grote groepen zijn geschikter om er grote ontwikkelingskosten over te spreiden. Zij genieten 1 immers scale- en scope-voordelen bij een geïntegreerde aanpak van alle ICT-producten binnen een bepaalde faculteit.

1

Het scale-voordeel wordt gerealiseerd door het aantal studenten en het scope-voordeel door de geïntegreerde aanpak. 3

Verder moet men zeker overwegen om de Dienst Universitair Onderwijs (DUO) in te schakelen in een pilootproject. Hoe groter het project hoe hoger de rechtmatige aanspraak die de faculteit op de ondersteuning door DUO kan doen gelden. Het is immers de taak van DUO om advies te geven over alles wat doceren aanbelangt. DUO zou gevraagd kunnen worden advies te geven rond de pedagogische aspecten van zelftoetsing. ETEW is immers in de eerste plaats een economische faculteit, geen onderwijskundige faculteit. 3.1.3

Heb aandacht voor verborgen kosten

Bij het invoeren van ICT moet men oppassen voor verborgen kosten. Deze kosten doen zich voor indien het opstellen of begeleiden van ICT-cursussen een hogere belasting zou betekenen voor de docent. Docenten en ander academisch personeel zijn overgekwalificeerd om zich daarmee bezig te houden. Dit betekent dat de secretariaatsdiensten moeten opgeleid worden om de ICT-projecten te kunnen ondersteunen. Indien academisch personeel noodgedwongen dient ingeschakeld te worden dan moet men er voor zorgen dat de door hen gebruikte hulpmiddelen de taak optimaal ondersteunen. De voornaamste verborgen kost zit in het geven van feed-back aan studenten op de activiteiten die zij ondernomen hebben via de ICT-pakketten. Er moet gezorgd worden dat deze feed-back zo goed mogelijk gestructureerd is en de docent moet maximale ondersteuning aangeboden krijgen om deze taak zo snel en efficiënt mogelijk te laten verlopen. De feed-backkost neemt nog eens extra toe wanneer de faculteit of instelling zijn ICT-pakket 2 toegankelijk maakt voor het grote publiek omwille van de uitstraling van de instelling . Ook mensen uit dat publiek zullen nu en dan met vragen afkomen die iemand zal moeten beantwoorden. Deze groep vormt een extra en externe belasting zonder dat daar enige vorm van externe financiering tegenoverstaat. Enkel totaaloplossingen zijn interessant. Onder totaaloplossingen verstaat men oplossingen die alle deelgebieden van het onderwijsgebeuren d.m.v. ICT bestrijken. Bij totaaloplossingen heeft men oog voor de globale verbetering van het onderwijsgebeuren d.m.v. ICT. Dit door de selectie van die aspecten die de grootste globale vooruitgang realiseren en het richten van de inspanningen op die aspecten, hetgeen in tegenstelling is tot sub-optimale oplossingen met verbeteringen in enkele deelgebieden. Men kan dit illustreren aan de hand van een ondertussen klassiek geworden voorbeeld. In het verleden heerste de foutieve idee dat het invoeren van tekstverwerking per computer de efficiëntie van bedrijven zou verhogen. Later bleek dat het aandeel van tekstverwerking in het jobpakket van de secretaresse zeer klein is. Indien we verder kijken naar het aandeel van de secretaresse in de loonstructuur begrijpt men direct dat de grootste winst kan gerealiseerd worden door zich te richten op de managers. Elke minuut die men bij een manager kan uitsparen, is veel waard. Naar analogie moet men zich ook bij ICT voor het onderwijs richten op de docenten en moet men in de eerste plaats hun (communicatie-) hulpmiddelen verbeteren (Collis [4]) in plaats van eerst de ondersteunende diensten onder handen te nemen. Enkel indien de kosten binnen de perken blijven en de feed-back op een efficiënte manier kan gerealiseerd worden kunnen ICT-projecten hun doel, zijnde een kwalitatief beter onderwijs, waarmaken (Miraglia [13]). Een andere voorvereiste is het belonen van docenten die ICT-initiatieven ondernemen (Veen [18]). Indien dit niet gebeurt, krijgt men een motivatieprobleem. Waarom zou men extra tijd en werk investeren als dit toch niet gewaardeerd wordt ? Hetzelfde geldt voor de studenten. Zonder enige vorm van beloning gaan zij zeker dwarsliggen omwille van de hogere studielast die zo een ICT-pakket zou betekenen (Collis [4], Peters [15]).

2

Het is belangrijk in het licht van de dalende studentenaantallen om als instelling op te vallen.

4

3.1.4

Pas op voor informaticaproblemen

Om een ICT-project te doen slagen moet de onderliggende informatica-technologie, 3 uitgedrukt in up-time, een zeer hoge betrouwbaarheidsgraad hebben (Collis [4]). Daarnaast vereist ICT-onderwijs ook korte reactietijden hetgeen resulteert in de noodzaak van snelle netwerkverbindingen, indien het gaat over Internet-gebaseerde toepassingen, en/of snelle computers. Indien aan deze voorwaarden niet voldaan is, zal zeer snel frustratie ontstaan en zullen de ICT-pakketten links blijven liggen. 4

Verder wordt best gekozen voor stand-alone toepassingen ter ondersteuning van ICT die op 5 de eigen facultaire servers kunnen draaien. De mooie on-line aangeboden diensten hebben immers het nadeel dat men geen vat heeft op het aldus opgestelde cursusmateriaal (Hendrikx [9], Collis [4]). Wat gebeurt er indien de licentie op de ICT-software gedurende een bepaalde periode niet meer gewenst is ? Het kan zijn dat men dan zijn cursus nadien opnieuw van nul mag opstellen omdat er geen lokale copie ter beschikking is. Er is ook geen zekerheid i.v.m. de up-time van de aldus aangeboden systemen. Verder is het onlogisch om te betalen voor een service die men eigenlijk al in huis heeft via de dienst Informatica van de faculteit. Een laatste vereiste is dat het systeem databank-gebaseerd moet zijn (Collis [4]). Dit om voldoende onafhankelijk van eender welke leverancier te zijn. Wanneer gegevens in een databank zitten, kunnen zij nadien nog steeds door andere pakketten benaderd worden. Wanneer men later van leverancier verandert, beschikt men nog steeds over de in het systeem ingevoerde gegevens. Er moet dan meestal wel een conversie gedaan worden van de gegevens maar men kan de gegevens ten minste recupereren. Het zijn voornamelijk déze voorwaarden die gebruikt werden bij het evalueren van de ICTproducten in de appendices. Wil men volledige onafhankelijkheid van de producent dan moet men nog eisen dat het pakket modulair is opgebouwd. In die vorm is het mogelijk om bepaalde onderdelen uit de leeromgeving ter vervangen door andere onderdelen van een andere producent. De praktijk wijst uit dat bijna geen enkel commercieel product deze mogelijkheid biedt. In de turbulente markt van de ICT-pakketten is modulariteit zeer belangrijk (Ketels [10]). Deze markt evolueert zeer snel en veel producenten overleven niet op lange termijn. De klant zit in zulke situatie opgescheept met een pakket waarvoor geen ondersteuning meer geboden wordt en meestal is ook de investering van het inladen van gegevens verloren. 3.1.5

Andere aandachtspunten

Zorg bij ICT-producten voor een eenvoudige en eenvormige interface. Nieuwe technologieën schrikken veel mensen af: zowel docenten als studenten (Collis [4]). De meeste ICTproducten hebben een redelijk steile leercurve. Door te streven naar eenvormigheid en soberheid kan men deze leercurve toch wat afvlakken. Mik op het World Wide Web (WWW) als platform waarvoor moet ontwikkeld worden omwille van de eenvormigheid en de grote verspreidingsgraad. Elke pc bezit heden ten dage een web-browser. Het gebruik van het WWW en de web-browser verhindert dat er software moet geïnstalleerd worden bij de gebruikers met uitsluiting van de eventuele installatie van plug6 in’s . Hierdoor wordt de kost van de ondersteuning van de gebruiker tijdens de installatie van de software vermeden. Bied sterk gestructureerde informatie aan. Referenties naar andere documenten (WWWpagina’s) die relevant zijn met betrekking tot de leerstof bijvoorbeeld, moeten gekaderd worden. Dat betekent dat de referenties zorgvuldig dienen uitgekozen te worden en zeer precies dient aangegeven te worden wat het verband is met de leerstof. Zeker in het WWW 3

Dit is de periode gedurende dewelke het systeem ononderbroken gewerkt heeft. Software die op eigen computers geïnstalleerd staat. 5 Software die op de computer van de leverancier van de software geïnstalleerd staat en die via het Internet benaderd wordt. 6 Stukjes software die aan de web-browser worden toegevoegd om extra functionaliteit te bieden. 4

5

wordt hier vaak tegen gezondigd. Er is enorm veel informatie beschikbaar maar men kan uren liggen zoeken naar relevante informatie. Ook bij ICT-pakketten met een WWW-deel treft men deze fout regelmatig aan. De algemene regel ‘kwaliteit boven kwantiteit’ geldt ook hier. De eis tot gestructureerde informatie betekent dat ICT-pakketten, indien ze hiërarchisch zijn opgebouwd, niet te veel niveaus mogen hebben en de mogelijkheid moeten bieden serieel door alle informatie van het pakket te gaan. Op die manier kan een student tijdens de voorbereiding van zijn examens nagaan of hij alle noodzakelijk informatie met betrekking tot de leerstof bekeken heeft. Indien deze mogelijkheid niet wordt aangeboden, moet hij zelf elk niveau van het ICT-pakket uitpluizen wat een gevoel van onzekerheid met zich meebrengt. Denk aan een integratie van het ICT-pakket in een groter geheel (Ketels [10]). Vooral een dubbele administratie van studentengegevens is te vermijden omdat dit leidt tot inconsistentie. Binnen de huidige administratieve evoluties aan de K.U.Leuven betekent dit een koppeling met de SAP-omgeving van de centrale studentenadministratie. Pas op voor het Big-Brother-effect (Vandevelde [17]). Er moet een gulden middenweg gevonden worden tussen het vrijblijvend gebruik van het ICT-pakket en het volledig registreren van elke activiteit van de student. Een minimale registratie- en aanlog-procedure weert grappenmakers maar wanneer de registratie van activiteiten verder gaat dan dit kan de student wel eens afhaken omdat hij denkt dat elke fout tegen hem zal gebruikt worden.

3.2

ICT-mogelijkheden voor het onderwijs in de ruime zin

3.2.1

Mogelijkheden

Volgende mogelijkheden worden onderkend (Drakos [7], Peters [15]): - een website waar een kalender, laatste wijzigingen en berichten aangaande cursussen bijgehouden worden (elektronische valven); - al het cursusmateriaal op een website: cursustekst, hand-outs, transparanten, bijkomende opgaven, bibliografie, cases, referenties, verwijzingen naar interessant materiaal (links naar andere websites); - zelfstudiemateriaal: CD-roms, databanken via WWW, interactieve oefeningen; - communicatie tussen student en docent en studenten onderling: e-mail, discussiegroepen (elektronisch monitoraat) (Miraglia [13]); - elektronisch toewijzen en indienen van papers (elektronische evaluatie); - stage- en thesisbegeleiding op afstand (Erasmus-studenten, buitenlandse begeleiders) : vervaging van het concept spreekuren die meestal overbezet zijn naarmate de deadline nabij komt (Droste [8]); - testen: eigen kennis testen maar ook echte examens afleggen (elektronische evaluatie, scoring); - administratieve informatieverwerking automatiseren via web-pages: inschrijvingen, punten en andere administratieve procedures (bijvoorbeeld inschrijven voor examens, het aanvragen van een IAJ (individueel aangepast jaar); - virtuele bibliotheek: boeken, naslagwerken in elektronische vorm raadpleegbaar; - delen van leerstofonderdelen tussen instellingen; - afstandsonderwijs, virtuele Erasmus-projecten. 3.2.2

Bemerkingen bij de mogelijkheden

Wanneer men de mogelijkheden uit de vorige paragraaf overloopt is het duidelijk dat vele ervan zeer snel kunnen opgezet worden. Het wordt een veel complexere taak wanneer men met de volgende aspecten wenst rekening te houden: profielen van studenten, adaptieve testen volgens voorkennis of niveaugroepen, beveiliging gedurende examensituaties van ICTtesten (Drakos [7]), administratieve opvolging van resultaten en gegevens van studenten, … . Daarnaast dient men een onderscheid te maken tussen afstandsonderwijs (distance learning) enerzijds en ICT-onderwijs (on-line learning) anderzijds. Afstandsonderwijs kan naast het gebruik van de computer ook andere media gebruiken zoals video-conferencing, 6

videocassettes daar waar ICT-onderwijs exclusief gebruik maakt van computers. Tegenwoordig wordt ICT meer en meer ingezet in het afstandsonderwijs omdat computers bijna bij iedereen ingeburgerd geraakt zijn. Hierdoor is het onderscheid tussen beide vormen van onderwijs aan het vervagen. Een videofilmpje kan in plaats van op een videocassette ook op een CD-rom geplaatst worden en op die manier zowel ingezet worden in het afstandsonderwijs als in het gewone onderwijs door middel van ICT-pakketten. Deze laatste vaststelling heeft tot gevolg dat men door te investeren in ICT-onderwijs ook extra studenten uit het afstandsonderwijs kan lokken wat de ontwikkelingskost spreidt. Een tweede belangrijk onderscheid is het verschil tussen enerzijds teleleren en anderzijds afstandsleren door middel van ICT (Droste [8]). Beiden zijn vormen van ICT-onderwijs. Bij teleleren komen studenten samen in een open studiecentrum om daar van de aanwezige computers en ICT-pakketten gebruik te maken om een cursus te doorgronden. Zulke studiecentra kunnen aanwezig zijn binnen een faculteit of verspreid zijn over bepaalde regionale centra. Deze vorm zou kunnen verwezenlijkt worden met de huidige pc-klassen aan de K.U.Leuven. Bij afstandsleren d.m.v. ICT heeft de student enkel een communicatieverbinding met een studiecentrum. De studenten zijn dus fysiek van elkaar verwijderd. Groepswerk zal in deze situatie ook steeds via een communicatieverbinding verlopen daar waar in de vorige situatie van het open studiecentrum ook nog rechtstreeks contact tussen de studenten mogelijk is. Aandacht hebben voor de verschillende mogelijkheden betekent dat men nuances ziet in de zwart-wit verhouding tussen klassiek-onderwijs en ICT-onderwijs. Dikwijls worden zij aangeduid als de grenzen van het spectrum dat loopt van georganiseerde groepsverkenning door leerstof (klassiek-onderwijs) tot zelfstandige kennisverwerving (ICT-onderwijs) (Microsoft [12]). Bovenstaande mogelijkheden zoals discussiegroepen en e-mail bevinden zich tussen deze extremen in. Het zijn vormen van begeleide groepsverkenning ter ondersteuning van zelfstandige kennisopbouw. Het grote voordeel van deze begeleide groepsverkenning is dat men zelfstandig verwerven van kennis bevordert in een omgeving waar de student zich niet aan zijn lot overgelaten voelt en pas tijdens het examen ervaart dat zijn kennis toch niet afdoend is.

3.3 3.3.1

Argumenten pro ICT-onderwijs Verrijking van het studiemateriaal

Het invoeren van ICT in het onderwijs betekent een bron van vernieuwing op twee gebieden (Microsoft [12]). In de eerste plaats wordt het lesmateriaal verrijkt. In de tweede plaats zal men door de leerstof moeten gaan om stukken leerstof, of vragen over stukken leerstof, af te leiden ten behoeve van het invullen van het ICT-pakket. Hierdoor ontstaat een geschikt moment om die leerstof ook eens te evalueren. Het verrijken uit zich doordat ICT-pakketten bepaalde cursussen aantrekkelijker maken waar, omwille van grote studentenaantallen, tijdens de hoorcolleges niet altijd evenveel aandacht is voor de individuele student. Daarnaast ontlast het het monitoraat van onzekere studenten. Deze kunnen nu op zelfstandige basis testen of ze de leerstof beheersen zodat er meer tijd overblijft voor de echte probleemstudenten. Omwille van de verrijking van het studiemateriaal en de verhoogde aandacht voor de individuele student kan men aannemen dat de slaagpercentages hoger zullen zijn alhoewel verschillende evaluaties uit de praktijk hieromtrent elkaar tegenspreken. In het slechtste geval is er geen positieve beïnvloeding vast te stellen.

7

Het groter aanbod aan studiemateriaal laat toe dat de student een langduriger contact heeft, via verschillende invalshoeken, met de leerstof. Hoe meer contact met de leerstof hoe hoger de slaagkansen van een student (Brahler [3]). Dit veronderstelt dat de ICT-pakketten ook effectief gebruikt worden. Het kan altijd dat zwakkere studenten geen gebruik gaan maken van de ICT-pakketten. Het is de taak van de faculteit om zwakkere studenten optimaal te begeleiden en te ondersteunen. Het is de taak van de student te weten waar zijn zwakheden liggen en die kan hij juist door de ICT-pakketten bepalen. Naast de verrijking laat het invoeren van ICT-pakketten ook een evaluatie van de leerstof toe. Tijdens de zoektocht van materiaal voor het ICT-pakket in de cursus kan men geconfronteerd worden met zwakkere stukken van de cursus die men dan eventueel kan aanpassen (TOETS [16]). Dit wordt later nog herhaald onder het idee: “ICT betekent in de eerste plaats evalueren !”. 3.3.2

Voorbereiding op afstandsonderwijs

De huidige onderwijswereld is steeds meer een onderwijsmarkt aan het worden. Om de marktpositie van faculteit en universiteit te vrijwaren moet in onderwijsvernieuwingsprojecten geïnvesteerd worden (Collis [4]) zeker in het licht van dalende studentenaantallen. Sommige andere universiteiten vorderen immers zeer snel op het gebied van ICT-onderwijs om nog maar te zwijgen van de Open-University (Collis [4]). Onze universiteit mag op dit gebied geen achterstand oplopen en dient aldus zo snel mogelijk eigen expertise op dit gebied op te bouwen. De ICT-software kan ingeschakeld worden in vormen van afstandsonderwijs. Hiermee wordt een nieuwe groep studenten aangetrokken: mensen die voltijds werken en toch bepaalde vakken willen volgen aan de universiteit. Dit volgt uit het idee van Open-University en het idee 7 van de permanente vorming na de universitaire studies (Peters [15]). Ook laat afstandonderwijs toe virtuele Erasmus-projecten op poten te zetten. Men blijft binnen de eigen instelling en toch studeert men bij een andere instelling. Verder dient verwezen te worden naar het democratiseringseffect van ICT-pakketten. De student kan zelfstandig bepalen op welk moment hij een bepaalde leerstof wil inoefenen. Hierdoor is hij niet gebonden aan de uurregeling van de klassieke oefenzittingen of hoorcolleges zodat er meer tijd vrijkomt om eventueel zelf in te staan voor de financiering van zijn studies (Peters [15]). Dit is samengevat het idee van E-learning : « just in time » (vb : in het midden van de nacht wanneer ik tijd heb), « just enough » (vb : de informatie/gegevens die ik nodig heb of de dingen die ik niet begrijp), « just for me » (vb : aangepast aan mijn situatie, mijn voorkennis). Buiten het afstandsonderwijs past dit E-learning principe ook binnen het concept monitoraatop-maat. Door middel van ICT-pakketten is het mogelijk alternatieve studiepaden doorheen de leerstof aan te bieden. ICT-pakketten kunnen zonder veel inspanning bepalen dat een student een zeker stuk leerstof niet beheerst of bepaalde voorkennis mist. Op basis van deze informatie kan de student extra leerstof aangeboden worden om zijn tekorten weg te werken. Ook de docent wordt beïnvloed door afstandsonderwijs. Langs zijn kant bekeken, kan afstandsonderwijs leiden tot een vorm van telewerken. De docent hoeft niet meer fysiek aanwezig te zijn voor zijn hoorcolleges of spreekuren. Wel moet men in zo’n situatie een goede structuur voor het afhandelen van vragen en feed-back op poten zetten. Anders kan men verstikt geraken in de hoeveelheid aan reacties en vragen van studenten. Dit E-learning-principe kan ook al op eenvoudige wijze toegepast worden in het klassiek onderwijs, namelijk wanneer de docent zich strikt aan een bepaalde planning houdt. Een 7

De K.U.Leuven levert een diploma met een onderhoudscontract af.

8

planning die weergeeft dat dit stuk leerstof op dat moment zal gegeven worden, realiseert een dubbele frustratieverlichting (Microsoft [12]). Enerzijds kan de student zelfstandig bepalen naar welke delen van de cursus hij komt, bijvoorbeeld omdat hij de andere delen reeds voldoende beheerst. Anderzijds is de docent verlicht van storende studenten die enkel omwille van de aanwezigheidsverplichting naar een cursus komen. In het ICT-onderwijs komt daar nog bij dat de docent helemaal niet meer weet wie de colleges volgt of niet; hij hoeft zich er met andere woorden niet meer druk over te maken. Indien men afstandsonderwijs volgens de principes van Open-University vergelijkt met het klassiek universitair onderwijs stelt men vast dat de kosten van dezelfde ordegrootte zijn. De grotere kost in informaticatechnologie van de afstandsonderwijsinstellingen wordt gecompenseerd door hun lagere behoefte aan technisch en academisch personeel om hoorcolleges te realiseren (Collis [4]). 3.3.3

Kennis en leerstofobjecten delen

In het onderwijs wordt regelmatig het wiel heruitgevonden. Zeker indien het niet gaat om kennis over nieuwe fundamentele ontdekkingen kan men ervan uitgaan dat over een bepaald onderwerp reeds ergens een cursus of cursusmateriaal bestaat. Maar het not-invented-heresyndroom is soms sterker dan de bereidheid om dingen van anderen te hergebruiken. Het gebruik van ICT-pakketten heeft nochtans als voordeel dat het materiaal in elektronische vorm beschikbaar is en aldus op een eenvoudige manier door anderen kan gedeeld worden. Het kunnen delen van leerstofobjecten vereist wel dat de objecten eerst strikt beschreven (metadata) en daarna opgemaakt worden. Door deze strikte beschrijvingen kunnen leerstofobjecten zeer snel teruggevonden worden en opgenomen worden in databanken. Op Europees en internationaal niveau lopen reeds verschillende projecten die van dit delen van leerstofobjecten gebruik maken. Hierdoor worden knowledge-pools of databanken aangelegd waarin leerstofobjecten worden opgeslagen. Een voorbeeld hiervan is het ARIADNE-project (ARIADNE [1]). Het concept komt neer op het samenbrengen van kennis en expertise over verschillende instellingen heen (pooling). Zo bestaat in de faculteit geneeskunde nu reeds de mogelijkheid voor doctoraatsstudenten om via video-conferencing les te krijgen van bepaalde deskundigen. Hierdoor worden kosten bespaard omdat maar enkele personen deze gespecialiseerde cursus volgen en de faculteit niet zelf een heel programma rond die cursus dient uit te werken. 3.3.4

Kostenberekening en efficiëntieverhoging

Zoals eerder aangehaald is het opzetten van een pilootproject rond ICT belangrijk om een idee te krijgen over de kosten van toekomstige ICT-projecten. Uit de literatuur blijkt dat er over de exacte kostprijs juist zeer weinig gegevens bekend zijn. Dit project zou over de kosten extra informatie kunnen verschaffen. Omwille van de geïntegreerde aanpak op facultair niveau zal uit het project een verhoogde efficiëntie voortvloeien. De afzonderlijke eilandjes van vernieuwingsprojecten worden samengevoegd tot een groter geheel. 3.3.5

Mindervaliden

Een belangrijke groep van sterke voorstanders van ICT-onderwijs, die dikwijls in het klassieke onderwijs genegeerd worden, zijn de mensen met fysieke handicaps. Het invoeren van ICTonderwijs betekent dat geen (of minder) extra inspanning meer moet geleverd worden om cursussen voor hen bruikbaar te maken (Microsoft [12]). Daar waar bijvoorbeeld vroeger cursussen voor mensen met visuele problemen (blind, kleurenblind) moesten gescand worden is dit niet meer nodig wanneer voor de hele studentenpopulatie die cursus elektronisch beschikbaar komt. Het onderscheid vervalt met andere woorden. Wat nog maar eens het onderwijs toegankelijker maakt voor iedereen.

9

4

Kostenaspecten

Alle mooie beloften ten spijt vraagt ICT-onderwijs aanzienlijke investeringen. Dit gaat van de ontwikkeling van software tot het uitrusten van pc-klassen. Hoe krachtiger men de impact wil hoe duurder de oplossing zal worden. Bijvoorbeeld vragen zeer uitgebreide pakketten al zeer snel multimedia-pc’s. De aankoop en het onderhoud van zowel de ICT-pakketten als de randapparatuur kunnen zeer snel oplopen.

4.1

Kostenplaatje

Volgens Collis [4] is de orde van grootte van de kostenverhoudingen tussen verschillende vormen onderwijs als volgt: - kost ICT = kost gewoon onderwijs x 2; - kost computer-based training = kost gewoon onderwijs x 50; - kost onderwijs via video-conferencing = kost gewoon onderwijs x 50. Enerzijds moet bovenstaande berekening gerelativeerd worden. Men vergeet bij de berekening van de kostprijs van het gewone onderwijs dikwijls veel verborgen kosten te tellen. De berekening gaat ervan uit dat al het materiaal van nul af moet aangemaakt worden ten behoeve van het ICT-onderwijs. Deze kost vergeet men aan te rekenen bij het gewone onderwijs waar bijvoorbeeld een cursus de neerslag van jaren onderzoek kan zijn. Ook vergeet men dat door het delen van ICT-pakketten tussen instellingen de ontwikkelingskosten kunnen gespreid worden. Anderzijds wordt bij het invoeren van ICT-onderwijs een veel voorkomende fout begaan: er wordt wel een ontwikkelingsbudget voorzien, maar men vergeet de implementatie- en exploitatiekosten. Het algemeen probleem met ICT-projecten zijn de grote ontwikkelingskosten daar waar de effectiviteit of efficiëntie nog niet is aangetoond. Elk project is een sprong in het duister. Dit wordt verder uitgewerkt in de paragraaf over de effecten van ICT-onderwijs.

4.2

Kosten blijven zeer moeilijk berekenbaar

Een belangrijke oorzaak voor de moeilijke berekenbaarheid van de kosten is de grote verscheidenheid van omgevingen waarin projecten ingevoerd worden. Is er reeds een technologie aanwezig of moet alles van nul opgebouwd worden ? Hierbij vormt de reeds aanwezige hardware een gezonken kost. Of de hardware gebruikt wordt of niet, ze is reeds aangeschaft en omdat het informatietechnologie betreft, is die onderhevig aan zeer sterke waardeverminderingen binnen de eerste maanden na de aankoop. Het aanpassen van bestaande hard- en software ten behoeve van het ICTonderwijs is daarentegen wel een in rekening te brengen kost. Andere verschillen vloeien voort uit het verschil in loonschalen tussen de medewerkers die de ICT-producten moeten uitwerken (Collis [4]). Verder verschilt de kostprijs zeer sterk voor verschillende technologieën.

4.3

Kostenoverzicht

Onderstaande tabel toont de kost per studieuur per student voor een jaar voor verschillende technologieën:

10

Prijs per student per studieuur per jaar in US$: Syllabus TV-broadcast Computer Low-End Computer Medium Computer High-End Video-Conferencing ComputerConferencing

50 studenten

125

2.61 3.51 18.75 41.25 130.50 22.17 1.12

59.25 99.75 322.50 56.74 1.45

250

625

1250

11.25 22.50 66.75 16.78 1.09

0.63 1.30 6.75 11.25 25.50 14.19 0.99

0.37 1.02 4.50 6.75 15.75 14.19 0.93

studieuur = een uur tijd waarin de student in contact staat met de leerstof zowel tijdens hoorcolleges als tijdens zelfstandige studie computer low-end = aangekochte out-of-the-box-producten computer medium = door een softwarebedrijf op maat gemaakte producten computer high-end = multimedia en zelf ontworpen producten (Bates [2], Collis [4]) De cijfers in de tabel hierboven werden gebruikt om een inzicht te krijgen in de het verloop van de vaste en de variabele kosten bij de beschouwde alternatieven. Dit verloop is weergegeven in Figuur 1 hieronder. Totale Kost (US$) 20000 Syllabus TV-broadcast

18000

Computer Low -End Computer Medium

16000

Computer High-End Video-Conferencing

14000

Computer-Conf erencing

12000 10000 8000

6000 4000

2000 Studenten (#)

0 0

250

500

750

1000

1250

Figuur 1: Totale kost na extrapolatie van de gegevens uit bovenstaande tabel. Uit Figuur 1 kan men de volgende conclusies trekken: Syllabus heeft zowel een lage vaste als een lage variabele kost. De kost om een papieren document over afstand te raadplegen is wel hoog. Denk hier bijvoorbeeld aan interbibliothecair leenverkeer Video-conferencing heeft een lage vaste kost maar een hoge variabele kost. De uitbreidingskost van kleine naar grote groepen studenten kan dus hoog oplopen. CD-rom (computer high-end) heeft zowel een hoge vaste als een hoge variabele kost. Dit heeft te maken met de investering in eindapparatuur voor studenten om de ontworpen CDroms te kunnen gebruiken en de hoge ontwikkelingskost van CD-roms. Andere tendensen die in de literatuur over ICT-onderwijs gemeld worden zijn de evolutie van video-conferencing naar web gebaseerd leren en de vervaging tussen afstands- en web- of

11

internet-onderwijs. Computer-conferencing en high-end computerpakketten zullen daardoor in de toekomst meer en meer aan belang winnen.

4.4

Durven uitbesteden

Het maken van audio-, foto- en video-materiaal bestemd voor een ICT-pakket is een zeer complexe aangelegenheid die enkel door deskundigen tot een goed einde kan gebracht worden. Veel docenten willen alles zelf doen waardoor ze ofwel zeer veel tijd verliezen, indien ze al deskundigen zijn, en/of zeer lage kwaliteit afleveren. Het uitbesteden is de enige correcte oplossing. Met betrekking tot de K.U.Leuven moet verwezen worden naar het bestaan van de Audio-Visuele Dienst die voor dit soort opdrachten kan aangesproken worden. Uitbesteden wil niet zeggen dat men geen zeg meer heeft over de inhoud. De auteur moet volledig de controle over de inhoud behouden. Bij uitbesteden moet nog de volgende kanttekening geplaatst worden. Zorg ervoor dat men na het uitbesteden over voldoende kennis beschikt om eventuele kleine aanpassingen aan het ICT-pakket zelf aan te brengen. Dat wil onder andere zeggen dat men moet kunnen beschikken over de bronnen waarmee het ICT-pakket tot stand werd gebracht. Bedrijven vragen meestal verhoudingsgewijs veel te veel voor het bijwerken van het ICT-pakket in vergelijking met de initiële aanmaakkost. Indien men niet over de bronnen beschikt heeft men bij bijwerking van het ICT-pakket niet veel keuze.

5

Bedenkingen omtrent het effect van ICT in het onderwijs

Er bestaan geen éénduidige uitspraken of studies die de effectiviteit van ICT in het onderwijs bevestigen of onderbouwen. In deze paragraaf worden daarom een paar kanttekeningen geplaatst bij de nu en dan verschijnende euforie-berichten.

5.1

Leersnelheid als doel8

Soms wordt wordt ICT-onderwijs ingevoerd om het overbrengen van leerstof naar studenten sneller te laten verlopen. Hiervoor bestaat echter in de realiteit zeer weinig ondersteundend materiaal. Meestal vindt men geen significant verschil met de leersnelheid gerealiseerd in het traditioneel klassikaal onderwijs. De reden hiervoor is dat het medium op zich niet belangrijk is maar wel de structuur en de opbouw van de leerstof. Elk medium heeft zowel voor- als nadelen die ervoor zorgen dat, in comparatieve zin, elk positief snelheidseffect gecompenseerd wordt door een negatief snelheidseffect (Brahler [3], Collis [4]). In de situaties waar ICT toch een positief effect laat zien is dit meestal veroorzaakt door een foutieve vergelijking tussen de klassieke leerstof en de nieuwe leerstof via ICT. Wanneer men bij het overbrengen van de leerstof van de klassieke situatie naar ICT deze leerstof herstructureert, vergelijkt men twee verschillende dingen. Het positief snelheidsverschil is dan grotendeels of volledig te danken aan de herstructurering van de leerstof. Een ander effect dat meespeelt is het nieuwheidseffect. Studenten zijn sterk gemotiveerd omdat het om een nieuwe vorm van studeren gaat. Dat effect vlakt echter na verloop van tijd zeer sterk af. Een laatste effect is de psychologische ingesteldheid van de student. Onder psychologische ingesteldheid wordt verstaan de verzameling gemoedstoestanden die samen de leerattitude van de student bepalen. Een student met een positieve leerattitude t.o.v. een bepaalde cursus zal gemotiveerder zijn en daarom sneller een bepaalde leerstof kunnen verwerken. Er is ook nog een overkoepelend effect, namelijk het interactie-effect over verschillende ICTpakketten heen. De interactie tussen de inhoud uit verschillende ICT-pakketten heeft een invloed op de leersnelheid. De interactie situeert zich in de verschillen in vormgeving van 8

Daniels [5]

12

gelijkaardige structuren tussen de ICT-pakketten waardoor verwarring bij de student kan ontstaan. Een voorbeeld: in pakket A gebruikt men een grijze achtergrond om een definitie te accentueren, in pakket B heeft dezelfde grijze achtergrond de betekenis van een citaat. In dergelijke situaties kan een grotere uniformiteit tot een positiever interactie-effect leiden. Verder kan men zich afvragen of ICT elke vorm van leren kan ondersteunen. Studenten die voornamelijk auditief en visueel werken kunnen gemakkelijker ondersteund worden dan lichaam-kinetisch lerende studenten (Brahler [3]). Studenten die tot deze laatste groep behoren, leren het best wanneer zij kunnen tekenen en schrijven op een kladblok. Daarom is het aan te raden in ICT-pakketten een plaats te voorzien waar men op het scherm kan tekenen, typen en eventueel figuren of diagrammen herordenen. Tevens moet de student annotaties kunnen maken bij elektronisch ter beschikking gestelde documenten zoals hij dat in een gewone cursustekst kan doen.

5.2

Welk doel?

Het is in de eerste plaats belangrijk zich te realiseren welk doel men binnen een bepaalde cursus voor ogen heeft en er voor te zorgen dat het lesmateriaal afgesteld is om onder optimale condities dat doel te bereiken. Elke invoering van ICT-pakketten in het onderwijs veronderstelt in de eerste plaats een evaluatie van de bestaande situatie. Op die manier kunnen tekorten van de bestaande situatie opgevangen worden en heeft men een basis om later een vergelijking te maken. Het doel bepaalt welke norm gehanteerd wordt bij de vergelijking van de situatie vóór en na de invoering van ICT. Doelen stellen is geen evidente aangelegenheid. Wensen we dat de studenten op korte tijd veel kunnen verwerken, detailkennis hebben, verbanden kunnen leggen tussen verschillende cursussen, positieve attitudes verwerven t.o.v een vak, … ?

5.3

De have’s and de have-not’s

Bij het verstrekken van ICT-onderwijs kan afstand ontstaan tussen de have’s en de havenot’s (Microsoft [12]). Wanneer het gebruik van ICT-onderwijs niet verplicht is, moet men er op letten dat degenen die er geen gebruik van willen maken niet benadeeld worden. Dit gebeurt indien men na de invoering van ICT nog enkel aandacht heeft voor de computergebaseerde cursus en de klassiek-gedoceerde cursus verwaarloost. In die situatie is het niet verwonderlijk dat een student met het ICT-onderwijs significant betere resultaten behaalt. Uit bepaalde studies (OECD [14]) is gebleken dat de prestaties bij ICT-onderwijs tussen studenten met een positieve leerattitude en deze met een negatieve leerattitude een factor twee tot drie kunnen verschillen. Gelijkaardige resultaten vindt men bij de prestatieverschillen tussen studenten die uit een rijk of een arm milieu komen. De kans om met informaticatechnologie in aanraking te komen is bij de eerste groep veel groter waardoor zij sneller vertrouwd zijn met ICT-pakketten en waardoor hun voorsprong nog maar eens versterkt wordt. Dezelfde opmerking kan gemaakt worden in verband met het al dan niet kunnen verplichten van een docent om gebruik te maken van ICT-mogelijkheden en de evaluatie van zijn cursus in het geheel van de onderwijsevaluaties aan de K.U.Leuven. Het is niet omdat een docent geen ICT gebruikt dat zijn cursus van slechtere kwaliteit zou zijn. Zoals eerder opgemerkt, gaat het over de inhoud van de leerstof en niet over de verpakking of het medium waarmee de leerstof overgedragen wordt. (Collis [4]).

5.4

Papier blijft noodzakelijk9

Hoe goed ICT-pakketten voor het onderwijs ook mogen zijn, voor het studeren van een examen blijft een papieren cursus met de huidige stand van de technologie noodzakelijk. Het

9

De Grooff [6]

13

leren op een beeldscherm is nog steeds niet optimaal om zeer snel alle stof voor een examen te verwerken. Ook om studenten gerust te stellen is een papieren cursus noodzakelijk. De inhoud van een ICT-cursus kan, wanneer deze bijvoorbeeld onder de vorm van web-pagina’s aangeboden wordt, op elk moment gewijzigd worden. In een dergelijke situatie geraken studenten zeer snel in paniek: ‘Wanneer moet ik nu beginnen studeren want de inhoud van de cursus verandert continu ?’. Men moet m.a.w. voorkomen dat het reeds aanwezige materiaal vervangen wordt door gelijkaardig materiaal met een gewijzigde inhoud. Dit brengt te veel onzekerheid voor de student met zich. Wel kan men aanvullingen en errata voor bestaand materiaal toevoegen. De student voelt zich dan niet meer opgejaagd, zeker indien hij het cursusmateriaal kan afladen en afdrukken.

6

Het invoeren van ICT in het onderwijs betekent eerst evalueren10

Wil men ICT in het onderwijs invoeren, dan moet men eerst inzicht krijgen in de huidige situatie van de cursus of van het te behandelen stuk leerstof. Het evalueren van de huidige situatie vergt interactie tussen student en docent. Ook tijdens de ontwikkeling en de eigenlijke invoering moet feed-back van de student voorzien worden. En ook na het invoeren moet feed-back mogelijk zijn. De evaluatie is dus permanent. Deze evaluatie kan op verschillende manieren gebeuren. Belangrijke informatiebronnen zijn de logfiles van de gebruikte ICT-pakketten. Deze bevatten meestal gegevens over de tijd die studenten voor bepaalde stukken leerstof nodig hadden. Bij ICT-pakketten die interactieve testen bevatten, zullen er ook gegevens aanwezig zijn over het antwoordgedrag bij bepaalde vragen. Bij het evalueren worden dus meestal studenten ingezet. Daarbij wordt dikwijls vergeten hen achteraf de resultaten bekend te maken. Als dit veel gebeurt, gaan ze zich afvragen wat het nut is van hun inspanningen. Als algemene regel kan gesteld worden dat er tweemaal per jaar zou moeten geëvalueerd worden en dat de resultaten van de evaluatie snel moeten bekend gemaakt worden aan de studenten. Verder wensen studenten ook dat de evaluaties zinvol zijn. Wanneer iets slecht bevonden is moet dat ook aangepast en verbeterd worden. Evaluaties moeten gebeuren in het licht van de gestelde doelen. Verklaringen zoeken voor afwijkingen tussen gerealiseerde resultaten en vooropgestelde doelen komt alleen de kwaliteit van het onderwijs ten goede. Dit leidt doorgaans tot constante en snelle bijsturing.

7

Kostensoorten en kostendragers van ICT-onderwijs

Een van de meest prangende vragen is: wie gaat de kosten betalen ? Voordat een ICTproject kan opgestart worden moet hierover uitsluitsel zijn. De volgende kosten moeten begroot worden: - ontwikkeling/aankoop van de ICT-pakketten; - aankoop van de hard- en software; - gebruikersondersteuning voor de hard- en software; - onderhoud van de hardware; - onderhoud van de ICT-pakketten; - aanleggen van de communicatielijnen: ISDN / modem (uitbouw van KULNET); - communicatiekosten van de communicatielijnen; - extra belasting van de docent: de tijd die hij spendeert aan het feed-back 10

Daniels [5]

14

geven; - opleiding van docenten en studenten in het gebruik van de ICT-pakketten; - ondersteuning van de gebruikers van de ICT-pakketten (vb. helpdesk). Voor de Faculteit ETEW zijn de volgende kostendragers mogelijk: - de docent d.m.v. zijn werkingsbudget; - ten laste van een cursus; - ten laste van het departement; - ten laste van de faculteit; - de K.U.Leuven door OOI-projecten; - de overheid door projecten, subsidiëring of ruimere budgetten; - sponsoring door bedrijven in ruil voor het openstellen van de cursus voor hun personeel. Ook mag men niet vergeten dat kosten voor ICT-producten pas interessant worden bij grote groepen omdat dan de kosten over meer personen kunnen verdeeld worden (vanaf 50 studenten) (Collis [4]). Daarom is het niet slecht naar grote geïntegreerde projecten te kijken.

8

Opzetten van zelftoetsomgevingen binnen de Faculteit ETEW

In deze paragraaf worden een aantal aspecten uit de vorige paragrafen gehergroepeerd en toegepast op zelftoetsomgevingen die kunnen ingezet worden binnen de Faculteit ETEW.

8.1

Het pilootproject

Het uitgangspunt om zelftoetsomgevingen in te voeren moet een pilootproject zijn dat door de faculteit op een of andere manier gefinancierd wordt. Er kan met betrekking tot de inhoud advies gevraagd worden aan DUO en met betrekking tot de financiering ondersteuning gevraagd worden aan de universiteit door middel van OOI-projecten. Het pilootproject kan best ingezet worden in de kandidaturen. Daar zijn er grote groepen studenten voorhanden die voor voldoende feed-back kunnen zorgen. Dit betekent dat de zelftoetsomgeving van het pilootproject voor één van de grote kandidatuursvakken uitgeprobeerd moet worden (wiskunde, economie, …). Tijdens het pilootproject moet gekeken worden wat de studiebelasting van de zelftoetsomgeving voor de student inhoudt. Tevens kan onderzocht worden wat het effect is van de zelftoetsomgeving op de werking van het monitoraat. Hierbij kan o.a. overwogen worden de zelftoetsomgeving te gebruiken om niveautesten af te nemen op basis waarvan studenten ingedeeld worden in niveaugroepen voor het monitoraat.

8.2

De zelftoetsomgeving ontwikkelen 11

Vooraleer zelftoetsomgevingen ingezet kunnen worden, moeten ze ontwikkeld worden. Vooreerst moet een zelftoetsomgeving gekozen worden op grond van een aantal criteria; vervolgens moeten de kosten worden begroot en moet een groep personen aangeduid worden voor het uitwerken van de technische en inhoudelijke aspecten. Op ieder van deze punten wordt hieronder ingegaan. 8.2.1

Keuze van de zelftoetsomgeving

Voor de keuze van de zelftoetsomgeving werden de volgende eisen gesteld, die zoveel mogelijk moeten vervuld zijn.

11

Met ontwikkelen wordt hier bedoeld het invullen van vragen in de (database van de) zelftoetsomgeving. 15

1. De zelftoetsomgeving is een stand-alone toepassing die op de facultaire servers geïnstalleerd kan worden (Windows NT-servers). 2. De zelftoetsomgeving is databank-gebaseerd om de onafhankelijkheid van de faculteit ten opzichte van de leverancier te vrijwaren. 3. De zelftoetsomgeving is schaalbaar naar grote groepen studenten. 4. De zelftoetsomgeving heeft een uniforme interface waarbij de voorkeur gaat naar het gebruik van het WWW als medium. 5. De zelftoetsomgeving heeft een korte vlakke leercurve. 6. De zelftoetsomgeving biedt een redelijke zekerheid rond continuïteit in de toekomst: de leverancier is een gevestigde marktspeler die een positieve toekomst voor ogen heeft. Er moet rekening gehouden worden met de turbulente ICT-markt. 7. De zelftoetsomgeving kent, met betrekking tot de inhoud, verschillende vraagtypes: multiple-choice, ja-nee, blanco’s invullen, een tekst schrijven, aanduiden op een figuur, samenhorende elementen zoeken, …. Er dient rekening mee gehouden te worden dat niet elk van deze types vragen elektronisch kan verbeterd worden. 8. De zelftoetsomgeving kan audio-visueel materiaal weergeven: grafieken, schetsen, wiskundige formules, geluidsfragmenten, … 9. De zelftoetsomgeving biedt verschillende beveiligingsniveaus aan zodat de omgeving ingezet kan worden bij zowel vrijblijvende oefeningen als in examen-situaties. 10. De zelftoetsomgeving kan statistische informatie afleveren omtrent het scoringsgedrag van studenten en vragen. 11. De zelftoetsomgeving kan de vragen mengen en aldus verschillende vragenreeksen creëren. 12. De zelftoetsomgeving kan adapatieve testen afleveren. Dit betekent dat als een student een aantal vragen van een bepaald niveau foutief beantwoordt, hij een niveau zakt of hij gewezen wordt op het feit dat hij een bepaald stuk leerstof nog niet volledig beheerst. 13. De zelftoetsomgeving kan geïntegreerd worden met administratieve gegevens: punten, studentenadministratie, stamblad, ... Voor het pilootproject zijn enkel eisen één tot en met acht noodzakelijk. Maar indien later de zelftoetsomgeving in een groter geheel wordt ingepast, moet ook rekening gehouden worden met de andere eisen. 8.2.2

Licentiekost van de zelftoetsomgeving

Alle eisen uit de vorige paragraaf hebben natuurlijk een kostprijs. In de eerste plaats is er de kost van de licentie op de software. Prijzen van licenties variëren van gratis tot meer dan 25.000 euro. Aspecten die in het oog gehouden moeten worden zijn de volgende: - gaat het om een jaarlijkse of een éénmalige licentie ? - hoeveel studenten mogen de zelftoetsomgeving gebruiken ? 12 - is het gebruiksrecht per student voor alle cursussen of per student voor één cursus ? - op hoeveel computers en/of servers mag de software geïnstalleerd worden ? - hoeveel personen mogen het beheer van de software en/of de vragen doen ? - zit de databaselicentie in de licentie van de zelftoetsomgeving ? Indien men de prijzen van verschillende leveranciers vergelijkt (zie appendix) zal de jaarlijkse 13 licentiekost voor de faculteit zich situeren in het interval 3.720 euro – 12.500 euro . Deze kost is louter de licentiekost zonder andere kosten (zie infra). 8.2.3

Personeelskost van de zelftoetsomgeving

Bij de ontwikkeling zal er zowel voor de technische als voor de inhoudelijke aspecten personeel nodig zijn. Ook hier zal de inzet, tijdens de ontwikkeling van de zelftoetsomgeving, van het academisch personeel als het technisch personeel (Dienst Informatica) door de 12 13

Dit is in de veronderstelling dat er per cursus een zelftoetsomgeving wordt opgezet. Er werd enkel rekening gehouden met potentieel inzetbare producten. 16

faculteit gefinancierd moeten worden. Het absolute minimum is één technisch en één academisch personeelslid.

8.3

Werkingskosten van de zelftoetsomgeving

Na de ontwikkeling van de zelftoetsomgeving zijn er nog de werkingskosten. In de eerste plaats moet men kijken of de capaciteit van de huidige pc-klassen voldoende is en de pcklassen met de juiste apparatuur uitgerust zijn. Indien dit niet het geval is, zullen er bijkomende pc-klassen en dus bijkomende investeringen nodig zijn. In de tweede plaats zijn er de kosten van de bijkomende server. Deze server moet betrouwbaar zijn en zal daarom een continue zorg voor de Dienst Informatica zijn.

8.4

Inhoudsaspect van de zelftoetsomgeving

Eens de zelftoetsomgeving ingevoerd is, moet er vastgelegd worden wat de functie van de zelftoetsomgeving is binnen het curriculum. Indien men deze zelftoetsomgeving gaat inschakelen als een vervangmiddel voor het monitoraat, moet men zeker zijn dat de geboden kwaliteit gelijk is. Stel dat een student via de zelftoetsomgeving zijn kennis heeft getest en hij slaagt in de testen dan moet dit hem ook een ‘slaaggarantie’ bieden op het examen. Het zou niet mogen zijn dat hij op het examen plots met een heel ander type vragen geconfronteerd wordt. De zelftoetsomgeving moet dus representatief zijn. Deze verplichting zou binnen de Permanente Onderwijs Commissie bekrachtigd moeten worden.

9

Producten die de moeite waard zijn

In appendix 1 is een lijst van geteste ICT-producten terug te vinden die werden geëvalueerd op basis van de criteria, argumenten en opmerkingen uit de vorige paragrafen. Appendix 2 bevat een tamelijk volledig overzicht van alle tegenwoordig gekende producten. Ten behoeve van deze studie werden ook de producten van appendix 2 onderzocht, maar minder grondig dan voor deze van appendix 1. Uit deze evaluatie blijkt dat de volgende producten geschikt zijn voor het implementeren van een zelftoetsomgeving binnen de Faculteit ETEW: 14

- CyberExam (zie appendix 2); - TOETS (zie appendix 1); - Triads (zie appendix 2); - TopClass (zie appendix 1); - Voorkennis- en Vorderingstoetsing Wiskunde (zie appendix 1).

14

Onder voorbehoud: het product werd niet volledig geëvalueerd omdat het demo-pakket, op het moment dat dit document werd afgewerkt, nog niet ontvangen werd. Dit neemt niet weg dat dit product een aanbeveling geniet louter op basis van wat in de documentatie voorgesteld wordt.

17

Referenties en Bibliografie [1] ARIADNE (2000). ARIADNE Public Information Site. Url: http://ariadne.unil.ch. [2] Bates, A.W. (1995). Technology, open learning and distance education. Routledege, London. [3] Brahler, Jayne C. & Johnson, Emily C. (1999). A Primer on Education Theory for Technical Professionals. Washington State University, Pullman Washington. [4] Collis, Betty & van der Wende, Marijke (1999). The Use of Information and Communication Technology in Higher Education. Universiteit Twente, CHEPS Twente. [5] Daniels, Jan (1999). Evaluatie van IMM & ICT. Niet gepubliceerd document: DUOseminarie K.U.Leuven, Leuven. [6] De Grooff, D (2000). Productieproces van multimedia voor opleiding. Niet gepubliceerd document: DUO-seminarie K.U.Leuven, Leuven [7] Drakos, Nikos (1994). World Wide http://cbl.leeds.ac.uk/nikos/doc/talks/teach/teach.html.

Web

in

Education.

Url:

[8] Droste, Joke (1999). Advies keuze Teleleerplatform 1999. SURF Educatie, Utrecht. [9] Hendrikx, Koen (1999). Didactisch Gebruik van InformatieTechnologie (DigIT). Url: http://www.cs.kuleuven.ac.be/~koenh/digit/. [10] Ketels, Marc (2000). Leerplatformen: een inleidend denkkader. Niet gepubliceerd document: Studiedag Leren met Nieuwe Media (5-IV-2000), EuroPace Leuven. [11] Looms, Thelma (2000). Survey of Course and Test Delivery / Management Systems for Distance Learning. Url: http://www.seas.gwu.edu/~tlooms/assess.html. [12] Microsoft (1999). Online learning. Microsoft Online Learning Resource Kit I & II. Microsoft, Microsoft Press Washington. [13] Miraglia, Eric (1987). The Seven Principles of Good Practice in Undergraduate Education. (Microsoft White Paper). Url: http://www.microsoft.com/us/education/white_paper.html [14] OECD (2000). The impact on learning: Design for a quasi-experimental study. OECD Document CERI/SFT/(2000)2 Parijs. [15] Peters, E. & Moonen, J. (1999). (On)mogelijkheden en knelpunten van ICT in het Hoger Onderwijs – een literatuuronderzoek. Onderwijskundig Centrum, Universiteit Twente, Twente. 2

[16] TOETS (1998). Eindrapport project Toe TS. TOETS-project. KULAK, Kortrijk. [17] Vandevelde, Patricia (2000). Mogelijkheden en evaluatie van leerplatformen. Niet gepubliceerd document: Studiedag Leren met Nieuwe Media (5-IV-2000), EuroPace Leuven. [18] Veen, Wim, van Geloven, Michiel e.a. (1999). Flexibel en open hoger onderwijs met ICT. Ministerie van Onderwijs, Cultuur & Wetenschappen, OC&TO Universiteit Twente en IVLOS Universiteit Utrecht, Utrecht.

18

Appendix 1 •

Asymetrix Toolbook II Assistant 7, Asymetrix : is een zeer uitgebreid authoring-product met ruime distributiemogelijkheden naar HTML, Active X, CD-rom. Het nadeel is dat er geen database aanwezig is waarin vragen worden opgeslagen. Alle vragen van één test worden samen met hun GUI opgeslagen in een database. Indien de DB niet zo belangrijk zou zijn, zou dit het ideale product zijn. Via andere producten ; Assistant, IconAuthor en Librarian; biedt Asymetrix een volledige platformonafhankelijke (Windows, Unix, …) learningspace aan. Url : http://www.asymetrix.com ; Prijs : 1.040 euro. (Onderdeel van Asymetrix-familie met oa. Toolbook II Librarian 6.11 student tracking system: prijs : 14.325 euro. voor 500 gebruikers).

•

Blackboard : een totaalplatform voor studenten waarin de communicatie tussen studenten onderling en het aanmaken van on-line cursussen benadrukt wordt. In de documentatie is niets terug te vinden over on-line testen. Url : http://company.blackboard.com ; Prijs : 0 euro. of 102 euro voor extra opties (ecommerce, technische bijstand)

•

Convene, Convene Solutions : niet geschikt want volledig web-gebasseerd op basis van de servers van Convene zelf. Er is geen enkele snelheidsgarantie van die servers. Ingevoerde vragen worden volledig uit handen gegeven wat resulteert in volledige afhankelijkheid van Convene. Url : http://www.convene.com ; Prijs : per-student basis berekend volgens benodigde mogelijkheden.

•

ELECTRA, Limburgs Universitair Centrum : geen concrete aspecten of resultaten van teruggevonden.

•

Gentle, iicm : geen on-line testmogelijkheden dus niet geschikt om ingezet te worden binnen een zelftoetsomgeving. Url : http://www.iicm.edu; Prijs: totaalprijs afhankelijk van de mogelijkheden

•

GLOEI, universiteit Gent : niet geschikt want er is enkel een omgeving om cursussen voor het web te formateren d.m.v. ICE (internet/intranet Course Engine). Er wordt aan MS-Word, via macro’s, functionaliteit toegevoegd die het opmaken van documenten voor het web vergemakkelijken. De cursussen worden in een database opgeslagen wat een sterk punt is. Het is dus niet het louter exporteren van word-documenten naar het web. Er is een samenwerking via Vlerick School voor Management : misschien kan het product gratis verkregen worden via de MBA-connectie van de faculteit.

•

Horizon Live, Horizon : er worden enkel on-line cursussen aangeboden maar er zijn geen on-line testmogelijkheden. Url : http://horizonlive.com.

•

Internet Classroom Assistant, Nicenet : er wordt enkel een discussieforum en wijzen om documenten uit te wisselen aangeboden maar er zijn geen on-line testmogelijkheden aanwezig. Url : http://www.nicenet.org.

•

Learningspace, Lotus Development Corporation : Learningspace is gebouwd op het Lotus Notes platvorm maar is voor de initiële doeleinden van de faculteit veel te duur. Op lange termijn is een product als Learningspace misschien wel een oplossing omdat het een integratie biedt van alle aspecten rond studenten d.w.z. van administratie, lessenroosters opstellen tot on-line lesmateriaal. Url : http://www.lotus.com/home.nsf/welcome/learnspace ; Prijs : 26.200 euro. voor 2.500 personen.

•

Lykeon, Arboth : de testmogelijkheden zijn beperkt tot twee typen vragen: ja-nee-vragen of multiple-choice-vragen. Omwille van de beperkte mogelijkheden is het pakket niet geschikt om in te zetten binnen de faculteit. Url : http://www.arboth.com.

19

•

Norton Connect, Norton : het pakket biedt de mogelijkheid om word-documenten te delen, bij te houden, te beoordelen maar er zijn geen on-line testmogelijkheden. Url : http://www.wwnorton.com/connect.

•

Oracle Online Learning Application, Oracle : uitgebreid product met volledige leeromgeving. Er is HTML-kennis vereist om een cursus in deze omgeving op poten te zetten. Verder is er een vrij hoge kost om personen te laten opleiden. Het pakket gaat uit van de scheiding tussen de docent, de begeleidingstaak, en de technische specialist, de implementatietaak, waardoor het aanpassen van het cursusmateriaal zeer moeilijk verloopt. Bij het aanpassen zal telkens de technische specialist geraadpleegd moeten worden.

•

Pathware, MacroMedia : er wordt enkel een omgeving aangeboden om on-line te leren en de studieprestaties op te volgen maar er zijn geen on-line testmogelijkheden. Url : http://www.macromedia.com/software/pathware.

•

Pebblesoft, Infographex : er worden enkel on-line cursussen aangeboden maar geen online testen. Url : http://www.infographex.com/Pebblesoft.

•

Perception, Question Mark : product is het overwegen waard. Zeer volledige integratie met het internet. Steunt op een efficiënte manier op een database. Product ziet er verouderd uit. Url : http://www.qmark.com ; Prijs : 4.250 euro. voor 1.000 personen (aanbod geldig tot 09/03/2000). De evaluatie van de nieuwste versie van dit product heeft, op het moment dat dit document werd afgewerkt, nog niet kunnen plaatsvinden.

•

PlaceWare, Placeware : er wordt enkel een manier van web-conferencing aangeboden maar er zijn geen on-line testmogelijkheden. Url : http://www.placeware.com.

•

Quest, Allen Communications : product nooit aan de praat gekregen. Quest is ook een authoring software voor vragen en het vermoeden is aanwezig dat er geen achterliggende DB aanwezig is. Quest vormt een onderdeel van een reeks producten Designer’s Edge, Manager’s Edge die samen de Allen Learningspace vormen. Het geheel oogt zeer degelijk maar zonder een afzonderlijke database is het product niet voor de faculteit bruikbaar. Url : http://www.allencomm.com ; Prijs 880 euro.

•

QuizCode, CodeOnline : Gegevens worden bijgehouden op basis van extended HTML tags en niet in een database wat een belangrijk nadeel betekent. De generatie van online vragen gebeurt in een één-stap-conversie naar HTML. Deze extended HTML structuur wordt Quiz Database File genoemd maar is geen echte database. Op het niet gebruiken van de database na zou het product perfect inzetbaar zijn geweest. De extended HTML structuur is wel te converteren naar een echte database. Url: http://www.codeonline.com/quizcode.htm ; Prijs: onbekend, gratis indien ingezet binnen het Europees ARIADNE project.

•

Sybase Next Generation Learning, Sybase : waarschijnlijk vrij duur product. Richt zich voornamelijk op het ontwikkelen van zelfstudiemateriaal om dat te verspreiden via het web of CD-rom. Er zijn gratis seminaries te volgen of duurdere opleidingsdagen waar mensen het nut van afstandsonderwijs duidelijk gemaakt wordt. Sybase biedt ook haar diensten aan om uw opleidingen te verzorgen. Het komt neer op het volledig uitbesteden van het aanmaken van het materiaal wat steeds een dure aangelegenheid is. Url : http://slc.sybase.com/ngl/index.html ; Prijs : onbekend.

•

Teamwave, TeameWave Software : biedt de mogelijkheid virtuele gemeenschappen te bouwen, maar er zijn geen on-line testmogelijkheden. Url : http://www.teamwave.com.

•

Teletop, universiteit Twente : zeer knap en uitgebreid product gebaseerd op Lotus Notes maar wordt niet te koop aangeboden. In de eerste plaats richt het project zich op het toepassen van het product binnen hun eigen universiteit. Later is er misschien plaats voor samenwerking en licenties. Omdat het product af is kunnen we hen in een samenwerking niets meer bieden en zonder een samenwerking wordt het product niet 20

verspreid want het is voorlopig niet te koop. We kunnen het product nog enkel aankopen indien het ooit op de markt verschijnt. Url : http://teletop.to.utwente.nl/TO/project/teletop ; Prijs : voorlopig onbekend. •

TOETS : idee is zeer goed maar voorlopig zijn er nog maar weinig tastbare resultaten. Het grote voordeel van dit product is de ruime aandacht die gespendeerd is aan het opstellen van een database en het aanwezig zijn van een gebruiksvriendelijke auteursomgeving, wat het opstellen van de vragen sterk vergemakkelijkt. Url : http://www.kulak.ac.be/impuls/toets/index.htm ; Prijs : gratis binnen K.U.Leuven.

•

Toolbox, City University of Hong-Kong : mooi product maar geen stand-alone versie. Men kan enkel op hun servers een cursus aanmaken. Wel zeer ruime mogelijkheden voor on-line testen en quizes. Url : http://www.dco.cityu.edu.hk Prijs : onbekend.

•

TopClass, WBT-systems : mooi uitgebouwd systeem met ruime testmogelijkheden. Het probleem schult in het feit dat het systeem moeilijk schaalbaar is voor grote groepen studenten. Url : http://www.wbtsystems.com ; Prijs : per jaar, afhankelijk van het aantal studenten en de gewenste mogelijkheden (4710 euro. voor 200 studenten).

•

Voorkennis- en Vorderingstoetsing Wiskunde, KULAK – R.U.G (P. Igodt): toetsen via het WWW. Realistisch resultaat voor ogen. We mogen de tools gratis gebruiken. Er is een auteursomgeving in ontwikkeling. Url : http://cage.rug.ac.be:8008/servlet/toets.servlets.Welkom ; Prijs : gratis.

•

VraagNet, Assist multimedia bv : werkt met eigen web-server waarbij een stand-alone versie weer niet mogelijk is. Contact opgenomen maar geen antwoord tot nu toe. Product is ideaal om toe te passen binnen ETEW maar Assist is een klein bedrijf en zal nooit de verantwoordelijkheid aankunnen om de nodige ondersteuning te bieden die met de aanschaf zou samengaan. De onderliggende database is van het Microsoft Access-type wat vragen doet rijzen over de snelheid ervan in gebruik met grote groepen. Url : http://bve-assist.dds.nl ; Prijs is 600 euro voor toegang tot het systeem.

•

WebCT, University of British Columbia: voornamelijk om on-line cursussen te maken en niet specifiek voor on-line testen. Er kan een « WebCT » binnengehaald worden dat Windows NT nodig heeft. 0f dit een stand-alone versie is, is niet geheel duidelijk. Het product kan niet lokaal getest worden. Uit handleiding blijkt dat diegene die de test opstelt toch redelijk wat HTML moet beheersen. Url : http://www.ult.net ; Prijs : 1.280 euro voor 12 maanden.

•

Zelf ontwikkelen via Active Server Pages : Is realiseerbaar maar we gaan dan opnieuw het wiel uitvinden. Indien andere samenwerkingsverbanden niets opleveren is dit een oplossing. Prijs : 30.990 euro of 1 manjaar.

21

Appendix 2 Deze lijst werd verkregen op basis van een document dat is opgesteld door Thelma Looms (Looms [11]) In de lijst komen volgende afkortingen voor: • F = Freeware • R = Research • S = Shareware • CP = Commercial Product

1. Course and Test Delivery / Management Systems • (CP) Brownstone Research Group The Diploma 97 assessment software package consists of Exam, Gradebook, Proctor and related utility programs. Exam, used for test-generation, can produce paper, network and internet tests. Gradebook is used to manage student grades, incorporating results from internet or network tests. Proctor delivers "real" tests or practice tests that provide the student with feedback or guidance over a network. Information available at URL: http://www.brownstone.net/ Het hosten van testen en gegevens wordt door het bedrijf zelf gedaan. Er is geen stand-alone versie beschikbaar. • (?) Carnegie Mellon Online (CMU Online) The Carnegie Mellon Online system is a unique, database driven, educational tool taking advantage of the World Wide Web to provide student-centered instruction. The system generates customized content (e.g., assessments, feedback) for each student and tracks the student through a course while maintaining course-specific rules and policies. Presently, completely online courses offered by Carnegie Mellon Online are Introduction to Programming and Computer Skills Workshop. Under development are online tools for the classroom-based courses Pre-Industrial Visual Art and Engineering Economics. The system's management and assessment capabilities are currently used to administer the University's Calculus Placement exam for incoming students. See also: a presentation on the system, and other work at Carnegie Mellon. Information available at URL: http://online.web.cmu.edu/ Bieden enkel on-line cursussen aan. • (CP) CDM.Train Cambridge Digital Media Inc.'s CDM.Train is Web-based learning software. It is a fully functional "Web site in a box" with search, drill down, and test capabilities already built in. You just add content and graphics and learning can be delivered and administered on demand to anyone with World Wide Web access. Information available at URL: http://www.cdmi.com/products.html Dit bedrijf stelt geen tools ter beschikking. Het ontwikkelt testen voor zijn klanten. • (CP) Centra 99 Centra is the leading provider of Enterprise Software and Services for Web-based Learning and collaboration via corporate intranets, extranets, and the Internet. Centra Symposium is a software-only system for integrated delivery and live group collaboration, self-paced, and asynchronous learning. The product combines audio conferencing, live application sharing, collaborative whiteboard, Web Safari, breakout sessions, computer-based training and threaded discussion forums. It also supports centralized content migration and management, online registration processes, automated assessment and performance reporting, and links to established databases through industry standard APIs.

22

Centra Conference uses a Java client to provide live application viewing, streaming slide presentations, real-time polling and interactive Body Language capabilities, as well as text chat, Web surfing and attendee tracking functions. Centra 99 is compatible with all the latest streaming video and audio technologies, including G2 from Real Networks and NetShow from Microsoft. Centra is a Microsoft Certified Solutions Provider. Information available at URL: http://www.centra.com/ Enkel een leerplatform, geen on-line testen. • (F) ClassNet ClassNet was developed by Iowa State's Computation Center. ClassNet is World Wide Web server software which manages Internet class activities. Some of these activities include: enrollment of students, creation of tests (really Web pages), submission and grading of tests, reporting of scores by class and student, discussion forums and chat rooms, email between students and instructors, portfolio development by students and storage of java simulation data. Information available at URL: http://online.web.cmu.edu/ Nieuwe URL : http://classnet.cc.iastate.edu/ Voor dit product is HTML-kennis noodzakelijk. Er is geen stand-alone versie beschikbaar. De gegevens worden door het bedrijf lokaal opgeslagen op hun servers. • (CP) ClassPoint ClassPoint, from WhitePine, is distance learning software that offers more than simply videoconferencing. It delivers a complete distance learning solution for use over a LAN, WAN, or the Internet. Classpoint features include: • Instructor-controlled learning environments • Multipoint video and audio so everyone can see and hear each other • Web-based class setup and scheduling • Instructor-led and narrated Web Tours • Interactive quizzes • Web-based materials available before, during, and after class • Shared interactive whiteboard and chat • Text chat can be directed by the instructor to all students or privately to one student at a time • Audio and video interactions can occur between the instructor and all students Information available at URL: http://www.wpine.com/products/ClassPoint/index.html Geen on-line testmogelijkheden. • (CP) ClassWise ClassWise™ (formerly PPClassroom™), is a low-bandwidth software suite designed to deliver distance education in real-time. The software incorporates standard presentation software with voice, slide control, whiteboard annotations, text chat, and recording and playback capabilities. ClassWise™ is ideally suited for anyone who wishes to expand the educational process, whether it is through the global Internet or a local intranet. It is idea for distance education, corporate training, departmental training, briefings, capturing and linking PowerPoint presentations with audio and annotations for later playback, and much more. Information available at URL: http://www.magideas.com Geen on-line testmogelijkheden. • (CP) Computer Adaptive Tests (CAT) CAT is a Chicago-based company, founded in 1984 that specializes in developing and delivering computer-based solutions for testing and survey organizations worldwide. Products include features that support: a public access testing network ("CAT Global"), item banking ("CAT Builder"), test administration ("CAT Administration"), registration ("CAT Registration"), remote testing ("CAT Global"), psychometric consulting and seminars. Tests can be created

23

in multiple languages and can be published to the Internet. CAT was acquired by HoughtonMifflin in August of 1998. Information available at URL: http://www.catinc.com/ Het bedrijf bouwt testen voor klanten maar biedt geen tools aan. • (CP) COSE Virtual Learning Environment The COSE Virtual Learning Environment system was developed at Staffordshire University and is now a commercial product published by Longman Software Publishing part of the Pearson Publishing Group. COSE provides a system and tools for the creation of Study Environments rather than "material" and enables their development to take place in the context of a coherent pedagogy and which promotes good practice. It also allows the creation of study environments which can exploit material in a wide range of media and allow easy provision of mechanisms for support, feedback, collaboration and self-assessment without recourse by staff to skills such as scripting and mark-up languages. Information available at URL: http://www.staffs.ac.uk/COSE Tool om studieomgevingen mee te ontwikkelen. Er is geen ondersteuning voor on-line testen. • (CP) CyberChalk Learning Network The CyberChalk Learning Network, by Blue Atlas Interactive, offers Internet training management and delivery. The CyberChalk Learning Network delivers training on desktop computers via the Internet, regardless of geographic location. It integrates course authoring, delivery, testing, student registration, matriculation records and completion certificates, and a course database that provides access to all aspects of the CyberChalk Learning Network, including adding new courses and maintaining existing ones. Information available at URL: http://www.blueatlas.com/products/cln.html Een cursusdatabase maar geen cursusinhoud-database. • (?) CyberClass Course Technologies' CyberClass is a web-based tool designed for use with any Course Technology text. Course Technology offers content specific CyberClass sites which provide additional features such as flash cards, practice tests, web-links and suggested syllabi. Information available at URL: http://www.cyber-class.com/menudemo.cfm Geen on-line test tool. • (?) CyberEd CyberEd is a system used (developed?) at the University of Massachusetts at Lowell (UMass). CyberEd is a selection of standard, full-credit University courses being offered to the global audience of the Web through the UMass Dartmouth and UMass Lowell Divisions of Continuing Education. Students and faculty use the World Wide Web, email, chat and other Internet resources, to review assigments, collaborate on projects, collect reference materials and to complete homework. Information available at URL: http://cybered.uml.edu/demo/index.html Enkel on-line cursussen. • (CP) CyberExam, CyberStar CyberExam, by Virtual Learning Technologies in Birmingham, AL, is a complete testing and analysis package allowing instructors to create, distribute, grade and analyze tests for their students using any standard Web browser. This program can be used along with any standard ODBC compliant database and any standard web browser. CyberExam stores various statistics and other information about the test, test takers, and test questions. The CyberExam system currently requires an Intel-based server running Windows 95 or Windows NT. A Unix version of the system has been planned. Information available at URL: http://www.vlearning.com Demopakket werd aangevraagd maar de evaluatie heeft, op het moment dat dit document werd afgewerkt, nog niet kunnen plaatsvinden. Uit de documentatie blijkt dat het product,

24

afhankelijk van de versie, gebruikt maakt van een MS-Access of MS-SQL databank. Het werkt via het WWW om de testen aan te bieden waarbij rekening gehouden wordt met verschillende platformen, PC and Macintosh, en verschillende browsers, Netscape en Internet Explorer. De beveiligingsmogelijkheden zijn uitgebreid. Er kunnen statistische gegevens bijgehouden worden die in verschillende rapporten kunnen omgezet worden of die geëxporteerd kunnen worden naar andere databanken. • (F/R) CYBERPROF CYBERPROF was developed at the Center for Complex Systems Research and the Beckman Institute at the University of Illinois at Urbana-Champaign (UIUC). The product is in beta testing and free to non-profit academic clients. Using CyberProf, instructors can create "on-line lecture notes" that include equations, animations, and graphics; write on-line interactive "homework problems"; conference with students using "Network TA", the CyberProf Web-based bulletin board system; and record student grades in the CyberProf "online gradebook". Students can review lecture notes 24 hours a day; complete homework problems on the Web and receive immediate intelligent feedback on their answers; use the Network TA bulletin board system to post questions to their instructor, teaching assistants, and peers; and review their grades in the class at any time. See a list of courses offered using CyberPROF. Information available at URL: http://cyber.ccsr.uiuc.edu/ Geen on-line test tool. • (CP) DataBeam's Learning Server DataBeam, recently acquired by Lotus Development Corporation, has developed several products for the distance learning market. The DataBeam Learning Server is a software-only server that facilitates delivery of training over the Internet. You can conduct live training with students in different locations over the Internet with the DataBeam Learning Server. The system includes: course scheduling, catalog, and student registration systems; real-time virtual classrooms with a full suite of interactive tools; easy electronic content posting and retrieval; links for integration of self-paced materials; conference center for team meetings and breakout sessions; simple course content integration. See also a description of the system. Information available at URL: http://www.databeam.com/ Geen on-line test tool. • (CP) Docent 2.0 (formerly IBTAuthor) Docent, based in Mountain View, CA, provides web based training solutions with Docent "Outliner", "Publisher", "Server", and "Reporter". The four products allow for creation of courses with no HTML programming, deployment of courses on a Intranet or Internet (see info on firewalls), and online administration and management of course and student registration data. Information available at URL: http://www.docent.com/ Geen on-line test tool. • (CP) The EDEN Project - Electronic Distributive Education Network The EDEN project, based in Ontario, Canada, has developed a system for the delivery of its on-line secondary school courseware. The system is based on a customized version of Galacticomm Inc.'s Worldgroup software. The system delivers full-credit high school courses in Accounting, Business Math, Chemistry, English, Information Processing, and Mathematics. See also a description of the delivery system. Information available at URL: http://eden.scbe.on.ca/index.html Enkel on-line cursussen. •

(CP) e-education

JonesKnowledge.com's e-education product line provides course management software that includes CourseBuilder, collaborative group management and system administration. eeducation also provides a course catalog, a Student Service Center for admissions, registration and billing, an electronic library and an online campus bookstore.

25

JonesKnowledge.com also offers Jones International University, a cyber university that has received regional accreditation from the North Central Association of Colleges and Schools. Information available at URL: http://www.e-education.com Geen on-line test tool. • (R) Educause's Instructional Management System (IMS) Project This project's goal is "As an investment membership of academic, commercial and government organizations, we are developing a set of specifications and prototype software for facilitating the growth and viability of distributed learning on the Internet." The primary work of the IMS project revolves around the production of two deliverables: a technical specification for IMS compliant environments and materials, and a proof-of-concept prototype management system. The first version of the IMS technical specification and an integrative prototype will be released in March of 1998. Educom has merged with CAUSE and is now EDUCAUSE. Information available at URL: http://www.IMSproject.org Bedrijf ontwikkelt testen maar biedt geen tools aan. • (CP) Eloquent Presenter! Eloquent Presenter! delivers desktop synchronized digital video, audio, presentation slides, and a *text transcript* of a speaker's presentation. An embedded search engine lets users search through large amounts of presentation material. There is support for on-line assessment tools for pre-course assessments, post-course comprehension analysis and end user feedback. Information available at URL: http://www.eloquent.com/products Geen on-line test tool. • (CP) Esatest 2000 Engineering Software Associates Inc., based in Plymouth, MN, has developed the Esatest 2000 program, an addition to the company's line of testing products. It allows for testing via the World Wide Web, using a standard internet browser such as Netscape Navigator or Microsoft Explorer. Information available at URL: http://www.esatest.com/ Demopakket werd aangevraagd maar geen antwoord tot nu toe. • (CP) eSocrates eSocrates offers complete Information Technology infrastructure to deliver Web-based training. The eSocrates system provides syllabus, readings, grading, assignments, class email, grade tracking, password control, bulletin Board, chatroom, registration, tracking, online learning skills, web quizzer, auto grading, document manager and the Socrates Cafe with over 1000 Educational Links. Information available at URL: http://www.esocrates.com Geen stand-alone versie beschikbaar. Het bedrijf host de informatie en testen zelf. • (CP) FirstClass Collaborative Classroom FirstClass Collaborative Classroom (FCCC) was developed by SoftArc, Inc. of Markham, Ontario. FCCC products support: E-mail, collaborative workgroups, live chats, etc. The company has several third-party add-on products that extend the capabilities of the FCCC product. Information available at URL: http://www.education.softarc.com Geen on-line test tool. • (CP, S) FORUM FORUM was develop at the Texas A&M University in Laredo. It is a conferencing system that allows group collaboration, messaging, threaded discussion, and data/file exchange. FORUM. It also supports multimedia document linking and security controls. Information at URL: http://www.foruminc.com/ Geen on-line test tool.

26

• (CP) Gartner Learning GartnerLearning is a division of the Gartner Group and provides "skills training". It offers over 400 IT related courses on topics such as database management, networking, operating systems, development tools, desktop applications and business skills for IT professionals, IT managers and end-users. Courses may be delivered via CBT, web-based (Internet and Intranet), ILT (Instructor Led Training), multimedia CD-ROM and video. GartnerLearning also offers an Intranet, browser-based skills management software system- LOIS - comprised of three integrated modules: Training Management, Assessment, and Competency. GartnerLearning was acquired by Harcourt Brace in July of 1998 and will be merged into NETg. Information available at URL: http://www.gartner.com/public/static/training/product.html Enkel cursussen. • (CP) iClass iClass by SneakerLabs, Inc. is modeled after a traditional classroom environment to provide maximum familiarity and ease of use to students and instructors. iClass includes the following components: • Slides - powerpoint presentations can be converted to HTML • Shared White Board - display of text or graphics • Interaction Space - students can ask question publicly or privately • Lecture Notepad - students can record their own notes Information available at URL: http://www.sneakerlabs.com Geen on-line test tool. • (CP) IntraKal IntraKal is a product developed by Anlon Systems, Inc. of Mankato, MN. The product supports: online testing, automated gradebooks, online student performance summaries, automated syllabi, teaching portfolios, student registrations, personnel information, chat room and public or private calendars. Information available at URL: http://www.anlon.com/ Zeer mooi product. IntraKal biedt een volledige web-based leeromgeving aan op basis van een database. Er zijn twee versies beschikbaar. De persoonlijke versie laat toe dat een docent op de servers van Anlon zelf een cursus plaatst. Er is ook een lokale versie berschikbaar die op de servers van de faculteit geïnstalleerd kan worden. Er is aan zeer veel gedacht in dit pakket maar het pakket richt zich voornamelijk op een cursusomgeving voor afstandsonderwijs en niet zozeer op het on-line testen. De testmogelijkheden zijn aan de magere kant en zien er zeer sober uit. Uit dit laatste kan besloten worden dat ondanks IntraKal een knap product is, het niet bruikbaar is voor toepassing binnen de faculteit. • (CP) Jenzabar.com Jenzabar.com provides Web-based intranet applications to educational institutions. Each "Jenzabar experience" is tailored to the school, the user, down to the very date of use. At each login, the Jenzabar application pulls the relevant information from registration systems, professors' Web pages, the Internet, e-mail systems, and other school-specific resources. Jenzabar.com provides threaded forums, a web page builder, web-based email and syllabus postings with daily reminders for students. Information available at URL: http://www.jenzabar.com Geen on-line test tool. • (CP) LearnLinc LAN/WAN and I-Net w/audio ILINC (Interactive Learning International Corporation) is the creator of LearnLinc. LearnLinc INet w/Audio is designed to deliver results-oriented training via the Internet or corporate intranets using a single phone line. LearnLinc I-Net w/Audio integrates "audioconferencing", multimedia and Web-based courseware control, application sharing, and many other features for corporations and universities that need instructor-led or facilitated online learning. See also an article describing the product. Information available at URL: http://www.ilinc.com/ Geen on-line test tool. 27

• (CP) LessonLink LessonLink provides students, secondary schools, and universities a comprehensive Internet resource for online learning including core academics, electives, and skills fundamentals designed for grades 7-12 as well as customized courses for institutions of higher learning. LessonLink is working to develop one of the largest databases of online classes to serve educators and learners throughout the United States and abroad. LessonLink's courses contain interactive multimedia lessons, teacher management tools for assessment and reporting, and online assistance including teaching and technical support. Information available at URL: http://www.lessonlink.com/ Geen on-line test tool. Informatie wordt door het bedrijf zelf gehost. • (CP) Mallard Mallard, developed at the University of Illinois, is a World Wide Web based interactive learning environment suitable for virtually any subject. Mallard provides a secure environment, within which one can organize online course material and test students via interactive quizzes with instantaneous problem correction and grading. Student responses to these online quizzes are evaluated by intelligent grading programs that not only assess the correctness of a response, but also try to determine why an answer is incorrect. The student gets immediate feedback and can access online assistance if desired. All grade-related server/client communication is encrypted using the https protocol. Mallard also provides administrative utilities for tasks such as maintaining class rosters, recording grades, viewing up-to-the-minute tables of student progress, posting announcements, and modifying due dates. Course instructors can choose grading policies, including late penalties and the number of times a WebQuiz can be taken for credit. Since quizzes are submitted and graded on-line, the instructor does not have to collect, correct, or even record grades. Questions can be either randomly generated (if appropriate) or randomly selected: as a result, different students can be given different quizzes and the same student can see a different quiz each time she retakes a WebQuiz. Information available at URL: http://www.ews.uiuc.edu/Mallard/News/ Dit product bevat een volledige leeromgeving waarbinnen de on-line quizen maar een zeer summier onderdeel vormen. In vergelijking met andere producten zijn de mogelijkheden te beperkt om in de faculteit inzetbaar te zijn. • (CP) Mentorware Enterprise Education Server Mentorware is the first integrated training system designed specifically for the corporate intranets and the internet. By combining true web compliance, easy authoring, built-in tracking, automatic reporting, robust system management, and a push feature, the Enterprise Education Server supports systematic delivery of training to hundreds in an easy-to-use environment. Information available at URL: http://www.mentorware.com/ Geen on-line test tool. • (CP) MicroTest Pro Chariot's MicroTest Pro is a fully integrated package that provides instructors with a complete, interactive solution for test design and generation, administration, grading and reporting. MicroTest Pro includes MicroTest III, test generation software; WebTest Server Software, Chariot's testing program for the Internet or Intranets; and MicroGrade, Chariot's complete class management and gradekeeping system featuring WebGrade (which can create report files formatted for Internet display). With MicroTest Pro, each program can be used independently or together for a turnkey testing system. MicroTest Pro is ideal for labs, Intranets or the Internet and is available for the Macintosh or Windows on a school, department or instructor level. Information available at URL: http://www.chariot.com/ Geen stand-alone toepassing beschikbaar. Pakket wordt enkel op hun servers gehost.

28

• (CP) National Computer Systems, Inc. (NCS) NCS, based in Minneapolis, Minnesota, is the nation's largest commercial processor of student assessment tests. NCS' imaging technology, professional scoring capabilities, and test processing expertise provide educators with timely and accurate data to measure performance. In March 1998, NCS acquired Virtual University Enterprises, Inc. (VUE), a provider of electronic certification testing. In September 1998, American Cybercasting Corporation, also known as Educational Structures (ES) was acquired. American Cybercasting is a provider of custom internet curriculum. Information available at URL: http://www.ncs.com/ Geen stand-alone toepassing beschikbaar. Enkel op hun servers gehost. • (CP) novaNet NovaNET, based in Tucson, Arizona, is a comprehensive computer-based education and communications network that offers thousands of hours of self-paced, interactive curriculum for secondary and adult learners. Courses offered include: Preparatory tests (e.g., Princeton Review SAT and ACT, Texas Assessment of Academic Skills, and GED), ESL Elementary Reading, and ESL Vocabulary/Culture. Information available at URL: http://www.nn.com/ Enkel cursussen. • (CP) OnlineLearning.net OnlineLearning.net is a private, for-profit organization that has formed a public/private partnerships with the UCLA Extension, the University of San Diego Continuing Education and the California CPA Education Foundation to provide distance education courses. Using software from Embanet and Blackboard, OnlineLearning.net is the exclusive provider of UCLA Extension online courses and provides Credentials and Professional Development Salary Advancement courses for Educators from UCSD. Special training is available for instructors that are new to online training. OnlineLearning.net has also made arrangements with learning portals including the AT&T Learning Network and Hungry Minds. Information available at URL: http://www.onlinelearning.net Geen on-line test tool. • (CP) The Pebblesoft Learning System Pebblesoft uses a web client as the interface to their "Adaptive Learning System". Their definition of an adaptive learning system is one which manages all aspects of the creation, organization, delivery and tracking of learning content. It should also manage all aspects of learner interaction with that content from managing and reporting on student testing, to tracking interactions between the student and content. The Pebblesoft system provides functions for content creation, administration, learner collaboration and testing. See also a description of the Pebblesoft system. Information available at URL: http://www.pebblesoft.com/ Niet teruggevonden. • (CP) Pensare Pensare provides Internet Learning Communities. The Pensare solution uses an Internetbased delivery mechanism that incorporates knowledge capture and sharing, multi-user simulations, online discussion groups, and interactive exercises to provide measurable business results while fostering best-practices and collaboration through the use of the Knowledge Community. Pensare’s content partners include Harvard Business School Publishing, The Wharton School, Duke Fuqua School of Business, best-selling author and sales expert Anthony Parinello and the University of Southern California’s Annenberg Center for Communication. Information available at URL: http://www.pensare.com Geen on-line test tool.

29

• (CP) Prentice-Hall's Learning on the Internet Partnership (PHLIP) The Prentice-Hall Learning on the Internet Partnership (PHLIP) is a web-based learning system designed and developed by educators at Marist College in New York for Prentice Hall. All of the original content is created by educators for use by other teachers and their students. Courses are available on a number of subjects. Information available at URL: http://www.phlip.marist.edu/ Geen on-line test tool. • (CP) PREP Online PREP Online is a course management system by ComputerPREP of Phoenix, AZ. The PREP Online system provides authoring tools with a graphical interface, tools for creating interactive and animated graphics, a registration system with access security, and a chat facility. PREP Online also provides tools for course management and a reporting tool for tracking statistics on student enrollment, interactions, quizzes, and advertising. ComputerPREP provides a number of prepared online content libraries for topics including Windows applications such as: Access, Powerpoint, Windows 95, Windows NT, and Word. Information available at URL: http://www.computerprep.com/ Geen on-line test tool, enkel een Amerikaanse schoolrijpheidstest. • (CP) Real Education (now eCollege.com) Real Education, Inc. based in Denver, Colorado, provides web based online universities and training centers. Real Education is a web technology and service organization that can build an entire university or training center online in 60 days, including online courses you build or they can build for you. The web page states that "... we guarantee you no more than 8 second download time of all classroom web pages." We can build for you a complete online university, including: an online catalog, bursar's office, library, career center, student union, and bookstore. Students can also register, process financial aid, and receive academic advising; all from any computer· anywhere." The Real Education system is based on the IMS specification. Real Education is a Microsoft Certified Solutions Provider and has a partnership with Prentice-Hall. Information available at URL: http://www.ecollege.com Geen stand-alone versie beschikbaar, enkel informatie door het bedrijf zelf gehost. • (CP) Rotor Learning System The Rotor Learning System allows a teacher to interactively communicate with and instruct a vast number of students, all over the globe, with the same power and ease as if they were all sitting in the front row. The Rotor Learning System lets a teacher lecture as in a normal class, thanks to the audio/video window, and lets the teacher receive questions and comments directly from students with the Talk Back feature. Polls and quizzes can be given, slides and videos can be shown, students can be placed in discussion groups, and whiteboards can be employed. The Rotor System can be used to provide interactive access not only for classroom education and corporate training, but also for entertainment, publishing, radio and e-commerce. Information available at URL: http://www.rotor.com Geen on-line test tool. • (CP) Saba Learning Enterprise Saba is a leading provider of e-Learning infrastructure to Global 5000 and government organizations, learning providers, and Internet businesses worldwide. Saba Learning Enterprise are the award winning Internet learning management applications. They enable businesses to rapidly and cost effectively assess, plan, deliver, measure and improve the learning of people throughout their extended enterprises, including their customers, distributors, employees and suppliers. Saba Learning e-Enterprise is their hosted solution, offering users the option of running the Saba Learning Enterprise solution on Saba’s servers and networks. Information available at URL: http://www.saba.com

30

Geen on-line test tool. • (CP) scholars.com (now called SmartForce) Scholars is a subsidiary of CBT Systems, the world's largest developer of IT self-paced training. The company offers Microsoft and Novell certification CD-ROM and Internet-based training courses to prepare students to write the appropriate certification exam. scholars.com is a Microsoft online Authorized Technical Education Center (ATEC) and Novell has selected them as their Novell Authorized Online Training Provider. The company provides teams of Advisors online twenty-four hours a day to mentor students. Information available at URL: http://www.scholars.com Geen on-line test tool. • (CP) Serf Serf was developed at the University of Delaware by Professor Fred T. Hofstetter. Serf is an acronym that stands for server-side educational records facilitator. Serf makes it possible to create and deliver courses in a self-paced multimedia learning environment that enables students to navigate a syllabus, access instructional resources, communicate, and submit assignments over the Web in unique and powerful ways. Instructors can easily access and grade the assignments via the Serf gradebook. At any time, students can click a button to see a report of their progress in a course, along with comments from their instructor and a prediction of their final grade. The server side of Serf is written in 100% Java. The University of Delaware is using Serf to deliver five courses during the fall semester of 1997. PBS is pilot-testing the first Serf course, Internet Literacy, in preparation for offering the course worldwide over the Web in 1998. Information available at URL: http://www.udel.edu/serf/index.html Geen on-line test tool. • (CP) Skill Builder 6.0 Skill Builder 6.0 is a intranet-based product from National Education Training Group (NETG). This system provides pre- and post- course assessment. The pre-assessment is used to tailor the content presented during the course. Hundreds of courses are available on dozens of topics including: UNIX C/C++, Structured Analysis, SAP, Desktop Publishing and end user tools (e.g., Microsoft Word, Project,Excel). Information available at URL: http://www.netg.com/skilbld1.htm Enkel cursussen. • (CP) Telemachus Telemachus from MindQ Publishing helps you manage and customize training to satisfy individual and corporate learning needs, register and enroll students, and report student use and performance data. Telemachus delivers these tools on a company's existing intranet through standard Web browsers, without any special hardware or software. With Telemachus, course developers can customize curricula, and modify existing Web-based courses, and efficiently deploy them to any location on your company's intranet. Developers can also add assessment and interactive questions and report scores by course and student. MindQ is a Knowledge Universe Company. Information available at URL: http://www.mindq.com/telemachusinfo.html Enkel een leerplatform en geen on-line testen. • (CP) Thomson Learning Thomson World Class Learning provides three tools: Course, Web Tutor on WebCT and Testing Tools for instructors. Course lets instructors quickly and easily create and update a World Wide Web page specifically for a course, without any knowledge of HTML. Course allows instructors to create a completely customized site or syllabus, including lesson descriptions, dates of exams and other activities, assignments, announcements and links to other Web resources.

31

Web Tutor on WebCT complements Thomson Learning textbooks by providing interactive reinforcement that helps students grasp complex concepts. It is customizable, so instructors can include their own content, Web-savvy, with links to real world locations for timely content, and provides communication tools like e-mail, discussion and chat. Testing Tools is a fully integrated suite of test creation, delivery, and course management tools. Testing Tools lets instructors prepare an exam by copying questions from a chapter window to an exam window, create original questions, modify an existing exam, rearrange exam questions, create and edit math expressions, create and edit algorithms, import and export graphics, and publish online activities. Information available at URL: http://www.itped.com/ Thomson Testing Tools kan verschillende soorten vraagtypen aan. Het is geschikt voor een LAN. Het kan wiskundige formules weergeven. Informatie over de prijs is nog niet gekend. Het product werkt op basis van een eigen database die moeilijk extern, zonder gebruik te maken van het product, te benaderen is. De beveiliging en het testen is op basis van shareddirectories tussen client en server wat een achterhaalde technologie is en wat waarschijnlijk voor beveiligingsproblemen zal zorgen in een examen-situatie. • (CP) UNext.com UNext.com is dedicated to making high quality education available anywhere and anytime. UNext.com, a privately held Internet education company, has formed an academic alliance with five universities to develop a world-class business education curriculum delivered over the Internet. The participating universities are Columbia University, the University of Chicago, Stanford University, the London School of Economics and Political Science, and Carnegie Mellon University. The first learning community is Cardean, designed to address the business education needs of professional working adults. Information available at URL: http://www.unext.com/homepage.asp Enkel cursussen. • (CP) Unilearn.net Embanet's Unilearn.net System incorporates all the features, elements and services necessary to manage and administer onsite and distance learning programs over the Internet. The Unilearn.net Solution is accessible via a standard web browser from anywhere in the world. Administrators, Course Developers and Instructors can now manage individual courses and entire programs. E-commerce, registration, course delivery, testing and assessment with instant scoring, electronic grade books for student tracking, email and reporting are a few of the many modules integrated into one easy platform. Information available at URL: http://www.embanet.com/ Geen stand-alone pakket. Informatie wordt door het bedrijf op zijn servers gehost. • (CP) University ACCESS TM University Access (UA) specializes in producing high quality business courseware for distance learning. Combining the strengths of two distribution media - television and the Internet - University Access has created a powerful, interactive and superior form of distance education. Using the Internet, University Access is leading the way to bring the atmosphere and functionality of a traditional university campus to students and faculty around the world. Offering synchronous and asynchronous features, including the interactive live classroom, self-paced tutorials, class bulletin boards for threaded discussions, and personalized homepages, the Virtual Campus is the meeting point for online students, professors and partner institutions to pursue their studies, hold a class, and interact. Information available at URL: http://www.universityaccess.com/index.htm Bedrijf ontwikkelt enkel cursussen.

32

• (CP) VCampus UOL Publishing's VCampus is the education and training industry's first Web-based full learning environment. This comprehensive, interactive learning system enables your company to provide courses and monitor and track participants' progress from a single online source. Because it uses the Internet, it is easily accessible to students, instructors and training administrators from their desktops. Many UOL clients use UOL's Web-based VCampus environment to deliver and monitor testing programs over the Internet. Information available at URL: http://www.uol.com Enkel cursussen. • (CP) Virtual-U Virtual Learning Environments Inc., located in Burnaby, B.C., is a Simon Fraser University spin-off company incorporated in the summer of 1996. Virtual-U is a server based software system that enables customized design, delivery, and enhancement of education and training courses delivered over the World Wide Web. Virtual-U is targeted for use by post-secondary institutions, K-12 schools, and businesses/corporations which are in need of a flexible, userfriendly, and integrated framework for delivering online learning. Virtual-U is being field-tested at 13 educational and business organizations across Canada. It supports the following features: a conferencing system, course structuring tool, gradebook, system administration tools and upload features. Information available at URL: http://vlei.cs.sfu.ca/index.html Geen on-line test tool. • (CP) Vista Compass Vista Compass provides a Web-based, single point-of-access to student services, courses and collaboration. Vista Compass allows schools to select the features they need, integrate the systems they have and expand services as they want. Vista’s unique Plug-n-Serve integration framework allows schools to integrate existing live administrative databases and student services, such as registration, transcript and billing, with Vista Compass modules, to create a custom tailored student services portal. Vista Compass includes tools to control the security, organization and customization of services added to the portal. Based on the Lotus Domino server, Vista Compass can scale to serve large student populations. Information available at URL: http://www.vistainc.com Enkel een administratie-tool, geen on-line test tool. • (CP) WebAssign Developed by the Physics Department of North Carolina State University, WebAssign is a versatile, web-based homework service for educators who want to offer expanded learning opportunities to their students. WebAssign delivers, collects, grades, and records customized homework assignments over the Internet. Assignments can be generated with different numerical values, so each student is provided with a unique question to solve. This feature encourages motivated independent thinking with the benefit of collaborative learning. Teachers can write their own questions, and use questions that their colleagues have found successful. If you are using one of many popular textbooks supported by WebAssign, you can offer pertinent exercises and problems that relate directly to the lesson at hand. Information available at URL: http://webassign.physics.ncsu.edu/ Geen on-line test tool, enkel toekennen van opdrachten. • (CP) Web Course In a Box Web Course in a Box is the result of an on-going collaborative project of the Institute for Academic Technology's Partnership for Distributed Learning and EDUCOM's National Learning Infrastructure Initiative. The lead institution is Virginia Commonwealth University; technical partner is Kent State University. This product is supported by MadDuck Technologies a company in Richmond, VA. WCB is a Web-based course management

33

system that allows instructors to easily develop and deliver instructional materials via the Web. "Web Course in a Box (WCB) is an integrated approach to enabling instructors with minimal technical expertise to set up Web pages for a course..." WCB provides facilities for creating secure web sites for courses, faculty home pages, and student management and tracking. MadDuck Technologies also offers hosting services. Information available at URL: http://www.madduck.com/ Tool om online-cursussen mee te ontwerpen, geen on-line test tool. • (CP) WebMentor WebMentor, by Avilar Technologies, Inc. of Laurel, MD, is a training environment developed with a complete feature set available for developing, administering, and delivering web-based training over the Internet, intranets, and extranets. It provides browser-based authoring and administration and colloration features including a bulletin board and online conferences. Webmentor provides automatic grading and grade recording as well as a number of reporting functions. Information available at URL: http://www.avilar.com/ Geen on-line test tool. • (CP) WebUniversity Information Management Group's (IMG) WebUniversity™ is a customizable platform that can be used by any learning organization to create, manage and teach instructor-mediated classes over the Internet or Intranets. WebUniversity™ consists of three primary components, which can be used together or separately, and customized depending on client requirements: • The WebSyllabus view is the student's and instructor's primary interface with online classes. It’s presented as a Web browser-based grid, personalized to each participant, that serves as class roadmap and control panel for all class activities. • WebUniversity™ TestTaker is a Web-based skills-assessment testing utility, designed for students to take, and instructors to create and track, online tests of various kinds. It is a flexible online testing engine that can be used to test skills, validate learning objectives, or even conduct surveys for any content matter. • The Learning Object Repository gives you the ability to create, manage and deploy any learning activities or content you need, such as HTML documents, Java applets, discussion groups, chats or tests. What this means is you can put together a class to teach any subject matter you want, and make it look exactly as you want it to. And our data-based, repository approach gives you much greater ability to reuse courses, classes and learning objects than any other product on the market. Information available at URL: http://www.imginfo.com/webuniversity/default.asp Bedrijf bouwt testen op aanvraag. • (F, CP) Webware for the SAT Webware for the SAT is produced by Stanford Testing Systems. Stanford Testing Systems TM produces the Stanford Studyguide for SAT Success software. The company also provides Internet/intranet-based training through the Stanford Technologies Group division. See also a list of the "scholastic aptitude/achievement test preparation" courses by Stanford Testing systems. Information available at URL: http://www.testprep.com/ Free-ware onderdeel werd niet teruggevonden. Commercieel onderdeel bestaat enkel uit de mogelijkheid om testen voor u te ontwikkelen.

34

2. Test Creation/Delivery Tools and Systems • (CP) Assessment Systems Corporation Key: Test creation, surveys, adaptive testing, Windows, *Commercial Product* Assessment Systems Corporation, founded in 1979, was the first to develop computerized testing systems for DOS-based microcomputers. CONTEST A general-purpose software package that creates optimal tests using linear programming (LP) algorithms. It features a menu driver interface and does not require the user to be aware of developments in linear programming to use the system. Examiner A Windows-based item banking and test administration system. It easily creates paper-and-pencil or computer-based tests. The computerized tests can also take advantage of the multimedia capabilities of a PC. FastTEST Professional A Windows-based system which allows you to easily enter your test questions into item banks (which may be hierarchically structured) and then to quickly create tests for printing. An optional module allows you to administer tests on a PC. The package includes video, matching items, and adaptive testing templates using Item Response Theory! Available spring 98. GAME A software package for test development, data collection research, and output. It features an intuitive user interface and supports on-line administration of tests. MicroCAT The complete environment for creating and administering tests (both computerized and paper-and-pencil) and then analyzing the resulting test data. With tremendous flexibility, MicroCAT supports everything from simple sequential tests to powerful computer adaptive tests using Item Response Theory. Available as a complete system or as separate modules. Information available at URL: http://www.assess.com/ C-Quest: Zeer jong product dat werd geprogrammeerd in Visual Basic. De editor is te eenvoudig en kan elementaire dingen (zoals het schalen naar full-screen, verkleint weergeven van bitmaps in de editor, …) niet aan wat zeer onprettig werkt tijdens het opstellen van vragen. Ondanks het feit dat het Web-onderdeel er zeer goed uitziet is het product niet bruikbaar voor de faculteit omwille van de eerstgenoemde gebreken. Geen enkele docent of assistant zal vragen willen invoeren in dit product. De prijs, ongeveer 2.400 euro, is een positief element. ExamMiner-ExamMaker: Product werd nooit werkend gekregen. Geen enkele van de demoversie installatie programma’s werkte. Verder bevatte de website tal van fouten en dode links. Dit zegt zeer veel over de zorgvuldigheid waarmee dit bedrijf werkt. • (CP) BioMedia's Test Pilot Key: Test creation, surveys, automatic scoring, web-based, Windows, UNIX, MacOS, *Commercial Product* The bioMedia Center for Instructional Computing is a group of biologists, educators, and computer programmers who are affiliated with the Purdue University Department of Biological Sciences. Test Pilot is a fast and easy to use tool for the development and deployment of online tests and surveys. It requires NO knowledge of HTML or web development issues. Generate tests with true/false, yes/no, multiple choice, fill in the blank and many other question types that can be automatically scored and recorded. Create any number of tests without assistance from a webmaster or an experienced web publisher. Test Pilot runs on Windows, UNIX and MacOS. Information available at URL: http://biomedia.bio.purdue.edu/TestPilot/ Product biedt te weinig mogelijkheden en is te eenvoudig om het te kunnen inzetten voor grote groepen studenten. 35

• (CP- Beta Test) BioMedia's Perfect Match Key: Graphical multimedia, associations, instant feedback, web-based, Windows, UNIX, MacOS, *Commercial Product* The bioMedia Center for Instructional Computing is a group of biologists, educators, and computer programmers who are affiliated with the Purdue University Department of Biological Sciences. Now in beta testing, Perfect Match is a Java application and applet for quickly and easily creating and administering graphical multimedia tutorials. Perfect Match is designed for K-12 and higher education instructors wanting to design exercises to reinforce difficult concepts to students. Information available at URL: http://biomedia.bio.purdue.edu/PerfectMatch/ Product bevindt zich in een beta-stadium en is dus nog niet verkrijgbaar. • (?) CAPA Key: Math, chemistry, physics, immediate feedback CAPA (Computerized Assisted Personalized Approach) is a network system for learning, teaching, assessment and administration. It provides students with personalized problem sets, quizzes, or exams containing qualitative conceptual problems and quantitative problems. CAPA is a tool, not a curriculum, and as such does not dictate course design, content or goals. With CAPA, an instructor can create problem sets which include pictures, graphics, tables, etc., with variables that can be randomized and modified for each student. Students are given instant feedback and relevant hints via the internet and may correct errors without penalty prior to the assignment due date. The system records the students' participation and performance in assignments, quizzes and examinations; and records are available on-line to both the instructor and the individual student. CAPA was developed through a collaborative effort of the Physics-Astronomy, Computer Science and Chemistry Departments at Michigan State University and was first used in a small (92 student) physics class in the Fall of 1992. It has since been used for more than 40,000 students in astronomy, biochemistry, chemistry, mathematics, physics, botany,accelerator physics, human food and nutrition, family and child ecology, and computer science courses. Information available at URL: http://www.pa.msu.edu/educ/CAPA/ Product biedt te weinig mogelijkheden en is te eenvoudig om in te kunnen zetten voor grote groepen studenten. • (CP) Classroom Manager for Windows 95 Key: Scoring key automatically created CTB McGraw-Hill's Classroom Manager constructs tests graphically, creates scoring keys automatically, generates a variety of reports, and communicates with existing products. Information available at URL: http://www.ctb.com/products_services/software.html Programma dient als begeleiding bij het opstellen van testen maar bevat zelf geen on-line testomgeving. • (CP) Course Test Manager Key: Test banks, paper and LAN based, *Commercial Product* Course Test Manager from Course Technology is a testing and assessment package that enables instructors to create and print tests from test banks designed specifically for Course Technology titles. In addition, instructors with access to a networked computer lab (LAN) can administer, grade, and track tests online. Students can also take online practice tests, which generate customized study guides that indicate where in the text students can find more information on each question. Information available at URL: http://www.course.com/products/assessment.html

36

Enkel de mogelijkheid om multiple-choice-vragen te gebruiken. • (CP) C-Quest Key: Test creation, surveys, automatic scoring, publish tests by e-mail, web-based, Windows, UNIX *Commercial Product* Cogent Computer Corporation's, C-Quest is test authoring and administration software that is easy to use, yet flexible. It provides a set of tools for creating computerized assessment tests, exams, or surveys. Tests may be administered on local computers, via diskette or email, over the web, or as interactive published tests. There is one authoring module (C-Quest db), and three online administration options. Information available at URL: http://www.cogentcorp.com Zie Assesment System Coorporation. • (CP) EduTest Key: Grades 2 - 8, *Commercial Product* EDUTEST, based in Richmond, VA, provides tests for grades 2-8 in Math and Language Arts. A unique test is generated for each request. The system uses banks of items in subject categories and grade levels. Information available at URL: http://www.edutest.com Geen on-line test tool. • (CP) examBank Key: Relational Database, Item bank, *Commercial Product* examBank was developed by David BridgeWater, a database consultant in Edmonton, AB, Canada. examBANK is a relational data base consisting of five files: • Item Bank File - Create, store, and print test items (multiple choice, numerical response, written response, matching questions, instructions, contexts, etc.) Use formats similar to Alberta Education diploma examinations or SATs, or choose from other test formats. • Picture File - Pictures may be included in contexts, question stems, multiple choice alternatives, title pages, and answer keys. Pictures are stored separately from test items to save space and increase speed. They are inserted by selecting from a menu. • Instruction File - Often used instructions can be stored separately from test items and inserted by selecting from a menu. • Saved Test File - Save and restore tests. • Help File - Contains extensive on-line help and tutorial. Information available at URL: http://www.compusmart.ab.ca/dbridgew/Dave3.htm Niet teruggevonden. • (F) ExamMail Key: Automatic scoring, UNIX, CGI (written in PERL), Freeware ExamMail is a software program for UNIX platforms which enables the automatic marking of Web-based multiple-choice tests. The program, which was developed by Dr. John Oyston with CGI scripting in PERL by Carsten Schafer, is freeware. Options provided by the program include: use of multimedia in Web form exams, return of percentage score and verbal grades to candidates, links to Web pages which explain answers and give further information, and password security. Mr. Oyston does not provide technical support for ExamMail. Information available at URL: http://www.oyston.com/ExamMail/home.html Voordeel: het is gratis; nadeel: enkel multiple-choice-vragen en in PERL geschreven wat de onderhoudbaarheid bemoeilijkt.

37

• (CP) ExamMaker Key: Test creation, Windows, *Commercial Product* Hit Return's EXAMaker is a Windows-based program that is used to create exam contents, which are then run and scored using the EXAMiner program (provided license free). You can provide up to 20 categories to separate the content of the questions into subject groups. There is no limit to the number of exams, or the number of questions per exam, that can be created/edited by EXAMaker. The EXAMiner program can run all exams created by EXAMaker either by copying the exam to a local computer or by mounting the exam on a local network server. Hit Return also provides AutoCAD training videos. Information available at URL: http://www.hitreturn.com Zie Assesment System Coorporation. • (CP) Final-Exam.com Key: Web site, Study guides, Self-test, *Commercial Product* Final-Exam.com is an Internet publishing company that creates Web-based study guides for college students and maintains the Web site www.final-exam.com. Final-exam.com's mission is to provide college students and aspiring high school students with a one-stop academic portal to the World Wide Web combining Exam Guides, customized academic information, self-testing and more. See the article in the January 14, 2000 issue of the Chronicle of Higher Education for more information. Information available at URL: http://Final-Exam.com Bedrijf ontwikkelt enkel testen. • (F) HTML to Quiz Key: Automatic scoring, UNIX, CGI, Freeware Written by Drew Dolgert of the University of Virginia Physics Department, HTML to Quiz is a program that converts HTML multiple choice quizzes into Web forms, that may then be submitted and automatically graded. HTML to Quiz is composed of two programs: one which translates HTML into forms, and a CGI program that grades the forms when submitted. HTML to Quiz, which runs on UNIX systems, is freeware. Information available at URL: http://Landau1.phys.Virginia.EDU/teaching/quiz/ Biedt te weinig mogelijkheden en er is kennis van HTML vereist. • (CP) inQsit Key: Instructor interface, *Commercial Product*

automatic

scoring,

statistical

analyses,

security,

Developed at Ball State University, inQsit utilizes the Internet to present questions, record answers and return customized graded test results with an intuitive integrated World Wide Web application system. The internal security system prevents unauthorized access to questions, answer keys, and student scores. Information available at URL: http://www.bsu.edu/inqsit/ Enkel multiple-choice-vragen. • (CP) IntelliTest Key: Skills assessment by category, self-scoring assessment, *Commercial Product* Infopro Corporation's IntelliTest is an innovative tool for companies in need of flexible and reliable evaluation system. It can be used by technical skills evaluators, hiring managers, and certification examiners to effectively design and administer tests. Information available at URL: http://www.infoprocorp.com/products/intelli.htm Het product genereert vragen op basis van een on-line beschikbare cursus.

38

• (F) JBC Key: Java based, Freeware JBC is a freeware program for creating electronic multiple-choice quizzes. JBC runs on Windows 95 and requires a Web browser that supports frames and Javascript. The JBC homepage offers a brief outline of the program's main features, initial instructions for running the program, and a direct download hotlink. A sample quiz generated by JBC is available. Other testing programs authored by Martin Holmes of the University of Victoria include: Choices and JQUIZ. Information available at URL: http://www.netshopper.co.uk/creative/education/languages/martin/jbc.htm Enkel multiple-choice-vragen. • (CP) Learning University Key: Multimedia-based training, *Commercial Product*

Microsoft

certification,

Soft

skills

training,

Learning University is a service of 7th Street.com. Learning University offers online multimedia tutorial libraries on a variety of technical and non-technical subjects. Volume discounts are available. The course material is presented using 7th Street.com's StreamMaker™ interactive streaming technology. Information available at URL: http://www.learninguniversity.com/ Enkel cursussen. • (CP) LXR*TEST on the Web Key: Item banks, Web-based testing, *Commercial Product* LXR*Test on the Web is a newly announced web-based testing product from Logical Extension Resources the technology division of Applied Measurement Professionals, Inc. LXR Test 5.1 is another product from this company which accommodates all types of items: multiple choice, true/false, matching, short answer, open-ended, and numeric response and an unlimited number of items in a test bank. Information available at URL: http://www.lxrtest.com/html/web_test_intro.htm Verwerkt met de hand ingevulde mutiple-choice formulieren (OCR-scanning). Het nieuwe web-onderdeel om vragen on-line te beantwoorden is zeer primitief. • (S) Markin32 Key: Electronic text, Shareware Markin32 is a shareware program for Windows 95 that enables the marking and annotation of papers submitted electronically. Electronic text is imported into the Markin32 program, marked and annotated using pre-defined or customized buttons, and exported as a text file or Web page. The Markin Web page offers an overview of the program's capabilities, a link to an independent review of an earlier version of Markin, and a direct download hotlink for the Markin32 shareware version, which can only be used to mark short texts. This product is authored by Martin Holmes of the University of Victoria. Information available at URL: http://www.netshopper.co.uk/creative/education/Languages/MARTIN/markin.htm Geen on-line test tool . • (F) Mklesson Key: CGI Perl5, Unix, Macintosh, PC, Freeware Mklesson (University of Syndey) is a Perl 5 program that generates Web-based tutorials, where "tutorial" is defined as a set of two or more lessons, each of which is divided into various sections. Mklesson runs on UNIX but is portable to Macintosh and PC operating systems. It generates a large number of HTML files from a single lesson with some editing. For Mklesson to work its input file must be in the correct format, termed a 'lesson' format (also

39

called an '.les' format). This file contains all data about your tutorial: sections, questions (Quiz for auto-evaluation) and responses to questions. Information available at URL: http://www.adahome.com/Tutorials/Lovelace/userg.html Niet teruggevonden. • (CP) PC University *ADDED-11/21/1998* Key: Mastery learning, instant feedback, PC network-based, *Commercial Product* PC University is produced by Teaching Technologies. This product provides the ability to run tests in "diagnostic quiz" mode, in which students receive immediate, instructor-created feedback on their mistakes. Diagnostic quizzes can be sequenced so that completion of one quiz at a high level of proficiency is required before the student can proceed to the next exercise, and there are numerous other tools to facilitate a mastery approach. Questions are stored in a high-performance database system, and can be cross-referenced by topic using the built-in outliner. Questions can be of any size or type, and can include graphics and special symbols. PC University incorporates another product available from Teaching Technologies is the Question Bank, a tool for preparing paper-based tests. Information available at URL: http://www.teachingtech.com/pcu.htm/ Duidelijk een Windows 3.11 product dat ge-upgrade werd naar Windows 95. Het product heeft een eenvoudig te bedienen editor en biedt de mogelijkheid te kiezen uit vier vraagtypen. Enkel de editor is getest geweest omdat aan de toepassing die de on-line vragen stelt nog gewerkt wordt. De prijs voor het product is redelijk hoog en wordt per gebruiker geteld: 6.000 euro voor 500 gebruikers. De prijs is redelijk hoog gezien de wat oudere uitstraling van het product hetgeen erop wijst dat het product niet echt aangepast is geweest de laatste jaren. Men kan beter afwachten totdat het hele product vernieuwd is hetgeen het bedrijf blijkbaar bezig is. • (CP) Pedagogue Key: Question database, instant feedback, instructional games, *Commercial Product* The Pedagogue® Testing and Assessment System is produced by Formal Systems, Inc.. Pedagogue enables you to create electronic assessments(exams and instructional games) that can determine the level of competency for any person or group of people. The system has four main areas: Question Database, Build Exam/Game, Run Exam/Game, and History Database. Information available at URL: http://www.ipedagogue.com/ Zeer volledig product met een splinternieuwe gebruikersinterface. Er is hier ook gedacht om het moeilijke met het aangename te koppelen. Verschillende testen kunnen ook in spelvorm opgezet worden. Mooi uitgewerkte web-interface. Nog geen informatie beschikbaar i.v.m. de prijs van het product. Het product maakt geen gebruik van een database wat het meteen ook moeilijk inzetbaar maakt binnen de faculteit. • (CP) Perutile's Intranet Questionnaire Key: Surveys, Quizzes,*Commercial Product* FC Intranet Questionnaire is a fully interactive application with a self contained database that produces an automatic statistics gathering/testing environment entirely within FirstClass. FC IQ also includes a questionnaire editing environment which also works within FirstClass. Automatically corrects tests and creates a table of scores. The company is based in Sweden. Information available at URL: http://www.perutile.se/products/Intranet_Questionnaire.htm Niet teruggevonden. • (F) PHATE Key: Password, Unix, Macintosh, PC, Freeware PHATE (Parametric Homework Administration, Testing, and Evaluation) is a Web-based freeware application that allows for the creation of exercises through "Parametric Homework

40

Markup Language" extensions to HTML, the generation of Web forms, the grading of numeric and non-numeric responses via "fuzzy comparisons", the logging of results, and password protection. PHATE has been tested on DOS, Mac and UNIX platforms. Information available at URL: http://www.cclabs.missouri.edu/~phate/phml.htm Niet teruggevonden • (F) PollyAnna & PollyEdit Key: Graphical content, review and quiz modes, Freeware PollyEdit and PollyAnna are tools developed by the University of Toronto's Botany Department for developing and deploying integrated text and graphics for subject reviews and quizzes. PollyAnna presents graphical course content (photos, diagrams, maps, etc.) together with explanatory text in a way that allows students to either review and learn the material, or quiz themselves on it. PollyEdit is the program that enables a teacher to put together a database of text and graphics for PollyAnna to display. PollyAnna and PollyEdit are freely available for not-for-profit academic use. Information available at URL: http://server.esc.cquest.utoronto.ca/botany/general/Showcase99/ Enkel multiple-choice-vragen. • (F) qform Key: Surveys, Windows 95 and Windows NT, Freeware The "qform" package consists of two programs written in ANSI C. These programs make it easy to create and automatically grade multiple-choice (and true/false) self-testing quizzes for an NCSA httpd-based WWW server. The quiz file format is simple, and no knowledge of HTML is necessary to write a quiz. Information available at URL: http://www.satlab.hawaii.edu/space/hawaii/qform.html Enkel multiple-choice-vragen. • (F) Question Master Key: User Logging, Unix, Java, Freeware Developed by Liam Crilly, Question Master is freeware testing software written in Java but implemented as a CGI script rather than an applet. The system allows for limitless questions, several different question types, random sequencing of multiple choice options to discourage cheating, and user logging. The system requirements are a UNIX operating sytem, a Web server, and a Java development kit. Information available at URL: http://staff.elmail.co.uk/~liam/qm/ Werkt enkel op een UNIX platform d.m.v. cgi-scripts die moelijk onderhoudbaar zijn binnen de faculteit wegens gebrek aan expertise. • (?) QuestWriter Key: Password, Scoring, Unix, Beta Testing QuestWriter is a set of tools under development at Oregon State University. QuestWriter enables the creation of various types of questions, which may then be delivered over the World Wide Web and automatically scored. QuestWriter's features include password protection, random question generation and a student registration system. QuestWriter is written in Perl 5, and runs on various types of UNIX platforms, including Solaris, Linux, Netbsd, and bsdi. Information available at URL: http://iq.orst.edu/meta Nog geen afgewerkt product beschikbaar.

41

• (F) Quick Quiz Maker Key: Create Test in Web Browser, Results E-mailed Quick Quiz Maker, currently in beat test, allows you to create up to 99 questions with up to 5 choices each. A web page at the Quick Quiz Maker site is used to enter the test questions and answers. No HTML programming is required. Test results are instantly tallied and displayed to the user. In addition, the user's results are emailed to a specifed address. The Quiz Maker site creates an HTML page that can be included in your web site. Information available at URL: http://www.interpro.net.au/zquiz/ Enkel multiple-choice-vragen. • (CP) The Quiz Engine Key: Password, Windows NT, Unix, Hosting Services *Commercial Product* The Quiz Engine by Bytes Interactive can run multiple quizzes, calculate scores and percentiles, grade quizzes, and provide feedback and password protection. Random generation of questions is "coming soon". The Quiz Engine runs on Windows NT or UNIX. Information available at URL: http://bytesinteractive.com/index.html#quizeng Enkel multiple-choice-vragen. • (F) QUIZIT Key: Adaptive Quizzes, Freeware QUIZIT, developed at Virginia Tech, is a tool for developing reusable online quizzes. It incorporates the power and flexibility of MSQL databases with the availability of World Wide Web technology into a neat package which can be used to create reusable, self-adjusting, self-grading authenticated quizzes which will remain usable through changes in HTML versions. Information available at URL: http://pixel.cs.vt.edu/~ltinoco/quizitdocs Het product veronderstelt HTML kennis bij het opstellen van de testen. • (F) QuizMaker Key: Unix, Freeware QuizMaker is a free Perl 5 program that runs on UNIX, developed by Curtis E. Dyreson at James Cook University in Australia. QuizMaker converts a text source file into a series of databases, Web pages and CGI-bin scripts to process the pages. The package has been used in first and second-year courses at James Cook University. Information available at: http://www.cs.jcu.edu.au/ftp/users/CDyreson/web/htmls/software/quizzes.html Niet teruggevonden. • (CP) QuizPlease Key: Unix, NT, *Commercial Product* QuizPlease 97.2 for UNIX and NT is a software tool for creating tests and quizzes for delivery over the World Wide Web (as well as over a network or from a diskette). Links to Web resources may be incorporated into QuizPlease quizzes, as well as multimedia files and hints. QuizPlease can also create e-mail surveys and assignments. The QuizPlease Server 97.2, a new product, adds capabilities to QuizPlease such as the storage of quiz results in a Microsoft Excel file. Information available at URL: http://quizplease.com/ Het product veronderstelt HTML kennis bij het opstellen van de testen.

42

• (?) QuizSite Key: Web-based Quizzes, evaluations QuizSite was developed by the Bureau of Evaluative Studies and Testing at the Indiana University Bloomington. It is a computer program for administering tests, quizzes, homework, evaluations and survey questions over the Web. Information available at URL: http://www.best.indiana.edu/quizsite/ Voordeel: er zit een database achter; nadeel: geen stand-alone versie beschikbaar. • (CP) Quiz Studio *ADDED-11/21/1998* Key: Adaptive testing, dynamic grading, Java-based, *Commercial Product* Quiz Studio is a 100% Java-based Internet software package that enables non-technical users to create interactive multimedia tests easily and graphically, adapt the tests to the profile of each single user or group, and analyze and compare the results of a single user or group in real time. Quiz Studio uses CAT & DOG® technology (Computer Adaptive Testing and Dynamic On-line Grading). Quiz Studio is featured in the November 1998 issue of the Java Report. Information available at URL: http://www.quizstudio.com/ Het product is veel te eenvoudig qua opzet: het heeft geen database als basis, de opmaakmogelijkheden voor vragen zijn erg beperkt, de vraagtypes zijn beperkt en de omgeving waarin de vragen moeten beantwoord worden komt niet aangenaam over. • (CP) QuizWiz Key: Surveys, Windows 95 and Windows NT *Commercial Product* QuizWiz is used for setting up online quizzes and surveys. It produces both the HTML files as well as the CGI script which actually handles the evaluation of the quiz. Evaluation takes place immediately. Options available include keeping track of past responses, e-mailing the results to a marker, and securing access to the quiz. The QuizWiz application runs on Windows 95 and Windows NT. Information available at URL: http://www.ccts-ent.com/ Te eenvoudig: antwoorden worden per e-mail verstuurd en de resultaten worden niet in een DB of bestand opgeslagen. • (F) RAGS Key: Surveys, Windows 95 and Windows NT, Freeware RAGS (the Review Automated Generation System) is a free software program which generates Web-based tutorials and review question sets. RAGS is composed of a suite of CGI-compliant gateway applications, written in C, for Sun Solaris and Linux operating systems. Multiple choice, true/false, short answer and essay questions are supported. Multiple choice and true/false questions may be automatically graded. This project was funded in part by: NASA/JPL, Clark Atlanta University and the NASA/ASEE Summer Faculty Fellowship Program. Information available at URL: http://stargate.jpl.nasa.gov:1084/RAGS/ Dit product is verouderd en werkt niet correct onder Windows NT. • (F) Self-Assessment Maker Key: Multi-lingual, Freeware Self-Assessment Maker is a sequence of true/false, multiple-choice, many-choice, and/or exact answer questions that a student works through at their own pace. When a student tries a question (or page of questions), feedback is immediately given on their performance. SAMaker is multi-lingual and was developed by Curtis E. Dryeson. Information available at URL: http://www.cs.jcu.edu.au/ftp/users/CDyreson/web/htmls/software/self_assessment.html

43

Niet meer teruggevonden omdat de drijvende kracht achter de ontwikkeling, C. Dyreson, de instelling verlaten heeft. • (CP) SpreadTask Key: SpreadSheet, *Commercial Product* SpreadTask is a system for computer-based assessment of spreadsheet skills. It was produced as part of the CATS project on Computer-based Assessment of Transferable Skills. The beta version is available for evaluation. The CATS project is concerned with automating the assessment of IT skills. It is committed to direct assessment of performance by the capture and analysis of user-computer interaction. CATS is applying these techniques to the assessment of IT skills such as the use of spreadsheets and databases. The project is based in the School of Information Systems at the University of East Anglia, Norwich, UK. The full SpreadTask system has three components: The Tutor Module: The tutor can use this program to generate custom spreadsheet exercises. • The Online Assessor: This is a program for assessing the results of spreadsheet exercises on-line using a generic spreadsheet. Results and feedback can be displayed immediately. • The Offline Assessor: The results of spreadsheet exercises carried out using any standard spreadsheet package can be batch or individually assessed using the Offline Assessor. Information available at http://www.sys.uea.ac.uk/Research/ResGroups/TLTP/spread.htm

URL:

Test enkel de kennis van de gebruiker op het kunnen gebruiken van een spreadsheet. • (CP) Test.com Key: Online web-based tests, professional certification Test.com offers a wide range of online (web-based) tests, ranging from trivia-type quizzes to creativity tests, and simulations of college admission and professional certification tests. Information available at URL: http://www.test.com/ Geen on-line testen, enkel cursussen. • (CP) Test Designer Supreme * NEW-6/25/1998* Key: Builtin math processor, import graphics and sounds, bilingual, *Commercial Product* Test Designer Supreme, developed by Super School Software, was designed to help teachers, students, and parents to modify tests and assignments while working in the regular classroom setting. Students can take tests right on the computer or print out tests. Clocks and timers are included so that students can work at their own pace. Many question types are available such as multiple choice, true/false, completion, essay, short answer, group questions (paragraph, picture, and several different types of questions all together as one question), and dynamic question type (paragraph, picture, and math equations). Test Designer Systems contains a built in math processor. You design one math equation and Test Designer completes all the rest. The program comes complete with covers sheets and tools to export files to Microsoft and desktop publishing programs. Additional features include: built in painting program, imports graphics on all types of questions, imports sounds, tutorial included, networkable, randomizer, detailed script editor, password utility, and password protected Windows version includes additional features such as: matching, crossword puzzle creator, drag and drop, Windows 95 compatibility, puzzle makers, and special features to assist students that continue to get the wrong answer while taking any tests. Information available at URL: http://www.superschoolsoftware.com/Home.html Specifiek gericht op de lagere school.

44

• (F) TIE Key: CGI, Freeware TIE (The Interactive Exam) is a free software package developed by Richard Roy of the University of Connecticut. TIE currently runs only on Sun Solaris platforms. The program generates and grades Web-based exams from a source file. The TIE page provides a reference list of TIE format commands, a link to a TIE-generated microbiology exam, and a download link. See an example of TIE used in an Anthropology course at the University of Connecticut. Information available at URL: http://www.lib.uconn.edu/~rroy/tieinfo.html Werkt enkel op een SUN-Solaris platform waardoor het niet inzetbaar is binnen de faculteit. • (F) The Tutorial Gateway Key: Unix, Freeware The "tutorial gateway" is a filter for a CGI-compliant HTTP server that makes it slightly easier to develop tutorial style questions and have them presented by most Web browsers. The person viewing a question can supply an answer, have that answer evaluated by the gateway, and receive a response appropriate to the answer. Question files are created using an extended version of HTML. Additional tags have been invented to markup the various parts of questions in various ways. Of course, normal HTML is available for every part of a question, so your questions, hints, responses, can contain embedded graphics, hypertext links, etc. The following question types are supported: multiple choice, true/false, single numeric, single algebraic. Information available at URL: http://www.civeng.carleton.ca/~nholtz/tut/doc/doc.html Enkel op een UNIX-platform d.m.v. cgi-scripts wat de onderhoudbaarheid bemoeilijkt. • (?) TRIADS*ADDED-6/4/1998* Key: 3 modes of assessment, fully configurable at run-time, encryption of results file, AuthorWare The University of Derby/Tripartite Interactive Assessment Delivery System (TRIADS) is a very nice and robust toolkit for users of Authorware Professional designed to facilitate rapid and easy production of computer aided assessments. The system has been in operation over the last six years at the University of Derby and is currently being extended in collaboration with Earth, Physical, Natural and Medical Science departments at the University of Liverpool and the Department of Earth Sciences at the Open University under the auspices of the Assessment of Learning Outcomes Project. The sign-on, question sequencing, results calculation and filing are handled automatically. Question templates and proformas are provided to speed the production of a wide variety of question styles and experienced Authorware programmers may insert their own questions into the system by use of the empty question shells supplied, subject to obeying a few simple rules. Once created, questions may be saved as Authorware 'model' files for use in subsequent assessments. Assessments, once packaged may be loaded onto a network and configured at run-time by the tutor with respect to mode of assessment and nature and location of results output. Results may be saved in MS-Excel compatible text files or as encrypted files which may be translated by means of a separate program supplied to the tutor with the system. The TRIADS system is now shipping to evaluation sites. The system will be distributed at cost of materials in return for a contractual agreement to provide evaluation feedback and to receive on-site training for a minimum number of users. A demonstration can be viewed with the Shockwave for Authorware plug-in. Information available at URL: http://www.derby.ac.uk/assess/newdemo/mainmenu.html Dit is het meest volledige product dat werd aangetroffen tussen al de geteste producten. Het product werkt niet op basis van een database, wat dan ook het enige min-punt is, maar met Authorware Professional waarvoor verschillende templates aangemaakt werden. Het

45

resultaat is wel verbluffend. In principe is het product gratis te verkrijgen maar er is een beperking tot UK-universiteiten die gesubsidieerd worden door de overheid. Op lange termijn zou het product volledig ter beschikking komen voor iedereen. • (CP) Virtual Knowledge Key: K-12, In-home evaluation The Sylvan Children's Skills Tests provide a comprehensive, in-home evaluation of your child's academic progress. The series assesses performance, pinpoints strengths and flags weaknesses in areas critical to your child's academic success including math, language arts, science and social studies. Results are reported in terms of Grade Equivalents, Percentile Rank and Standard Scores on an easy to read chart. In addition, the Sylvan Children's Skills Test generates a Discrepancy Analysis, which highlights any differences between the aptitude and achievement scores. Results are password protected, and can be printed and shared with teachers or academic professionals. Information available at URL: http://www.virtent.com/ Specifieke niveautest voor Amerikaanse lagere scholen. • (F) WeBWork Key: Password, Automatic scoring, Math, Calculus WeBWorK is an internet based method for delivering homework problems to students over the internet. It gives students instant feedback as to whether or not their answers are correct. At the University of Rochester WeBWorK is currently being used for the precalculus and calculus cluster and for first semester calculus. Each WeBWorK problem set is individualized (each student has a different version of each problem, for example the numerical values in the formulas may be slightly different. The student completes the assignment, logs onto the internet and enters their answers into a web browser. The WeBWorK system responds telling the student whether an answer (or set of answers) is correct or incorrect and also records whether the student answered the question correctly or incorrectly . The student is free to try a problem as many times as he or she wishes until the due date. A key educational benefit of this system is that if a student gets a wrong answer, the student gets immediate feedback while the problem is still fresh in their mind. The student can then correct a careless mistake, review the relevant material before attacking the problem again, or seek help (frequently via e-mail) from friends, the TA or the instructor. Information available at URL: http://webwork.math.rochester.edu:8088/index.html Een leeromgeving voor het toekennen en indienen van opdrachten, geen on-line testomgeving. • (F) WEBTEST for the Web Key: Tests, tutorial, security, UNIX, Freeware WEBTEST was initiated by the Faculty Projects Group at the University of Waterloo. It can be used to create an interactive testing, tutorial OR survey environment. The many features available for creating secure testing environments do not have to be used. This technology can be used as a secure means of testing students electronically (with automated marking and submission of results via email) OR to simply give students access to review material electronically (which normally would be distributed on paper) in a controlled, self-paced learning environment. Information available at URL: http://fpg.uwaterloo.ca/WEBTEST/WEBTEST_intro.html Gericht op een Unix-platform en HTML-kennis vereist waardoor het niet ingezet kan worden binnen de faculteit.

46

• (F) Web Worksheet Key: Password, Automatic scoring, Freeware Web Worksheet is a free online assessment program for UNIX platforms. A team of developers at the University of Washington continue to modify the package. Web Worksheet was formerly called Learning Space (this program bears no relation to Lotus Notes' LearningSpace software), and the program is still referred to as Learning Space in some parts of the Web Worksheet Information page. Web Worksheet includes support for multiple choice, fill in the blank, and essay questions, automatic feedback and scoring, inclusion of multimedia files and password protection. See also a paper by one of the Web Worksheet developers. Information available at URL: http://staff.washington.edu/mascott/worksheet/ Enkel multiple-choice testen en HTML-kennis vereist bij het opstellen van de testen. • (CP) WebQuiz Writer Key: JavaScript, Windows 95 and NT, *Commercial Product* WebQuiz Writer, by Eon Communcations, features client-side Javascript, and fully contained HTML files which do not require CGI processes. A Windows 95 operating system or Windows NT 3.51 or later is required to run this product. The beta copy of the latest version was recently given (6/29/1998) a five-star rating by Ziff-Davis Publications. Information available at URL: http://impactx.com/webtest/over.html Niet teruggevonden. • (CP) WordTask Key: Word Processing, *Commercial Product* WordTask is a highly flexible system for computer-based assessment of beginner to intermediate level word processing skills. It was produced as part of the CATS project on Computer-based Assessment of Transferable Skills. The beta version is available for evaluation. The CATS project is concerned with automating the assessment of IT skills. It is committed to direct assessment of performance by the capture and analysis of user-computer interaction. CATS is applying these techniques to the assessment of IT skills such as the use of spreadsheets and databases. The project is based in the School of Information Systems at the University of East Anglia, Norwich, UK. The full WordTask system has three components: • The WordTask OnLine Assessor : This is a program for assessing the results of word processing exercises on-line using a generic word processor. Results and feedback may be displayed immediately if required. • WordTask OffLine Assessor : The results of word processing exercises carried out using any standard word processor can be batch or individually assessed using this tool. • The WordTask Tutor's Module: The tutor can use this software to set new exercises and to set the large number of options to tailor the operations of the other two programs for the particular purpose required. Information available at http://www.sys.uea.ac.uk/Research/ResGroups/TLTP/wordtask.htm

URL:

Gericht op het testen van één bepaalde vaardigheid: het werken met een tekstverwerker. . • (F, CP) WWWAssign Key: Macintosh and PC, Freeware Developed by Dr. Larry Martin of North Park University in Chicago, WWWAssign is a CGI program written in the Perl programming language. The program provides: multiple choice, fill-in-the-blank, numerical, and essay questions, and all but essays are graded automatically. To install the program, you need a Web server with Perl 5.003 or later installed. WWWAssign 47

will run on Unix, PC and Mac machines. North Park University and Ameritech provided partial funding to develop this tool. Information available at URL: http://www.northpark.edu Niet teruggevonden

_______________________

48