Inhoud. 1. Inleiding. 2. Wat verstaan we onder e-learning?

Europese ontwikkelingen rond de elektronische leeromgeving

Reflectie op een track van de Online Educa Berlin Conferentie 20081 Peter van ’t Riet – Lector ICT en Onderwijsinnovatie Hogeschool Windesheim Inhoud

1. Inleiding .................................................................................................................1 2. Wat verstaan we onder e-learning?........................................................................1 3. De architectuur van elektronische leeromgevingen...............................................2 4. De inbedding van de ELO in de informatiearchitectuur van de instelling ............4 5. Integratie met elektronische leerplatforms van collega-instellingen .....................5 6. Opkomende leerplatforms......................................................................................7 7. Integratie van elektronische leeromgevingen met Web2.0 en mobile learning.....8 8. De ontwikkeling van leerstof (content)..................................................................9 9. De didactische inzet van ELO’s...........................................................................10 10. Informatiebeheer van elektronische leeromgevingen ........................................12 11. Management en de implementatie van elektronische leeromgevingen .............12 12. Conclusies ..........................................................................................................14 Bronnen....................................................................................................................14 1. Inleiding Op 3 t/m 5 december 2008 vond de jaarlijkse Conferentie Online Educa Berlin plaats over het gebruik en de ontwikkeling van ICT binnen vooral het hoger onderwijs. Online Educa Berlin is in Europa de toonaangevende conferentie op dit gebied en wordt jaarlijks bezocht door duizenden medewerkers aan hoger-onderwijsinstellingen in heel Europa. Behalve veel Duitse deelnemers zijn er altijd grote delegaties uit Groot-Brittannië en Nederland. De vele conferentiebijdragen waren onderverdeeld in thematracks, waarvan Managing and Organising E-Learning Systems er een was. Binnen deze track waren 24 presentaties geprogrammeerd die verzorgd werden door collega’s uit landen variërend van Finland tot Portugal en van Griekenland tot de UK. Veel van de presentaties in deze track heb ik bijgewoond. Samen met de abstracts uit het conferentieboek en de documentatie op de website van de conferentie geven zij een mooi beeld van de belangrijkste ontwikkelingen die gaande zijn rond elektronische leeromgevingen in het Europese hoger onderwijs. Na een korte inleiding over wat ik onder e-learning versta, wijd ik aan negen van die ontwikkelingen een korte bespreking, waarna ik enkele conclusies zal trekken. Dit artikel is daarmee niet alleen een verslag van de betreffende conferentietrack, maar bevat ook mijn eigen reflecties op het gepresenteerde materiaal. 2. Wat verstaan we onder e-learning? E-learning is een breed begrip. Alle leeractiviteiten die worden uitgevoerd met behulp van elektronische hulpmiddelen, zouden tot e-learning gerekend kunnen worden. In 1

Met dank aan Frans Jacobs en Wim Trooster voor hun commentaar op de eerste versie van dit artikel.

Europese ontwikkelingen rond de ELO – Peter van ’t Riet (LICTO Windesheim) – maart 2009

1

dat geval is het begrip e-learning voor onderwijsinstellingen niet specifiek genoeg om er beleid op te formuleren. Beter is e-learning specifieker te omschrijven als “onderwijsleeractiviteiten die verricht worden met behulp van elektronische hulpmiddelen en die gepland zijn met oog op het leren van leerlingen c.q. studenten”. Speelden tot voor kort noties als “zelfstandig, tijd- en plaatsonafhankelijk leren van studenten” een belangrijke rol in dit soort definities (bijv. HBO-raad, 2002), vandaag is onder invloed van blended learning het begrip e-learning aan een verbreding onderhevig. Om e-learning te kunnen plannen en uitvoeren is een digitale leeromgeving nodig, die wel omschreven wordt als een “technische voorziening (hardware, software en telecommunicatie-infrastructuur) die de interactie tussen het leerproces, de communicatie daarover en de organisatie daarvan faciliteert” (Droste, 1999). Anderen spreken pas van een digitale leeromgeving als daaraan ook content, d.w.z. onderwijskundig materiaal, is toegevoegd ter ondersteuning van het leerproces, de communicatie en de organisatie (Tolboom, 2002). Omdat de digitale leeromgeving onmisbaar is bij het plannen en organiseren van e-learning zal ik met de architectuur daarvan beginnen, waarna ik ontwikkeling met betrekking tot contentontwikkeling, het gebruik en de implementatie van elektronische leerplatformen bespreek. 3. De architectuur van elektronische leeromgevingen Diverse bijdragen aan de conferentie werden gekenmerkt door onhelderheid over de vraag wat wel en niet verstaan moet worden onder een elektronische leeromgeving en hoe de verschillende functies ervan zich tot elkaar verhouden. De definiëring van een elektronische leeromgeving (ELO) of elektronisch leerplatform hangt mijns inziens direct samen met de architectuur ervan. Welke functionaliteit moet tot een ELO worden gerekend en hoe is die in informatiesystemen ondergebracht? Een beperkte definitie van de elektronische leeromgeving is gelimiteerd tot wat een docent aan elektronische middelen nodig heeft om in het kader van een cursus onderwijs te kunnen verzorgen voor zijn studenten of leerlingen (het microniveau van het onderwijs). Zelf ga ik uit van een bredere definiëring van het ELO-begrip, waarbij ook organisatieaspecten zoals studieprogrammering en roostering een rol spelen (het mesoniveau van het onderwijs). Zimmer e.a. (2008) geven een nogal beperkte opsomming die ik hieronder naar eigen inzicht heb herordend en aangevuld. We moeten dan bij een ELO denken aan de volgende functiegroepen ongeacht of die separaat of in combinatie met elkaar in informatiesystemen zijn ondergebracht. –

Authentication and Authorization Infrastructure (AAI). Deze wordt gevormd door de systemen die studenten en docenten toegang verschaffen tot die onderdelen en functies van de totale omgeving waar zij recht toe hebben. – Content Management System (CntMS). Hierin zijn opgenomen de informatieassets zoals teksten, spreadsheets, diapresentaties, plaatjes, geluidsfragmenten, videofilms etc. voorzien van metadata en zoekfunctionaliteit. Een bijzondere vorm van content management doet zich voor bij streaming audio en video, waar sprake is van systemen voor opslag van streams, het afspelen ervan en de ontsluiting ervan voor gebruikers bijvoorbeeld binnen een portaalomgeving. – E-library System (ELS). Dit is een informatiesysteem dat informatie geeft over de fysieke assets in bibliotheken en mediatheken, en waarin de toegang tot externe gegevensbanken ontsloten kan worden. – Learning Objects Management System (LOMS). In dit systeem zijn opgenomen: leertaken, leer- en praktijkopdrachten, quizzes, polls, vragenlijsten,


2

toetsitems etc., die bij diverse cursussen kunnen worden ingezet, of waaruit geput kan worden voor remedial teaching. In deze learning objects kan al of niet gebruik gemaakt worden van de assets uit het content management systeem, de streaming systemen en het e-library systeem. Een bijzondere vorm van learning objects vormen de toetsitems (zie hierna). – Educational Catalog System (ECS). Dit is de digitale onderwijscatalogus waarin de beschrijving van opleidingen, leerplannen, cursussen, examenonderdelen etc. is opgeslagen. Deze digitale onderwijscatalogus kan door studenten en studieloopbaanbegeleiders geraadpleegd worden en als basis dienen voor de samenstelling van hun studieprogramma’s. – Course Management System (CrsMS). In dit systeem worden de cursussen en examenonderdelen die beschreven zijn in het educational catalog system, opgebouwd met behulp van de leerobjecten uit het learning objects management system en de assets uit het content management systeem, uit de streaming systemen en/of het e-library systeem. – Planning and Scheduling System (PSS). In dit systeem worden onderwijs en examinering gepland qua ruimte, tijd en personele inzet. Bij aanbodgestuurd onderwijs kan dit een traditioneel roosterpakket zijn, maar bij vraaggestuurd onderwijs zal een planning and scheduling system ook moeten beschikken over flexibele mogelijkheden voor inschrijving op deelprogramma’s en cursussen, en voor reservering van ruimten door diverse stakeholders zoals studenten en docenten. – Study Planning System (SPS). Dit is het systeem, waarin de studieplannen van de studenten worden geconstrueerd uit opleidingsprogramma’s en courses in het educational catalog systeem en het course management systeem. Deze constructie kan in het geval van aanbodgestuurd onderwijs verricht worden door de opleiding zelf, maar een modern study planning systeem zal tevens de mogelijkheid moeten bieden dat studenten m.b.v. het educational catalog systeem zelf keuzen maken om hun eigen studieplan samen te stellen. Deze keuzen moeten dan via workflow ter goedkeuring voorgelegd kunnen worden aan opleidingsfunctionarissen die bevoegd zijn ze goed of af te keuren. – Learning Management System (LMS). Hierin vinden de dagelijkse leeractiviteiten plaats en worden de leerproducten zoals werkstukken, verslagen, rapportages, overzichten van chatsessies en forumdiscussies gemanaged. Een modern LMS is een collaborative learning platform waarin functionaliteit is opgenomen waarmee studenten onderling en met hun docenten kunnen samenwerken en communiceren. Te denken valt dan aan storage van bestanden van deelnemers, versiebeheer bij gezamenlijke producties, wiki’s, blogs, discussieforums, chatfunctionaliteit, videoconferencing, e-portfolio’s etc. Het learning management system dient ook een interface te hebben naar het internet en naar nieuwe communicatiekanalen zoals mobiele apparaten, sms, pda’s etc. – Assessment Management System (AMS). Hierin worden digitale assessments, toetsen, tentamen etc. afgenomen met behulp van de toetsitems uit het learning objects systeem. De toetsen worden geanalyseerd en diverse vormen van informatie over de presetaties van de leerlingen c.q. studenten worden vastgelegd of doorgestuurd naar betrokkenen en/of het student informatie systeem. – Student Information System (SIS). Hierin is alle informatie verzameld over de opleidingen die de studenten volgen, de status van hun inschrijving, de exameneisen waaraan zij moeten voldoen, hun studievoortgang en


3

studieachterstanden etc. Het student informatie systeem is ook het systeem waarin de eindcontrole plaatsvindt op het behalen van cijfers, certificaten en diploma’s. Hoewel ik in bovenstaand overzicht overal het woord “system” heb gebruikt, wil dat niet zeggen dat alle genoemde functionaliteit ook in afzonderlijke systemen behoeft te zijn ondergebracht. Vaak zullen we in de praktijk zien dat de functies van het CntMS, het LOMS en het LMS in één systeem verenigd zijn. Elke oplossing heeft hier zijn eigen voor- en nadelen. Van groot belang is dat een onderwijsinstelling zijn informatiearchitectuur op orde heeft, zodat alle systemen die de genoemde functies ondersteunen, vlekkeloos met elkaar kunnen samenwerken. Dat dat nog lang niet het geval is bij veel instellingen wordt in de volgende paragrafen duidelijk. 4. De inbedding van de ELO in de informatiearchitectuur van de instelling In het hoger onderwijs werken veel systemen geïsoleerd van elkaar. Om ze bruikbaarder te maken voor alle gebruikers dienen ze met elkaar verbonden te worden (Torrão e.a., 2008). Een succesvolle implementatie van een ELO is onder andere afhankelijk van de integratie met andere informatiesystemen binnen de instelling. Hallén (2008) vermeldt in het kader van de implementatie van de ELO Its Learning bij de Noorse Technisch-Natuurwetenschappelijke Universiteit in Trondheim drie belendende systemen waarmee integratie van belang was. In de eerste plaats is dat het administratieve systeem voor studenten studieinformatie (SIS). Hierin worden binnen de NTNU o.a. de cursussen aangemaakt, gekoppeld aan de juiste opleidingen en docenten. Vervolgens het identificatie- en autorisatiesysteem (AAI) voor het verlenen van toegang tot de nieuwe ELO. Als derde is de integratie met het intranet van de instelling van belang als communicatielaag tussen studenten en de achterliggende systemen. Eenmaal ingelogd op het intranet kan men via single-signonprocesdures direct gebruik maken van de ELO. Dergelijke vormen van systeemintegratie lijken vandaag plausibel, maar zijn voor veel instellingen technisch en organisatorisch nog een hele klus om voor elkaar te krijgen. Een eis die tegenwoordig aan ELO’s wordt gesteld, is de mogelijkheid het studietraject van de student te monitoren. Daarmee komt de tot voorkort gebruikelijke scheiding tussen ELO’s en studievolgsystemen te vervallen. Behalve het volgen van eindresultaten bestaat in moderne ELO’s ook de mogelijkheid andere aspecten van het studiegedrag van studenten in kaart te brengen, zoals de tijd die studenten besteden aan leertaken, welke linken zij volgen door de leerstof, hoe vaak zij gebruik maken van samenwerkingstools enz. Dit kan enerzijds informatie opleveren die van belang is voor de inrichting van de leerstof en de cursus, maar ook informatie op basis waarvan aan studenten persoonlijke studieadviezen en leertrajecten kunnen worden aangeboden (Ronceanu e.a., 2008). Torrão e.a. (2008) beschrijven de integratie van Moodle met een zelf ontwikkeld systeem voor academische informatie (studievolgsysteem) en een bibliotheeksysteem van een leverancier. De uitdaging was vooral de verschillende informatiebronnen niet langer dubbel op te slaan. Andere aandachtspunten bij deze integratie waren: geautomatiseerd managen van cursusen en deelnemers, het beschrijven van cursussen, het oversturen van cijfers direct uit de ELO naar het studentinformatiesysteem, directe kennisgeving van speciale gebeurtenissen aan deelnemers, integratie van de universiteitskalender in de kalender van de ELO, integratie van bibliografische


4

informatie uit bibliotheeksysteem in de ELO, signaleringsfunctie waarmee deelnemers nieuwe items uit de repositories gemeld krijgen als deze aansluiten bij hun interessen en cursussen2, het direct na aanmaak van een cursus in het studievolgsysteem (SIS) deze importeren in de ELO. Als toekomstige uitdaging wordt vermeld de uitlevering van informatie via diverse kanalen zoals Facebook, iGoogle, PDA, mobile phone etc. Steeds meer informatiesystemen in de sfeer van het onderwijs worden kritische bedrijfssystemen zonder welke een onderwijsinstelling zijn doelstellingen niet meer kan bereiken. Gebrek aan een goede integratie van die systemen zal daarom in toenemende mate een bottleneck gaan vormen bij de aanpassing aan nieuwe mogelijkheden en behoeften van het onderwijs en de onderwijsondersteuning. Dat veel hoger onderwijsinstellingen hierbij worstelen met hun legacy systemen, laat de architectuur zien die gepresenteerd werd door Zimmer e.a. (2008). In plaats van een moderne broker-georiënteerde hup-and-spoke technologie zien we een historisch gegroeide houtje-touwtje-architectuur, waar we in het hoger onderwijs nu juist zo snel mogelijk vanaf moeten. 5. Integratie met elektronische leerplatforms van collega-instellingen Een bijzondere vorm van integratie van informatiesystemen is die tussen instellingen onderling. Het kan daarbij gaan om verticale ketenintegratie (tussen opvolgende onderwijsinstellingen in de onderwijsketen) of horizontale ketenintegratie (tussen samenwerkingspartners op het zelfde onderwijsniveau). Van de eerste vorm ben ik geen voorbeelden tegengekomen in mijn track. Van de tweede, horizontale vorm, die in de toekomst vaker zal voorkomen, wel. De keuze van een elektronisch leerplatform is een investering die een instelling doet voor jaren. De hoge installatie- en configuratiekosten, de investeringen in deskundigheidsbevordering en het vele werk om gegevens, informatie en leerstof op de juiste wijze en op de juiste plek in het systeem in te voeren, het zijn zaken die zich pas in de loop van jaren “terugbetalen”. Het vervangen van elektronische leerplatforms is daarom een zaak waarvoor zwaarwegende redenen nodig zijn. Bij grote instellingen zal het alleen gebeuren als het platform qua functionaliteit sterk verouderd is en de leverancier niet meer in staat of van plan is het te moderniseren. Zolang onderwijsinstellingen hun elektronisch leerplatform alleen voor eigen gebruik hanteren, levert deze situatie alleen integratieproblemen binnen de eigen organisatie op. Maar zodra onderwijsinstellingen besluiten met elkaar te gaan samenwerken bij het gebruik van hun elektronische leeromgevingen ontstaat er een nieuw type integratieprobleem zodra deze instellingen gebruik maken van geheel verschillende elektronische leerplatforms. Deze situatie deed zich omstreeks 2005 voor in Spanje toen de Catalaanse universiteiten besloten met elkaar te gaan samenwerken, hun elektronische leerplatforms met elkaar te integreren en een gezamenlijke virtuele campus in te richten (Almirall-Hill, 2008). Veel van deze universiteiten maakten gebruik van het open source leerplatform Moodle, andere van het open source platform Sakai. Vervanging van geïmplementeerde systemen was geen optie. Daarom 2

In Nederland wordt daar voor streaming video aan gewerkt binnen het SURF-project Zoeken in de Elektronische Programmagids (ZoEp), een project van VU, RUG en Windesheim.


5

is op zoek gegaan naar een integratiearchitectuur die aan de volgende eisen zou moeten voldoen: -

werken met open source systemen; gebruik maken van open standaarden; gebruikersvriendelijk ontwerp; interoperabiliteit tussen gebruikte tools en systemen; schaalbaarheid van de oplossingen; grote mate van afstemming tussen gebruikers en processen; een service-based informatiearchitectuur.

Men kwam vervolgens terecht bij het Open Knowledge Initiative (OKI), een instrumentarium ontwikkeld door het Massachusetts Institute of Technology (MIT) om de interoperabiliteit van informatiesystemen te bevorderen (zie: www.okiproject.org). De ontworpen architectuur, die wellicht breder toepasbaar is dan alleen voor Moodle en Sakai bestaat uit de volgende onderdelen: 1. De basisapplicatie van elk leerplatform (hier: Moodle en Sakai) 2. De specifieke applicatiemodules van de leerplatformen 3. De zogenaamde OKI-bus, het verbindende systeem waarlangs de uitwisseling van gegevens tussen gebruikers (studenten, docenten) en de leerplatformen loopt. 4. De zogenaamde OKI-gateways, de interfaces tussen de OKI-bus en de basisapplicaties van elk van de leerplatformen. 5. Extra OKI-modules, de applicatiemodules met specifieke functionaliteit waar gebruikers naar wens over kunnen beschikken en die via de OKI-bus en de OKI-gateways communiceren met de verschillende leerplatforms.

OKI-architectuur van de Catalaanse universiteiten (ontleend aan: http://www.ines.org.es/suma/doc/SUMA_novatica.pdf) Samenwerking op regionale of nationale schaal bijvoorbeeld om de internationale concurrentie het hoofd te kunnen bieden, zal in Europa de komende jaren alleen maar toenemen. In Nederland kennen we bijvoorbeeld de 3TU Federatie van de drie


6

technische universiteiten. Integratieoplossingen als bovenstaande uit Catalonië kunnen in dergelijke gevallen, maar ook bij complexe fusieprocessen, wellicht voor een bepaalde periode soulaas bieden. 6. Opkomende leerplatforms Veel aandacht was er op de conferentie voor open source pakketten zoals Moodle en in mindere mate Sakai. Over de kwestie van open source werd overigens genuanceerd gedacht. Roceanu e.a. (2008) noemen als positieve aspecten: de licentiekosten; de flexibiliteit van de software (gemakkelijk aanpasbaar aan eigen wensen); de support vanuit een gebruikerscommunity. Maar zij voegen daaraan als negatieve aspecten toe: dat open source veel meer technische vaardigheden van de beheerders vereist; dat er geen waarschuwingsysteem voor bugs en updates is; dat eigen maatwerk meestal niet compatibel is met nieuwe versies van het pakket, waardoor er geen garantie is dat updates goed verlopen. Verschillende sprekers benadrukten bijvoorbeeld dat Moodle weliswaar een open source pakket is, maar dat upgrades vaak veel handmatig aanpassingen vereisen, omdat ze anders niet werken. Naast Moodle en Sakai manifesteerden zich twee nieuwe, veelbelovende leerplatforms beide van Noorse origine, te weten Fronter en Its Learning. Fronter lijkt bij nadere kennismaking geschikter voor primair en secundair onderwijs, maar wordt desondanks ook door universiteiten gebruikt. Its Learning lijkt geschikter voor gebruik in het secundaire en tertiaire onderwijs. Beide leerplatforms presenteren zich internationaal en hebben een groeiend klantenbestand over de hele wereld. Het idee achter Fronter wordt op hun website verbeeld door middel van een digitaal schoolgebouw, waarin diverse ruimtes kunnen worden opgetrokken, die voor docenten en studenten kunnen worden opengesteld. De beheerder van een ruimte (bijv. de docent die hem gebruikt voor een vak of een project) kan uit een enorme toolbox een selectie van tools maken die hij in zijn ruimte wil gebruiken. De tools ondersteunen hem in die virtuele ruimte bij het creëren van een leeromgeving voor zijn vak of project. Een greep uit de ca. 100 tools: messaging, discussieforums, online chat, shared documents, gradebooks etc. De grote hoeveelheid tools is ingedeeld in vijf groepen: tools voor personal work; voor leren; voor samenwerking incl. gebruik van het web; voor publiceren; voor administratie. Er kunnen ook virtuele ruimten worden ingericht voor externen zoals ouders van leerlingen, die daar elkaar en de docenten kunnen ontmoeten. Voor de integratie van Fronter in de informatiearchitectuur van de instelling worden diverse hulpmiddelen meegeleverd. De kracht van het systeem is dat het zeer gebruiksvriendelijk is, veel up-to-date functionaliteit biedt en de gebruiker, d.w.z. de docent of de student, zelf aan het stuur zet binnen de virtuele ruimtes waarin het onderwijs plaatsvindt. Er is een uitgebreide website met informatie en een demo (www.webfronter.com). Wat voor Fronter geldt, geldt ook voor het e-learningplatform Its Learning: het is gebruiksvriendelijk, bevat veel functionaliteit en zet de gebruiker aan het stuur. Its Learning is een krachtige leeromgeving met veel mogelijkheden zoals: intern berichtenverkeer; online samenwerking; projectfaciliteiten; gemakkelijk ontwikkelen en beheren van digitale leermiddelen; cursusruimten door docenten zelf in te richten m.b.v. mappen; tools voor de ontwikkeling van lesmateriaal waaronder multimedia materiaal; een bibliotheek voor lesmaterialen; uitgebreide digitale


7

toetsmogelijkheden; enquêtes; versiebeheer van documenten; allerlei rapportages; cijferadministratie; werken presentatieportfolio’s etc. Ook Its Learning heeft een website (www.itslearning.nl) met veel informatie en een demo. Beide ELO-systemen hebben een vertegenwoordiger in Nederland. Fronter en Its learning behoren tot een nieuwe, derde generatie ELO’s die usercentred van opzet zijn. Dit in tegenstelling tot de tweede generatie ELO’s zoals Blackboard (gesloten source) en Moodle (open source) die course-centred van opbouw zijn. Moodle bijvoorbeeld werd in de discussies gekarakteriseerd als een teacher oriented system, niet als een collaborative learning system. In Moodle is het de docent die de aard van de samenwerking bepaalt en er is geen eigen werkomgeving voor de studenten. Fronter en Its Learning sluiten aan bij de nieuwe ontwikkelingen op het internet die, zoals uit de volgende paragraaf zal blijken, een nieuwe uitdaging voor het onderwijs vormen. 7. Integratie van elektronische leeromgevingen met Web2.0 en mobile learning Door de komst van het internet en, in het bijzonder de Web2.0-ontwikkeling met zijn vele mogelijkheden voor persoonlijke en gemeenschappelijke communicatie zoals blogs, wiki’s, chat, foto-, video- en vriendensites, zijn velen in het onderwijs gaan spreken over de Personal Learning Environment (PLE) van leerlingen en studenten. De gedachte is dat lerenden door het gebruik van al deze hulpmiddelen hun eigen persoonlijke leeromgeving creëren. Sommigen gaan daarbij zover dat zij menen dat de institutionele ELO’s, de zogenaamde Managed Learning Environments (MLE), door de PLE overbodig geworden zijn en erdoor verdrongen zullen worden. Anderen, waaronder Drachsler (2008), voorspellen dat de institutionele ELO’s zullen blijven, maar wel steeds meer functies van de PLE in zich gaan opnemen. En dat is ook wat we bij de derde generatie ELO’s (zie de vorige paragraaf) zien gebeuren. Daarnaast zijn marktpartijen als Google druk bezig delen van het leerproces van leerlingen en studenten te faciliteren of zo men wil naar zich toe te trekken. Persoonlijk ben ik van mening dat een onderwijsinstelling altijd een eigen ELO nodig zal hebben, al of niet geoutsourced, al of niet samen met andere onderwijsinstellingen. Dat sluit overigens niet uit dat zinvol gebruik gemaakt kan worden van Web2.0applicaties en mobiele apparaatjes, ook als zij niet of nog niet geïntegreerd zijn met de eigen ELO. Wel zijn er een aantal praktische en didactische problemen bij het gebruik maken van deze consumentenelektronische hulpmiddelen in het onderwijs. In de eerste plaats staat verplicht stellen van het gebruik van social software (blogs, wiki’s, chat etc.) nogal in contrast met de anarchistische aard van de ontwikkeling op het internet. Daar worden deze middelen immers gebruikt door wie er mogelijkheden in ziet persoonlijke behoeften te vervullen die voortkomen uit het eigen individuele leefpatroon. Datzelfde geldt voor het gebruik van mobiele apparaten die steeds meer functies krijgen in steeds diversere samenstelling. Onderwijskundigen en didactici zullen er de komende jaren dus nog veel werk aan hebben om de mogelijkheden van social software en mobile learning op een zodanige wijze in het onderwijs in te bedden, dat leerlingen en studenten het als een verrijking van het onderwijs gaan zien in plaats van als een overbodige dwangbuis.


8

Een tweede probleem is dat gebruik maken van al deze consumentenelektronica de continuïteit van het onderwijs en de onderwijsontwikkeling onder druk zet. Niet alleen maakt elke leerling c.q. student van andere mobiele en internethulpmiddelen gebruik, bovendien kunnen deze middelen op elk moment weer van de markt verdwijnen, waarna je als docent je onderwijs vaak moet herontwerpen. Een derde probleem is dat een bepaald gebruik van consumentenelektronische hulpmiddelen leidt tot een klassiek onderwijsleerproces: de docent behandelt leerstof, geeft een opdracht die met de elektronische middelen van de markt kan worden uitgevoerd, heeft geen zicht op hoe studenten eraan werken en beoordeelt na afloop het ingeleverde resultaat. Dat is een vorm van “blackbox” leren zoals we die in traditioneel onderwijs nog veelvuldig aantreffen. Maar elektronische leeromgevingen bieden daarvoor nu juist een alternatief. Binnen de eigen ELO van een instelling kunnen immers onderwijsleerprocessen georganiseerd worden waarbij leeractiviteiten van studenten gemonitord worden niet alleen door de docenten maar ook door de studenten zelf (denk bijvoorbeeld aan peer reviews). Ook kan worden samengewerkt niet alleen tussen studenten onderling maar tevens tussen docenten en studenten samen. Groepen docenten kunnen gezamenlijk aan onderwijsontwikkeling doen, daar zelfs de studenten bij betrekken en de resultaten ervan weer met de hele instelling delen bijvoorbeeld via wiki’s. Hierdoor kan de kwaliteit van onderwijs en leren sneller verbeterd worden dan in het geval van exercities van studenten op het web die voor de docent onzichtbaar blijven. Niet alleen didactisch, ook technisch en organisatorisch zal er nog veel werk verzet moeten worden om Web2.0-toepassingen en mobiele apparatuur een plek te geven in het onderwijs en te integreren met het werken in een ELO. En hoewel er in de conferentietrack over de ELO’s een interessante presentatie werd gegeven over het gebruik van mobiele telefoon in het onderwijs (Ganito, 2008), werd het issue van de integratie van Web2.0 en mobiele apparaten met de elektronische leeromgevingen van de instellingen alleen nog maar gesignaleerd. Best practices ben ik daarvan niet tegengekomen. 8. De ontwikkeling van leerstof (content) De Boer (2008) constateert in de ontwikkeling van leerstof (content) een verandering in de eenheid van leerstof die ontwikkeld wordt. Tot voorkort was de dominante eenheid een complete collectie leerstof en leermaterialen geproduceerd door Educatieve Uitgeverijen op basis van een langlopend curriculum. De laatste tijd beginnen kleinere eenheden meer gebruikelijk te worden. Docenten stellen zelf hun lesmateriaal samen uit informatie van het internet of maken gebruik van wat collega’s hebben gemaakt. Het curriculum waarbinnen docenten deze “quick and dirty” leerstof een plek geven, verandert daardoor en wordt voortdurend aangepast aan nieuwe behoeften en ervaringen. Ook uitgeverijen proberen zich aan deze ontwikkeling aan te passen door steeds meer leerstof digitaal uit te leveren. Deze ontwikkeling betekent dat individuele docenten steeds belangrijker worden bij het creëren en gebruiken van leermaterialen. Onderwijsinstellingen doen er verstandig aan deze ontwikkeling te stroomlijnen en in goede banen te leiden. Dat kan bijvoorbeeld door een goed content management systeem (CntMS) te introduceren waarin nieuw ontwikkelde of van elders verkregen, maar goed uitgeteste leerstof kan


9

worden opgeslagen en ontsloten. Bij een goede implementatie, waarin de rol van individuele docenten naar tevredenheid van alle betrokkenen is ingericht, kan dit kwaliteit en duurzaamheid van het lesmateriaal garanderen. De resultaten van het onderzoek van De Boer naar het gebruik van een dergelijk CntMS door docenten zullen in 2009 worden gepubliceerd (De Boer, 2008). Uit dit onderzoek blijkt o.a. dat de gebruikte ELO’s in het voortgezet onderwijs nog nauwelijks individuele studieroutes van leerlingen ondersteunen. Waarschijnlijk is dat in het hoger onderwijs niet anders. Interessant in dit verband was de bijdrage van Hess (2008), die pleitte voor nieuwe vormen van ontwikkeling van niet-lineair gestructureerde leerstof. Traditioneel is leerstof lineair geordend: teksten zijn volgens het aloude paradigma van het boek opgebouwd uit opvolgende hoofdstukken die weer zijn onderverdeeld in opvolgende paragrafen en opdrachten. Ook binnen ELO’s wordt nog voornamelijk met dergelijke teksten gewerkt vaak in de vorm van te downloaden tekst- of printbestanden. Het gevolg van deze leerstofordening is dat alle leerlingen langs dezelfde weg door de stof heen geloodst worden. Computers maken het echter mogelijk leerstof heel anders te ordenen en door te nemen, waarbij afhankelijk van de behoefte of vorderingen van de leerling een andere weg door de stof gekozen kan worden. Daarvoor is dan wel nodig dat de leerstof interactief wordt ingericht. Bovendien is het dan mogelijk leerstof van verschillend karakter verschillend te presenteren en oefeningen in te bouwen op elke gewenste plek. Een simpele techniek voor interactieve leerstof is bijvoorbeeld mouse-overinteraction, waarbij als de leerling met de muis over een bepaald woord of item in de tekst beweegt, een pop-up window verschijnt met uitleg over dat woord of dat item. Bij het leren van rijtjes woorden of van definities kan men gebruik maken van zogenaamde drag-and-drop technieken: de leerling krijgt de lijst met te leren woorden en daarnaast in random volgorde een lijst met betekenissen. Met de muis kan een betekenis naar een woord gesleept worden, waarna het systeem al of niet een reactie afgeeft. Dat klinkt allemaal nog niet zo spectaculair, maar wie op zoek gaat naar mogelijkheden om op een interactieve manier leerstof aan leerlingen te presenteren, zal daarbij steeds inventiever worden. Systemen voor het ontwikkelen van dergelijke interactieve leerstof zijn er nog maar mondjesmaat. Men kan een voorbeeld nemen aan digitale toetssystemen, die voor het ontwikkelen van toetsitems over een groot aantal sjablonen of templates beschikken, waarmee allerlei soorten toetsvragen kunnen worden opgesteld. Dat zou ook met leerstof kunnen. Ik verwacht dat dergelijke systemen de komende jaren een grote vlucht gaan nemen mits docenten in grote getale in staat zijn van hun lineaire leerstofparadigma af te stappen. Binnen die ontwikkeling pas ook dat het onderscheid tussen traditionele ELO’s en digitale toetssystemen zal verdwijnen. 9. De didactische inzet van ELO’s De inzet van ELO’s leidt niet zonder meer tot verbetering van de leerprocessen. Jugo (2008) rapporteert dat hoewel leerlingen/studenten zich gemakkelijk het werken met een ELO als elektronische tool eigen maken, dat niet automatisch leidt tot een gebruik dat het leren ten goede komt. Zo kost het bijvoorbeeld veel tijd om leerlingen te leren goed gebruik te maken van discussieforums. Leerlingen geven uit zichzelf te korte antwoorden en delen hun ideeën moeilijk of niet met anderen. Alleen de actiefste


10

leerlingen beantwoorden de vragen en kopiëren daarbij vaak voornamelijk de leerstof uit de lessen. Bij het ontstaan van problemen vragen ze niet om hulp via het forum, maar zoeken face-to-face hulp bij elkaar of bij de leraar. Dat geldt zeker als het leren betrekking heeft op complexe problemen. En als er dan via het discussieforum gecommuniceerd wordt, gaat het vaak nog over informele zaken die niet gerelateerd zijn aan de inhoud van de cursus. Daarbij blijkt dat lerenden vaak de informele communicatietools van het internet prefereren boven de formele van een discussieforum in een ELO. Hörfurter (2008) rapporteert dat ELO’s veelal worden ingezet om het traditionele onderwijs te vervangen zonder dat de didactische opzet van dat onderwijs verandert. Traditioneel onderwijs is bijvoorbeeld ontworpen als een lineair proces van kennisverwerving: eerst moet de ene stap gezet zijn voordat de volgende gezet kan worden. Leren wordt ontworpen als een seriële proces van na elkaar geplande leeractiviteiten. Een hoofdstuk kan slechts worden doorgenomen als het vorige hoofdstuk is geleerd, de ene cursus kan slecht worden gevolgd als een vorige is afgerond. Kenmerkend voor dit traditionele onderwijsontwerp is ook dat kennis voorafgaat aan praktijk, theorie aan experiment: eerst weten, dan doen. Bij het gebruik van ELO’s ligt de focus daarom meestal meer op het gebruik van de digitale content dan op de communicatie-, samenwerkings- en ontwerpfunctionaliteit van de ELO. In veel gevallen zoals die van werkenden in een baan, voldoet bovengenoemde opzet van onderwijs niet en zou een benadering van work-embedded learning gekozen moeten worden. Het onderwijsleerproces wordt dan meer een vorm van problem solving dan van kennisoverdracht. Er is in dat geval geen time-gap meer tussen kennisverwerving en de toepassing van die kennis. Deze benadering vereist een ELO die snel en gemakkelijk kan worden aangepast aan de behoeften van de lerende en de werkplek in plaats van een lerende die zich aanpast aan de mogelijkheden van de ELO. Volgens Hörfurter (2008) zijn de meeste ELO’s daar momenteel niet geschikt voor omdat zij ontworpen zijn vanuit het traditionele, dominante onderwijsontwerp. Work-embedded learning vereist een systeem waarin kennis niet georganiseerd is in lange lineaire sequenties, maar in kleine bouwstenen die flexibel gecombineerd kunnen worden in verschillende formats die tegemoet komen aan de leerbehoefte van de lerende. Hörfurter rapporteert over de ontwikkeling van een ELO waarin bouwstenen van microcontent in diverse formats kunnen worden gemaakt die op basis van metadata geselecteerd kunnen worden. Zij kunnen worden gebruikt in verschillende didactische settingen variërend van louter brokjes informatie zoals wetsteksten, checklists etc. via korte praktische leercasus tot aan basiscursussen voor beginners in het betreffende kennisdomein. Het systeem wordt zo ontworpen dat lerenden zich ook zonder sturing van docenten door het systeem kunnen bewegen helemaal op basis van zelforganisatie. Vooral werkenden in een specifieke branch kunnen van een dergelijk systeem directe ondersteuning bij hun work-embedded learning ondervinden. Zij krijgen sneller zicht op hun huidige kennistekort en de manier waarop zij die kunnen aanvullen. De hoge graad van autonomie waarmee gebruikers het systeem kunnen hanteren, blijkt een van de succesfactoren te zijn. Hoewel de rapportage van Hörfurter gebaseerd is op werkenden binnen het specifiek kennisdomein van de kindertoeslag, lijkt de benadering mij toch ook perspectiefvol voor andere specifieke terreinen van


11

kennis. We bevinden ons hier in het grijze gebied tussen ELO’s en kennis management systemen. 10. Informatiebeheer van elektronische leeromgevingen Een trend in het informatiebeheer van ELO’s is dit zo dicht mogelijk bij de gebruiker te leggen en de ongemakken daarvan met slimme verleidingstactieken te veraangenamen. Docenten worden er dan bijvoorbeeld toe gebracht eigen metadata mee te geven aan ge-upload lesmateriaal zonder van ingewikkelde standaarden voor metadata gebruik te hoeven maken. Ook komt er steeds meer aandacht voor versiebeheer van zowel documenten als cursussen. Dit laatste behoort plaats te vinden in het Course Management System (CrsMS). Voorbeeld van dergelijk cursusbeheer kwam ter sprake in de presentatie van Repnik (2008). Het Goethe-Institut, een instelling om de Duitse taal en cultuur wereldwijd te verspreiden, opereert in tal van plaatsen en landen. Hun cursusbeheer is zo opgezet dat van alle cursussen een officiële universele versie bestaat die niet kan worden gewijzigd door docenten. Docenten die zo’n cursus geven, kunnen echter de officiële cursus kopiëren naar hun eigen ruimte in de elektronische leeromgeving en deze aanpassen aan nationale en regionale omstandigheden of persoonlijke voorkeuren. Dat is een interessante werkwijze die ook overwogen kan worden binnen één enkele plaatselijke onderwijsinstelling. In de in paragraaf 3 geschetste ELO-architectuur kan men het dan zo regelen, dat docenten wel de naar hun ruimte in het LMS gekopieerde courses kunnen aanpassen door er bijvoorbeeld learning objects uit het LOMS en content uit het CntMS uit weg te laten of aan toe te voegen, maar dat zij niet de officiële cursusbeschrijving in het ECS, de learning objects in het LOMS en de content zelf in het CntMS kunnen veranderen. Het bouwwerk biedt dan aan de ene kant kwaliteit en continuïteit, aan de andere kant flexibiliteit voor de docent als professional. Voor het wijzigen van de cursusbeschrijving, de learning objects en de content moet men afgesproken procedures volgen. 11. Management en de implementatie van elektronische leeromgevingen Het implementeren van een ELO binnen een onderwijsorganisatie is een kunst op zich en hoewel veel onderwijsinstellingen deze vuurproef al eens doorstaan hebben, zullen ook in de toekomst uitbreidingen, vernieuwingen en vervangingen van ELO’s aan de orde blijven. Van der Hijden (2008) refereert aan twee verschillende benaderingen bij de implementatie van een ELO: bottom-up implementaties waarbij het initiatief vooral bij docenten ligt en top-down implementaties waarbij het management leading is. Een van de risico’s bij top-down implementaties komt voort uit de zwakke organisatiecultuur in het onderwijs. Docenten hebben altijd wel een bepaalde mate van vrijheid om wel of niet mee te doen aan de implementatie zoals die op basis van het beleid van de onderwijsinstelling wordt uitgevoerd. Dat risico is bij opensource platforms mogelijk nog groter dan bij commerciële ELO’s, omdat de indruk bestaat dat een opensource pakket kosteloos is in gebruik. Maar ook de bottom-up benadering heeft niet alleen sterke maar ook zwakke kanten. Enerzijds kan deze aanpak zorgen voor een snelle en goedkope niveauverhoging van het werken met een ELO. Docenten hebben vrijheid van werken en kunnen veel van elkaar leren. Maar na enige tijd ontstaat er een situatie waarin de grens van de experimentele “speeltuin” wordt


12

bereikt. Als daarop niet top-down gereageerd wordt, mist de organisatie het vermogen bepaalde professionele services op grotere schaal en met voldoende kwaliteitsborging aan studenten en docenten aan te bieden. Implementatie van een ELO vereist daarom behalve kennis van het leerproces bij docenten en van de techniek bij de ICT-services ook deskundigheid van het management teneinde de organisatie aan te passen aan de nieuwe manier van onderwijs verzorgen. Een belangrijk onderdeel van de kennis die managers dienen te hebben, is kennis over de onderwijskundige potentie van de gebruikte of te implementeren ELO. Bij een top-down benadering is de vasthoudende aandacht van het management van belang en de betrokkenheid van de belangrijkste stakeholders: docenten en studenten. De gemiddelde instelling heeft voor dergelijke implementaties geen kant en klare set van regels, protocollen, procedures en standaarden. Aanwijzingen in de literatuur zijn vaak te fragmentarisch en meestal eenzijdig van technische aard, stelt Van der Hijden (2008). De implementatie van een ELO voor de gehele onderwijsinstelling kan niet worden afgehandeld als een reguliere lijnaangelegenheid. Het vereist een projectmatige aanpak in het kader van strategisch projectmanagement waarin educatieve, managerial en technische experts samenwerken. Belangrijkste valkuil is dat de visie en de betrokkenheid van het management alleen aanwezig zijn in de startfase. Instellingen voor wie een top-down implementatie te vroeg is, raadt Van der Hijden aan bottom-up te beginnen maar wel met aandacht en stimulans van het management, dat tevens bepaalt wanneer de fase voor een top-down benadering is aangebroken. Van der Hijden presenteert het Tactec managementspel waarin een breed samengesteld gezelschap van stakeholders vanuit verschillende rollen de bestaande situatie, de gewenste situatie en de weg van de bestaande naar de gewenste situatie met elkaar in kaart brengen. De deelnemers krijgen daarbij de opdracht in de rol van de andere stakeholders te kruipen. Na een fase van cross-check op de resultaten worden de contouren van het implementatieplan vastgesteld. Het belang van de rol van het management bij het gebruik van een ELO werd eveneens benadrukt door De Boer (2008). Hij presenteerde de resultaten van een onderzoek in het voortgezet onderwijs naar de implementatiegraad van ELO’s. Een van de bevindingen was dat (slechts) 40% van de managers in het voortgezet onderwijs een visie heeft op het gebruik van ICT in het onderwijs. Het onderzoek wijst voorts uit dat als het management van een school wel zo’n visie heeft, het gebruik van de ELO gevarieerder is en er sprake is van een grotere tevredenheid van docenten en leerlingen. Hallén (2008) vermeldt een aantal succesfactoren van implementatieprojecten. Ten eerste is dat de beschikbaarheid van het nieuwe systeem en de gebruikersondersteuning bij het werken ermee. Van belang is snelle toegang tot het systeem en de onderwijsactiviteiten die erin moeten worden verricht. Cursussen en content moeten direct nadat men de formele stappen zoals het vragen van toegang bij bevoegde instanties, gezet heeft, benaderd kunnen worden om te volgen (cursussen studenten), te geven (cursussen - docenten) of gebruikt te worden (content - beiden). Tijdens de implementatie dienen projectgroep en helpdesk op elk moment bereikbaar te zijn voor de gebruikers van het nieuwe systeem om ondersteuningsvragen af te handelen of technische mankementen te melden en op te lossen.


13

Een tweede succesfactor voor de implementatie is de scholing van de gebruikers. Deze dient op drie niveaus te worden georganiseerd: standaard cursussen, aangepaste cursussen voor speciale doelgroepen te geven op verzoek en tot slot persoonlijke instructie voor startende docenten bij het opzetten van een cursus en het exploreren van de mogelijkheden van het nieuwe systeem. Als derde succesfactor vermeldt Hallén gevoel van eigenaarschap bij docenten. Binnen het implementatie project van de NTNU is deze succesfactor nagestreefd door middel van een website waarop docenten hun klachten en wensen konden deponeren en waarop van elke klacht en wens de status van behandeling werd aangegeven. Veel implementaties van ELO’s resulteren in een eenvoudig gebruik ervan, terwijl veel functionaliteit onbenut blijft. Hallén (2008) meldt dit effect bij de implementatie van Its learning bij de NTNU in Trondheim, Noorwegen. Docenten gaan meestal niet verder dan file transfer en het gebruik van eenvoudig berichtenverkeer. Meer geavanceerde mogelijkheden worden nauwelijks gebruikt. 12. Conclusies De track Managing and Organising E-Learning Systems op de Online Educa Berlin Conferentie 2008 geeft een goed overzicht van de stand van zaken met betrekking tot de ontwikkeling van de elektronische leeromgeving in het Europese hoger onderwijs. Er is groeiende aandacht voor architectuur en integratieproblemen. Duidelijk zichtbaar wordt de overgang van de tweede generatie ELO’s (cursusen opleidingsgeoriënteerd), naar de derde generatie (docenten studentgeoriënteerd). We zien de introductie van Web2.0-applicaties en men wordt zich bewust van de integratieproblematiek die dit oproept. Informatiebeheer verplaatst zich van beheerders naar gebruikers. Er is groeiende aandacht voor niet-lineair gestructureerde leerstof en leertrajecten. ELO’s worden een topic voor ketenintegratie in het onderwijs. Er is toenemend inzicht in didactisch verantwoord gebruik van elektronische leermiddelen. Ook het inzicht in de rol van het management met betrekking tot het gebruik van ELO’s in het onderwijs groeit. Er zijn echter ook zorgpunten. Veel staat nog in de kinderschoenen. Dat geldt bijvoorbeeld voor de toepassing van moderne architectuurmiddelen zoals brokers en service oriented architecture, waar nog maar weinig voorbeelden van te zien waren. Ook de inpassing van de Web2.0-ontwikkeling in de ELO’s van de instellingen is nog een terrein zonder veel good practises, terwijl er toch al gesproken wordt over Web3.0: de eerste producten van de kunstmatige intelligentie zijn ook voor het onderwijs in aantocht. En nog slechts een minderheid van het management geeft er blijk van een visie op het gebruik van ELO’s in het onderwijs te hebben. Genoeg reden dus om de komende jaren veel aandacht aan dit onderwerp te blijven besteden. Bronnen Droste, J. (1999). Advies keuze Teleleerplatform 1999. Utrecht: SURF. HBO-raad (2002). Kwaliteitsborging van digitale opleidingen. Den Haag : HBO-raad. Tolboom, J. (2002). Digitale leeromgeving vraagt te veel van docenten. Automatisering Gids, 8 februari 2002, p. 17 .


14

Alle hieronder vermelde bronnen betreffen presentatie die op het congres zijn gehouden. Indien daarbij een abstract aanwezig was, is die te vinden in: Online Educa Berlin : 14th International Conference on Technology Supported Learning & Training. Book of Abstracts. December 3 – 5, 2008. Hotel InterContinental Berlin. Zie verder: http://www.online-educa.com/pdf/post_conference_report_2008.pdf. Almirall-Hill, M. (2008). Using Standards to Integrate E-Learning Services. Open University of Catalonia (UOC), Spain. Book of Abstracts, p. 116-119. Boer, W. de (2008). Use, Possibilities and Future of Course Management Systems in Secondary Education. Netherlands Institute for Curriculum Development (SLO), The Netherlands. Book of Abstracts, p. 120-121. Drachsler, H., Hermans, H. (2008). Institutions Struggling with Web 2.0 : Moving Between Personal and Managed Learning Environments. Open University of the Netherlands (OUNL) [Geen abstract aanwezig. Zie voor deze presentatie: http://dspace.ou.nl/bitstream/1820/1657/1/Drachsler_OnlineEduca_2008.pdf]. Ganito, C. (2008). The Mobile Phone in Education : Friend or Foe in our Classrooms? A Portugese Case Study. Portuguese Catholic University, Portugal. Book of Abstracts, p. 121-123. Hallén, Th. (2008). LMS Implementation. Norges Teknisk-Naturvitenskapelige Universitet, Trondheim, Norway. Book of Abstracts, p. 123-125. Hess, G. (2008). Instructional Patterns : Harnessing the Power of Rapid Interactive E-learning. Rapid Intake, USA. {Geen abstract aanwezig]. Hijden, P. van der (2008). How to Implement an E-Learning System. Ned-Moove – Dutch Moodle Association & Sofos Consultancy, The Netherlands. Book of Abstracts, p. 139-144. Hörfurter, A. (2008). E-Learning Systems for Self-Organised Work-Embedded Learning. Teleteach GMBH, Germany. Book of Abstracts, p. 125-126. Jugo, G. (2008). Are Teachers Afraid of Generation Y? Croation Academic and research Network, Croatia. Book of Abstracts, p. 126-128. Repnik, M. (2008). Open Source MLS Moodle – Worldwide Implementation at Goethe-Institut, LearnChamp Consulting, Austria. [Geen abstract aanwezig]. Roceanu, I., Popescu, M.M., Barbieru, D., Tödt, A. (2008). Use of the Open Source LMS to Support Online Educational Services. National Defence University, Romania & LEIFOS GmbH, Germany. Book of Abstracts, p. 131-135. Tarrão, S., Bandeira, A., Restivo, F., Oliveira, C. (2008). Tying IT All 4 Learning : Less Limits and More Transparency Connecting Information Systems and ELearning. FEUP, Faculty of Engineering, University of Porto, Portugal. Book of Abstracts, p. 135-139. Zimmer, K., Voras, I., Paunovic, V., Tomic, S., Zagar, M., Tammeoru, E. (2008). Benefits and Synergies of Using Integrated Technological Solutions for E-Learning. University of Zagreb, Croatia & Estonian E-Learning Development Centre, Estonia. Book of Abstracts, p. 144-148.


15

Inhoud. 1. Inleiding. 2. Wat verstaan we onder e-learning?

Recommend Documents