Evaluatie van het SURF project E-Xchange mei 2003 van hooff projects, Utrecht

Evaluatie van het SURF project E-Xchange

mei 2003

van hooff projects, Utrecht Hanneke Andringa Carien van Hooff

INHOUDSOPGAVE 1.

Inleiding.............................................................................................................3

2.

Samenvatting ......................................................................................................4

3.

Algemene conclusies en aanbevelingen ......................................................................5 3.1 Algemene conclusies............................................................................................ 5 3.2 Aanbevelingen ................................................................................................... 6

4.

Onderzoeksmethode .............................................................................................8 4.1 Opzet van het onderzoek ....................................................................................... 8 4.2 De respondenten ................................................................................................ 8 4.3 Rapportage van de interviews ................................................................................ 8 4.4. Samenvattingen van de gesprekken.......................................................................... 8

5.

Resultaten ..........................................................................................................9 5.1 Inventarisatie .................................................................................................... 9 5.2 Evaluatie.......................................................................................................... 9 5.2.1 Bijeenkomsten............................................................................................. 9 5.2.2 De onderwijsdagen..................................................................................... 12 5.2.3 Websites ................................................................................................. 12 5.2.4 Elektronische nieuwsbrieven ......................................................................... 13 5.2.5 Poster .................................................................................................... 13 5.2.6 Folder met overzicht projecten...................................................................... 13 5.2.7 Folder over E-Xchange................................................................................. 13 5.2.8 Persoonlijk contact met de community manager ................................................. 14 5.2.9 Onderling contact tussen projectleiders ........................................................... 14 5.2.10 De meerwaarde van E-Xchange voor het project en de projectleider. ...................... 14 5.2.11 De projectleider in de rol van community manager............................................. 15 5.3. Toekomst ....................................................................................................... 15 5.3.1 Levenscyclus van een Onderwijsvernieuwingsproject en de rol van SURF .................... 15 5.3.2 Disseminatie............................................................................................. 16 5.3.3 Afronding projecten van de tenderjaren 1999 en 2000 .......................................... 16 5.3.4 Betrokkenheid bij SURF na afloop ................................................................... 17 5.3.5 Uitbreiding van E-Xchange activiteiten voor het hele HO veld. ................................ 17 5.3.6 Kennisnetwerken ....................................................................................... 17

6.

Beantwoording van de onderzoeksvragen ................................................................. 19 6.1 Evaluatie van de eerste fase van E-Xchange 2001-2002.............................................. 19 6.2 De tweede fase van E-Xchange 2002-2004 ............................................................. 21

Bijlage A Bijlage B Bijlage C Bijlage D Bijlage E

Overzicht bijeenkomsten en overige activiteiten E-Xchange ................................... 23 Vragenlijst projectleiders 2001 – 2002 .............................................................. 26 Vragenlijst Projectleiders 1999 - 2000 .............................................................. 29 Samenvattingen face-to-face gesprekken Projectleiders ........................................ 32 Gespreksverslag met CIBIT ............................................................................. 41

Evaluatie E-Xchange – eindrapport

2

1.

Inleiding

In het meerjarenplan van SURF 2003-2006 (De kern van de zaak) staat beschreven dat SURF in deze periode veel aandacht wil geven aan het samenbrengen, koppelen en integreren van de inmiddels ontwikkelde initiatieven. Hiertoe is ten eerste de organisatie per januari van dit jaar aangepast om te zorgen dat er binnen de organisatie gemakkelijker en meer bundeling van krachten kan plaatsvinden. In het komende jaar zal worden bekeken welke van de ontwikkelde bouwstenen (programma’s, projecten, sites en andere initiatieven) ook in de toekomst kunnen worden gebruikt en welke niet en hoe hierin meer samenhang is te brengen. Er zal in dat proces ook worden gekeken naar de opbrengsten van de onderdelen en in die context moet dit onderzoek, deze evaluatie worden geplaatst. Wat is E-Xchange? Binnen het platform ICT en Onderwijs van de stichting SURF is medio 2001 het driejarige project EXchange opgezet dat nog tot 2004 loopt. E-Xchange wil stimuleren dat (deel)-projectleiders van SURF projecten hun ontwikkelde expertise en (deel-)producten expliciet beschikbaar maken voor elkaar en voor ICT&O-experts in het hoger onderwijs, bijv. via projectwebsites, bijeenkomsten, werkbezoeken, kennisnetwerken en anderszins. Opdrachtgevers zijn Tom Dousma en Bas Cordewener, (platformmanagers ICT en onderwijs) en de projectleider en community manager is Desirée van den Bergh. Voor de begeleiding van E-Xchange is CIBIT ingeschakeld, die de rol heeft om de community manager te coachen en om de ‘projectmanagement’ training van de (deel-)projectleiders te verzorgen. E-Xchange is destijds opgezet om een viertal interacties en de uitwisseling van kennis te stimuleren. a. binnen de SURF projecten: het vergroten van de kennis en kunde van projectleiders, die daardoor beter met dergelijke innovatie projecten kunnen omgaan. b. tussen de SURF projecten onderling: zorgen dat projectleiders niet in elk project het wiel opnieuw het wiel uitvinden en dat ze elkaar weten te vinden. E-Xchange heeft als doel dat (deel)projectleiders voortbouwen op aanwezige expertise en producten door ervaringen met elkaar te delen. c. tussen de SURF projecten en de SURF organisatie: verbetering van het contact tussen de projectleiders en SURF, waardoor SURF deze projecten beter kan ondersteunen en meer als partner wordt ervaren dan als controlerend orgaan. d. tussen de SURF projecten en het ICT&O veld: zorgen dat ICT&O-experts in het hoger onderwijs weten wat er gaande is binnen de projecten en kunnen meeprofiteren van de ontwikkelde expertise en producten en omgekeerd ook input leveren. Evaluatie van E-Xchange In opdracht van SURF heeft van hooff projects in de eerste drie maanden van 2003 E-Xchange geëvalueerd. Ten behoeve van die evaluatie is een inventarisatie gemaakt van de ingezette activiteiten aan de hand van gesprekken met de community manager van E-Xchange en met CIBIT medewerkers. Vervolgens zijn semi-open interviews gehouden met 21 projectleiders uit alle vier tenderjaren: 1999 tot en met 2002. Opbouw van het rapport Dit rapport is het verslag van die evaluatie en is als volgt opgebouwd. Het begint met een samenvatting van het onderzoek (hoofdstuk 2) gevolgd door de conclusies en aanbevelingen (hoofdstuk 3). Daarna wordt ingegaan op de methode van onderzoek (hoofdstuk 4), de resultaten (hoofdstuk 5) en worden de onderzoeksvragen beantwoord (hoofdstuk 6), die bij aanvang van de evaluatie in het plan van aanpak waren geformuleerd. In de bijlagen is een overzicht gegeven van de instrumenten die E-Xchange in de afgelopen jaren heeft ingezet (bijlage A), worden de vragenlijsten weergegeven (bijlagen B en C), staan korte samenvattingen van alle interviews (bijlage D) en staat een verslag van het gesprek met de CIBIT medewerkers (bijlage E).


3

2.

Samenvatting

Met E-Xchange heeft SURF in de afgelopen jaren een waardevolle ondersteuning van de SURF projecten opgebouwd. Projectleiders ervaren E-Xchange als een ‘community of practice’ met een prettig informeel karakter, waarin zij hun eigen projecten en handelen kunnen spiegelen aan de andere SURF projecten, kunnen netwerken en onderling informatie kunnen uitwisselen. De community manager van E-Xchange is gastvrouw en het gezicht van SURF. De betrokkenheid van de community manager bij de projecten wordt zeer gewaardeerd. Projectleiders zien graag dat bijeenkomsten over projectmanagement op een vraaggestuurde basis worden voortgezet en pleiten daarnaast voor kleinere, informele bijeenkomsten aan de hand van gezamenlijke problemen en vragen of inhoudelijke onderwerpen. De communicatie instrumenten die door E-Xchange zijn ingezet zijn ten dele instrumenteel als ondersteuning van de ‘community of practice’. Verschillende suggesties voor verbetering zijn door de projectleiders aangegeven. De SURF projecten worden jaarlijks op de onderwijsdagen gepresenteerd en ook al doen de projectleiders ook hiervoor verschillende suggesties voor verbetering, in het algemeen zijn de presentaties daar een bron van feedback en ideeën en helpt het een aantal projecten om kennis te maken met haar toekomstige doelgroep. In de afgelopen jaren is disseminatie van projectresultaten (het gebruik van projectresultaten buiten het project zelf) binnen E-Xchange niet echt van de grond gekomen. Dat is ook niet zo verwonderlijk aangezien voor effectieve disseminatie belangstellenden uit het hele hoger onderwijs moeten worden bereikt en die waren in de afgelopen periode (nog) niet bij E-Xchange betrokken. Projectleiders zien het als hun eigen taak om disseminatie vorm te geven en in gang te zetten, waarbij SURF een helpende, ondersteunende en controlerende rol heeft. De projectleiders van de tenders van 1999 en 2000 zijn zeer tevreden over die rol van SURF in de afgelopen periode. Plannen die SURF heeft om ook ICT&O experts uit het hoger onderwijs bij E-Xchange te betrekken wijzen de huidige E-Xchange deelnemers af. Men is wel redelijk enthousiast over de opbouw van kennisnetwerken rondom bepaalde thema’s, mits buiten de context van E-Xchange georganiseerd. De ‘community of practice’ moet zich tot haar kerndoel beperken: het ondersteunen van de projecten in de projectperiode. Alle geïnterviewde projectleiders willen na afronding van hun project ten minste passief, maar vaak ook actief bij SURF betrokken blijven, veelal omdat zij SURF als een plezierige en inspirerende omgeving / organisatie ervaren.


4

3.

Algemene conclusies en aanbevelingen

3.1 Algemene conclusies 1. E-Xchange wordt zeer gewaardeerd als ondersteuning van de onderwijsvernieuwingsprojecten. Als EXchange wordt genoemd denkt men in eerste instantie aan de bijeenkomsten. Men waardeert de EXchange bijeenkomsten vooral om de informatieve en informele kant, om de ondersteuning op het gebied van projectmanagement en om de spiegeling van het eigen project aan de andere projecten. 2. De inhoudelijke bijeenkomsten waarbij pogingen worden gedaan om projecten aan elkaar te koppelen worden minder enthousiast ontvangen, omdat de projectleiders vinden dat de projecten té verschillend zijn om gezamenlijk met één inhoudelijk thema bezig te zijn. Zij zien dergelijke bijeenkomsten liever vraaggestuurd, informeel en ad hoc georganiseerd, waarbij een centrale spilfiguur onontbeerlijk is. Het bij elkaar brengen van vraag en antwoord of expertise door een centrale figuur, de community manager kan zo voor een deel van de projectleiders uiterst nuttig zijn, zonder anderen onnodig tijd te kosten. 3. De onderwijsdagen zijn een belangrijke en nuttige gelegenheid om de projecten te presenteren. Verbetering van de locatie van de stands en meer presentaties zou het rendement voor de projecten nog kunnen vergroten. 4. Men vindt op de SURF website en de daarbij behorende sub-sites praktische en feitelijke informatie over SURF gerelateerde zaken en op de EduSite meer nieuws en achtergronden over ontwikkelingen op onderwijskundig gebied. Binnen de E-Xchange site verwacht men dat het onderdeel over de projectwebsites goed en adequaat wordt bijgehouden en afgestemd met informatie op de eigen projectwebsites. Men zou via de website ook graag instrumentele procesondersteuning aangeboden krijgen en er is door een beperkt aantal projectleiders gevraagd naar een afgesloten gedeelte met meer informatie over de voortgang van de verschillende projecten. 5. Er is geen behoefte aan een uitgebreide elektronische nieuwsbrief binnen de ‘community of practice’ van E-Xchange. Informatie, relevant voor de projectleiders en/of de projecten kan via een kort, bondig en informeel E-alert. 6. De projectposter wordt overwegend positief gewaardeerd met de kanttekening dat het productieproces meer aandacht verdiend. 7. De folder over de projecten wordt wisselend gewaardeerd en kan bondiger met duidelijke verwijzingen naar het web. 8. Doel en bestaansrecht van de folder over E-Xchange wordt door de projectleiders niet begrepen. 9. Gevraagd naar kwantificering van de bijdrage van E-Xchange aan het project blijkt vooral het onderlinge contact erg gewaardeerd te zijn en vindt men E-Xchange weinig instrumenteel als steun bij probleem oplossingen verbetering van de projectresultaten.


5

10. De community manager is het gezicht van SURF naar de projectleiders en haar betrokkenheid bij de projecten wordt zeer gewaardeerd. Men ziet graag een versterking van de netwerkrol van de community manager, waarbij ook input van de SOS (Stuurgroep Ontwikkelingsprojecten SURF, inmiddels de Commissie Projectbewaking) wordt gebruikt als inspiratiebron. 11. Binnen en door E-Xchange is disseminatie van projectresultaten niet tot stand gekomen. Projectleiders zien het als hun eigen taak om disseminatie vorm te geven en in gang te zetten, waarbij SURF een faciliterende en controlerende rol heeft. Uitbreiding van het E-Xchange netwerk met ICTO-experts uit het hoger onderwijs is geen goede stap om disseminatie tot stand te brengen en is überhaupt niet wenselijk. 12. Men is gematigd positief over het opzetten van kennisnetwerken, maar dan niet binnen de context van EXchange. De aangereikte thema’s zijn goed ontvangen en over de opzet van dergelijke kennisnetwerken is men unaniem: bijeenkomsten met een lage frequentie ondersteund door e-communicatie op het web. 13. Alle geïnterviewde projectleiders willen bij SURF betrokken blijven na afronding van het project, 1/3 passief en liefst 2/3 actief in de vorm van bijvoorbeeld nieuwe projecten of het begeleiden van nieuwe projectleiders.

3.2 Aanbevelingen 1. Handhaaf E-Xchange als ‘community of practice’ alleen om de projecten te ondersteunen en organiseer kennisnetwerken buiten E-Xchange. Breidt de doelgroep van E-Xchange niet uit met buitenstaanders uit het HO-veld. 2. Handhaaf en versterk de positie van de community manager wat betreft de persoonlijke betrokkenheid bij de projecten. Het aantal projectbezoeken uitbreiden. Het belangrijkste is dat de enthousiasmerende kracht van de community manager wordt vastgehouden en dat nog meer aandacht wordt besteed aan het ontwikkelen van inhoudelijke kennis en betrokkenheid bij de projecten, zodat het maken van inhoudelijke combinaties nog beter kan worden uitgebuit. 3. Pak E-Xchange planmatiger aan, zodat de projectleiders beter weten wat en waarom ze te wachten staat en waarop ze kunnen rekenen. Bijvoorbeeld door het maken van een jaarrooster met daarop alle activiteiten en het doel van die activiteiten. Laat op de plannen reageren om het optimaal aan de behoefte te laten aansluiten en om meer betrokkenheid af te dwingen. 4. Het lijkt niet erg zinvol om projectleiders te verplichten om bij projectmanagement bijeenkomsten aanwezig te zijn, aangezien de kennis en achtergrond van de projectleiders erg varieert. Het E-Xchange programma zou ten dele bij inschrijving kunnen worden georganiseerd voor projectleiders en deelprojectleiders, indien gewenst. Overweeg om trainingen projectmanagement vraag gestuurd in te kopen en aan te bieden in plaats van zelf te organiseren. Een andere aanpak zou kunnen zijn om voor beoogde projectleiders projectmanagement kennis en ervaring als voorwaarde te stellen. 5. Handhaaf een aantal verplichte bijeenkomsten per jaar om de band van projectleiders onderling en hun betrokkenheid bij SURF in stand te houden. Eén zware kick-off per tender gevolgd door nog ongeveer twee plenaire bijeenkomsten in het eerste jaar. Uit tijd efficiëntie overwegingen zou een van de bijeenkomsten in combinatie met de onderwijsdagen kunnen worden georganiseerd.


6

6. Maak ruimte om ad hoc inhoudelijke sessies te organiseren, vraaggestuurd en voor wie belangstelling heeft. Begin daarbij met generieke onderwerpen, zoals die onder ‘wensen voor de toekomst’ zijn opgesomd (zie onder 5.2.1.2.). Dit zijn bij voorkeur informele sessies, die op locatie van een van de deelnemers worden georganiseerd. 7. Wees terughoudend met extra communicatie uitingen als posters en brochures en betrek de projectleiders bij plan, doel en opzet van de uitingen. 8. Lever geen bijdrage meer aan een elektronische nieuwsbrief van het SURF platform ICT&Onderwijs tenzij de informatie van belang is voor alle lezers van de nieuwsbrief en volsta voor de projectleiders met een kort, bondig en informeel E-alert. 9. Communiceer op het web duidelijk waar wat te vinden is en zoek waar mogelijk aansluiting bij de onder de projectleiders levende wensen: Drie typen informatie op het web: ten eerste algemene en feitelijke informatie van SURF, ten tweede een uitwisselingsplek ter ondersteuning van de ‘community of practice’ van E-Xchange waar onder meer templates, relevante data, verslagen van bijeenkomsten en projectdomeinen, al of niet gedeeltelijk afgesloten en ten derde inhoudelijke topics die elders via links toegankelijk zijn bijvoorbeeld binnen de EduSite. 10. Organiseer meer samenwerking en uitwisseling van informatie tussen de SOS (Stuurgroep Ontwikkelingsprojecten SURF / inmiddels de Commissie Projectbewaking) en E-Xchange. Hierbij is belangrijk dat de taken van beide organen ook voor de projectleiders duidelijk gescheiden blijven, terwijl de relevante informatie die door elk van de organen naar boven worden gehaald wordt uitgewisseld. De verwachting is dat dit voor beide organen synergetische effecten kan hebben en daarnaast zal het bevorderen dat SURF als subsidiegever met één gezicht naar buiten treedt. 11. Ontwikkel in samenwerking met de SOS (nu CP) sjabloons voor tijdmanagement en voor voortgangsrapportages. Deze kunnen aan de projectleiders bij aanvang van het SURF project, bijvoorbeeld bij de kick-off meeting worden aangeboden en evt. ook online beschikbaar worden gemaakt.


7

4.

Onderzoeksmethode

4.1 Opzet van het onderzoek In de startfase van het onderzoek zijn twee gesprekken gevoerd met de community manager en een gesprek met de betrokkenen bij CIBIT. De vragenlijst voor de projectleiders die mede naar aanleiding van deze gesprekken is geformuleerd is getoetst in face-to-face gesprekken met vier projectleiders. Na die gesprekken en een tussenrapportage aan SURF zijn de vragenlijsten voor de telefonische interviews bijgesteld. De vragenlijsten, verschillende voor projectleiders van de tenders 1999-2000 en 2001-2002, zijn respectievelijk opgenomen in bijlage B en C. De vragenlijsten zijn deels open, deels gesloten. 4.2 De respondenten Na de startfase met interviews met de community manager en medewerkers van CIBIT zijn alle projectleiders van de tenders 2001 en 2002 en 7 projectleiders van eerdere tenders benaderd. Behoudens door overmacht (ziekte en reizen) en na toezegging van anonimiteit waren alle respondenten bereid om medewerking te verlenen. Tabel 1. Overzicht respondenten totaal aantal Tenderjaar aantal benaderd 1999 14 3 2000 9 4 2001 13 13 2002 6 6 Totaal 42 26

Face to face Telefonische Totaal interview enquête geïnterviewd 2 2* 4 4 4 7 11 2 3 5* 6 16 22*

*Eén van de geïnterviewden was zowel in 1999 als in 2002 projectleider van twee opeenvolgenden projecten. Het netto aantal respondenten is daarmee 21.

De gemiddelde gesprekstijd bij de telefonische interviews van 2001 en 2002 was 70 minuten en bij de projectleiders uit de eerste twee tenders (1999 en 2000) 45 minuten vanwege de kortere vragenlijst. 4.3 Rapportage van de interviews In het rapport is, daar waar relevant en mogelijk, gewicht gegeven aan de antwoorden door het aantal respondenten die dat antwoord hebben gegeven te noemen. Bij het interpreteren daarvan dient rekening te worden gehouden met het feit dat niet alle vragen aan alle respondenten zijn voorgelegd. Immers, de projectleiders uit de eerdere tenders (1999 en 2000) zijn niet of nauwelijks bij E-Xchange betrokken geweest, 2002 nog pas kort, alleen de projectleiders van de projecten die in 2001 zijn gestart hebben nagenoeg het hele programma van E-Xchange aangeboden gekregen. Tevens worden er hier en daar aantallen genoemd bij suggesties en opmerkingen die door respondenten zijn uitgesproken. Dat zijn spontane suggesties, die niet door de ondervragers op enigerlei wijze met voorbeelden of voorzetten zijn ingeleid en wijzen op een eensgezindheid onder de respondenten ten aanzien van die opmerking of suggestie. 4.4. Samenvattingen van de gesprekken Als bijlage bij het rapport (bijlage D) zijn samenvattingen van alle gesprekken opgenomen. Het betreft korte en bondige samenvattingen waarin niet alle gegevens uit de gesprekken zijn vermeld. De volledige gegevens van de gesprekken worden in verband met de vertrouwelijkheid van de gegevens niet vrijgegeven. Immers, op basis van het volledige gespreksverslag kan moeiteloos iedere respondent getraceerd worden. Het is derhalve niet mogelijk om optellingen en accenten van de onderzoekers op basis van de samenvattingen te valideren.


8

5.

Resultaten

5.1 Inventarisatie Gesprek met de community manager In een tweetal gesprekken met de community manager zijn de ingezette instrumenten van E-Xchange over de afgelopen periode in kaart gebracht (zie bijlage A). De statistieken van de websites geven niet voldoende inzicht in het gebruik ervan om daar conclusies aan te verbinden en dat is jammer want samen met de opmerkingen van projectleiders in dit onderzoek zou dat meer basis geven voor bijsturing. De rol van CIBIT was tweeërlei: het verzorgen van projectmanagement trainingen en het coachen van de community manager. Over beide rollen is de community manager tevreden. Het coachen gebeurt ongeveer maandelijks en behelst ook de uitwisseling van E-Xchange ervaringen en ervaringen van CIBIT in soortgelijke Europese projecten, hetgeen voor de community manager inspirerend en ondersteunend is. De community manager heeft de indruk dat de projectleiders ook enthousiast zijn over de projectmanagement bijeenkomsten die CIBIT verzorgd. Voor projectleiders is de community manager het gezicht van SURF en een laagdrempelige vraagbaak. Dat werkt positief naar twee kanten, want als de community manager de projectleiders om informatie vraagt, krijgt ze die meestal snel. Door de bezoekjes aan de projecten leert de community manager niet alleen de projecten en projectmedewerkers goed kennen, maar ze krijgt ook een schat aan informatie die op bepaalde punten gedeeld kan worden. Door vragen van projecten te bundelen en daarbij ook buitenstaanders, met name ICT&O experts, uit te nodigen ontstaan intussen vanuit E-Xchange kleine expertise groepen of kennisnetwerken, bijvoorbeeld rond het thema LCMS. Dat wil de community manager in de komende jaren graag verder uitwerken. Gesprek met CIBIT medewerkers (zie ook bijlage E) CIBIT vindt dat SURF er in de afgelopen anderhalf jaar in is geslaagd om de projecten stevig en effectief te ondersteunen. E-Xchange heeft gezorgd voor meer openheid tussen de projectleiders en er is uit het niets een hecht netwerk ontstaan. Zij vinden dat de community manager sterk in haar rol is gegroeid en goed is toegerust om mede-ontwerper te zijn van het programma. De gastvrouwrol van de community manager, facilitator, het gezicht van SURF en de antennerol kan in de komende periode nog verder worden uitgebouwd. Voor de komende periode ziet CIBIT een grote kans voor E-Xchange in het abstraheren en borgen van de opgedane kennis, zodat het geleerde gemakkelijk herkenbaar is en elders kan worden ingezet. In dat kader is CIBIT enthousiast over de eis van SURF dat 15% van het budget aan disseminatie activiteiten moet worden besteed. Verder stellen ze voor om bijv. een witboek te maken met alle ervaringen, lessons learned: 10-punten lijstjes met do’s en don’ts voor docententraining, auteursrechtvragen, pilot met studenten, implementatie trajecten etc. Veranker de opgedane kennis door de projectleiders blijvend aan je te binden. Voor een uitgebreider verslag, zie bijlage E.

5.2 Evaluatie 5.2.1 Bijeenkomsten 5.2.1.1 Ervaring tot nu toe (n = 16) Algemeen 1. Projectleiders ervaren E-Xchange bijeenkomsten over het algemeen als redelijk nuttige bijeenkomsten. De belangrijkste doelen van de bijeenkomsten vinden zij: erachter komen wat SURF van hen verwacht, het aan elkaar spiegelen, zien in welk groter kader zij hun project uitvoeren en zien wat anderen doen, meestal in een heel ander toepassingsgebied. 2. Projectleiders vinden het prettig en nuttig om elkaar te kennen, zodat ze elkaar weten te vinden als daarvoor aanleiding is. Om dat in gang te zetten vinden projectleiders het belangrijk dat zij elkaar via EXchange ontmoeten (zij het niet te vaak) en met name de kick-off meetings heeft men hiertoe als een


9

zeer waardevol instrument ervaren. Kanttekening hierbij is dat het uitnodigen van de projectleiders van eerdere tenderjaren op zo’n kick-off die qua inhoud nagenoeg hetzelfde is als het jaar ervoor als niet zinvol werd ervaren (1). 3. Er zijn grote verschillen tussen de mate van ‘halen’ en ‘brengen’. Dit is afhankelijk van of een projectleider is gevraagd om te presenteren, hoe lang hij/zij bij E-Xchange is betrokken en hoe ervaren hij/zij is als projectleider. Soms vindt men het nuttig voor het project om te presenteren op een EXchange bijeenkomst, met name door de feedback die het oplevert, maar soms is het zo specialistisch, herkennen andere projectleiders zich zo weinig hierin dat men weinig gehoor vindt. 4. Door een aantal projectleiders (4) is aangegeven dat men de E-Xchange bijeenkomsten ervaart als een verplichting, waaraan men zelf geen prioriteit zou geven maar uit beleefdheid komt en meedoet. Dit zou kunnen worden verklaard uit het feit dat men weinig inhoudelijke overlap ziet tussen de projecten en dat de behoefte aan projectmanagement ondersteuning erg verschillend is per projectleider. Bijeenkomsten over projectmanagement 5. De invulling van de sessies vindt men i.h.a. goed, zolang het praktisch en generiek is. Zolang het gaat over zaken die te maken hebben met het management van het project of met de organisatie. Het vaste of ‘verplichte’ deel van E-Xchange zou zich wat betreft de projectleiders moeten beperken tot het proces en niet de inhoud, aangezien de onderwijsvernieuwingsprojecten wat betreft dat laatste té verschillend zijn. 6. Nagenoeg alle projectleiders (14) geven aan dat goed projectmanagement cruciaal is voor het slagen van een SURF project en daarom is ook een grote groep projectleiders enthousiast over dit onderwerp binnen de E-Xchange bijeenkomsten. Echter, de behoefte aan begeleiding op dit gebied verschilt sterk per projectleider en dit is direct afhankelijk van de ervaring van de projectleider als projectleider. Verschillende projectleiders (5) en ook CIBIT medewerkers suggereren dat SURF hierop tevoren potentiële projectleiders zou kunnen selecteren. De indruk bestaat dat de projectleiders van 2002 minder behoefte hebben aan projectmanagement begeleiding dan de groep van 2001 omdat zij meer ervaring hebben. 7. De behoefte van projectleiders om bepaalde onderwerpen van projectmanagement aan de orde te hebben evolueert in de loop van het project met een zwaartepunt in de startfase. De E-Xchange bijeenkomsten komen daar redelijk goed aan tegemoet, hoewel het soms een beetje ‘achter’ loopt bij de projectfase (3). Bijeenkomsten over inhoudelijke thema’s 8. Over de bijeenkomsten waar meer inhoudelijke thema’s aan de orde komen is men minder enthousiast, dat beschouwt men als buiten het expertise gebied van de ‘community of expertise’ E-Xchange. Inhoudelijke bijeenkomsten, i.e. sessies met een duidelijk inhoudelijk thema hebben volgens de projectleiders minder kans van slagen omdat de aard en onderwerpgebieden van de onderwijsvernieuwingsprojecten te ver uit elkaar liggen. Daarom is niet iedereen geïnteresseerd en is het niet voor iedereen (op dat moment) nuttig. Het zijn vaak de deelprojectleiders die meer in inhoudelijke thema’s geïnteresseerd zijn en men weet die informatie ook wel van elders te halen. Iets anders is het als er los van het SURF project met ‘buitenstaanders’ een kennisnetwerk zou worden opgezet. Daarin is men wel geïnteresseerd, dan kiest men voor een onderwerp, maar dat zien de projectleiders helemaal los van E-Xchange. Zie verder onder kennisnetwerken. 9. In sommige bijeenkomsten, gekenmerkt door gebruik van stickers en flap-overs, is gezocht naar overeenkomsten tussen projecten. Maar na afloop is niets met die informatie gedaan, noch door SURF noch door de projectleiders zelf en dit laat bij de deelnemers (5) een gevoel van vrijblijvendheid achter


10

dat niet positief is. De respondenten hebben iets van ‘jammer dat er niets mee is gedaan’, maar zijn zelf uiteindelijk ook niet in actie gekomen. Dit bevestigt de projectleiders in het idee dat het niet zinvol is om op grote schaal naar inhoudelijke overeenkomsten te zoeken, maar toch zien ze best een aantal losse eindjes en potentiële combinaties tussen projecten wat betreft expertise of knelpunten. Dat kan liggen op het vlak van het opzetten van een website, het opzetten van gezamenlijke werkruimte of bijv. de aanpak van disseminatie vragen. Men zou graag zien dat dergelijke punten door hen aan de community manager aangereikt kunnen worden om te zien of er iets is te combineren, of er vergelijkbare ervaringen of expertise in een ander project is en om dat low-profile en ad hoc op te pakken. 5.2.1.2 Wensen voor de toekomst Algemeen 1. De projectleiders (9) willen bij aanvang van de projecten via E-Xchange een beter beeld krijgen en overzicht van de verwachting die SURF heeft t.a.v. de rapportage. Op welke momenten worden die gehouden en door wie (gezichten), welke informatie moet voor die rapportages worden gegenereerd en tot in welke mate van detail, welke aspecten zijn het belangrijkst? Deze vraag leeft bij zowel de onervaren als de uiterst ervaren projectleiders, hoewel men vindt dat de huidige kick-off meetings zeker instrumenteel zijn hierin. 2. Veel projectleiders van de laatste twee tenders (9) doen de suggestie om standaard sjabloons te ontwikkelen voor de tussenrapportages, tijdmanagement etc. en die samen met een voorbeeld aan projectleiders aan te bieden. Daarmee zou direct veel van die verwachting expliciet gemaakt zijn en het voorkomt dat de projectleiders in het begin erg veel tijd kwijt zijn met het opzetten van deze systemen. Het sjabloon voor het schrijven van een projectaanvraag is bijv. een erg goed voorbeeld. Frequentie en aantal bezoekers 3. Een frequentie van max. 3 bijeenkomsten in het eerste jaar vindt men goed, liefst met een duidelijke opbouw en aankondiging van tevoren: eerste sessie informatief, tweede sessie projectmanagement gericht op de betreffende fase van de lopende projecten en de derde bijeenkomst met een zwaartepunt op disseminatie. 4. Het aantal deelnemers aan bijeenkomsten moet volgens de projectleiders ook een bepaalde omvang hebben om kruisbestuiving op gang te brengen: 6 is te weinig, 15 tot 20 is een goed aantal. Dit is door een enkeling genoemd en ingegeven door de kleine groep projectleiders van 2002. Onderwerpen 5. Door meer dan de helft van de respondenten (11) is gevraagd om mogelijkheden te creëren voor vraaggestuurde activiteiten, waarbij de community manager de spil is die de regie in handen heeft (maar niet noodzakelijkerwijs de leiding). Dat vraagt een grote inhoudelijke betrokkenheid, maar ook een grote inhoudelijke kennis van de community manager. 6. Ook ervaren projectleiders zien het als een nuttige bijdrage om bepaalde min of meer generieke onderwerpen aan de orde te stellen. Het belangrijkste hierbij is dat het concreet is, bijv. geïnspireerd door casussen uit een van de SURF projecten. Op basis van deze onderwerpen willen projectleiders (7) graag op vrijblijvende basis bij elkaar worden gebracht. De volgende suggesties voor dergelijke onderwerpen zijn gedaan: behandelen van knelpunten uit andere SURF projecten en hoe die zijn opgelost, het opzetten van online communities, technologische ontwikkelingen (standaardisatie en trends), copyright, contracten afsluiten met derden, hoe ga je om met de omgeving van je project in je instelling (financieel administratief, qua motivatie van docenten, studenten die geen proefkonijn willen


11

zijn… etc.), hoe pak je disseminatie aan, afronding van het project, implementatie van een product, beheer en onderhoud van het product na afloop van het project. 5.2.2 De onderwijsdagen De onderwijsdagen vormen een bijzonder onderdeel van E-Xchange en er is in een aantal interviews gevraagd naar de functie van de onderwijsdagen voor het project. De projectleiders vinden de belangrijkste functie van de SURF onderwijsdagen voor het onderwijsvernieuwingsproject om de wereld te laten zien wat je doet, ontmoeting met de potentiële doelgroep voor projectproducten, het opdoen van ideeën en feedback krijgen op wat je doet. In de opzet die was gekozen kwam dat voor de meeste projecten maar ten dele tot zijn recht en acht van de ondervraagden waren niet helemaal tevreden over de presentatie van zijn/haar project op de onderwijsdagen. Bij de projectleiders van de laatste tenders waren negatieve geluiden over het niveau van de interactie met de bezoekers en ook was men teleurgesteld over de mate van belangstelling op de stands (8). Dit wordt toegeschreven aan de decentrale locatie van de stands en het gebrek aan inbedding van de projectpresentaties in het programma. Voor sommige projecten was de timing niet adequaat om respons te krijgen omdat men slechts twee weken tevoren met het project was gestart. De projecten die een presentatie hebben gegeven of een workshop hebben verzorgd (4) zijn in het algemeen veel positiever over de respons en vier andere projectleiders pleiten ook voor een workshop of frontale presentatie door de projecten. Eén van de belangrijkste functies van het geven van presentaties, plenair of in een stand, is het krijgen van feedback. Eén van de projectleiders stelde voor om juist een lijst met knelpunten te presenteren in de hoop op een probleemoplossend effect van de onderwijsdagen en een ander stelde voor om een van de programmalijnen op de onderwijsdagen aan de projecten te besteden. Een groot deel van de respondenten (10) noemden de onderwijsdagen inspirerend en deden daar ideeën op o.a. voor het project, terwijl zeven respondenten er aanknopingspunten vonden voor de disseminatie van de projectresultaten. Wat opvalt is dat de projectleiders van de eerdere tenders (99-00) veel positiever zijn over de onderwijsdagen en de functie ervan voor het project. Dat is wellicht te verklaren door het feit dat zij meer in of zelfs voorbij de disseminatiefase zitten en doordat zij in hun huidige werk (vaak als ICT en Onderwijs expert) de onderwijsdagen als een nuttige bijeenkomst ervaren. 5.2.3 Websites In het onderzoek is gevraagd in hoeverre men Surf.nl en de EduSite en binnen SURF de domeinen EXchange, projectmanagement en e-learning kent en bezoekt. Uit de statistieken van de websites is helaas niet goed af te leiden hoe het gebruik is geweest in de afgelopen periode dus zullen we alleen varen op de commentaren die door de projectleiders hierover zijn gemaakt. Bekendheid en bezoekfrequentie De meeste projectleiders kijken maar af en toe op de genoemde websites en de domeinen e-learning en projectmanagement zijn niet bekend of worden weinig bezocht. Een aantal noemt de websites onduidelijk, onoverzichtelijk en onsamenhangend (6) maar tegelijkertijd maakt het allemaal niet zo veel uit, het leeft niet zo (18). De SURF site wordt gezien als een doorgaans betrouwbare bron voor concrete en praktische informatie over bijvoorbeeld de tender, aankondigingen, agenda’s en verslagen van bijeenkomsten en contactgegevens binnen SURF en andere projecten. “Een handige en functionele agenda en archief voor SURF zaken; als ik wat op wil zoeken weet ik het wel te vinden”. Als men op zoek is naar informatie over inhoudelijke ontwikkelingen dan komt men in het algemeen uit bij de EduSite, ook via de gewaardeerde nieuwsbrief die men daarvan ontvangt (5). Projectwebsites Het enige on-line onderdeel wat wel leeft en waar men met enige regelmaat op kijkt zijn de projectwebsites. Die bestaan uit een deel op de E-Xchange site met korte projectinformatie en deliverables en vaak hebben projecten ook een eigen site met een publiek deel en soms ook een afgeschermd deel voor gebruik binnen het project. De meerderheid (9) van de projectleiders geeft zelf aan met enige regelmaat te kijken of de eigen informatie er goed op staat. Over het publieke deel op de E-Xchange site lijkt af en toe verwarring te zijn over het onderhoud. Wat doet SURF daarvoor en wat worden de projectleiders geacht zelf te onderhouden? Enkele keren was er irritatie omdat onderdelen te snel (1) of te traag (2) op het web werden geplaatst.


12

Enkele keren (3) hebben projectleiders gemerkt dat men hen via de website wist te vinden maar een zelfde aantal projectleiders geeft aan dat men reactie verwachtte op de informatie over hun project maar niet kreeg. Binnen een aantal projecten is een actieve (gedeeltelijk besloten) site die goed functioneert als uitwisselingsplatform en archief binnen het projectteam. Wensen websites • Een enkeling (2) heeft wel jeukende handen om de websites eens flink te strippen en daarmee overzichtelijker te maken maar men realiseert zich goed hoe complex dat is. Anderen noemen wel de mogelijkheid om de SURF site met een overzichtelijke startpagina te laten beginnen – omdat er in het interview expliciet gevraagd wordt naar wensen - maar overwegend vindt men wel wat men verwacht en dat is voldoende. • Een eenvoudige en functionele suggestie is om vanaf de homepage van SURF een directe link naar de EduSite te maken. • Voor de E-Xchange subsite leven wel een aantal wensen, bijvoorbeeld om meer instrumentele faciliteiten te bieden zoals sjabloons voor de voortgangsrapportages en voor tijdschrijven (3). Door sommige projectleiders (4) werd zelfs voorgesteld een besloten stuk aan te leggen waarbinnen men wat meer in de keuken van andere projecten kan kijken en waar ruimte is voor vragen en discussie. • Omdat het niet altijd even duidelijk is wat SURF doet voor de projectdomeinen binnen de SURF site wordt gesuggereerd dat SURF wel een format en minimumeisen bepaalt maar dat alle projectinformatie binnen de SURF site verder door de projectleiders wordt bijgehouden. • Degenen die zowel de e-learningsite als de EduSite kennen suggereren dat een integratie van deze sites passend zou zijn (2). 5.2.4 Elektronische nieuwsbrieven De opname van de E-Xchange nieuwsbrief in de nieuwsbrief van het platform ICT&onderwijs sinds januari jl. is de meeste projectleider ontgaan: 13 projectleiders weet niets van samenvoeging/kent of leest ezine nauwelijks en slechts 5 projectleiders weten dat er een samenvoeging is geweest. In zijn algemeenheid vindt men dat er al zoveel informatie en e-zines zijn dat een aparte, uitgebreide EXchange nieuwsbrief niet zo nodig is. Desgevraagd zou men een korte, regelmatig verschijnende elektronische nieuwsbrief wel functioneel vinden mits kort en bondig, met attenderingen op bijeenkomsten en directe links naar nieuwe zaken op de site, eventueel korte samenvattingen en berichten en bijvoorbeeld relevante ontwikkelingen binnen andere projecten. De nieuwsbrief van de EduSite wordt enkele keren (3) spontaan genoemd als een goed voorbeeld van een functionele elektronische nieuwsbrief. 5.2.5 Poster Het merendeel van de projectleiders (11) is positief over de poster, Bij enkelen hangt de poster ook op hun kamer. Voor 5 projectleiders is de poster een overbodig communicatiemiddel en 4 projectleiders staan er onverschillig tegenover of weten het niet. De productie van de poster is niet altijd goed gegaan, bij 6 projecten waren er problemen rondom het productieproces en is de poster niet naar tevredenheid, te laat of niet verschenen. Bij 12 projecten verliep dit wel soepel, bij de overigen onbekend of niet relevant. 5.2.6 Folder met overzicht projecten De folder over de projecten is bij de meeste projectleiders bekend (17), slechts drie respondenten kenden de folder niet. Voor zichzelf vindt men de folder nauwelijks van nut, daarvoor kent men elkaar goed genoeg van de bijeenkomsten en weet men het wel op het web te vinden. Over het nut van de folder voor andere doelgroepen in het veld van ICT en onderwijs is men verdeeld, 10 projectleiders vinden het zinvol dat er een overzicht op papier bestaat en 7 projectleiders vinden dit overbodig en achten een goed overzicht op het web voldoende. Van diegenen die wel positief zijn suggereert een meerderheid een kortere versie - zonder de wat verwarrende indeling naar thema’s - als opmaat naar meer gedetailleerde en actuele informatie op het web. 5.2.7 Folder over E-Xchange. De folder waarin wordt beschreven wat E-Xchange doet is voor de meerderheid een onduidelijk product. Alhoewel het kort voor het veldwerk was opgestuurd kenden 9 projectleiders het product niet, 8 projectleiders kenden het wel. Eventueel geholpen door een beschrijving van de folder waren 9 projectleiders van mening dat het een overbodig product is “ik luister wel naar de uitleg van Desirée dat doet ze toch bij iedereen en dat is een goed duidelijk verhaal en wie is er nou verder geïnteresseerd in Evaluatie E-Xchange – eindrapport

13

wat E-Xchange is en doet?”. Drie projectleiders zijn van mening dat het een goed product is voor potentiële projectleiders in de aanloopfase naar een project, voor het gehele projectteam in de startfase of voor het ICTO veld als geheel. 5.2.8 Persoonlijk contact met de community manager Alle projectleiders uit 2001 en 2002 onderhouden een naar hun idee plezierig contact met de community manager. De community manager ziet men als eerste aanspreekpunt voor alles wat met SURF te maken heeft en dat wordt erg gewaardeerd; “Als er iets mis is weet je meteen wie je moet hebben”. Alle projecten van 2001 zijn een of meerdere malen bezocht en men is unaniem tevreden over deze bezoeken. “Een stimulans voor het hele projectteam”, “goed voor dialoog en wisselwerking”, “een duidelijk gezicht van Surf voor het gehele projectteam”. De meeste projectleiders van 2001 zien uit naar een bezoek om nog eens goed van gedachten te wisselen over activiteiten in de disseminatiefase en men vindt een frequentie van twee keer per jaar doorgaans een goede. Wel geven enkele projectleiders (3) aan het idee te hebben dat er (nog) meer uit de bezoeken te halen zou moeten zijn. Immers de community manager heeft door de bezoeken kennis en overzicht heeft van wat er binnen de verschillende projecten speelt en zou daarom goed de grote lijnen kunnen overzien. Men verwacht dat die lijnen dan ook bij de SOS of Commissie Projectbewaking duidelijk zijn en dat de community manager nog meer een trekkersrol op zich kan nemen en meer suggesties kan geven. 5.2.9 Onderling contact tussen projectleiders De projectleiders kennen over het algemeen de collega projectleiders uit hun eigen tenderjaar. De lichting van 2001/2002 kent elkaar van de E-Xchange bijeenkomsten en die van 1999 en 2000 van de SOS bijeenkomsten of andere sessies. Men stelt het op prijs elkaar te kennen en te ontmoeten op de EXchange bijeenkomsten maar neemt buiten de bijeenkomsten geen tot nauwelijks initiatief tot meer contact. Een enkele keer (3) is het voorgekomen dat er contact is gelegd, vermoedelijk door tussenkomst van de community manager. Daarbuiten niet, met name door gebrek aan tijd en door te grote inhoudelijke verschillen in waar men mee bezig is. Maar tegelijkertijd zijn 12 projectleiders van mening dat daarvoor een grotere rol bij de community manager zou kunnen liggen. Men denkt met name aan het oppakken van losse eindjes, problemen en mogelijkheden voor synergie. Tabel 2 Meerwaarde van E-Xchange voor de projecten en projectleiders n = 16

weinig

veel

1

2

3

4

5

frequentie

netwerken/contacten

1

1

3

8

1

16

ideeën/inspiratie

1

5

3

6

training

3

4

2

3

1

13

begeleiding

1

6

4

3

1

15

probleemoplossend

5

6

3

prestatie verbetering

4

2

4

2

12

efficiency verbetering

3

5

4

2

verspreiding projectresultaten

3

2

3

4

14 12

leren van andere projecten

2

6

3

2

13

15

14

5.2.10 De meerwaarde van E-Xchange voor het project en de projectleider. De waardering van de rol van E-Xchange voor het project en de projectleider zijn door de projectleiders gewaardeerd op een 5 puntsschaal. In bovenstaande tabel is per waarde de frequentie van de antwoorden gegeven. De vraag is alleen gesteld aan de projectleiders uit 2001 en 2002. Met name de projectleiders van 2002 meenden nog niet alle variabelen te kunnen benoemen. Ter verduidelijking is bij elke variabele in de rechterkolom aangegeven hoe vaak hierover een uitspraak is gedaan. De vraag was: ‘wat was de meerwaarde voor u en uw project van deelname aan E-Xchange op het gebied van …..?’ Netwerken wordt als belangrijkste meerwaarde beschouwd en E-Xchange wordt minder sterk ervaren als steun bij het oplossen van problemen. Evaluatie E-Xchange – eindrapport

14

5.2.11 De projectleider in de rol van community manager Aan de projectleiders is ook gevraagd hoe zij het aan zouden pakken als zij voor het nieuwe tenderjaar de rol van community manager zouden krijgen. Nadat doorgedrongen was dat het dan niet mogelijk zou zijn om de huidige community manager aan te stellen (wat enkelen onmiddellijk zouden doen) kwam een aantal met het weinig originele antwoord dat ze het zouden doen op de manier waarop de huidige community manager binnen de gegeven situatie het heeft aangepakt. Twee projectleiders zagen hun aanvankelijke scepsis over E-Xchange bevestigd en zijn van mening dat de hele focus anders zou moeten liggen: geen algemene ondersteuning van projectmanagement maar verder kijken opdat er meer implementatie van projectresultaten plaatsvindt. Toch noemden 6 projectleiders dat zij nog meer nadruk zouden leggen op de instrumentele begeleiding in de procesondersteuning, meer tools zoals sjablonen voor de voortgangsrapportage e.d. Verder willen de kandidaat community managers (6) trachten meer te zoeken naar de gezamenlijke vragen en problemen en daarmee kleinere, informele bijeenkomsten beleggen en zou men alert zijn op een goede verbinding met de Commissie Projectbewaking (vroeger de SOS). 5.3. Toekomst 5.3.1 Levenscyclus van een Onderwijsvernieuwingsproject en de rol van SURF In onderstaand schema van de levenscyclus van een onderwijsvernieuwingsproject zijn de verschillende stadia van zo’n project aangegeven en is de rol van SURF in die verschillende stadia benoemd. Dit schema is in een aantal interviews aan het eind van het gesprek voorgelegd en de respondenten is daarbij om hun commentaar gevraagd. Hierbij is vooral de projectperiode en de disseminatie periode besproken. Een kort overzicht van de opmerkingen: - WTR: betrek meer mensen uit het beroepenveld in de beoordeling van projectvoorstellen. - SURF: zet meer van de geslaagde onderwijsvernieuwingsprojecten in de etalage, dat werkt inspirerend (dit is ook door CIBIT genoemd). - SURF subsidieert de helft v/h project en claimt ook nog eens 15% (=30% van het subsidie bedrag) voor disseminatie. Dat kost mij alleen maar tijd en veel energie en daarom moet SURF hierin stevig faciliteren (1). Een veel grotere groep (>3) ziet de 15% reservering voor disseminatie als een minimale een belangrijke post van het project. - De verandering van de aard van de SOS van controlerend orgaan naar een met een meer review karakter vindt men een grote verbetering en dit zou nog verder kunnen worden doorgevoerd, door bijv. ter zake kundige collega’s op locatie te laten gaan kijken hoe het met het project gaat (2). - Men waardeert de redelijk grote mate van transparantie van het proces en de procesbegeleiding (de cyclus en de stappen) en dat is belangrijk voor alle betrokkenen. Dat is in tegenstelling tot procedures van sommige andere subsidieverleners. Fig. 1 Levenscyclus van een onderwijsvernieuwingsproject en de rol van SURF aanvraag schrijven

Beoordeling

start

eind rapport

projectperiode

implementatie

Disseminatie oriëntatie bijeenkomsten financiële vergoeding aanvraag schrijven (1,25 % bij afwijzing) beoordeling – WTR voortgangsrapportage - SOS of CP

?

ondersteuning - E-Xchange 15% v. budget


15

De rol van SOS (of CP) en E-Xchange. De rollen van de SOS en van E-Xchange lopen in elk geval in de tijd gedurende de projectperiode parallel en dat geeft soms verwarring. Het belangrijkste voorval is dat door E-Xchange om informatie werd gevraagd die net aan de SOS was aangeleverd (1). Dat is niet erg en niet representatief, maar er gaat wel het signaal vanuit dat door meer mensen is opgemerkt: de informatie die naar een van beiden gaat wordt niet altijd doorgegeven aan de ander en dat is jammer. Er is ook wel gesuggereerd om beiden te integreren, maar minstens evenveel projectleiders gaven aan dat die taakscheiding juist helder moest blijven bij intensievere samenwerking. Taakscheiding die werd getypeerd als het schouderklopje versus het examen. Rol van SURF na afloop van een onderwijsvernieuwingsproject Een aantal projectleiders (3) die nog met hun project bezig zijn, stelden voor om na afloop van het project een on-site workshop/seminar te organiseren met geïnteresseerde genodigden en een andere projectleider, die een dergelijke bijeenkomst al achter de rug had, was hierover zeer enthousiast. De betrokkenheid van SURF mensen is hierbij zeer stimulerend en inspirerend. Ook naar de rol van SURF na afloop van de projectperiode is gevraagd. Projectleiders vinden dat SURF ook zou moeten bijspringen als er problemen opdoemen bij de implementatiefase na afloop van een project of tenminste volgen wat er met de projectresultaten na afloop van het project gebeurd. Het belangrijkste voor projectleiders is om te weten dat als er zich gerichte vragen voordoen, dat ze dan alsnog bij SURF kunnen aankloppen, bijv. voor steun in de rug bij de onderhandelingen met commerciële partijen of bij het oplossen van implementatie problemen. Dus niet sowieso en structureel maar ad hoc. Er is ook voorgesteld dat SURF betrokken RvB/CvB, de mede subsidiegever, achteraf nog eens aanspreekt op de resultaten van het project om ook blijvende support en belangstelling uit die hoek voor het project en de implementatie van de resultaten af te dwingen. Dat is voor de projectleider meestal erg moeilijk. 5.3.2 Disseminatie De term disseminatie is een typische voorbeeld van SURF jargon en veel projectleiders leren de term pas kennen bij de start van hun onderwijsvernieuwingsproject, zo bevestigden een aantal projectleiders. Ter voorkoming van spraakverwarring verduidelijken we hier nog eens dat in dit onderzoek met de term wordt bedoeld de verspreiding van projectproducten onder niet-projectleden, die die producten in hun onderwijs willen gaan inzetten en niet het verspreiden van leerervaringen of het stimuleren van de bekendheid van het project. Pas als er project producten zijn kun je echt iets doen aan disseminatie. Men ervaart dat er door SURF veel druk op staat om aandacht te besteden aan disseminatie. Men acht de rol van SURF om erop toe te zien dat er plannen worden ontwikkeld en ideeën over disseminatie worden uitgewisseld. Verder is de rol van SURF in de ogen van projectleiders beperkt tot een faciliterende rol (17), hoewel enkelen vinden dat SURF hierin een prominentere rol moet hebben (4). De meeste projectleiders vinden zichzelf expert op het gebied van hun ‘markt’ en willen disseminatie dus liefst in eigen hand houden. SURF zou hooguit een controlerende en ondersteunende rol kunnen spelen: enerzijds goed toezien dat er plannen worden gemaakt en controleren dat die worden uitgevoerd en ten tweede haar communicatiekanalen ter beschikking stellen om disseminatie te faciliteren: nieuwsbrieven, bijeenkomsten, onderwijsdagen, brochures, filmpjes maken etc. De aard van de projecten en de potentiële doelgroep bepaalt ook veel over de aard van de disseminatie acties. De ene keer kan SURF een centrale rol hierin spelen en in een ander project ligt dat veel minder voor de hand. In alle reeds afgeronde projecten blijkt dat SURF een ondersteunende rol heeft gespeeld in de verspreiding van de resultaten, maar de primaire kracht en het initiatief lag steeds bij de projectorganisatie. Over die verdeling van taken waren de ‘oude’ projectleiders zeer tevreden. In twee gevallen noemden de projectleiders spontaan dat om de disseminatie werkelijk goed aan te pakken de doelgroep niet de docenten of de ICTO-experts zou moeten zijn, maar dat met name onderwijsdirecteuren, onderwijsmanagers in die disseminatie moeten worden betrokken om verandering te bewerkstelligen; dit is ook door de CIBIT medewerkers naar voren gebracht (zie bijlage E). 5.3.3 Afronding projecten van de tenderjaren 1999 en 2000 Bij de projectleiders van de oudere tenders is vaak een van de SURF medewerkers, Tom, Bas, Désiree, Leo of Wim in het laatste stadium betrokken geweest. Bijvoorbeeld door hun aanwezigheid op het Evaluatie E-Xchange – eindrapport

16

slotsymposium van een project dat was georganiseerd voor projectteamleden en potentiële gebruikers. Die persoonlijke aanwezigheid van SURF medewerkers werd door de projectleiders gewaardeerd en werd ervaren als een erkenning van het belang van het project. Men was ook van mening dat het bezoek de uitstraling van het project naar de aanwezige project teamleden, gasten, docenten en de potentiële gebruikers toe ten goede kwam. De afsluitende bijeenkomst van tenderjaar 1999 olv CIBIT werd als een nuttige evaluatie gezien. Door twee projectleiders van lopende projecten werd gevraagd om aandacht te besteden aan een zorgvuldige afronding van de projecten of een afsluitende evaluatie bijeenkomst. 5.3.4 Betrokkenheid bij SURF na afloop Alle geïnterviewde projectleiders willen na afloop graag bij SURF betrokken blijven, enkele respondenten zelfs op meerdere manieren. Tabel 3. Betrokkenheid van de projectleiders bij SURF na het project betrokkenheid

frequentie

Niet actief maar wel onderhouden door bezoek onderwijsdagen, deelname aan een kennisnetwerk e.d. :

9

Wil actief contact blijven houden in verband met implementatie projectresultaten:

5

Wil graag nieuwe projectleiders begeleiden bijvoorbeeld door deelname aan SOS (nu CP) of het presenteren van eigen ervaringen:

5

Zou graag nog een SURF project willen doen:

4

5.3.5 Uitbreiding van E-Xchange activiteiten voor het hele HO veld. Projectleiders zien geen nut in het betrekken van een grote groep ICTO-ers bij E-Xchange (10). De reden hiervoor is vooral dat uitverdunning van de ‘community’ met mensen die niet bij een SURF project zijn betrokken volgens hen de primaire doelstelling van E-Xchange ontkracht, nl. ondersteuning van de SURF projecten. Daarnaast waren er vijf projectleiders die het wél een goed idee vinden, zij zien daarin vooral een krachtig disseminatie middel en dan is de timing waarop deze mensen betrokken worden wel belangrijk. Toch vindt men de ICTO-ers niet altijd de juiste doelgroep voor disseminatie activiteiten. Voor disseminatie kún je hen wel betrekken, maar je komt eerder uit bij docenten, onderwijscommissies, onderwijsdirecteuren of andere beslissers. ICTO-ers krijg je meestal toch wel mee en die krijgen bovendien de informatie wel op de onderwijsdagen. Door een dergelijke uitbreiding van de E-Xchange groep zou weer een nieuw platform ontstaan, waarvan men aan het bestaansrecht twijfelt, terwijl men voor de groep projectleiders uit een bepaald tenderjaar een duidelijk doel ziet om bijeen te komen. 5.3.6 Kennisnetwerken Ruim de helft van de projectleiders (11) vindt het opzetten van kennisnetwerken rond verschillende thema’s een goed idee, maar de andere helft (10) vindt het een minder goed plan. Het feit dat deze vraag wordt gesteld in de context van E-Xchange veroorzaakt ongetwijfeld dit gematigde enthousiasme, aangezien een aantal mensen aangeeft dat E-Xchange zich bij haar kerntaak moet houden: het ondersteunen van de projecten. Daarnaast hebben sommige projectleiders geen enkele belangstelling om hun kennis op deze wijze te verbreden. Als mogelijke manieren om dergelijke kennisnetwerken te organiseren zijn verschillende suggesties gedaan: • Laat SURF een of twee moderatoren of trekkers van het netwerk aanstellen. Dat kunnen evt. ook mensen van binnen SURF zijn. Zij coördineren de activiteiten en stroomlijnen de communicatie. • In elk geval een aantal –liefst interactieve- bijeenkomsten, minimaal 1 tot maximaal 3 bijeenkomsten per jaar en zeker niet alleen online communiceren. Bijeenkomsten gecombineerd met de


17

• • • • •

onderwijsdagen is een goed idee en er zou op de onderwijsdagen een keynote lecture op het gebied van een kennisnetwerk kunnen zijn. Ondersteuning door een online project-werk-ruimte Evt. gebruik van mailing lists Inhoud: stand van zaken en actuele praktijken, nieuwe ontwikkelingen en verder vooruit kijken. Geef een kennisnetwerk 2 jaar de tijd en faciliteer hen vanuit SURF. Daarna kunnen ze zelf beslissen of ze op eigen kracht verder willen. Het aantal mensen dat bij een kennisnetwerk zou moeten zijn betrokken is idealiter: de ondergrens wordt bepaald door de verscheidenheid van de samenstellende leden en de bovengrens is ongeveer 30 deelnemers, zeker niet meer.

De waardering voor de genoemde thema’s is positief, zie ook tabel 4. Thema’s die naast de bovenstaande zijn genoemd: wireless in combinatie met veranderende studielandschappen, ICT en taalonderwijs (is al informeel bestaand netwerk, kan wel een push gebruiken), technische IT onderwerpen en course management. Tabel 4. Interesse in thema’s voor een nieuw kennisnetwerk (frequentie; n=21) interesse Thema’s Competenties/portfolio

8

Samenwerkend leren

6

Interactief lesmateriaal

6

LCMS/communities

7

Nieuwe media

8


18

6.

Beantwoording van de onderzoeksvragen

6.1

Evaluatie van de eerste fase van E-Xchange 2001-2002

vraag 1. 1a. Hypothese:

Wat was de opbrengst van de verschillende E-Xchange activiteiten? Bijeenkomsten Bijeenkomsten werden als stimulerend en ondersteunend ervaren en er was een balans tussen halen en brengen. • De bijeenkomsten zijn voor de projectleiders de kern van E-Xchange. Men ziet een belangrijk onderscheid tussen inhoudelijk georiënteerde bijeenkomsten en bijeenkomsten over projectmanagement. • De belangrijkste opbrengst van bijeenkomsten is dat men de collega projectleiders heeft leren kennen, met hen ervaringen heeft uitgewisseld en dat men elkaar weet te vinden als dat relevant is. De praktijk wijst echter uit dat projectleiders elkaar buiten de E-Xchange bijeenkomsten nauwelijks opzoeken voor de uitwisseling van vragen of gegevens. • De bijeenkomsten met inhoudelijke thema’s misten voor de projectleiders nogal eens de aansluiting bij waar men op dat moment mee bezig is. De projectmanagement bijeenkomsten worden doorgaans positief gewaardeerd en maakten dat men kritischer naar het proces binnen het eigen project is gaan kijken. De mate waarin men behoefte heeft aan begeleiding op het vlak van projectmanagement verschilt erg met de ervaring en kunde van de projectleider. Het belang van goed projectleiderschap voor het slagen van deze grootschalige projecten wordt door alle projectleiders sterk onderschreven. • Als men wat heeft ‘gebracht’ dan is dat in de vorm van presentaties. Het commentaar daarop werd wisselend ervaren; van zeer opbouwend tot niet-relevant en daarmee als bewijs dat de projecten toch wel erg uit elkaar lopen. • De bijeenkomst zijn als stimulerend en ondersteunend ervaren, de balans tussen halen en brengen is erg verschillend per projectleider. Conclusie: De bijeenkomsten waren een sterke facilitator in de opbouw van een ‘community of practice’ die E-Xchange is geworden, een community rond het domein van SURF onderwijsvernieuwingsprojecten. 1b. Hypothese:

Publicaties De ingezette communicatie instrumenten middelen dragen bij aan de doelstellingen van E-Xchange.

Websites De websites van SURF worden door de projectleiders niet erg regelmatig bezocht. Van SURF.nl en onderliggende websites verwacht men voornamelijk feitelijke informatie, contactinformatie, informatie over bijeenkomsten en tenders en die vindt men daar ook. Voor nieuws en achtergronden over ICT en onderwijs, voor zover men dat op het web zoekt, worden andere sites bezocht zoals de Edusite. Van zowel de ‘deel-site’ E-Xchange als van de afzonderlijke projectwebsites, die hieraan zijn gekoppeld is niet altijd duidelijk wat de onderlinge samenhang is of hoe de functie ervan zich verhoudt met de afzonderlijke projectwebsites buiten de SURF-site. Daarnaast is niet helder wie geacht wordt om welke informatie courant te houden en aan te vullen. E-zine Het eigen E-zine van E-Xchange werd niet goed gelezen en de meeste projectleiders is ontgaan dat het intussen is opgenomen in de algemene nieuwsbrief van het platform ICT & Onderwijs. Een eigen, informeel en kort en bondig E-alert zou voor het merendeel der projectleiders ruimschoots voldoen. Folders Beide folders, die met een overzicht van de SURF projecten en die met een beschrijving van E-Xchange hebben voor de projectleiders weinig toepassing. De projectleiders kennen q.q. E-Xchange en weten de informatie over andere projecten op het web te vinden. De beoogde doelgroep van deze folders ligt waarschijnlijk buiten de groep van projectleiders. Poster De poster die op de onderwijsdagen is gebruikt is ook met name in die setting, erg instrumenteel gebleken. Om bezoekers te attenderen op de stand, op het project. Voor de inhoud en de totstandkoming ervan zijn een aantal suggesties aangereikt. Conclusie: De websites, het E-zine en de folders hebben maar beperkt bijgedragen aan de doelstellingen van E-Xchange. De poster was met name functioneel op grotere bijeenkomsten zoals de onderwijsdagen, om aandacht voor de projecten te krijgen. Evaluatie E-Xchange – eindrapport

19

vraag 2. 2a. Hypothese:

Welke rol speelt SURF in de begeleiding van deprojecten? (voorwaardelijkheid) Welke waarde heeft E-Xchange voor de (deel-)projectleiders? E-Xchange heeft bijgedragen aan de vaardigheden van projectleiders om ICT&O projecten te leiden. 1. De projectleiders zien deelname aan E-Xchange als een integraal onderdeel van het uitvoeren van een SURF project. De belangrijkste waarde van E-Xchange vinden de projectleiders het spiegelen aan andere projecten en er achter komen welke verwachtingen de subsidiegever heeft. De belangrijkste meerwaarde van deelname is het netwerk en de contacten met andere projectleiders, al heeft men er buiten de bijeenkomsten van E-Xchange weinig gebruik van gemaakt. Verder ziet men ook een duidelijke meerwaarde ten aanzien van ideeën en inspiratie (door de bijeenkomsten) maar niet ten aanzien van prestatieverbetering en efficiencyverbetering. Wat die laatste punten betreft heeft men wel suggesties aangedragen. 2. Projectleiders vinden unaniem dat projectmanagement kwaliteiten belangrijk zijn voor het slagen van een onderwijsvernieuwingsproject. Veel projectleiders hebben profijt gehad van de E-Xchange bijeenkomsten die over dit onderwerp zijn georganiseerd. Andere projectleiders waren al zo ervaren dat zij op de E-Xchange bijeenkomsten over projectmanagement geen extra vaardigheden hebben opgedaan. 3. Men waardeert het contact met en de inzet van de community manager. De community manager is het gezicht en eerste aanspreekpunt van SURF voor de projectleiders en dat waarderen alle respondenten unaniem. Vervolgens komt veelvuldig de suggestie boven dat de community manager meer ad hoc vraag en aanbod op een informele samen zou kunnen brengen en tips en trics tussen de projecten kan (laten) uitwisselen. 2b.

Is in de afgelopen jaren de begeleiding van de onderwijsvernieuwingsprojecten door SURF verbeterd? Hypothese: De begeleiding van de (deel-)projectleiders door SURF is in de afgelopen 2 jaar verbeterd en E-Xchange was daarin instrumenteel. De begeleiding door SURF van de projectleiders is sinds de start van E-Xchange zeker verbeterd, men waardeert het ten zeerste om een duidelijk aanspreekpunt bij SURF te hebben en ervaart de begeleiding door de community manager als stimulerend voor het gehele projectteam. In gesprekken met de projectleiders van de eerdere projecten wordt aangegeven dat men veel waardering heeft voor de veranderde rol van de SOS en ook voor de persoonlijke betrokkenheid van SURF medewerkers bijv. bij de afsluiting van de projecten. vraag 3. Hypothese:

Hoe goed functioneert E-Xchange als Kennisnetwerk ? (kennisdeling) E-Xchange functioneert als kennisnetwerk en projectleiders weten hierdoor elkaar te vinden en kennen elkaars projecten. E-Xchange heeft haar activiteiten in de afgelopen twee jaar eigenlijk alleen gericht op de projectleiders en deze groep kent elkaar door E-Xchange redelijk goed. In elk geval geven projectleiders aan dat ze elkaar weten te vinden als daarvoor aanleiding is, maar maken daarvan weinig gebruik. De community manager heeft een belangrijke verbindende rol, die in de komende tijd nog zou kunnen worden versterkt. De inhoudelijke bijdrage aan het kennisnetwerk is voornamelijk geleverd door de medewerkers van CIBIT en door projectleiders in de vorm van presentaties en actieve deelname. Conclusie: E-Xchange heeft wel gefunctioneerd als een ‘comunity of practice’, maar niet als een actief kennisnetwerk. vraag 4.

Is E-Xchange erin geslaagd om disseminatie van kennis en expertise te bevorderen? (disseminatie) 4a. disseminatie van kennis en expertise naar buiten de projecten. Hypothese: E-Xchange is erin geslaagd om kennis en expertise van de projecten, -voor zover inmiddels gerealiseerd- te dissemineren en als gevolg hiervan zijn projectresultaten ook werkelijk buiten het project ingezet. Met de expertise en ervaring van de projecten is buiten de projecten niet veel gedaan, wel met de (tussen-)producten voor zover die al gereed zijn. Verspreiding van de projectproducten is het duidelijkst in de projecten die reeds zijn afgerond. Deze kwam tot stand via lezingen, symposia en het eigen netwerk, overwegend op initiatief van de projectleiders en met –gewaardeerde– ondersteuning door SURF/E-Xchange. E-Xchange heeft tot op heden voornamelijk in de uitvoerende en faciliterende sfeer


20

een bijdrage geleverd aan het verspreiden van de projectresultaten, maar heeft er wel bij de projectleiders op gehamerd hoe belangrijk disseminatie is. De meeste projectleiders menen hun eigen afzetmarkt goed te kennen en zijn van mening dat de rol van E-Xchange beperkt is tot het toezien op het maken van goede plannen voor verspreiding, op het vinden van extra afzetmogelijkheden en op het faciliteren van de activiteiten voor disseminatie. De wijze van disseminatie en ook tot op zekere hoogte de rolverdeling hierin is ook afhankelijk van de aard van het product: bijv. voor een product dat zijn toepassing vindt in een bepaald vakgebied of voor een product dat een generieke tool is voor het hele hoger onderwijs. Conclusie: E-Xchange heeft niet bijgedragen om de expertise opgedaan binnen de projecten te verspreiden, maar wel aan de disseminatie van projectproducten. Het initiatief en de plannen voor disseminatie komen meestal van de projectleider. De bijdrage van E-Xchange bestaat erin actief toe te zien op het maken van plannen voor die verspreiding en uit facilitering van de activiteiten. 4b. In welke mate zijn de SURF projecten bekend in het Hoger Onderwijs? Omdat de steekproef van het onderzoek zich heeft beperkt tot projectleiders van de projecten uit alle tenderjaren 1999 – 2002 is op basis van dit onderzoek over dit onderdeel geen uitspraak te doen.

6.2

De tweede fase van E-Xchange 2002-2004

vraag 5.

Inventarisatie van de sterke punten van het E-Xchange programma en van verbeterpunten.

Wat is niet (meer) nodig? Folder over E-Xchange, breed opgezette E-Xchange bijeenkomsten over inhoudelijke thema’s, uitgebreid E-zine. Wat nog wel? Beknopte folder met overzicht projecten als opstapje naar uitgebreidere informatie op het web vooral verspreiding buiten E-Xchange. Duidelijke website voor de projectleiders en een duidelijk format en taakverdeling voor de projectbeschrijvingen binnen de E-Xchange website. Presentaties op de onderwijsdagen. Wat juist wel? Persoonlijk bezoek en spin in het web functie van de community manager, bijeenkomsten over projectmanagement, maar vraaggestuurd en kleine informele bijeenkomsten aan de hand van gezamenlijke vragen die bij de verschillende projecten leven. Wat mis je? Oppakken gemeenschappelijke knelpunten door community manager, duidelijke jaarplanning met wat wel of niet binnen E-Xchange en sjabloons voor voortgangsrapportage en uren administratie.

vraag 6.

Inventarisatie van de toekomstverwachting en de toetsing van een aantal plannen.

Toekomstverwachting voor E-Xchange De projectleiders verwachten dat E-Xchange doorgaat op de ingeslagen weg en deden diverse suggesties voor verbetering en bijsturing. Zij willen graag dat E-Xchange projectmanagement tools en training aanbied, maar niet verplicht. Ze vinden bijeenkomsten met een frequentie van ongeveer 2 tot 3 keer per jaar voldoende en willen graag vraaggestuurd projectmanagement tools en -training aangereikt krijgen en informele kleine bijeenkomsten onderling en met de community waar actuele thema’s en problemen aan de orde komen. Ruimte voor tips & trics, do’s & donts. Daarmee zou E-Xchange meer probleemoplossend kunnen zijn. Verder wordt gevraagd naar meer sjablonen en concrete informatie over de verwachting van SURF over de rapportages. Gesuggereerd is om het spiegelen aan elkaar wat betreft voortgang etc. meer ruimte te geven. Dit laatste zou de efficiency van het projectmanagement kunnen verhogen.


21

Toekomstplannen van SURF m.b.t. E-Xchange: 1. Het opzetten van kennisnetwerken rond inhoudelijke thema’s Men heeft redelijke interesse in het participeren in nieuw te vormen kennisnetwerken en deed een uitspraak over welke thema’s men dan interessant vindt: competenties/portfolio en nieuwe media scoren relatief het hoogst. Maar men vindt het niet passend om dergelijke netwerken onder de paraplu van EXchange op te zetten; daar is en blijft het centrale thema: de projecten. Bovendien is het dan gewenst dat een veel grotere groep experts hierbij betrokken is en niet alleen projectleiders (dat ervaart men nu als de community van E-Xchange) 2. Uitbreiding van E-Xchange activiteiten naar alle ICTO experts in het hoger onderwijs? Deze uitbreiding van de ‘community of practice’ gaat o.a. gepaard met een schaalvergroting van EXchange en verdunning van de community. Uitbreiding is relevant waar het gaat om kennisnetwerken, voor het overige is de meerwaarde van E-Xchange vooral het netwerk van de kleine groep projectleiders uit een tenderjaar en is er alleen bestaansrecht voor een exclusief platform voor projectleiders mits doel en inhoud duidelijk zijn. Projectleiders pleiten ervoor om het bestaande kleine netwerk van projectleiders uit een tenderjaar in stand te houden en E-Xchange te beperken tot activiteiten voor deze groep. Daarnaast komen brede nieuwsbrieven en inhoudelijke themabijeenkomsten beter tot hun recht en hebben een duidelijker profiel als dat via het Forum gaat en toegankelijk is voor experts en geïnteresseerden uit het hele hoger onderwijs.


22

Bijlage A Overzicht bijeenkomsten en overige activiteiten E-Xchange Bijlage A1 Datum

Overzicht bijeenkomsten E-Xchange 2001 en 2002

kickoff (tender 2001) auteursrecht 14-nov-01 (tender 2001) Onderwijsdagen** 1-nov-01 (tenders 99-00-01) 6-sep-01

17-dec-01

PM startup (tender 2001)

PM organiseren en managen (tender 2001) LCMS 4-apr-02 (tender 2001) Kennisuitw. 13-jun-02 syst. (alle tenders) Gebr.perspectief 26-sep-02 (tender 2001-2002) LCMS 31-okt-02 (alle tenders) Onderwijsdagen** 1-nov-02 (alle tenders) PM 9-dec-02 implementatie (tender 2001) PM stakeholders 16-dec-02 (tender 2002) 5-mrt-02

# project leiders

# deelnemers

# evaluaties

21

nvt

-

3

12

24

+ 500

E-Xchange en Cibit

12

nvt

E-Xchange en Cibit

19

nvt

E-Xchange

10

nvt

11

61

65

*

30

32

15

Overwegend positief met aantal suggesties

7

123

18

Positief

57

+ 600

mondeling

E-Xchange en Cibit

14

nvt

-

E-Xchange en Cibit

5

nvt

Onderwerp (voor tenderjaar)

Organisatie door E-Xchange en Cibit IWI en EXchange E-Xchange en SURF

UT en EXchange E-Xchange en Cibit E-Xchange en UvM E-Xchange en SURF

Inhoud evaluaties

Positief, kennis beperkt toepasbaar Overwegend positief met een mondeling aantal suggesties Heel positief, informatie voor 12 de meerderheid direct bruikbaar in eigen project. Heel positief, informatie voor 10 meerderheid direct bruikbaar in eigen project. Positief, informatie gedeeltelijk 8 bruikbaar in eigen project. 12

Matig positief met aantal suggesties Gezichten; overwegend positief

mondeling Positief met aantal suggesties

*alleen van deelsessies, niet geaggregeerd **+ 3 preconferenties, 35/12/30 deelnemers, E-Xchange onderwerpen op gebied disseminatie


23

Bijlage A2 activiteit

Posters

Folder over E-Xchange

Overige activiteiten E-Xchange wanneer

doelgroep

1 per project

Op onder wijsdagen laten zien welke projecten er zijn.

2002

800

Laten zien wat SURF ICTO-ers, bezoekers doet binnen E-Xchange onderwijsdagen

2002

E-zine

3 binnen EXchange in 2002, sinds 12/2002 onderdeel Ezine platform ICT& Onderwijs

800

Overzicht projecten geven.

800

Was bedoeld als infrastructuur voor community, maar werd weinig gebruikt door leden en ook nog soms oneigenlijk. Daardoor irritaties en dus gestopt. (wellicht te vroeg, nog geen community betrokkenheid) Projectleiders weten communitymanager goed te vinden, bellen/ mailen vaak, ook als het over andere SURF zaken gaat of vragen over ICTO onderwerpen, is prima. E-Xchange maakt daarmee SURF en ICTO-veld transparanter en toegankelijker voor projectleiders

bezoekers onderwijsdagen ICTO-ers

verspreiding

planning vervolg in 2003

Op onderwijsdagen digitale versie via het web

Voortzetting

Ja

binnen SURF, ICTOers, (deel)projectleiders

Op onderwijsdagen via projectleiders gaat nog per post naar ICTO-ers en (deel)projectleid ers

Ja, met geactualiseerde versie

(deel)projectleiders en overigen van platform ICT en onderwijs

Abonnement af te sluiten op site

Ja, als onderdeel van de ICT & onderwijs nieuwsbrief

(deel)projectleiders

In onderzoek, met clustering naar thema mogelijke voortzetting (groupware?)

projectleiders

ja, blijvend aandacht en tijd voor bellers

Vanaf 2001

Wordt gemaakt door projectleiders, SURF kan alleen simuleren, niet faciliteren

Doelgroep projecten, (deel)projectleiders, ICTO community en SURF organisatie

Verder stimuleren dat er per OVP ook een eigen projectwebsite is

Vanaf 2001

<< community manager: wordt weinig geraadpleegd. data: gebruik is niet in statistieken terug te vinden>>

(deel)projectleiders, ICTO community HO en SURF organisatie

Mailinglijst

Begin 2002 opgestart

Persoonljik contact via telefoon en e-mail

Vanaf 2001

Projectbeschrijvingen binnen de SURF site

doel

2001/ 2002

Brochure met projecten

Projectwebsites

opl.

Wisselend


ja, met aanpassing

24

Bijlage A2 activiteit

LCMS discussiepagina (op de LCMS themasite)

Persoonlijk bezoek

Overige activiteiten E-Xchange wanneer

september 2002 opgestart

Vanaf 2001

opl. Discussiepagi na liep aanvankelijk goed, viel dood door gebrek aan duidelijk doel, is niet meer beschikbaar Geeft een beeld van de projecten, vragen van pl’s en de mogelijkheid om pl’s met andere pl’s in contact te brengen (dit laatste met wisselend succes).


doel

doelgroep

verspreiding

planning vervolg in 2003

ICTO-ers (deel)projectleiders

ja, met aanpassingen

Projectleiders, opdat community manager goed op de hoogte is en uitwisseling kan bevorderen, lijnen korter

Ja, in 2003 1 à 2 per project

25

Bijlage B Vragenlijst projectleiders 2001 – 2002 Vragenlijst projectleiders 2001 en 2002 - SURF heeft van hooff projects gevraagd om de opbrengsten van het project E-Xchange in kaart te brengen en om de stakeholders te vragen naar suggesties voor verbeteringen. - In dat kader benaderen wij een aantal projectleiders van recente en van de oudere onderwijsvernieuwingsprojecten en zo kom ik bij u terecht. - Het gesprek duurt ongeveer driekwartier tot een uur en ik wil beginnen met te vragen naar een aantal activiteiten en tools die door E-Xchange zijn gebruikt.

I. Evaluatie van de eerste fase van E-Xchange Wat zijn de opbrengsten van de verschillende activiteiten die SURF heeft georganiseerd in het kader van E-Xchange? Bijeenkomsten U hebt de volgende bijeenkomsten in het kader van E-Xchange bezocht. (checken) 1. Was het nuttig voor het verloop van het project of voor de verspreiding van je projectresultaten? 2. zelf ook actieve bijdrage geleverd? Hoe was de verhouding tussen brengen en halen? halen brengen 1 2 3 4 5

3. Hoe was de keuze van thema’s en zijn er thema’s die u gemist hebt? 4. Wensen voor de toekomst (doorgaan met bijeenkomsten, frequentie, onderwerpen, locatie) Wat was de functie van de onderwijsdagen? ………………………………………………………………………………………………………………………………………………………………………… Websites Er zijn verschillende websites met informatie rondom SURF en de projecten, nl. a. www.SURF.nl b. domein E-Xchange binnen www.SURF.nl c. domein Projectmanagement binnen E-Xchange d. www.Edusite.nl site e. www.E-learning.surf.nl 5. Zoekt u wel eens wat op deze sites? Hoe vaak? Wat dan en waar vindt u dat? Heeft u wel eens iets bijgedragen aan een van deze sites? halen brengen 1 2 3 4 5

6. Heeft het een functie voor het project? 7. Heeft u wensen voor toekomstige websites van SURF? E-zine van E-Xchange 8. De e-mail nieuwsbrief van E-Xchange is nu opgenomen in de algemene nieuwsbrief van SURF. - is dat bekend? - wat zou het doel moeten zijn van deze nieuwsbrief? - wat vindt u van deze nieuwsbrief? - kan het beter, suggesties & wensen voor de toekomst? Poster bij de stands op de onderwijsdagen 9. Deze poster was ook als PDF beschikbaar en te downloaden. - is de poster bekend? - wat zou het doel moeten zijn van de poster? - wat vindt u van de poster? - kan het beter, suggesties & wensen voor de toekomst? Evaluatie E-Xchange – eindrapport

26

Folder met een overzicht van de projecten (langwerpig met foto van 2 communicatiestekkertjes) 10. Deze projectenfolder is op de onderwijsdagen verspreid. - kent u de folder? - wat is het doel van deze folder? - wat vindt u van deze folder? - kan het beter, suggesties & wensen voor de toekomst? Folder van E-Xchange (ook langwerpig met meerdere foto’s van communicatiestekkertjes) 11. Deze folder over E-Xchange is ook op de onderwijsdagen verspreid. - kent u de folder? - wat is het doel van deze folder? - wat vindt u van deze folder? - kan het beter, suggesties & wensen voor de toekomst? Persoonlijk contact met SURF/Exchange 12. Heeft u ook persoonlijk contact gehad/werkbezoek van de community manager van de EXchange? a. Zo ja: -a- wat was de meerwaarde daarvan voor -1- het verloop van het project -2- de disseminatie van (tussen)producten en projectvaardigheden b. Zo nee: had u het wel willen hebben, wat zou het hebben opgeleverd? Onderling contact 13. Heeft u wel eens contact met andere projectleiders uit uw tenderjaar? 14. Heeft u contact met projectleiders van de tender 2001 (of 2002)? 15. en van de eerdere tenders (99 en 00)? (opbrengsten, waarom wel of niet enz..…) 16. Hoe ziet u de rol van SURF/E-Xchange in het bevorderen van onderling contact? 17. Bezoekt u wel eens de projectwebsites van andere projecten? Disseminatie 18. Zijn er al (tussen-)producten van uw project beschikbaar gekomen voor buitenstaanders? - zo ja, zijn die al naar buiten gebracht? - via welke kanalen dan? - had E-Xchange daarin een rol? ONDERSTEUNING: Rol van SURF in de facilitering en ondersteuning van de onderwijsvernieuwingsprojecten. 19. Wat is voor U, voor jou de meerwaarde van de deelname aan het programma E-Xchange? weinig

1

2

veel

3

4

5

netwerken/contacten ideeën/inspiratie training begeleiding probleemoplossend prestatie verbetering efficiency verbetering verspreiding projectresultaten leren van andere projecten

Anders, nl.…………………………………………………………………………………………………………………………………………………


27

II.

Verkenning tweede fase 2002-2004

SURF/E-Xchange heeft een aantal plannen en voornemens voor de komende twee jaar. Een aantal wil ik u hier voorleggen. Het oprichten van kennisnetwerken op specifieke thema’s. Het begrip kennisnetwerk hebben we gedefinieerd als een groep mensen, die informeel met elkaar verbonden zijn en via duidelijke kanalen hun ervaringen en kennis onderling uitwisselen rondom een afgebakend thema. Vindt u dat een goed idee? ………………………………………………………………………………………………………………………………………………………………………… Thema’s die SURF in overweging wil nemen zijn o.a. In welke van deze thema’s bent u geïnteresseerd? Welke thema’s mist u? Hoe wilt u het liefst deze thema’s met anderen delen? Welke vorm heeft uw voorkeur? interesse?

Thema’s

-0+

Hoe zou u zo’n kennisnetwerk invullen?

Competenties/portfolio, Samenwerkend leren, Interactief lesmateriaal, LCMS/communities, Nieuwe media Andere thema’s: ……………………

20. Overwogen wordt om de E-Xchange activiteiten uit te breiden naar alle ICTO experts, waarmee SURF een veel grotere groep mensen bij de onderwijsvernieuwingsprojecten wil betrekken. Wat zou dat vooral voor kansen bieden? 21. Wilt u graag na afronding van uw project betrokken blijven bij SURF en zo ja op welke manier? Wat vindt u van deze life cycle van de onderwijsvernieuwingsprojecten ? -klopt het? -wat zou anders moeten? -moet E-Xchange een rol spelen na afloop van een SURF project en zo ja welke? 22. Stel, u bent de nieuwe community manager bij de groep projectleiders van 2003. Wat zou u doen en wat zou u achterwege laten?


28

Bijlage C Vragenlijst Projectleiders 1999 - 2000 Onderzoeksvragen voor de projectleiders 1999-2000 - SURF heeft van hooff projects gevraagd om de opbrengsten van het project E-Xchange in kaart te brengen en om de stakeholders te vragen naar suggesties voor verbeteringen. - In dat kader benaderen wij een aantal projectleiders van recente en van de oudere onderwijsvernieuwingsprojecten maar ook van de oudere tenders en zo kom ik bij u terecht. - Het gesprek duurt ongeveer een half uur en ik wil beginnen met te vragen naar een aantal activiteiten en tools die door EXchange zijn gebruikt.

I. Evaluatie van de eerste fase van E-Xchange Wat zijn de opbrengsten van de verschillende activiteiten die SURF heeft georganiseerd in het kader van E-Xchange? Bijeenkomsten U hebt in de afgelopen anderhalf jaar E-Xchange bijeenkomsten bezocht? (checken) 1. In welke rol? 2. Was het nuttig voor het eigen project, bijv. voor de verspreiding van je projectresultaten? halen

1

2

brengen

3

4

5

Websites Er zijn verschillende websites met informatie rondom SURF en de projecten, nl. • www.SURF.nl • domein E-Xchange binnen www.SURF.nl • domein Projectmanagement binnen E-Xchange • www.Edusite.nl site • www.E-learning.surf.nl • eigen projectwebsite? Is die gelinkt met de E-Xchange site of SURF site? 5. Zoekt u wel eens wat op deze sites? Hoe vaak? -Wat dan en waar vindt u dat? -Heeft u wel eens iets bijgedragen aan een van deze sites? 6. Heeft het een functie voor het project (gehad)? verloop en disseminatie 7. Heeft u wensen voor toekomstige websites van SURF? E-zine van E-Xchange Recent is de aparte nieuwsbrief, speciaal opgezet onder de paraplu van E-Xchange overgegaan in de Edunieuwsbrief van SURF. 8. Wat vindt u daarvan? Is het nog genoeg herkenbaar? suggesties? Poster 9. gezien? nuttig? Projectenfolder 10. gezien? nuttig? Folder over E-Xchange 11. gezien? nuttig?


29

Persoonlijk contact met SURF/Exchange 12. Heeft u ook persoonlijk contact gehad/werkbezoek van de community manager van de E-Xchange actviteiten van SURF? Zo ja, wat was de meerwaarde daarvan voor: - het verloop van het project - de disseminatie van (tussen)producten en projectvaardigheden Contact met andere projectleiders 13. Had u tijdens het eigen project contact met de andere projectleiders van de projecten van hetzelfde tenderjaar? - hoe kwam dat tot stand? 14. Heeft u contact met projectleiders van latere tenders? - hoe kwam dat tot stand? - wat levert dat op? 15. Onderhoudt u nog (regelmatig) contact met andere projectleiders? - wat levert dat voor het project op? 16. Hoe ziet u de rol van SURF/E-Xchange in het bevorderen van onderling contact? 17. Kijkt u wel eens op de project-websites van lopende projecten?

II. DISSEMINATIE van uw eigen onderwijsvernieuwingsproject 18. Hoe zijn de project producten van uw project beschikbaar gekomen voor buitenstaanders? nl. bij: a. andere dan deelnemende groepen binnen uw eigen instelling? b. in andere HO-instellingen, die niet aan uw project deelnemen? c. Hoe is het daar bekend geworden (bv Lezingen, folder, online, schriftelijk) d. Is er, voor zover bekend, ook daadwerkelijk gebruik gemaakt van uw (tussen) producten? e. Had E-Xchange programma van SURF een rol in het bekend worden f. Moet E-Xchange een rol hebben?

III.

Verkenning tweede fase 2002-2004

SURF/E-Xchange heeft een aantal plannen en voornemens voor de komende twee jaar. Een aantal wil ik u hier voorleggen. 20. Het oprichten van kennisnetwerken op specifieke thema’s. Het begrip kennisnetwerk hebben we gedefinieerd als een groep mensen, die informeel met elkaar verbonden zijn en via duidelijke kanalen hun ervaringen en kennis onderling uitwisselen rondom een afgebakend thema. Vind u dat een goed idee?……………………………………………………………………………………………………………………… Thema’s die SURF in overweging wil nemen zijn o.a. a. In welke van deze thema’s bent u geïnteresseerd? b. Welke thema’s mist u? c. Hoe wilt u het liefst deze thema’s met anderen delen? Welke vorm heeft uw voorkeur? Thema’s

interesse?

-0+

Hoe zou u zo’n kennisnetwerk invullen?

Competenties/portfolio, Samenwerkend leren, Interactief lesmateriaal, LCMS/communities, Nieuwe media Andere thema’s: ……………………


30

21. Overwogen wordt om de E-Xchange activiteiten uit te breiden naar alle ICTO experts, waarmee SURF een veel grotere groep mensen bij de onderwijsvernieuwingsprojecten wil betrekken. Wat zou dat vooral voor kansen bieden? 22. (Hoe) bent u na afronding van uw project betrokken gebleven bij SURF? 23. Stel u bent de nieuwe community manager bij de groep projectleiders van 2003. Wat zou u doen en wat zou u achterwege laten?


31

Bijlage D Samenvattingen face-to-face gesprekken Projectleiders Projectleiders 2001 1. persoonlijk bezoek Is enthousiast over E-Xchange, het feit dat SURF een gezicht heeft. Is frequent bezoeker van de bijeenkomsten maar vindt dat daar teveel focus ligt op inhoudelijke thema’s. Wil vooral graag veel meer over de procesmatige kant uitwisselen, ziet daarvan de toegevoegde waarde. Had graag meer gehoord over ervaring van oude projectleiders in beginfase. Heeft grote waardering voor persoonlijke bezoeken van de community manager en nodigt die daarom ook uit voor interne bijeenkomsten. Ziet daar een (nog) grotere rol ten aanzien van het goed overzien wat er speelt en daardoor informeel onderling contact en uitwisseling te bevorderen. Verwacht dat community manager ook kan signaleren wat interessant is voor projectleiders als er b.v. ergens bijeenkomsten of interessante websites zijn of eventueel zelfs worden georganiseerd als daar behoefte aan blijkt. Suggereert SURF in afrondingsfase bijeenkomsten op locatie te organiseren waarin een of meerdere projecten presenteren over proces en producten. Wil graag contact houden na project en rol vervullen in procesbegeleiding nieuwe projectleiders. Vindt de huidige websites onoverzichtelijk en de samenhang onduidelijk. Suggereert één portal met daarbinnen een EXchange als etalage van alle lopende projecten. Een e-zine kan zich beperken tot signaleringsfunctie van nieuwe stukken, relevante conferenties e.d. 2. persoonlijk bezoek Is enthousiast over E-Xchange, het feit dat SURF een gezicht heeft. Is al snel afgehaakt bij bijeenkomsten omdat meerwaarde ontbreekt, haalt inhoud wel van elders, wil vooral contact onderhouden met de andere projectleiders. Hij vindt de contacten met andere projectleiders belangrijk om zich te spiegelen aan het verloop en de projectpraktijk van de collega projecten. Kick-off zou nog veel zwaarder aangezet moeten worden. Heeft grote waardering voor persoonlijke bezoeken community manager. Ziet daar een (nog) grotere rol ten aanzien van het goed overzien wat er speelt en daardoor informeel onderling contact en uitwisseling te bevorderen. Verwacht dat community manager ook kan signaleren wat interessant is voor projectleiders als er b.v. ergens bijeenkomsten of interessante websites zijn of eventueel zelfs worden georganiseerd als daar behoefte aan blijkt. Vindt de huidige websites onoverzichtelijk en de samenhang onduidelijk. Suggereert één portal met daarbinnen een – afgesloten E-Xchange onderdeel met voortgangsrapportage van alle lopende projecten zodat een goede bench-mark mogelijk is. Vindt disseminatie pas van belang in eindfase project, maar doet dat verder overwegend zelf door bestaande contacten en kennis van zijn doelgroep. Onderwijsdagen waren prima voor het ontmoeten van de doelgroep van het projectproduct. Vindt poster en folder overbodige middelen, suggereert wel om brochure te handhaven vanwege het overzicht. Met andere woorden: E-Xchange focus op informeel onderling contact en het project proces, pas in de eindfase op disseminatie. 3. persoonlijk bezoek Is positief over E-Xchange en heeft alle project management bijeenkomsten bezocht, vindt ze relevant en extra interessant omdat eigen project vaak als centrale case is behandeld. Vindt inhoudelijke bijeenkomsten minder interessant, heeft daar wel projectmedewerkers heen gestuurd. Vindt dat project management bijeenkomsten nog meer op projectfases moeten worden afgestemd, de onderwerpen lopen er nu vaak wat achteraan. Inhoudelijke thema’s hoeven niet zo zwaar en formeel te worden opgepakt, als er een gemeenschappelijke vraag wordt geconstateerd via SOS (of CP), een bijeenkomst of door contacten van de community manager, is het beter deze informeel en kleinschalig op te pakken. Mailen, eventueel eens bij elkaar komen met kleine club bij SURF of een van de instellingen en pas als het echt toegevoegd waarde heeft evt. een wat zwaardere dag erover organiseren. Vindt de huidige websites onoverzichtelijk en de samenhang onduidelijk. Suggereert portals voor de diverse doelgroepen van SURF en daarbinnen een – openbaar - E-Xchange onderdeel met voortgangsrapportage van alle lopende projecten zodat een goede bench-mark mogelijk is. Wat betreft openbreken naar hele ICTO community: hoe algemener de boodschap, hoe minder men geneigd is te lezen of iets mee te doen. Doet zelf bijna vanaf het begin aan disseminatie, omdat er al vroeg in het project kleinere eindproducten waren. Deelname in E-Xchange is maar klein aandeel in wat wordt gedaan aan disseminatie. Ziet voor


32

deze disseminatie geen directe rol voor SURF met uitzondering van de onderwijsdagen. Adviseert SURF om flink naar buiten te treden met geslaagde, afgeronde projecten: komt SURF ten goede, de bekendheid van die projecten en is een stimulans voor ICT innovaties in het HO! 4. persoonlijk bezoek E-Xchange probeert iedereen erbij te betrekken, maar projectleider voelt het erg als een verplichting. Ervaringen uitwisselen tussen projectleiders vind hij de bedoeling van E-Xchange, maar projectleider heeft hierin geen zin, is geen doel voor hem. Agenda van de meetings is niet wervend genoeg. De Kickoff meeting was goed, vooral info over aanpak onderwijsvernieuwingsprojecten algemeen en verwachting van SURF en om de gezichten van SURF te zien. Projectmanagement bijeenkomst: door de werkvorm moet er veel uit groep komen, projectleider wil liever iets meer zakelijk i.p.v. op flappen schrijven wat je geleerd hebt. Project management is wel heel belangrijk onderwerp. Disseminatie hoort niet thuis binnen E-Xchange omdat het niet het juiste publiek is. De sfeer van E-Xchange bijeenkomsten is erg informeel en dat is heel goed. Onderwijsdagen: Nuttig, aanleiding om eigen project op een rij te zetten en te zien welke producten er verder nog zijn. Potentiële publiek om producten te dissemineren is hier aanwezig en de stand en met name de workshop rondom het project waren heel nuttig, zeker ook voor het publiek, maar deze aandacht kost de projectleider wel veel tijd. Bij de disseminatie verwacht de projectleider veel ondersteuning van SURF. 5. telefonisch interview E-Xchange bijeenkomsten zijn erg nuttig om te zien wat er om je heen gebeurt, wat de andere onderwijsvernieuwingsprojecten doen. Hiermee creëert SURF een marktplaats voor uitwisseling tussen projectleiders en dat is goed. Hij waardeert het informele en interactieve karakter van de bijeenkomsten. De sessies door CIBIT staan of vallen met degene die het leidt: de een is soms iets te strak met de regeltjes en een ander heeft het nu eenmaal beter in zijn vingers. Eén discussieleider per sessie zou op zich voldoende zijn. Soms zijn de sessies te weinig op de SURF en de situatie in een onderwijsvernieuwingsproject toegesneden, zou meer specifiek kunnen worden voorbereid. Thema’s: inhoudelijke thema’s zijn erg goed (bijv. copyright) en andere erg fuzzy bijv. over projectmanagement, waaraan zelf geen behoefte. Het is belangrijk om vooral aan het begin goede praktische informatie aan te bieden, zoals tijdschrijfmechanisme, wat wil SURF precies weten in de voortgangsrapportages etc. Idee voor een thema: contracten met derden. Het zoeken naar inhoudelijke overlap (stickertjes, Zeist) is niet verder opgepakt, maar dat zou wel kunnen gebeuren door iemand die alles goed overziet, bijv. de community manager. Die moet dan wel inhoudelijk heel erg zijn ingevoerd in de materie om goed te kunnen adviseren en om de juiste verbindingen te kunnen leggen. Organiseren van kleinere vraaggestuurde bijeenkomsten op een onderwerp met een aantal geïnteresseerde projectleiders zou goed zijn. De onderwijsdagen zijn zeer instrumenteel voor het onderwijs vernieuwingsproject, vooral halverwege het onderwijs vernieuwingsproject: dan een workshop kan zeer waardevolle bijsturing voor de tweede helft opleveren. Kennisnetwerken is een goed idee; eenmaal per jaar bijeenkomst op de onderwijsdagen en verder online, thema: course ware. Cyclus: Elk project moet verantwoording afleggen, naar de subsidiegever via de SOS bijeenkomsten (maar dan zónder andere projectleiders), naar de andere projectleiders binnen het kader van E-Xchange en naar de maatschappij via het HO-veld op de onderwijsdagen. In de projectperiode liever meer templates om te weten dat je aan de eisen voldoet. Surf kan bij de disseminatie haar kanalen ter beschikking stellen om promotie te maken. Projectleider vindt SURF een plezierige organisatie waar hij ook in de toekomst nog graag bij betrokken wil blijven. 6. telefonisch interview Is naar meeste bijeenkomsten E-Xchange geweest, aanvankelijk zelfs vaak met 4 mensen van het project uit een soort plichtsbesef, later met minder. Heeft ook een keer een presentatie verzorgd maar de feedback daarop viel tegen. Vond de themakeuze goed alleen de project management onderwerpen sluiten niet altijd helemaal aan bij de cyclus van het eigen project. Heeft voor eigen project geen wensen meer voor de bijeenkomsten. Kijkt maar heel weinig op de sites, nooit op de EduSite op overige SURF sites af en toe, als hij echt iets gerichts nodig heeft maar dat is niet vaak. Merkt wel dat de projectwebsites bekeken worden en krijgt ook daardoor wel gerichte belangstelling. Vindt het verder geen interessant onderdeel van E-Xchange. Is ook niet zo geboeid door de e-zines, het combineren met het platform maakt dat je meer informatie krijgt met de daarbij behorende voor- en nadelen. Vindt enige functie e-zine een attendering op bijeenkomsten e.d., verder niet relevant. Poster wel aardig als Evaluatie E-Xchange – eindrapport

33

attendering naar de buitenwereld maar voor eigen project is door misverstand nooit een poster gekomen. Wel een aardige service maar pas op dat het niet teveel tijd en geld kost. Doel projectenfolder niet helemaal duidelijk, een overzicht is op zich wel aardig maar een veel beknopter versie met goede url’s erin is zinvoller. Folder over E-Xchange overbodig product. Persoonlijk bezoek erg op prijs gesteld, pijnpunten besproken al zijn er verder geen concrete zaken uit voortgekomen. Heeft weinig contact met andere projectleiders omdat ieder toch met zijn eigen knelpunten bezig is. Community manager zou wel meer kunnen betekenen door het zicht op de gemeenschappelijke vragen en knelpunten. Heeft nog geen (tussen)producten gereed maar binnenkort wel maar heeft eigen doelgroepen goed in kaart, rol van SURF bij disseminatie beperkt, bijdrage aan verspreiding onder niet primaire doelgroepen via het platform ICT&onderwijs. Begrijpt de term disseminatie niet goed. Vindt meerwaarde van E-Xchange vooral in training project management vaardigheden, met name het leren van andere projecten viel tegen. Idee kennisnetwerken wel aardig maar dan moeten er toch ook fysieke bijeenkomsten zijn, kan niet zonder. Is dan geïnteresseerd in competenties en portfolio. Wil ook op die manier wel bij SURF betrokken blijven. Zou zelf als community manager in grote lijnen op zelfde manier doorgaan, project management sessies wat aanpassen en nog meer coachen en bijsturen op wat naar voren komt in sessies en uit projectbezoek blijkt. 7. telefonisch interview Is maar beperkt aanwezig geweest bij E-Xchange bijeenkomsten door tijdgebrek, vond de project management bijeenkomsten wel nuttig en goed voor reflectie op eigen project. Toch weinig kennisdeling, projecten verschillen te veel. Keuze project management thema’s was goed en mooi passend bij eigen cyclus (dit project was wat later begonnen). Onderwijsdagen niet zo interessant, wel heel goed gefaciliteerd door SURF maar weinig bezoekers. Kijkt nauwelijks op de betreffende websites, af en toe op EduSite en vindt het verder ook niet zo boeiend. Zou wel wat meer willen weten over de andere projecten, zowel het proces als resultaat en dat dan on-line. Heeft niet eens gemerkt dat EXchange geen eigen nieuwsbrief meer heeft, kent alleen e-zine van de EduSite, zou eventueel een e-zine op prijs stellen waarin over met daarin korte opsomming van relevante onderwerpen. Poster aardig ja maar had niet zo gehoeven, misschien wel nuttig voor imago SURF. SURF kan nog wel meer naar buiten treden met de projecten wellicht. Kent projectenbrochure niet maar zou aardig zijn mits met duidelijke verwijzingen naar websites en personen er achter. E-Xchange folder ook onbekend en ziet daar niet zo gauw van in voor wie het van nut zou kunnen zijn. Heeft persoonlijke bezoeken van de community manager erg op prijs gesteld, enthousiasmeren voor hele projectteam maar er is niets concreets uit voortgekomen. Hoopt nog een bezoek te ontvangen in disseminatiefase. Heeft andere projectleiders alleen op bijeenkomsten gezien, vindt dat E-Xchange onderling contact zou kunnen bevorderen door het benoemen van gemeenschappelijke vragen. Heeft al wat aan disseminatie gedaan via projectwebsite en een symposium binnen eigen vakgebied. Rol E-Xchange zeker door advisering bij symposia en misschien een bijeenkomst over didactiek van digitale materialen. Ziet wel wat in kennisnetwerken maar dan moet het ook met bijeenkomsten. Wil op die manier ook graag bij SURF betrokken blijven. Zou zelf in de rol van de community manager voor zelfde aanpak kiezen maar met een minder vrijblijvend karakter en nog meer de focus op ondersteuning door SURF in de opstartfase. SURF kan wel wat meer sjablonen voor de voortgangsrapportage leveren en zou ook kunnen overwegen SOS en E-Xchange te integreren. Is erg positief over SURF en de veranderende rol van de SOS. 8. telefonisch interview Heeft twijfels bij nut E-Xchange. Is niet veel op bijeenkomsten geweest, heeft er wel voor gezorgd dat project altijd vertegenwoordigd was maar vond meerwaarde erg matig zowel project management als themabijeenkomsten. Vrijblijvende vriendelijke sfeer waar een aantal mensen beleefdheidshalve doen alsof ze het interessant vinden maar het eigenlijk overbodig vinden. Weet dat ook van anderen, die dan wel blijven komen voor netwerk en interesse te tonen. Vond onderwijsdagen matig doordat zowel professionaliteit publiek als verdiepingsmogelijkheden tegenvielen. Kijkt vrijwel nooit op een van de SURF sites. Vond laatste e-zine, van het platform onderwijs&ICT, eindelijk relevante zaken bevatten en goed van opzet: korte samenvattingen en berichten over tenders, SURF zaken, bijeenkomsten. Gewoon simpel en strak. Vindt poster overbodig, evenals beide folders. Stelt wel de projectbezoeken, nu twee, erg op prijs, heeft goede impuls aan project gegeven. Weinig contacten met andere projectleiders, zowel inhoudelijk als qua niveau te veel verschillen maar ziet wel goede rol E-Xchange in specifieke onderlinge contacten. Doet al aan disseminatie via project-website, off-line producten en een seminar. Ziet beperkte rol E-Xchange, hooguit voor wat extra communicatie. Heeft geen interesse in kennisnetwerken. Wil na het project graag bij SURF betrokken blijven bijvoorbeeld binnen SOS coachen Evaluatie E-Xchange – eindrapport

34

en kritisch meekijken projecten. Zou absoluut niet de rol van community manager willen hebben, vindt het een onmogelijke opgave, hooguit te realiseren door ervaren projectleider. SOS en E-Xchange kunnen goed in elkaar geschoven kunnen worden en in elk geval zou men bij elkaars reviews moeten kunnen zijn dat is leerzaam. Vindt dat er iets te grote nadruk ligt op disseminatie met risico dat dat gebeurt in een stadium dat het nog niet kan. 9. telefonisch interview Het belangrijkste van E-Xchange is het contact met de andere projectleiders om ervaringen uit te wisselen wb. generieke aspecten van de projecten, zoals projectmanagement en hiertoe beperken en liefst meer praktische handvatten aanbieden, zoals sjabloons voor urenadministratie en voortgangsverslagen zoals voor het indienen van een project aanvraag. Sessie over ''wat voor soort project management ben je nu eigenlijk" is niet nuttig. Papiertjes plakken vindt hij ook niet nuttig en dit kreeg ook geen follow-up en daarvoor is bovendien geen tijd. Geen pogingen doen om inhoudelijk af te stemmen of evt. vraaggestuurd met een subgroepje. Als dat aan de orde is: low-profile via community manager of zelf in de wandelgangen, daarom is het belangrijk om elkaar te kennen. 2x aanwezig bij een kick-off meeting: éénmaal in eigen tenderjaar en eenmaal jaar daarna was dubbelop en niet nuttig. Onderwijsdagen waren goed om te laten zien wat je doet, maar het publiek was niet erg geïnteresseerd. Maak bijv. een thema of stream op voor de projecten zodat ze zich nog beter kunnen presenteren. Aan het begin van het project is niet duidelijk hoeveel tijd voor E-Xchange en onderwijsdagen etc. nodig is, daarom is hiervoor niet voldoende tijd begroot. Laat tevoren weten hoeveel tijd het kost: inplannen. Van de websites gebruikt hij de EduSite het meest en deze is het meest functioneel voor hem. Eigen onderwijs vernieuwingsproject website neemt binnenkort de functie van de E-Xchange site wb. info over het project over. Projectleider hoopt te voorkomen dat je alles op twee plaatsen moet bijhouden. Wensen voor de website: E-Xchange site bevat korte info met directe link naar eigen project website en een apart gesloten deel voor projectleiders voor discussie en uitwisseling van informatie. Liefst niet teveel verschillende nieuwsbrieven. Poster van vorig jaar had meegenomen moeten worden, maar dat liep helaas mis. De community manager is op teambijeenkomst van het project geweest, dat is goed voor de communicatie met SURF en zo weet de subsidiegever wat we doen. Kennisnetwerken: zeer goed idee, bijeenkomsten (< 4x per jaar) en discussion boards. Betrekken van ICTO-ers in E-Xchange: niet doen, je kunt voor disseminatie beter de docenten en onderwijsmanagers hierbij betrekken. Als ik community manager was: sociale aspect van de community handhaven, het is nuttig om elkaar te kennen. Begin: concretere handreikingen met sjabloons etc. Inhoudelijk evt. later uitdiepen: per onderwijs vernieuwingsproject of per thema, maar vraaggestuurd en ad hoc. Per vakgebied een contactpersoon aanstellen om de link naar bepaalde vakgebieden te leggen en informatie naar beide kanten uit te wisselen. 10. telefonisch interview Is bijna altijd naar bijeenkomsten geweest, vooral netwerken heel belangrijk en nuttig en als bijeenkomst dan ook nog goede structuur heeft. Halen brengen lastig aan te geven, hoe meer je brengt (presenteert) hoe meer je terug kan krijgen. Vond inhoudelijk niet alles even goed, bijvoorbeeld over disseminatie teveel in algemeenheden en de inhoudelijke bijeenkomsten wat te abstract. Preconference op onderwijsdagen matig, bezoekersaantal SURF stand viel wat tegen, maar geheel onderwijsdagen toch wel positief. Kijkt nauwelijks op de websites, alleen als gericht iets wordt gezocht. Eigen conceptproducten stonden er te snel op maar dat is vervolgens naar tevredenheid opgelost. SURF zou kunnen overwegen een heldere startpagina te maken maar zo als nu kan het ook wel, als hij iets niet zo snel weet is het altijd goed mogelijk om de community manager te bellen. Weet pas na veel uitleg de nieuwsbrief van E-Xchange voor de geest te halen, maar leest het niet. Ziet toch wel bestaansrecht van iets maar dan alleen binnen E-Xchange bijvoorbeeld iets wekelijks maar dan heel kort en met relevante links. Vindt poster een uitstekende service en gebruikt het nu zelf. Is positief over folder met overzicht projecten, gebruikt dat zelf binnen instelling om te laten zien wat er gebeurt binnen de onderwijsvernieuwingsprojecten. Idem voor de folder over E-Xchang, mooi product voor ICTO-ers en iedereen in het HO die in ICT geïnteresseerde is. Heeft drie keer projectbezoek gekregen en dat was plezierig en nuttig. Community manager is hulpvaardig en oplossingsgericht, had goede inbreng in workshop maar mag wel iets meer een trekkersrol nemen. Onderhoudt geen tot weinig contact met andere projectleiders, zal niet zo gauw toegevoegde waarde hebben en hij ziet daarvoor ook geen rol voor E-Xchange. Heeft nog geen afgeronde producten voor disseminatie, ziet daarbij wel rol voor EXchange in de vorm van (mede) organiseren bijeenkomsten en het adviseren over –extra- afnemers. Ziet wel wat in kennisnetwerken, mits ook in vorm van bijeenkomsten, dan over LCMS. Dit kan ook wel met Evaluatie E-Xchange – eindrapport

35

het ICTO veld erbij. Wil graag nog een project bij SURF doen, het is een goede en stimulerende omgeving om aan een project te werken en je blijft daardoor ook in een netwerk. Zou huidige community manager nadoen als hij het zelf zou moeten, wel wat meer zoeken naar gezamenlijke thematische sessies in klein verband, informeel en vooral concreet. Vindt mate en manier waarop SURF zich opstelt in projectcyclus positief, veel beter dan andere subsidiegevers waarmee hij eerder werkte, die wilden alleen sluitende standaardrapportages. 11. telefonisch interview Is weinig naar de bijeenkomsten geweest, vooral vanwege tijdgebrek. Met name het netwerken met de anderen is heel interessant, onderwerpkeuze aardig suggestie om meer rekening te houden met de projectomgeving b.v. administratie, toebedeelde formatie. Vond onderwijsdagen 2001 wat tegenvallen, suggereert meer hands-on workshops. Websites een warboel, onsamenhangend geheel, alles loopt achter, nieuwe zaken komen er te laat op. Websites hebben verder weinig functie voor het project. Suggereert om ieder eigen projectgedeelte binnen SURF bij te laten houden binnen format SURF. Kent pas na veel toelichting de e-zines, integratie is ontgaan. Hoeft geen e-zine maar ziet wel iets in een regelmatig rondschrijven van de community manager n.a.v. concreet nieuws of iets en dan kort en bondig. Vindt poster een mooi, professioneel product maar gebruikt het verder zelf niet, vraagt zich wel af of kosten en baten wel in balans zijn bij alle PR activiteiten, beter om meer tijd en budget aan bijeenkomsten te besteden. De projectenfolder had beter een lijst met hyperlinks kunnen zijn, geïnteresseerden kijken dan wel. Zo ook de brochure over E-Xchange; de uitleg van de community manager is toch een goed en duidelijk verhaal en wie is daar nou verder in geïnteresseerd? Heeft meerdere keren de community manager op bezoek gehad, zinvol. Daarover is ook op de sites gepubliceerd maar dat heeft geen reacties opgeleverd. Vindt dat er wel vaker sprake is geweest van losse ballonnetjes waar verder niets mee gebeurt en dat is jammer. Heeft buiten bijeenkomsten (en de treinreizen) geen contact, ziet daarvoor voor SURF geen extra rol anders dan nu al die bijeenkosten organiseren. Doet al aan disseminatie door presentaties en publicaties, ziet daarvoor verder niet een speciale rol voor SURF. Ziet niet veel in kennisnetwerken, zou gauw los zand worden. E-Xchange vooral niet uitbreiden, dan wordt het een platform dat nauwelijks iets toevoegt aan bestaande platforms. Zal voorlopig wel bij SURF betrokken blijven via al lopende participaties. Zou zelf als community manager websites fors strippen met een goede startpagina, nog meer nadruk leggen op faciliterende rol maar ook naar een iets hoger niveau trekken zodat het meer een kennisplatform kan worden. Voorts informatie projectwebsites meer aan de projectleider-ers overlaten en het oordeel en gebruik door studenten meer bij het geheel betrekken. Stoort zich momenteel wat aan rol van de SOS maar vindt het een goede zaak dat dat redelijk gescheiden is van E-Xchange.

Projectleiders 2002 12. persoonlijk bezoek Heeft twijfels bij nut van E-Xchange. Is zelf een ervaren projectleider, heeft al onderwijs vernieuwingsprojecten afgerond en ook nu verschillende onder zijn hoede meent dat bij anderen ook wel te proeven men is wel vriendelijk en meegaand maar het hoeft niet zo. Voorziet dat mensen deelprojectleiders gaan sturen en dat mede daardoor erosie optreedt. Suggestie voor invulling: zoek naar rode draden laat daar een of enkele cases op presenteren aan de hand van een specifieke ervaring en/of probleem en laat dat dan door bijv. CIBIT naar een hoger niveau trekken thema’s bijv. implementatie en beheer en onderhoud naderhand. Kijkt nooit op de websites en ontvangt ook geen e-zines. Verwijst daarvoor naar een medewerker. Suggereert een website met goed overzicht van de projecten. Heeft poster aan de deur hangen en vindt dat aardig werken. Projectenfolder is een nuttig product, maar ziet niet zo gauw nut van E-Xchange folder. Ziet uit naar het eerste projectbezoek van de community manager. Verwacht niet veel actief contact te leggen en onderhouden met andere projectleiders, ziet daarvoor wel een rol voor de community manager die relevante verbindingen kan stimuleren. Nog geen sprake van (tussen)producten maar verwacht dat goed zelf te kunnen afzetten, ziet daarvoor verder beperkte rol E-Xchange door bijvoorbeeld links op website SURF. Heeft, ondanks beginfase, geen behoefte aan kennisnetwerken, Hijzelf en deelprojectleiders weten prima hun weg te vinden als ze aansluiting willen. projectleider-er wil graag bij SURF betrokken blijven door eigen expertise en ervaring in te zetten bij medebeoordelen en begeleiden nieuwe projecten. Zou zelf als community manager gaan werken aan oorspronkelijke doelstellingen van E-Xchange, daar zou de aandacht moeten liggen. Er is nog veel werk te doen voor SURF als het gaat om implementatie van de resultaten van de projecten, het zoeken naar de overal leereffecten van projecten, analyse over b.v. het effect van ELO op het onderwijs, Evaluatie E-Xchange – eindrapport

36

wat kan er nou werkelijk worden gedaan met LCMS enzovoort. Binnen de doelstelling van verbetering van het proces ziet hij wel een taak voor de community manager te weten goed zoeken naar het gemeenschappelijke en die op een hoger niveau aanpakken. Maar laat instellingen er maar voor zorgen dat er alleen ervaren projectleiders worden ingezet dan kan SURF zich op de wezenlijker zaken storten. SURF pas op voor klemtoon op disseminatie, wacht daarmee tot er iets goeds is. Wel belangrijk om disseminatie te integreren in voortgangsrapportage maar pas op voor "gij zult dissemineren". SOS zou nog wel meer aan begeleiding kunnen doen, E-Xchange zoals nu wordt gedaan hoeft dus niet zo (in die mate). 13. telefonisch interview Bijeenkomsten zijn nuttig om om je heen te kijken en de scope van andere projecten te zien en andere projectleiders te ontmoeten. Zeist stickertjes, vervolg is helaas niet opgepakt, maar iemand moet het geheel overzien. Het is belangrijk om hele eenvoudige beginvragen aan de orde te hebben. Hoe kijkt SURF naar een onderwijs vernieuwingsproject, naar rapportages etc. Zou veel kunnen leren van mensen die onderwijs vernieuwingsproject net achter de rug hebben. Onderwerpen: plaats het proces en de knelpunten centraal, bijv. hoe om te gaan met de omgeving binnen de instellingen, met de beperkt toebedeelde formatie etc. Frequentie E-Xchange: niet te vaak, liever ad hoc de community manager bellen voor oplossingen en niet teveel praten. Geef een sjabloon van controling docs met een voorbeeld ook van de financiële verantwoording, uren bijhouden, tot op welk niveau moet dat beheerd worden met een vb. met minimale eisen. De onderwijsdagen zijn matig nuttig, liefst ook daar alleen bottlenecks en knelpunten presenteren zodat het die helpt oplossen. Inhoudelijk is projectleider weinig in onderwijsdagen geïnteresseerd. Bezoek van de community manager is nuttig voor SURF om de vinger aan de pols te houden, tweemaal per jaar is goede frequentie. Disseminatie: daarin is de projectleider per definitie expert, moet SURF er zich niet mee bemoeien. Na afloop van het project wil de projectleider graag bijv. half jaar na afloop een evaluatie. De rol van de community manager: faciliteren en ondersteuning bij de rapportages en tevoren een kalender geven van een heel jaar zodat de E-Xchange activiteiten goed zijn in te plannen. 14. telefonisch interview Stelt bijeenkomsten op prijs, is tot nu toe geweest en daar concreet niets wijzer geworden maar vindt het een goede aanvulling van zijn referentiekader. Is enthousiast over opzet: project management thema’s. Aangepast aan de fase van het project. Kijkt af en toe op enkele van de genoemde websites, vindt het een prettig en toegankelijk SURF dossier voor informatie over andere projecten, adresgegevens en beleidsstukken. Verder niet zo boeiend en ook geen speciale wensen. Integratie van de nieuwsbrief was niet bekend, kent eigenlijk alleen nieuwsbrief EduSite (en Sciense Guide) en suggereert om bestaande nieuwsbrief te integreren in EduSite. De poster hangt op de deur van zijn kamer, mooi product, goed voor het imago van zowel SURF als van het project. Vindt de folder met de projecten een nuttig product en zal dat zeker zelf ook verspreiden binnen de instelling, hetzelfde voor de folder over E-Xchange, nuttig voor iedereen in het Hoger Onderwijs die in ICT innovatie is geïnteresseerd. Heeft al een werkbezoek van de community manager achter de rug, nuttig voor dialoog en wisselwerking projectSURF. Kent wel de projectleiders uit eigen tenderjaar en heeft op de onderwijsdagen wel wat contacten te leggen maar verwacht daar toch niet heel veel van, de projecten zijn toch wel heel erg verschillend. Community manager kan dit wel stimuleren projectleiders zullen niet zo gauw initiatieven nemen terwijl het wel nuttig kan zijn. Gaat wellicht meer op projectwebsites kijken als projecten wat op gang zijn. Project is nog maar in beginfase dus nog geen disseminatie, als het zover is zal hij zelf lezingen geven en publicaties verzorgen SURF kan bijdragen door te faciliteren, b.v. op onderwijsdagen iets extra’s organiseren en extra doelgroepen benoemen. Ziet wel wat in kennisnetwerken maar met het gevaar dat het een wat vrijblijvend karakter heeft, moeten ook wel bijeenkomsten bijhoren. ICTO-veld beter niet bij E-Xchange betrekken, daarmee verwatert de zaak en wordt het wat vrijblijvend. Wil graag bij SURF betrokken blijven vanwege het netwerk, ziet voor zichzelf wel een expertrol ten behoeve van workshops, presentaties en eventueel meewerken aan publicaties. Zou zelf als community manager zelfde aanpak kiezen maar meer betrokkenheid afdwingen. Geen e-zine omdat dat teveel tijd kost, duidelijke prioriteitenlijst samenstellen aan het begin van het jaar waarbinnen ruimte is voor wijzigingen op verzoek van de projectleider-ers. SOS en E-Xchange gescheiden houden maar meer letten op uitwisseling van informatie.


37

15. telefonisch interview E-Xchange is vooral belangrijk voor het contact met de andere projectleiders, om te zien hoe anderen bepaalde zaken aanpakken en hoe wordt omgegaan met afwijkingen van het plan. Zoeken naar inhoudelijke overlap van onderwijsvernieuwingsprojecten blijkt niet succesvol (sessie met de stickertjes). Een van de belangrijkste doelen is dat E-Xchange duidelijk maakt wat de verwachting is van de SOS, wb. rapportages, tijdmanagement, mate van detail etc. Frequentie van 2-3 x per jaar en centrale locatie (Utrecht) zou prima zijn. De onderwijsdagen zijn zeer nuttig om te zien in welk groter kader het onderwijs vernieuwingsproject wordt uitgevoerd en zien wat er verder gebeurt: inspiratie en om te leren van de problemen die zich elders voordoen. Het standbezoek was erg matig, de poster kan veel beter en een lopende show van 5 minuten onderwijs vernieuwingsproject presentaties zou meer belangstelling trekken. Websites gebruikt hij zelden en een verslag van een bepaalde bijeenkomst () heeft hij niet kunnen vinden en ook naar sjabloons voor voortgangsrapportages heeft hij tevergeefs gezocht. Websites van andere onderwijsvernieuwingsprojecten zijn bekeken als inspiratie om er zelf een op te zetten. projectleider doet niet veel met de info uit de nieuwsbrief, maar hoopt dat het in de toekomst iets meer uitnodigend gepresenteerd kan worden: kort met links en mooiere opmaak. (nu = lap tekst) de community manager is op teambijeenkomst geweest en vond het nuttig; volgende bijeenkomst zal hij haar aanwezigheid meer actief inzetten. Dit contact is nuttig voor uitwisseling van info en suggesties met iemand die het overzicht heeft. Er zou ook een lijntje met de SOS moeten zijn, direct of indirect. Je zou voor disseminatie ipv de ICTO-experts de docenten en de onderwijsdirecteuren moeten benaderen door hen heel concrete mogelijkheden te laten zien. Maar uitbreiding van het E-Xchange netwerk met ICTO-ers is geen goed idee: dan komen de zaken uit je eigen onderwijs vernieuwingsproject niet meer aan de orde. Project Cycle van de SURF onderwijsvernieuwingsprojecten: Zorg dat na een project de continuïteit wordt gewaarborgd en de resultaten niet kunnen verdampen. Ook na onderwijs vernieuwingsproject is uitwisseling van ervaringen en ideeën belangrijk, dan evt. wel ICTO-ers erbij betrekken. In de rol van community manager zou de projectleider met elk onderwijsvernieuwingsproject-team (hele team) een sessie organiseren vroeg in het project om disseminatie te bespreken en een actieplan op te zetten. Rol van de community manager is dan leidend en actief en een bron van suggesties en tips. 16. (projectleider 2000 en 2002) telefonisch interview Projectleider vond de bijeenkomsten zeer nuttig en met name de kick-off meetings waren erg informatief. Hij heeft bijv. al in het begin geleerd om zijn project goed te loggen en dat bleek erg nuttig voor de project bewaking. Hij heeft soms moeite met de door E-Xchange gekozen thema’s, die niet altijd aansluiten bij zijn ‘denkraam’ en geeft de voorkeur aan een meer vrije vorm. Hij vond het erg knap hoe een sessiebegeleider van CIBIT eens een bijeenkomst op verzoek van de deelnemers helemaal omgooide. De frequentie van bijeenkomsten is idealiter 4x per jaar en ook het aantal aanwezigen, de opkomst is erg bepalend voor het resultaat. Hij vraagt om meer ondersteuning voor de rapportages, mn. aan de financiële kant bijv door een standaard spreadsheet aan te reiken. Laat E-Xchange de data van bijeenkomsten goed tevoren plannen en dan liefst een intensieve bijeenkomst ipv kortere. Hij gebruikt de SURF site alleen voor contact-informatie en bijeenkomsten ed. en kijkt af en toe op de EXchange site bij de andere onderwijsvernieuwingsprojecten. Directe inschrijving voor bijeenkomsten via de site is geweldig. Jammer dat de Surf website niet direct doorlinkt naar de EduSite. De aanwezigheid van SURF medewerkers bij een projectbijeenkomst was geweldig inspirerend en duidelijk, mn. door de uitleg over rapportages, neuzen in de zelfde richting. E-Xchange naast SOS is goed. Rol van de community manager kan nog meer signaleren en contacten leggen over bijv. oppikken van technologieën etc.: kort en direct. Disseminatie: via beroepsverenigingen, clubblad, congres, werkgroep, website, CDROM. Kennisnetwerken: eventueel, maar smal houden en vooral over technische onderwerpen. Over het betrekken van de ICTO-ers uit het HO veld zegt hij dat dat projectleiders heel veel tijd kost, is nu al zo. Na afloop van het onderwijs vernieuwingsproject moet SURF wel blijven volgen wat er met een project gebeurt en wat het teweeg heeft gebracht, bijv. door mede subsidiegever (RvB/CvB) te vragen naar resultaten. Dat bevordert de disseminatie en het gebruik.


38

Projectleiders 1999 en 2000 17. telefonisch interview Projectleider vindt dat in E-Xchange activiteiten project management niet aan de orde zou moeten komen, hoewel het wel erg belangrijk aspect is van een onderwijs vernieuwingsproject; SURF moet tevoren eisen stellen aan de projectleiders. Hij heeft wel aanknopingspunten voor disseminatie gevonden in de bijeenkomsten (oa onderwijsdagen): wie te benaderen, strategie en vindt het belangrijk te leren van de anderen hoe ze een onderwijs vernieuwingsproject aanpakken. E-learning site is niet bekend, de andere wel. Surf site wordt gebruikt voor praktische info en projectleider controleert of de onderwijs vernieuwingsproject info klopt. Die wordt gebruikt door bestuurders en projectleiders van andere projecten en door potentiële gebruikers. De info is duidelijk, ik vind wat ik zoek. Projectleider heeft contact gehad met de community manager met name over promotie van het eindproduct. De community manager was zeer geïnteresseerd en behulpzaam bij deze promotie. Disseminatie: via tijdschriften, nieuwsletters (intern en extern), mailing naar docenten, slotbijeenkomst. Kennisnetwerken: Is geen hoofdzaak, wil geen tijd aan besteden, liever vooral op onderwijs vernieuwingsproject richten. Goed nadenken over de hoeveelheid die alle activiteiten van mensen vragen, soms erg veel. Projectleiders moeten niet vaker dan 4x per jaar opgetrommeld worden. SURF Project Cyclus: Bij de beoordeling van de projecten zou SURF meer moeten focussen op onderwijsverbetering en niet persé vernieuwing. 18. telefonisch interview Projectleider had graag meer ondersteuning gehad op het gebied van project management, zowel inhoudelijk als financieel. Projectleider stelt voor om een website of projectplace voor korte discussie (chat) bijeenkomsten voor projectleiders te organiseren. Daarnaast is aandacht voor de omgeving van het onderwijsvernieuwingsproject belangrijk: onderwijs vernieuwingsproject zit in de mangel tussen SURF, eigen instelling en administratieve eisen van de andere deelnemende instellingen, vooral administratief. Laat bijeenkomsten samenvallen met de onderwijsdagen: tijdsparen! Presentatie van het onderwijs vernieuwingsproject op de onderwijsdagen was erg nuttig en veel feedback. Community manager heeft bezoekje afgelegd, was heel plezierig, maar het heeft de lastige situatie rond de project organisatie niet kunnen oplossen. Disseminatie is gedaan via website, instructiebijeenkomsten, presentaties, e-mails naar sleutelfiguren, congressen in binnen en buitenland, contacten met buitenlandse instituten, artikel schrijven in boek. SURF kan hooguit instrumenteel ondersteunen, disseminatie is een inhoudelijke aangelegenheid. De projectleider als community manager: 1. Duidelijker kader scheppen: meer praktische en projectmanagement instrumenten en informatie 2. Zeker 1 x per jaar projectleiders bij elkaar laten komen, liefst rond de onderwijsdagen en heel zuinig zijn met tijd van projectleiders. 3. mensen met ervaring met onderwijs vernieuwingsproject hierover aan de volgende generatie laten vertellen, zodat projectleiders weten waar ze aan beginnen en 4. ondersteuning aanbieden voor project management: inhoudelijk en financieel beheer. 19. telefonisch interview Projectleider heeft weinig aan E-Xchange deelgenomen. Presenteren –bijv. onderwijsdagen- is nuttig omdat je je gedachten eerst moet ordenen en dan kunt ijken en testen hoe het veld over de overdraagbaarheid van de projectproducten denkt. Betrokkenheid van SURF medewerkers ook nu nog na afloop van het project is zeer inspirerend. Op de surf website is de informatie niet altijd up-to-date. Had liever eerder een eigen website voor het project opgezet. Disseminatie: door instructie sessies en actieve colportatie (intern), door website, netwerk van bevriende collega’s en door een strategische alliantie van eigen instelling met een andere (via ICTO centrum). De rol van SURF was een ondersteunende en hulp bij maken van zeer nuttig promotie materiaal. Rol van de community manager: betere spreiding van de rapportage momenten en kritische sturing op gebied van projectmanagement. Wijzen op hulpmiddelen zoals projectplace met een lijst van do’s en dont’s. Vooral aanreiken van praktische informatie. Kennisnetwerken: Kent voorbeelden waar het werkt en waar niet: zoek naar goede balans van de inhoudelijke kennis die leden meebrengen en uniformiteit in functies die vertegenwoordigd zijn, zodat


39

op het zelfde niveau gecommuniceerd wordt in de zelfde taal. In elk geval bijeenkomsten: 2/jr gevolgd door e-communicatie, mailing lists etc. (goed up-to-date houden). Na het project zal hij wel contact houden met de mensen bij SURF, die inmiddels deel zijn van zijn netwerk en dit is bevorderlijk voor de consolidering van projectresultaten en het vervolg na afloop van het project. 20. telefonisch interview De projectleider is betrokken geweest bij de inventarisatie bijeenkomsten voor het opzetten van het huidige E-Xchange. E-Xchange zou volgens hem de rol moeten hebben om tussen projectleiders praktische informatie te wisselen en informatie over projectbeheer. Op de onderwijsdagen heeft hij zowel een stand als een presentatie gehad en de laatste was het nuttigst, met name door de feedback die het oplevert. Het contact met SURF medewerkers was zeer inspirerend met name door hun aanwezigheid op de slotbijeenkomst. De waarde hiervan was 1. serieuze erkenning van het belang van het project en 2. plaatsen van het onderwijs vernieuwingsproject in de context van de andere activiteiten en projecten. Dat had een stimulerende invloed op de disseminatie van de resultaten, het primaire doel van de slotconferentie van het project. Disseminatie: informeel binnen de instelling, website, discussie board op de website met een groep geselecteerde geïnteresseerde instellingen, onderwijsdagen, slotcongres, handboek en CD-ROM. Het betrekken van ICTO-ers: onderwijscommissies en onderwijsdirecteuren zijn een nog belangrijker doelgroep. Stuur hen bijv. de projecten folder om te laten zien wat er allemaal kan en gebeurt. De rol van SURF in de promotie van het project: spreker slotconferentie, posters, flyers, stand onderwijsdagen, kortom, instrumenteel. De rol van SURF is/zou vooral faciliterend moeten zijn en helpen om de doelgroep te definiëren door in gesprek met de organiserende instellingen vast te stellen waar de resultaten aansluiten bij initiatieven elders. 21. telefonisch interview De bijeenkomst ter afsluiting van de projecten geleid door CIBIT was een zeer nuttige bijeenkomst om de onderwijsvernieuwingsprojecten te evalueren. Onderwijsdagen waren erg nuttig, vooral door presentatie van eigen project en dat leverde een levendige discussie. Verder zijn onderwijsdagen ook erg nuttig om te netwerken en op de hoogte te blijven. Disseminatie: was het onderwerp van het project, SURF moet zich niet teveel met disseminatie bemoeien, alleen goed toezien dat het gebeurt en dat het goed gebeurt. Kennisnetwerken: Goed idee, zorg voor 1 of 2 trekkers, geef ze online tools en websites en 2 jaar de tijd, waarna de club zelf kan beslissen of ze zelfstandig doorgaan. Onderwerp: wireless en veranderende studielandschappen. Cyclus: De procedure is zeer transparant en consequent dat is goed en belangrijk en dat is bij andere subsidiegevers soms anders (eg. de DU). WTR heeft soms een té wetenschappelijke bril op, er zouden meer experts in moeten zitten van de onderwijs praktijk om het evenwicht te behouden. De veranderende rol van de SOS is een hele goede verandering. SOS zou nog meer naar een model moeten, waarbij ze een reviewtaak hebben. Laat ter zake kundige collega’s bij de SURF projecten op locatie de knelpunten en hoofdlijnen gaan bespreken. Houdt taakscheiding SOS en E-Xchange helder en in stand en laat weten wie waarvoor verantwoordelijk is.


40

Bijlage E Gespreksverslag met CIBIT Aanwezig: CIBIT: Johan den Biggelaar, Eelco Kuizinga, Jan Schuurman van hooff projects: Hanneke Andringa, Carien van Hooff Het doel waarmee E-Xchange volgens CIBIT destijds is opgezet is meervoudig: 1. het ondersteunen van de onderwijsvernieuwingsprojecten. 2. het stimuleren van de bloei van de ICT-innovatie in het HO-veld met de project resultaten, ofwel het sneller leren van de projecten (cyclusverkorting) en 3. het consolideren van de in de projecten opgedane kennis en het stimuleren van stapeling door het borgen van het geleerde in de instellingen. (lett: stoppen van het ‘rondpompen’ van geld) De CIBIT medewerkers vinden dat E-Xchange in de afgelopen anderhalf jaar veel heeft bereikt, vooral wat betreft doelstelling 1. Dat is al een hele belangrijke en grote stap gegeven de tijd, middelen en mankracht die er waren. Men is tevreden over de groepsvorming, kennisdeling en kennisvergroting wat betreft projectmanagement binnen en tussen de projecten. Helaas is E-Xchange nog niet toegekomen aan doelstelling 2, het hele HO veld bij de onderwijsvernieuwingsprojecten betrekken, maar dat zou volgens CIBIT in de volgende fase moeten worden opgepakt. Ook de wens om een stapje verder te gaan dan destijds is besloten (doelstelling 3 was een voorstel van CIBIT, maar is door SURF niet overgenomen) is nog springlevend. CIBIT zou nog steeds graag de in de projecten bereikte resultaten willen (helpen) borgen in het HO-veld door ook het onderwijsmanagement bij E-Xchange te betrekken.

Wat is bereikt in de afgelopen anderhalf jaar. Ondersteuning van de onderwijsvernieuwingsprojecten SURF heeft een platformstructuur aangebracht om E-Xchange te faciliteren, bestaande uit de website(s), bijeenkomsten en de community manager, Désiree van den Berg. Met deze structuur zijn in de afgelopen anderhalf jaar de volgende resultaten gerealiseerd: • E-Xchange heeft geleid tot meer samenhang en openheid tussen de projectleiders bij bijeenkomsten; er is een gemeenschap van projectleiders ontstaan in de projecten van 2001. Uit het niets is een redelijk hecht netwerk ontstaan. • Projectleiders van de eerdere projecten (1999-2000) worden ingezet bij begeleiding van de nieuwe lichting projectleiders. • 15% projectruimte voor disseminatie geeft projectleiders de ruimte om te participeren in EXchange, waardoor PLs ook worden gestimuleerd om na te denken over de praktijk na de projectperiode en om zich te oriënteren op de potentiële doelgroep. Daarnaast zijn er binnen SURF ook andere veranderingen die de ondersteuning van de projecten duidelijk hebben verbeterd: • SURF geeft meer actieve ondersteuning bij het schrijven en voorbereiden van een projectvoorstel, nl. de voorbereidende sessies. • Een verschuiving van SOS als controlerend orgaan naar het opbouwend begeleiden van de projecten. Een kans om ook in E-Xchange nog meer te benutten. Kennisdisseminatie tussen en buiten de projecten CIBIT is vooral bij de projectmanagementbijeenkomsten betrokken en niet bij de andere thematische bijeenkomsten. Daarom hebben zij er geen duidelijk zicht op, of er thematische communities tijdens EXchange zijn ontstaan. De indruk is dat er maar in beperkte mate een Community of Practice rond een specifieke thema is ontstaan. De rol van de Community manager CIBIT vindt dat Désiree in de afgelopen periode sterk in haar rol is gegroeid, methodisch beter gewapend is en de overgang heeft gemaakt naar mede-ontwerper van E-Xchange. Het is belangrijk dat zij steeds een sterke ondersteuning naast zich heeft om de nodige ruimte te bevechten.


41

Suggesties voor verbetering EN VERVOLG van E-Xchange: OOGSTEN: Uitbreiden naar het hele HO veld CIBIT raadt aan om de projectleiders en de ICTOers uit het HO veld bij elkaar brengen en de geabstraheerde of generieke kennis als input mee te geven. Op die wijze kunnen de SURF projecten meer als hefboom werken voor de verdere inbedding van ICT in het HO-veld. In deze context zou SURF moeten bouwen aan een body of knowledge, dat diffuus natuurlijk al bestaat en waarin SURF aandeelhouder is. Vergroot dat aandeel en breng er meer structuur in, ofwel investeer in stapeling van de kennis uit tenders 99-00-01-02 door: het abstraheren van opgebouwde kennis SURF zou moeten doorbouwen op de opgebouwde kennis. Lessons learned: het vertalen, abstraheren van de projectresultaten, zodat ze gemakkelijk herkenbaar en elders inzetbaar zijn. Gebruik alle oude onderwijsvernieuwingsprojecten en breng die informatie naar buiten. een witboek met leerervaringen: publiceer tips en valkuilen in lijstjes van tien punten bijv. op een website met bekende situaties zoals: auteursrechten van learning content, een pilot met studenten, inrichten projecten en projectmanagement, training van docenten, implementatietrajecten, etc. etc. Allemaal bekende onderdelen van project en implementatietrajecten waarmee SURF veel ervaring heeft. het vastleggen van kennis en ervaring door de projectleiders en hen blijvend binden aan SURF en EXchange kan een goede start zijn. Bouw voort op ontstane gemeenschap van de huidige projectleiders, weet ze aan je te binden, ongeacht of er weer nieuwe tenders komen. Stimuleer daarmee de implementatie van de projectresultaten. Bij de uitbreiding naar het hele HO-veld is het wel belangrijk om dat wat bereikt is, de community van projectleiders wel besloten te houden. Dit vereist dus een goede regie en planning van bovenstaande uitbreiding; besloten en open tegelijk. Bijeenkomsten van E-Xchange * Verscherp het verwachtingsmanagement: wat doet E-Xchange wel of niet en met welk doel. Wees duidelijk naar de deelnemers. Scherp het doel van de bijeenkomsten aan, namelijk het faciliteren van de uitwisseling en focus vooral op het proces en de leerervaringen daarvan. * Leg in de bijeenkomsten een duidelijke koppeling naar de omgeving en de eindgebruikers. Betrek eindgebruikers bij de bijeenkomsten. * Doe veel meer op locatie, ook overleggen en bijeenkomsten en laat dan wat meer zien van het project op locatie. Online communicatie (websites) * Handhaaf het gemeenschapsgevoel van de projectleiders maar breek het open naar deelprojectleiders en ICTO-ers, naar het team achter elk project. Dit kan inspirerend werken voor vaak jonge deelprojectleiders. Bijv. middels de toepassing van groupware. * Maak korte kleine stukjes video van de projectleiders en zet die bij het project online. * De online communicatie, de EduSite, die volgens CIBIT zou zijn opgezet rondom de SURF projecten mist zijn doel en voegt aan de projecten niet of nauwelijks toe. Disseminatie van projectresultaten * Identificatie van de doelgroep van de SURF projectresultaten. Laat in plannen ook een communicatieplan maken voor de disseminatie, over hoe men die 15% van de tijd wil besteden. Laat goed in kaart brengen wie de stakeholders zijn, de toekomstige doelgroep, hoe deze bij het project wordt betrokken en tenslotte hoe dat achteraf geverifieerd kan worden. Het gaat hierbij om een primaire doelgroep, die met het projectproduct gaat werken en de secundaire doelgroep, die met de geabstraheerde producten aan de slag zou kunnen. Kortom effectiever sturen van het disseminatie deel. * CIBIT zou graag meer creativiteit willen stimuleren in de wijze waarop de SURF projecten hun kennis dissemineren. Artikeltje schrijven of een lezing houden is te beperkt. De community manager De intensiteit van de antennerol die de community manager heeft, gastvrouw, facilitator, het gezicht van SURF zou in de komende tijd nog verder kunnen toenemen. De antenne om signalen op te vangen van de projectleiders, op de werkvloer van de projecten, maar ook van buiten de projecten en deze met elkaar te verbinden tot oplossingen en meerwaarde, bijv. door meer projectbezoeken, meer samenwerking met de SOS (nu CP) etc.


42

Ter overweging voor SURF / E-Xchange * SOS (of CP) rapportages: Organiseer SOS bijeenkomsten bij de organiserende instelling, zodat je goed ziet hoe het daar toegaat en ook ongeschreven, ‘circumstantial’ informatie krijgt. * Stel eisen aan de kwaliteit van de toekomstige projectleiders om met een gelijk niveau te starten. CIBIT acht het erg belangrijk dat de projectleiders op een strategisch niveau kunnen denken. CV’s vragen? * Uitbreiding van de huidige doelstelling van E-Xchange. Gebruik de projecten als hefboom om de inbedding van ICT in de HO-instellingen te versnellen door het betrekken van de bestuurslaag bij de disseminatie. Dat is nu beperkt tot lokale initiatieven zoals bijv. bij Fontys. * Neem in de tenderomschrijving op dat een project moet voortborduren op kennis en ervaring in oude projecten. Dat is ook een garantie voor borging van de projectopbrengsten, van stapeling. * Overweeg om ook kleinere projecten in de tender te honoreren, die minder log en complex zijn. Dat heeft een breder stimulerend effect op de innovatie. * Maak E-Xchange een meer integraal onderdeel van SURF, het platform ICT en onderwijs. Belangrijk hierbij is dat er in elk geval een stevige en centrale regie is.

De rol van CIBIT * In de komende periode van E-Xchange wil CIBIT graag doorgaan met de coaching van de community manager en met de methodologische ondersteuning en facilitatie van de sessies. * Indien SURF de slag naar het (middle-)management wil maken zou CIBIT graag betrokken zijn bij het vormgeven ervan. Zij zouden kunnen ondersteunen in de activiteiten en hebben wel ideeën en ervaring met geschikte werkvormen voor deze doelgroep. * CIBIT zou de SURF projecten kunnen betrekken in hun internationale netwerk, in het platform dat CIBIT heeft in internationale leerprojecten. Men zou kunnen denken aan het moment waarop Nederland het voorzitterschap van de EU op zich neemt, tweede helft 2004. Wil SURF een stap zetten naar het Europese platform?


43

Evaluatie van het SURF project E-Xchange mei 2003 van hooff projects, Utrecht

Recommend Documents