Evaluatie 2012 NMEPodium Onderzoek naar gebruikers en toekomstperspectieven (Alina Salomon)
1
Inhoud Inleiding ................................................................................................................................................... 3 Onderzoeksopzet..................................................................................................................................... 3 Achtergrondinformatie ........................................................................................................................... 3 Uitkomsten onderzoek ............................................................................................................................ 4 Enquête ............................................................................................................................................... 4 Achtergrond sector (in aantallen) ................................................................................................... 4 Vergelijking sector (percentages) .................................................................................................... 5 Huisvestiging organisatie (in aantallen) .......................................................................................... 5 Frequentie gebruik .......................................................................................................................... 6 Frequentie vergelijking (percentage) .............................................................................................. 6 Gebruikerspatronen ........................................................................................................................ 7 Soorten informatie (in percentages) ............................................................................................... 7 Tevredenheid aangeboden informatie............................................................................................ 9 Tevredenheid vindbaarheid ............................................................................................................ 9 Uitkomsten interviews ...................................................................................................................... 10 Gebruik .......................................................................................................................................... 10 Visie op NME Podium .................................................................................................................... 10 Toekomst inhoud........................................................................................................................... 11 Toekomst interactie ...................................................................................................................... 11 Toekomst positionering................................................................................................................. 11 Toekomst lange termijn ................................................................................................................ 11 Samenvatting en adviezen .................................................................................................................... 12 Bijlagen .................................................................................................................................................. 13 Enquête vragen: ................................................................................................................................ 14 Bijlage Interviewguide ....................................................................................................................... 16 Bijlage: Analyse nieuwsbrief.............................................................................................................. 17
2
Inleiding Het programma NME basisvoorzieningen is op dit moment halverwege. De basisvoorzieningen NME 2010-2014 zorgt voor een NME-kennisinfrastructuur ter ondersteuning van het NME netwerk en in het bijzonder de uitvoerende NME actoren. Doel van deze evaluatie is om erachter te komen wat huidige gebruikers van de website NME Podium vinden en op welke manier ze van NME Podium gebruik maken. Daarnaast is er ook voor gekozen om de blik naar de toekomst te richten. Over twee jaar houdt de financiering voor het programma NME basisvoorzieningen op. Hoe gaat het dan verder met de tot nu toe opgebouwde kennis infrastructuur? Wat zijn mogelijke toekomstenperspectieven voor de website NMEPodium? Er wordt zowel gekeken naar de vraag wat op korte termijn (dus tot eind 2014) aan veranderingen/aanpassingen zou kunnen gebeuren. Daarnaast wordt ook verder naar de toekomst gekeken en een eerste verkennende stap gezet om toekomstscenario’s na afloop van de subsidieperiode in kaart te brengen. De centrale vragen in dit onderzoek zijn:
Hoe sluit de NMEPodium op dit moment aan bij de wensen en behoeftes van gebruikers? Hoe moet het in toekomst verder gaan met de website (korte en lange termijn)?
Onderzoeksopzet Het onderzoek bestaat uit twee delen: ten eerste een online enquête onder gebruikers van NMEPodium, waarin wordt onderzocht hoe de gebruikers aankijken tegen de website. De vragen hebben betrekking op gebruik, vindbaarheid en tevredenheid. Waar mogelijk zijn vragen uit eerdere evaluaties overgenomen om trends en ontwikkelingen te ontdekken. De enquête is uitgezet via verschillende kanalen. Er is een directe mailing gedaan naar alle abonnementen van de nieuwsbrief. Daarnaast is de enquête ook verspreid via de LinkedIn groep NME en twitter. Ten tweede vonden er interviews plaats met personen uit het NME werkveld. Voor de interviews is een selectie gemaakt uit personen die strategisch of beleidsmatig bij de website NMEPodium betrokken zijn. De volgende personen zijn hiervoor geïnterviewd.
Brigit Kuypers (ANMEC) Ellen Leussink (Agentschap NL) Hak van Nispen (SME Advies, Platform NME) Linda IJmker (GroenGelinkt) Wim Ruis (IVN, landelijk projectleider NME beroeps)
Achtergrondinformatie Sinds medio 2011 is de vernieuwde website NMEPodium online. Deze website omvat op dit moment een breed spectrum aan (interactieve) functionaliteiten, waaronder wiki’s, een agenda en een digitaal adreswijzer. Er is sinds kort een directe link opgenomen naar het portaal Kennis voor NME, waardoor het voor gebruikers gemakkelijk wordt om in verschillende databases naar onderzoeken en materialen te zoeken. 3
Een aantal geplande functionaliteiten zoals de discussiegroepen en blogs zijn (nog) niet geactiveerd. De D-groepen (discussiegroepen) die in de projectaanvraag waren voorgezien zijn, lijken qua gebruikers en inhoud op bestaande LinkedIn groepen. Omdat de LinkedIn groep NME al erg actief is, werd van een invoering van D-groepen om NMEPodium afgezien. De blogs zijn nog niet werkzaam zoals voorgezien in de planning.
Uitkomsten onderzoek Enquête De vragenlijst werd door 32 personen ingevuld en heeft de volgende resultaten opgeleverd. Een volledig overzicht van de vragen is terug te vinden in de bijlage. Om de achtergrond van gebruikers in kaart te brengen is gekeken naar de sector en provincie waar men werkzaam is.
Achtergrond sector (in aantallen) anders regionale of lokale overheid primair onderwjs aanbieder van educatieve producten intermediair bedrijfsleven voortgezet onderwijs ontwikkelaar van educatieve producten kennisinstituut landelijke overheid 0
2
4
Andere sectoren
Ngo’s op gebied van duurzaamheid/NME Tweede lijn (IVN) Kinderopvang Bewonersinitiatief Adviesbureau Vrijwilligerswerk Zorg Woningcorporatie Museum
4
6
8
10
12
14
16
Vergelijking sector (percentages) primair onderwjs voortgezet onderwijs aanbieder van educatieve producten ontwikkelaar van educatieve producten intermediair
2011 in %
kennisinstituut
2013 in %
regionale of lokale overheid landelijke overheid bedrijfsleven anders 0
10
20
30
40
50
60
De indruk ontstaat dat er op dit moment een bredere groep gebruik maakt van NME Podium. Veel respondenten gaven aan in een andere, dat de vooraf vastgestelde sectoren werkzaam te zijn. De groep ‘ontwikkelaar van educatieve producten’ is veel minder sterk vertegenwoordigd dan twee jaar geleden. Een kanttekening bij deze vergelijking is echter dat in 2011 de vragenlijst op een iets andere manier in het werkveld is uitgezet. De vraag naar de sector is interessant om in kaart te brengen wie eigenlijk gebruik maakt van NME Podium en het is aan te bevelen deze vraag ook in toekomstige evaluaties mee te nemen.
Huisvestiging organisatie (in aantallen) Utrecht Noord-Brabant Gelderland Limburg Noord-Holland Zuid-Holland Geheel Nederland Flevoland Friesland Overijssel Drenthe Groningen Zeeland België 0
1
2
3
4
5
5
6
7
8
9
10
De meeste respondenten gaven aan in Utrecht werkzaam te zijn. Daar tegenover kwam geen van de respondenten uit de provincies Drenthe, Groningen en Zeeland. Het is aan te bevelen om mogelijke toekomstige pilots (bvb over alternatieve financieringsmogelijkheden) te laten plaatsvinden in provincies waar veel gebruik wordt gemaakt van NMEPodium.
Frequentie gebruik
Dagelijks 6%
1 tot 4 maal per week 9%
Enkele keren per maand 50%
Minder dan een maal per maand 35%
0
10
20
30
40
50
60
Frequentie vergelijking (percentage)
Dagelijks
1 tot 4 maal per week 2011 2013
Enkele keren per maand
Minder dan een maal per maand
0
10
20
30
40
50
60
Het aantal bezoeker dat meerdere malen per maand op de website terecht komt is toegenomen, van 39% naar 50%. Minder respondenten gaven aan maar een keer of minder per maand gebruik te maken van NME Podium. (55% versus 35%) Het aantal bezoekers dat dagelijks van de website 6
gebruik maakt is gestegen van 2% naar 6%. Respondenten die meerdere keren per week gebruik maken van de website is ook gestegen van 4% naar 9%.
Gebruikerspatronen Om beter in kaart te brengen waarvoor men eigenlijk op de website uitkomst is de volgende vraag gesteld: Voor welk soort informatie raadpleegt u voornamelijk de website? Respondenten konden meerder opties kiezen. Informatie over de agenda werd bijna door alle respondenten gekozen als reden om de website te gebruiken. Ook het zoeken naar praktijkvoorbeelden en inhoudelijke thema’s blijken belangrijke drijfsferen om gebruik te maken van de website. In de evaluatie van 2011 werden veel meer antwoordcategorieën gebruikt. Deze categorieën zijn van 20 naar 10 teruggebracht waardoor een vergelijking niet mogelijk is. Wat opvalt is, dat in 2011 30% de website gebruikte om actuele LinkedIn discussies te volgen. Deze categorie was dit jaar niet meer meegenomen, echter bleek uit de open vragen dat er wel vraag naar is.
Soorten informatie (in percentages) agenda best practices inhoudelijke thema’s informatie over NME netwerken beleid contactgegevens/adresbestanden methodieken / didactiek doelgroepen financieringsbronnen anders 0
10
20
30
40
50
60
70
80
90
Respondenten werden ook gevraagd welke informatie ze missen of uitgebreider willen aantreffen. De suggesties van respondenten zijn vooral gericht op verdieping en verbinding. Er werd niet aangeven, dat bepaalde informatie mist. Informatie over doelgroepen zou kunnen worden uitgebreid naar buurt initiatieven of het speciaal onderwijs. Respondenten zien ook graag meer informatie terug over landelijke ontwikkelingen, waaronder het platform NME. Andere suggesties zijn om vaker columns te laten schrijven of meer vacatures op te nemen. Respondenten zien ook graag een sterkere link naar andere relevante websites (lvdo.nl, nme.nl, duurzaamdoor.nl, GDO) en relevante LinkedIn groepen. Wat betreft de informatie over het platform NME zou het bvb interessant zijn om updates te plaatsen plannen en actuele bezigheden.
7
Er is ook gekeken in hoeverre men actief gebruik maakt van de website. Actief in de zin dat informatie actief gedeeld wordt. Een derde van de gebruikers geeft aan wel informatie te delen. Op de vraag welke informatie en expertise gedeeld wordt kwamen de volgende antwoorden naar boven:
ja 32% nee 68%
nieuws(brieven) best practices onderzoeksresultaten literatuur ontwikkelingen beleid en buitenland materiaalzendingen (besloten) aankondigingen/uitnodigingen
Een website voor en door het werkveld wordt gedragen door het actieve gebruik en delen van informatie. Het is daarom dan ook belangrijk om te weten wat gebruikers tegenhoud om kennis en expertise te delen. Het antwoord op deze vraag kan worden opgesplitst in drie drempels: tijd, kennis en aanleiding.
Ik kom er niet aan toe Ik heb nog geen aanleiding gehad Ik weet niet hoe dat moet Ik ken de site niet goed genoeg Veel mensen komen er gewoon niet aan toe vanwege tijdsdruk. Een andere groep geef aan niet te weten hoe het moet. Een aantal respondenten geeft ook aan de website niet voldoende te kennen, waardoor ze niet zeker weten of de informatie die ze willen delen wel relevant is. Tot slot is er ook een groep die aangeeft nog geen aanleiding te hebben gehad om actief kennis te delen op NME Podium. Om wel meer actieve inbreng van het werkveld te krijgen zouden drempels met betrekking tot kennis en aanleiding aangepakt moeten worden. Leg uit wie op de website komt, wat er te vinden is, maar geef ook nog eens goed aan hoe gemakkelijk het is om informatie op NME Podium te laten plaatsen.
8
Tevredenheid aangeboden informatie
ontevreden
soms tevreden/soms ontevreden(22%) tevreden (66%)
Wat betreft de aangeboden informatie behoordelen gebruikers dit behoorlijk positief. De aangeboden informatie wordt als relevant, duidelijk en up to date omschreven. Suggesties om meer tevreden op gebied van de aangeboden informatie te bereiken zijn al eerder beschreven in de sectie “soorten informatie”.
Tevredenheid vindbaarheid
ontevreden (3%) soms tevreden/soms ontevrede (28%) tereden (60%) helemaal tvereden (9%)
De tevredenheid m.b.t. de vindbaarheid van gezochte informatie is iets lager dan de tevredenheid met de aangeboden informatie. Suggesties die genoemd worden om informatie op NME Podium beter vindbaar te maken zijn onder ander een betere menustructuur (sub-sites zijn verstopt en niet goed te vinden). Ook zou een optie zijn minder met lange teksten en meer met links te werken. Respondenten geven ook aan dat de zoekmachine prominenter op de website zou kunnen worden 9
geplaats en dat daarbinnen een werken met filters handig zou zijn. De maandelijkse nieuwsbrief wordt als zeer waardevol ervaren omdat hierdoor duidelijk wordt wat waar op de website terug te vinden is.
Uitkomsten interviews Nadat de uitkomsten van de vragenlijst bekent waren zijn er interviews gehouden met personen die op strategisch vlak betrokken zijn bij de website. De geïnterviewde zijn werkzaam of betrokken bij de volgende organisaties.
Agentschap NL ANMEC GroenGelinkt IVN Platform NME SME Advies
Met behulp van de interviews werden de uitkomsten van de enquête verder besproken. De focus van de interviews was een naar de toekomst gerichte blik. Hoe moet het verder gaan met NME Podium op korte en lange termijn. De uitkomsten van de interviews zijn hieronder samengevat.
Gebruik Diegenen die actief gebruik maken van NME Podium geven soortgelijke dingen aan als ook in de enquête naar voren kwamen.
Agenda (centraal, volledig) Adreswijzer verouderd Nieuwsbrief motiverend voor gebruik en biedt overzicht Tevredenheid standaard NME onderwerpen Verbreding inhoud gewenst (trends) Delen van expertise lastig (werkdruk en automatisme) Zoekmachine verbeteren (filter)
Tijdens de interviews werd veel gesproken over de functie en doelen van NME Podium. De informatie is samen te vatten als visies op NME Podium.
Visie op NME Podium
Niet sexy maar wel gedegen Geen nme.nu.nl maar wel goed overzicht Website wordt te weinig geleefd Gebrek aan gevoel van eigenaarschap (platform NME en werkveld) Hart werkveld vs. eiland in de NME wereld Centraal communicatiekanaal (ambitie vs. realiteit) Rolverdeling onduidelijk (van de hele sector vs. iets van IVN) 10
Ook al zijn deze visies uiteraard gebonden aan de geïnterviewde is het aan te raden bij de uitwerking van toekomstige plannen hiermee rekening te houden.
Wat betreft de vraag naar hoe het de komende twee jaar verder moet met de website zijn interessante verbeterpunten en ideeën verzameld die in een lijn liggen met wat respondenten als suggesties aangaven. Deze toekomstscenario’s voor op korte termijn kunnen worden samengevat in drie thema’s: Inhoud, interactie en positionering.
Toekomst inhoud Trends en ontwikkelingen in de NME sector zouden sterker terug kunnen komen op de website. Trends die worden genoemd zijn onder ander burgerparticipatie op gebied van duurzaamheid, Transition Towns initiatieven of informatie over circulaire economie. Ook informatie over het platform NME en Groen Gelinkt kan op de website sterker worden benadrukt. Er bestaat ook de wens om nieuwsbrieven te bundelen en te verwijzen naar relevante LinkedIn discussies op de website.
Toekomst interactie Op gebied van interactie zijn de volgende verbeterpunten genoemd.
Inbreng van gebruikers stimuleren Koppeling maken met LinkedIn groep NME Neem elkaars nieuws over Proactief zoeken naar input Samenwerking opzoeken met platform NME en GroenGelinkt Doorverwijzen naar relevante websites nme.nl, GDO, LvDO.nl
Toekomst positionering Op gebied van positionering werden zijn een aantal suggesties naar voren gekomen die ook in overeenstemming liggen met wat respondenten aangaven: namelijk dat het belangrijk is om goed te communiceren wat de website te bieden heeft.
Duidelijke communicatie intern/extern (platform NME, GroenGelinkt, werkveld) Maak duidelijk wat je te bieden hebt Laat zien door wie NME Podium wordt gedragen Straal het van en voor karakter uit.
Toekomst lange termijn In deze evaluatie is een eerste verkenning gemaakt van mogelijke toekomstperspectieven na afloop van de programma financiering. Wat gaat na 2014 met de website gebeuren. Hoe kan de opgebouwde infrastructuur blijven gewaarborgd. De antwoorden op deze vraag zijn verre van volledig. Het zijn eerste ideeën over met welke spelers in toekomst kan worden samengewerkt maar ook ideeën over alternatieve verdienmodellen.
11
VVM sectie NME benaderen voor inhoudelijke samenwerking en verdienmodellen Website laten hosten door Groen Kennisnet en gebruik maken van functionaliteiten Groen Gelinkt functionaliteiten gebruiken Adoptie website door platform NME Redactie blijft nodig Mogelijkheden tot crowdfunding onderzoeken Deels betaalsite inrichten/pilot over bereidheid tot betaling
Samenvatting en adviezen De enquête en interviews hebben veel informatie opgeleverd. De tevredenheid onder gebruikers is behoorlijk hoog. Hierbij moet echter vermeldt dat het aantal respondenten aan de lage kant zat, en het vermoeden bestaat dat vooral actieve gebruikers de enquête hebben ingevuld. Respondenten gaven een enorm hoeveelheid aan constructieve tips, en het is aan de redactie om te kijken welke van de suggesties kunnen worden gerealiseerd. Om het werkveld nog sterker bij NME Podium te betrekken en ze te motiveren om kennis en expertise te delen, zou rekening moeten worden gehouden met genoemde drempels.
Realiseer waar mogelijk wensen gebruikers Ken en kies je doelgroep (kern of breder) Vraag sterker om inbreng gebruikers/platform Versterk het voor/door gevoel Houd rekening met beeldvorming Zoek samenwerking op platform NME/GG Ga nu al aan de slag met pilots financiering Neem in toekomstige enquêtes vragen over om trends in kaart te brengen
12
Bijlagen
13
Enquête vragen: In welke sector bent u hoofdzakelijk werkzaam?
primair onderwijs voortgezet onderwijs aanbieder educatieve producten ontwikkelaar educatieve producten intermediair (bemiddelaar, onderwijsbegeleiding) kennisinstituut (universiteit, hogeschool) regionale of lokale overheid landelijke overheid bedrijfsleven Anders, namelijk:
In welke provincie is uw organisatie gehuisvest?
Drenthe Flevoland Friesland Gelderland Groningen Limburg Noord-Brabant Noord-Holland Overijssel Utrecht Zeeland Zuid-Holland Geheel Nederland België
Hoe vaak raadpleegt u de website?
dagelijks meerdere keren per week enkele keren per maand minder dan een maal per maand
Voor welk soort informatie raadpleegt u voornamelijk de website?
agenda gerelateerde informatie ( activiteiten, evenementen, workshops, training) best practices/ voorbeelden uit de praktijk 14
contactgegevens/adresbestanden financieringsbronnen/verdienmodellen informatie over beleid informatie over doelgroepen informatie over inhoudelijke thema’s informatie over NME netwerken methodieken / didactiek Anders, namelijk:
Welk soort informatie mist u op NMEPodium of wilt u uitgebreider aantreffen? Gebruikt u de website om kennis en expertise te delen? Welke soorten kennis en expertise deelt u via de website? Welke redenen weerhoudt u om zelf expertise en kennis te delen via de site? Hoe tevreden bent u met de aangeboden informatie op NMEPodium? * 1. heel ontevreden 2. ontevreden 3. soms tevreden/soms ontevreden 4. tevreden 5. helemaal tevreden
Hoe tevreden bent u over de vindbaarheid van de aangeboden informatie op NMEPodium 1. heel ontevreden 2. ontevreden 3. soms tevreden/soms ontevreden 4. tevreden 5. helemaal tevreden
Stel u bent de beheerder van de website: wat zou u dan als eerste aanpassen? Heeft u verder nog suggesties of opmerkingen wat betreft NMEPodium.nl?
15
Interviewguide Deel 1 Achtergrond informatie
Wat is u rol binnen m.b.t. de website NMEPodium? (gebruiker, redactie, strategie groep etc)
Deel 2 Terugkoppeling vragenlijst
Maakt u zelf voor u werk gebruik van NMEPodium? o Op welke manier dan? o Voor welk soort informatie raadpleegt u voornamelijk de website? Eventueel ook antwoordopties noemen die in vragenlijst stonden, maar eerst zelf laten antwoorden. o Welk soort informatie mag volgens u zeker niet missen op de website? Doorvragen: Waarom?
Wat vindt u zelf van de aangeboden informatie? Hebt u suggesties hoe de suggesties van respondenten te realisteren? Doorvragen doelgroepen: welke doelgroepen zou u toevoegen? Welke mogelijkheden ziet u om meer vacatures op de site te plaatsen?
Wat is u mening van de vindbaarheid Hoe kijkt u aan naar de zo net genoemde suggesties wat betreft de vindbaarheid van informatie? Is het volgens u noodzakelijk om hieraan iets te doen, waarom wel, waarom niet? Hoe realiseren van verbeteringen?
Hoe kan taakverdeling en afstemming met programmabureau worden gerealiseerd? Hoe kan taakverdeling en afstemming met Groen Gelinkt worden gerealiseerd? Zijn er nog andere spelers waarmee in de toekomst (vooral ter waarborging van kennisinfrastructuur) zou moeten worden overlegd over de perspectieven van NMEPodium?
Wat kan en moet anders in toekomst (korte termijn, laatste twee jaar programma, let op realiseerbaarheid) Hoe gaan we waarborgen wat in de afgelopen jaren met NME Podium is opgebouwd? Hoe samenwerken met anderen? GG, nme.nl, wie nog? Mogelijke bijdrage Agentschap, SME, GG, IVN
16
Analyse nieuwsbrief Deze is sinds 2010 verschenen. De eerste nieuwsbrief is in september 2010 verschenen. In 2011 en 2012 zijn er tien uitgaven verzonden. Het bereik en de waardering van de nieuwsbrief zijn eerder nog niet expliciet onderzocht. In deze evaluatie is daarom ervoor gekozen ook te kijken naar de bij de website behorende nieuwsbrief De nieuwsbrief bestaat sinds september 2010. Sindsdien zijn 24 edities verzonden. In de loop van de tijd zijn er steeds meer abonnementen bijgekomen. Het aantal hits (dat wil zeggen het aantal keren dat een ontvanger een meegestuurde link aanklinkt) ligt per editie tussen 200-400. Een enorme uitschieter was de nieuwsbrief van oktober 2012 waarbij meer dan 2000 keer de link naar de digitale Zeeuwse waterwijzer Voortgezet en beroepsonderwijs – matrix werd aangeklikt. De laatste nieuwsbrief van het jaar 2012 werd aan 805 personen of organisaties verzonden. Eind 2011 werd de brief aan 691 adressen verzonden, terwijl de eerste nieuwsbrief in september 2010 aan 509 adressanten werd verstuurd. Kijkt men naar de ontwikkeling van het afgelopen jaar zijn er 114 personen bijgekomen, dus per maand ongeveer 10 personen meer die de nieuwsbrief ontvangen.
Andere nieuwsbrieven De site geeft ook als extra service dat ook anderen (netwerken, groepen) een nieuwsbrief kunnen versturen. Hier wordt door onder andere het netwerk van Gelderland en Utrecht maar bijvoorbeeld ook van GroenGelinkt gebruik gemaakt. In totaal worden er vanuit de site, inclusief de landelijke nieuwsbrief, negen nieuwsbrieven verstuurd.
17
Statistieken website nmepodium (unieke bezoekers)
8000 7000 6000 5000 4000 3000 2000 1000 0 10 12 02 04 06 08 10 12 02 04 06 08 10 12 02 2010 2010 2011 2011 2011 2011 2011 2011 2012 2012 2012 2012 2012 2012 2013
18
