Resultaten marktscan SURFmailfilter en MX-fallback Project Projectjaar Projectmanager Auteur(s) Opleverdatum Versie
: : : : : :
SURFworks 2009 Paulien Rinsema Maurice van den Akker, Elise Roders, Karianne Vermaas 15 oktober 2009 1.0
Samenvatting Dit document bevat de resultaten van de marktscan SURFmailfilter en MX-fallback. Deze marktscan bestond uit een online enquête onder instellingen die gebruik maken van de diensten.
versie 1
Colofon Programmalijn Onderdeel Activiteit Deliverable Toegangsrechten Externe partij
: : : : : :
Gebruiksverkenning Gebruikersonderzoek 3.1 Gebruikersonderzoek (marktscan) SURFmailfilter en MX-fallback publiek What About Users (WAU?!)
Dit project is tot stand gekomen met steun van SURF, de organisatie die ICT vernieuwingen in het hoger onderwijs en onderzoek initieert, regisseert en stimuleert door onder meer het financieren van projecten. Meer informatie over SURF is te vinden op de website (www.surf.nl).
2 van 36
versie 1
4 dingen die je moet weten over de marktscan SURFmailfilter en MX-fallback Context De marktscan SURFmailfilter en MX-fallback is een onderdeel van het gebruikersonderzoek van SURFnet. Daarin wordt van verschillende doelgroepen (instellingen, eindgebruikers) feedback verzameld over SURFnet en de SURFnet-diensten.
Wat is het? De marktscan SURFmailfilter en MX-fallback is een online onderzoek onder dienstcontactpersonen voor de dienst SURFmailfilter en instellingscontactpersonen (ICP’s) van instellingen die gebruik maken van de dienst MX-fallback. De resultaten worden gebruikt als input voor de roadmap voor de dienst.
Voor wie is het? Deelname aan de marktscan SURFmailfilter en MX-fallback is beperkt tot de contactpersonen van instellingen die gebruik maken van de diensten. De resultaten worden gebruikt door de (technisch) product managers van SURFnet bij het bepalen van de verdere ontwikkeling van de dienst
Hoe werkt het? Deze marktscan bestond uit een online enquête.
Wat kan je ermee? De resultaten dienen mede als informatiebron voor de roadmap van de dienst SURFmailfilter en MX-fallback.
Extra (Bijlagen, Thema, Gerelateerde thema’s)
3 van 36
versie 1
INHOUDSOPGAVE INHOUDSOPGAVE INLEIDING CONCLUSIES AANBEVELINGEN RESULTATEN OVER HET ONDERZOEK
4 5 6 7 8 35
4 van 36
versie 1
INLEIDING SURFnet voert in 2009 voor het eerst een aantal marktverkenningen (marktscans) uit. Instellingen die gebruik maken van een dienst worden daarbij bevraagd over hun ervaringen met de dienst en over eventuele aanpassingen die zij graag zouden zien bij de dienst. De uitkomsten van de scans bevatten waardevolle informatie voor SURFnet en vormen input voor de roadmaps van de SURFnet-diensten. In het eerste kwartaal van 2009 zijn de diensten eduroam en SURFfederatie onder de loep genomen. In het derde kwartaal is onderzoek gedaan naar de diensten SURFmailfilter en MX-fallback. Deze rapportage bevat de gegevens van de marktscan SURFmailfilter en MX-fallback. De resultaten van het onderzoek zijn verwerkt tot bondige conclusies en ook de onderzoeksmethode word belicht.
5 van 36
versie 1
CONCLUSIES De vragenlijst is ingevuld door 39 respondenten, van wie 29 gebruik maken van de dienst SURFmailfilter, 5 van de dienst MX-fallback en 5 geen gebruik van deze diensten maken of het niet weten. De instellingen die hebben deelgenomen aan de marktscan zijn tevreden over de dienst SURFmailfilter. Ze geven aan er nog lang gebruik van te willen blijven maken. Wel zijn er per instelling soms specifieke wensen voor uitbreiding van de dienst. Deze punten zullen worden gewogen en waar mogelijk worden meegenomen in de roadmap voor 2010 en verder. De vragen over MX-fallback zijn door slechts vijf mensen ingevuld. Vier van hen verwachten de dienst over twee jaar nog te gebruiken. Slechts één respondent verwacht dat niet in verband met outsourcing. De respondenten waarderen de dienst en willen niet dat SURFnet de dienst uitfaseert. Een overstap op SURFmailfilter is voor hen niet direct van toepassing, een tarief kan overwogen worden.
6 van 36
versie 1
AANBEVELINGEN De resultaten van de marktscan zullen, zoals gezegd, worden gebruikt als input voor de roadmaps. Punten die bij het opstellen daarvan, in aanvulling op de positieve opmerkingen, zullen worden meegenomen zijn: • • • • • • • • •
Het tarief van SURFmailfilter voor onderwijsinstellingen wordt door een grote groep als te hoog ervaren. Spam- en virusdetectie worden hoog gewaardeerd, maar phishing geeft bij sommige instellingen problemen. De handleiding en documentatie is niet helder genoeg, maar er is weinig behoefte aan workshops. Het ontbreken van logging wordt een aantal keer genoemd als een groot gemis. De rapportagefunctionaliteit is voor verbetering vatbaar. Er is behoefte aan scanning van uitgaande mail. Er is behoefte aan een quarantaine-website, waar eindgebruikers als spam gemarkeerde berichten kunnen inzien. Een klein aantal instellingen heeft behoefte aan het volledig uitbesteden van de mailvoorziening aan SURFnet of een andere partij. Aan voorlichting/workshops rondom SURFmailfilter lijkt weinig behoefte te bestaan.
7 van 36
versie 1
RESULTATEN Ten eerste is gevraagd naar het gebruik van SURFmailfilter en MX-fallback. De meeste respondenten gebruiken SURFmailfilter (29 van de 39 respondenten). 5 respondenten gebruiken de MX-fallback dienst. Gebruik van SURFmailfilter en MX-fallback
De redenen waarom men heeft gekozen voor SURFmailfilter zijn voornamelijk: • • • • • • •
Gratis Besparing (beheers- en onderhouds)kosten Kwalitieit Betrouwbare partij Goede ervaringen met andere surfdiensten Beheer gemak Ontlasting van eigen servers
Als alternatief is meestal overwogen om eigen hardware en software aan te schaffen of de bestaande eigen dienst te continueren. Overwogen alternatieven
- Barracuda SPAM firewall - eigen service continueren
8 van 36
versie 1
Voor de meeste gebruikers voldoet SURFmailfilter volledig aan de verwachtingen (21 van de 29 SURFmailfilter-gebruikers). 7 gebruikers antwoorden ‘enigszins’, omdat bijvoorbeeld logging ontbreekt, trainen niet goed werkt en zelf domeinen toevoegen of verwijderen niet mogelijk is. In hoeverre voldoet de dienst SURFmailfilter aan de verwachtingen? - Aantal spamberichten sterk verminderd - Prettige samenwerking met SURFnet
- Logging ontbreekt - Virussen ook geblokt? - False positives: quarantaine mogelijkheid zou welkom zijn - Individueel intrainen niet goed genoeg - Phishing detectie werkt niet - zelf domeinen toevoegen en verwijderen zou handig zijn
* 1 respondent gaf aan dat de dienst helemaal niet voldoet aan de verwachtingen, maar geeft als verklaring dat de instelling nog aan de slag gaat met SURFmailfilter. De meeste gebruikers zouden SURFmailfilter aanbevelen bij andere instellingen: 10 mensen zouden dat zeker doen (score 10) en 9 vrijwel zeker (score 9). Het wordt een goede filter genoemd, die betrouwbaar is en snel. Zou u SURFmailfilter aanbevelen bij andere instellingen? (Schaal van 1-10)
- Erg goed filter, prima SLA - Betrouwbaar - Snel
- False positives t - Er zijn betere producten
Mogelijke verbeteropties • • • •
Logging Quarantaine Accuratere SPAM score bij HTML encoded berichten als nieuwsbrieven. eigen domeinen kunnen toevoegen en verwijderen, goede administrator handleiding 9 van 36
versie 1
•
Rapportage beter configureerbaar.
SURFmailfilter wordt door de meeste gebruikers getypeerd als onmisbare service voor de instelling (16). Hoe zou u het belang van SURFmailfilter binnen uw instelling willen typeren?
- Handig. Een spamfilter is onmisbaar maar er zijn meer opties. - Weten we nog niet
Zorgeloos spamvrij; dat is volgens 9 mensen helemaal van toepassing op SURFmailfilter. Nog eens 12 mensen zijn het er ook mee eens. 5 mensen zijn neutraal. Zorgeloos spamvrij. Dát kan met SURFmailfilter.
- Er komt nog altijd spam door - individuele intraining verbeteren - phishing detectie verbeteren
10 van 36
versie 1
Gebruik SURFmailfilter wordt door de grootste groep (17 respondenten) voor alle domeinen gebruikt. 9 respondenten geven aan dat het voor bijna alle domeinen gebruikt wordt. Redenen om het niet voor alle domeinen te gebruiken zijn dat bepaalde domeinen geen email-functionaliteit hebben of dat het domein extern gehost wordt en daar al gefilterd. Voor welke van uw domeinen maakt u gebruik van SURFmailfilter?
- Niet alle domeinen hebben e-mail functionaliteit - Domein wordt extern gehost en gefilterd
De grootste groep is tevreden over het gebruiksgemak van SURFmailfilter (17 respondenten). Nog eens 9 gebruikers zijn heel tevreden. Niemand is ontevreden of heel ontevreden. Hoe tevreden bent u over het algemeen over gebruiksgemak van SURFmailfilter dienst?
-
De layout vind ik nogal eens onduidelijk Administrator deel verbeteren door handleiding Ontbreken van log inzage Functies voor eindgebruikers eenvoudiger Trainen makkelijker
11 van 36
versie 1
De webinterface van SURFmailfilter wordt vooral soms gebruikt (23 van de 29 respondenten) en dan vooral om de configuratie proactief te wijzigen (18 respondenten). Hoe vaak maakt u gebruik van de webinterface voor configuratie van SURFmailfilter?
Waarvoor gebruikt u de webinterface voor configuratie van SURFmailfilter?
12 van 36
versie 1
Veruit de meeste respondenten zijn tevreden over het gebruiksgemak van SURFmailfilter webinterface (20 respondenten). Hoe tevreden bent u over het gebruiksgemak van SURFmailfilter webinterface?
De configuratie schermen zijn niet erg duidelijk. Je moet soms zoeken, waar iets aangepast moet worden
Soms onduidelijk
Licht uw antwoord alstublieft toe • beetje spartaanse interface. • De configuratie schermen zijn niet erg duidelijk. Je moet soms zoeken, waar iets aangepast moet worden. • domeinen toevoegen en verwijderen kan niet • Duidelijk en functioneel • eenvoudig en overzichtelijk • ik zou graag meer statistieken zien • Nu is er een apart manual, maar eigenlijk zou alle help al in het webinterface moeten zitten, bv. via onmouseover, enz. • Redelijk duidelijke interface • Soms onduidelijk • Trainen zou makkelijker moeten zijn. • Webinterface is voldoende duidelijk, vanuit beheer surfdienst wordt bij vragen en problemen ook proactief gewezen op configuratiemogelijkheden
13 van 36
versie 1
In hoeverre maakt u gebruik van de mogelijkheid om MEDEWERKERS toegang te geven tot de webinterface van SURFmailfilter om persoonlijke instellingen te wijzigen?
In hoeverre maakt u gebruik van de mogelijkheid om STUDENTEN toegang te geven tot de webinterface van SURFmailfilter om persoonlijke instellingen te wijzigen?
Hoe tevreden bent u over de optie om eindgebruikers toegang te geven tot de webinterface van SURFmailfilter om persoonlijke instellingen te wijzigen?
- Aanmelden en streams koppelen aan mail-adressen blijft lastig te begrijpen voor eindgebruikers. - Soms te beperkt voor gebruikers, soms te complex
14 van 36
versie 1
Verwacht u over 2 jaar nog gebruik te maken van SURFmailfilter?
Ik verwacht dat we tegen die tijd een andere appliance in huis hebben die het e-mail verkeer gaat filteren
Licht uw antwoord alstublieft toe • Als we weer een inhouse oplossing hebben, zal dit product waarschijnlijk buiten gebruik genomen worden • De enige reden om er mee te moeten stoppen is de prijs. Voor een klein instituutje is de prijs onevenredig hoog. • Het mailfilter bevalt ons goed, geen redenen dus om naar iets anders uit te kijken • Het werkt uitstekend... waarom zou je dan iets anders willen. • Ik beslis hier niet over • Ik verwacht dat we tegen die tijd een andere appliance in huis hebben die het e-mail verkeer gaat filteren • sluit goed aan op onze wensen • SURF mailfilter werkt uitstekend en doet alles wat we van een mailfilter verwachten. • SURFmailfilter voldoet momenteel volledig, ten gevolge van mogelijke samenwerking met andere instellingen kunnen zaken in toekomst veranderen... • Zeker weten bestaat niet.
15 van 36
versie 1
Het tarief van SURFmailfilter is (voor 2010) 800 euro per maand voor onderwijsinstellingen en 300 euro per maand voor niet-onderwijsinstellingen. Voor onderwijsinstellingen worden deze tarvieven te hoog gevonden door 12 respondenten. 7 respondenten vinden de prijs goed. Voor niet-onderwijsinstellingen wordt de prijs vaker goed gevonden (9). Voor onderwijsinstellingen zijn deze tarieven:
Voor niet-onderwijsinstellingen zijn deze tarieven:
16 van 36
versie 1
Wat is uw waardering van de volgende aspecten van SURFmailfilter?
Vraag 23.1: Spamdetectie
Vraag 23.2: Virusdetectie
Vraag 23.3: Phishingdetectie
17 van 36
versie 1
Vraag 23.4: Afwezigheid van false positives (=ten onrechte als spam gemarkeerde mailtjes)
18 van 36
versie 1
Vraag 23.5: Snelheid (performance)
Vraag 23.6: Beschikbaarheid
19 van 36
versie 1
Vraag 23.7: Gebruikersvriendelijkheid
Vraag 23.8: Documentatie buiten de applicatie (handleiding en dienstbeschrijving)
Vraag 23.9: Communicatie bij onderhoud
20 van 36
versie 1
Vraag 23.10: Communicatie bij verstoringen
Vraag 23.11: Communicatie bij algemene vragen, verzoeken etc
21 van 36
versie 1
Vraag 23.12: Vertrouwelijkheid
Vraag 23.13: Beveiliging
Vraag 23.14: Rapportagemogelijkheden
22 van 36
versie 1
Welke functionaliteit zou u graag toegevoegd willen zien aan SURFmailfilter? Andere suggesties voor functionaliteiten: • Ik heb meer behoefte aan een betaalbaardere dienst dan aan meer functionaliteit. • inzage in SMTP logging voor het domein, mogelijkheid om virussen door te laten, maar wel te flaggen, phishing mail niet als SPAM flaggen maar apart als PHISH oid, • inzage van logging, wij blokeren alle spam met het filter, dus het is heel lastig terugzoeken als wij verzoeken krijgen van gebruikers dat zij mail missen. Dan moeten we meestal met bv een gmail account aan de gang om daar de mail naar toe te laten sturen en dan de mailheader te bekijken. • spam traps met automatische blacklisting • Zoals vermeld een website waar je logging na kunt zoeken of een email geblokkeerd wordt en waarom
23 van 36
versie 1
Behoefte aan…
24 van 36
versie 1
Vraag 25.1: Ik heb meer behoefte aan inzicht in logfiles e.d. van SURFmailfilter
Vraag 25.2: Ik heb behoefte om de gehele e-mail dienstverlening van de instelling uit te besteden aan SURFnet
25 van 36
versie 1
Vraag 25.3: Ik heb behoefte om de gehele e-mail dienstverlening van de instelling uit te besteden aan een derde, niet zijnde SURFnet
Vraag 25.4: Ik heb behoefte aan voorlichting rond SURFmailfilter in de vorm van reguliere bijeenkomsten
26 van 36
versie 1
Vraag 25.5: De huidige SURFmailfilter-dienstverlening voldoet voor mijn instelling ruimschoots. Ik heb geen behoefte aan nieuwe features binnen de dienst.
27 van 36
versie 1
Communicatie
Welke communicatiemiddelen gebruikt uw instelling voor de promotie van SURFmailfilter?
Aan wat voor soort communicatie-uitingen over SURFmailfilter heeft uw instelling behoefte? duidelijke uitleg over SPAM problematiek, en wat de mogelijkheden voor de gebruiker hierin zijn
28 van 36
versie 1
MX-FALLBACK Wat is de reden voor u om gebruik te maken van MX-fallback? alle inkomende mail willen ontvangen, zelfs bij storingen van eigen servers, netwerk of SURFnet aansluiting Backup bij uitval internet verbinding en/of mailserver betrouwbare dienstverlening, mail blijft altijd bewaard tijdens lokale outages. extra zekerheid dat email aankomt Wij hebben in onze DMZ maar een gateway servers. Als deze onbereikbaar is, moet de mail dus ergens anders worden afgeleverd.
29 van 36
versie 1
Vraag 29: Welke alternatieven heeft u overwogen?
Kunt u aangeven waarom er toch gekozen is voor de MX-fallback dienst? • • • •
betouwbaarheid van surfnet gemak, betrouwbaarheid Surfnet Surfnet tarieven en betrouwbaarheid We hebben redundant SMTP servers, maar er kan ook een storing zijn met de aansluiting op internet
30 van 36
versie 1
Hoe zou u het belang van MX-fallback binnen uw instelling willen typeren?
In hoeverre bent u het eens met de volgende stellingen? Vraag 32.1: SURFnet kan wat mij betreft de MX-fallback dienst uitfaseren
Vraag 32.2: De versturende partij is verantwoordelijk voor het succesvol afleveren van de email bij de ontvangende partij
31 van 36
versie 1
Licht uw antwoorden alstublieft toe • de versturende partij moete kunnne vertrouwen op een betrouwbare ontvangende partij • gedeelde verantwoordelijkheid, maar ontvanger dient ten alle tijden te zorgen dat email aangenomen kan worden • Ontvangende partij moet mailserver/spamfilter goed hebben draaien • Op zich is de versturende partij verantwoordelijk voor het afleveren, maar het niet kunnen afleveren geeft geen informatie of het tijdelijk of permanent is. M.a.w. hoe lang blijf je proberen.
32 van 36
versie 1
Gebruik MX
Voor welke van uw domeinen maakt u gebruik van MX-fallback?
Verwacht u over 2 jaar nog gebruik te maken van de SURFnet MX-fallback dienst?
Licht uw antwoord alstublieft toe • door outsourcing zullen we op termijn geen gebruik meer maken van de diensten van Surfnet • Er komt dagelijks heel veel mail (spam) binnen via de -fallback omdat het als secondary mailserver staat ingesteld • Het is goed om deze extra zekerheid te hebben en te houden. • ik beschouwhet als een onmisbaar vangnet • Wij hebben maar een locatie, dus een -fallback op een echt andere locatie is waarschijnlijk dan ook noodzakelijk.
33 van 36
versie 1
De MX-fallback dienst maakt gebruik van hetzelfde platform waar de dienst SURFmailfilter vandaan wordt geleverd. Als u bovenstaande leest, zou u uw MXfallback abonnement willen omzetten in een SURFmailfilter-abonnement?
Voor MX-fallback wordt momenteel geen tarief in rekening gebracht.Blijft u gebruik maken van de dienst indien het minimale tarief voor SURFmailfilter in rekening wordt gebracht voor het gebruik van MX-fallback (300 euro per maand)?
34 van 36
versie 1
OVER HET ONDERZOEK Doelstelling Inzicht krijgen in de klanttevredenheid over de diensten SURFmailfilter en MX-fallback en het gebruik van SURFmailfilter en MX-fallback in kaart brengen om zo input te genereren voor de roadmap van de dienst.
Methode Online enquête onder contactpersonen van instellingen die reeds gebruik maken van de dienst SURFmailfilter of MX-fallback.
Doelgroep Voor het onderzoek zijn de SURFmailfilter contactpersonen benaderd en voor de de dienst MX-fallback de instellingscontactpersonen (ICP’s). De ICP’s die zijn benaderd voor dit onderzoek behoren niet tot de kern gebruikersgroep van de dienst SURFmailfilter en MX-fallback. Als vertegenwoordigers van hun instelling zijn zij echter wel het doorgeefluik van SURFnet naar eindgebruikers en vice versa. Vanuit die rol kunnen zij goed inschatten hoe een dienst ervaren wordt door gebruikers binnen hun instelling. De instellingen die hebben meegewerkt zijn: Alfa-college AMC Avans Christelijke Hogeschool Ede Cito De Haagse Hogeschool Deltion College Zwolle ECN EIPA Graafschap College Hanzehogeschool Hogeschool Leiden Hogeschool Utrecht Hogeschool Windesheim Zwolle Hogeschool Zeeland hogeschool zuyd KNAW KNAW IISG Koninklijke Bibliotheek KVI Leidsch Universitair Medisch Centrum NBDBiblion NKI-AVL Onderwijsinspectie Rijksuniversiteit Groningen ROC van Twente 35 van 36
versie 1
Saxion Stenden hogeschool Stoas Learning BV Technische Universiteit Eindhoven Universiteit Maastricht Vrije Universiteit Amsterdam VU medisch centrum Zeeuwse Bibliotheek
Veldwerk Het veldwerk is in samenwerking met onderzoeksbureau What About Users?! uitgevoerd. Contactpersonen van instellingen hebben per e-mail een uitnodiging ontvangen om deel te nemen aan het onderzoek. Het onderzoek was anoniem, al hadden respondenten wel de gelegenheid om contactgegevens achter te laten voor een nadere toelichting. Het veldwerk is uitgevoerd in de periode van 29 september tot en met 7 oktober 2009.
Respons Aan het onderzoek hebben 39 van de 95 benaderde instellingen meegewerkt. Van deze instellingen zijn nog eens 23 respondenten bereid om een nadere toelichting te geven bij de door hun gegeven antwoorden. De resultaten van dit onderzoek zijn niet statistisch representatief, maar geven wel een goede indicatie van wat er leeft onder de doelgroep met betrekking tot SURFmailfilter en MX-Fallback (ervaringen, meningen, wensen en behoeften). Het onderzoek moet niet worden gezien als een grootschalig kwantitatief onderzoek, waarbij geconcentreerd wordt op cijfermatig inzicht en procentuele verhoudingen. In dit onderzoek is meer diepgaande informatie verzameld (er zijn bijvoorbeeld veel open vragen gesteld en er is vaak gevraagd naar een toelichting bij de antwoorden). In die zin heeft dit onderzoek vooral een kwalitatief karakter. Dat de groep respondenten relatief klein is, is daarom minder belangrijk dan bij een grootschalig kwalitatief onderzoek. Bovendien spreken de instellingscontactpersonen uit naam van een grotere groep. Met 39 respondenten (van de 95 uitgenodigde contactpersonen) is hoogstwaarschijnlijk het belangrijkste deel van de ervaringen, wensen, meningen en behoeften in kaart gebracht.
36 van 36
