Rapportage gebruikerstest ICT voor Veilig Thuis
1 Inleiding De afgelopen weken zijn vier applicaties getest die zijn ontwikkeld voor de Veilig Thuis organisaties. Het gaat om de producten van de volgende leveranciers: • Capgemini (Tri-A’s) • Conclusion • Regas • Obec De gebruikerstesten zijn gestandaardiseerd. Iedere leverancier heeft op de testdag gelegenheid gehad zichzelf te presenteren, de applicatie te presenteren en (interactief) vragen te beantwoorden. Daarnaast is een test uitgevoerd door een vast testteam, op basis van een set “user-scenario’s”. Het testteam bestaat uit drie administratieve medewerkers (secretariaat/superuser/beheer), 1 manager, 1 projectleider en 2 maatschappelijk werker. De scenario’s zijn ontwikkeld in aansluiting op de uitvoeringspraktijk van Veilig Thuis. Aan de testgroep is gevraagd, om naar aanleiding van de testen, hun beeld te geven op basis van vaste criteria. Daarnaast hebben de leveranciers allen een vragenlijst ontvangen, met een focus op een feitelijke uitvraag. Tot slot hebben de leveranciers (kort) gelegenheid gehad om te reageren op de uitkomsten van de testen. Op onderdelen hebben we in overleg met leveranciers de testuitslagen iets aangepast of genuanceerd. Zowel in de voorbereiding, als de uitvoering, zijn de testen uitgevoerd binnen beperkte tijd en middelen; daarmee kent deze test zijn beperkingen. In deze zin is er dan ook geen sprake van een uitgebreide vergelijkingstest of pakketselectie. Maar uitgaande van deze beperkingen geeft de test een redelijk objectief beeld van de belangrijkste kenmerken van de verschillende applicaties. Doelstelling van het onderliggend rapport is om Veilig Thuis organisaties een handvat te bieden waarmee ze het gesprek kunnen aangaan met de leveranciers van de applicaties die het dichtst in de buurt komen bij hun wensen. Een belangrijk gegeven bij de test, is dat zowel het werkproces en de organisaties van Veilig Thuis, als ook de applicaties voor Veilig Thuis, midden in een ontwikkelingsproces zitten. De Veilig Thuis wereld is een zeer dynamische wereld, waar nieuwe inzichten en werkwijzen voor een deel nog ontwikkeld worden. Hoewel een aantal uitgangspunten, randvoorwaarden en hoofdprocessen bekend zijn – en vastgelegd in het Handelingsprotocol, Programma van Eisen en Informatie Protocol – betekent dit geenszins dat op detailniveau alles bekend is. Dit bleek ook tijdens de testen. Geen van de geteste applicaties voldoet op alle punten aan de drie hoofddocumenten (het handelingsprotocol, informatie protocol en programma van eisen). Iedere applicatie heeft zijn sterkere en zwakkere punten. Los van het feit dat de inzet van de test gericht is op het inzichtelijk maken van de kenmerken van de verschillende applicaties, blijkt uit de test dat de keuze van een applicatie werkelijk alleen door individuele organisaties genomen kan worden: de vraag welke applicatie het beste past, is afhankelijk van de prioriteiten van de betreffende Veilig Thuis organisatie.
2
Vereniging van Nederlandse Gemeenten
1.2 Testen Dataweken en Mens Centraal Naast eerder genoemde leveranciers hebben zich twee leveranciers gemeld die een gebruikerstest doorlopen. Dit zijn: • Datawerken • Mens Centraal/Lost Lemon Omdat de laatste twee leveranciers pas in maart in beeld kwamen en de testgroep kort daarna is opgeheven, is besloten tot een verkorte test, uitgevoerd door twee leden van het programmateam Veilig Thuis. Reden om deze test alsnog uit te voeren, is om de leveranciers de gelegenheid te geven om alsnog te presenteren (gegeven verwachtte korte termijn besluitvorming) en de Veilig Thuis organisaties een zo breed mogelijk beeld te geven van de aanbieders. T.a.v. Datawerken beperkt het testteam zich tot een korte beoordeling, op basis van de criteria (door gebruik te maken van enkele scenario’s). Aan Veilig Thuis organisaties wordt geadviseerd om, indien zij in Datawerken geïnteresseerd zijn, een uitgebreide test uit te voeren om de validiteit van onze beoordeling te toetsen. T.a.v. Mens Centraal hebben we in goed overleg met de leverancier besloten om geen testresultaten te presenteren, om de simpele reden dat hun applicatie nog niet voldoende is ingericht op de werkprocessen van Veilig Thuis om getest te worden. Tot slot een kort dankwoord aan degenen die de testen hebben uitgevoerd. Hun open en constructieve houding tijdens de test, heeft gezorgd voor een goede sfeer en mede daardoor - optimale testresultaten. Dank aan Adje Dam, Paul Zwanepoel, Jan ten Berge, Hans Groos, Marion Visser, Maaike Beglinger, Annelotte Nieuwenhuizen en Aster Roth. Onderliggende rapportage start met de resultaten van de vergelijkingstest, vervolgens de kenmerken die de leveranciers zelf benoemen en tot slot een overzicht van de belangrijkste algemene bevindingen. Het laatste gedeelte van dit rapport is daarmee het minst objectieve.
Vereniging van Nederlandse Gemeenten
3
2 De criteria Alle vier systemen (inmiddels 5) zijn beoordeeld op basis van de combinatie van presentatie en de ervaringen met de user-scenario’s. Van te voren waren de criteria aan de leveranciers bekend gemaakt. De testers hebben vervolgens de criteria bekeken en er een score aan toegekend. Gegeven het feit dat is gewerkt met dezelfde subgroepen (per leverancier) en dezelfde user-scenario’s, was het mogelijk om de applicaties steeds op dezelfde manier te beoordelen. Voor Datawerken is een verkortte test door een testgroep van 2 personen uitgevoerd (er is geen apart verslag met bevindingen). Alle applicaties zijn beoordeeld op basis van de volgende criteria:
Stabiliteit Hier gaat het om de mate waarin er fouten tijdens de test optreden.
Primaire processen De mate waarin de applicatie de veel voorkomende handelingen in het werkproces van VT ondersteunt Dan gaat het met name om: • email versturen: vanuit de applicatie, inclusief opslaan email; • afspraken maken: vanuit de applicatie, inclusief uitnodigingen versturen aan derden of collega’s; • documenten samenstellen: vanuit de applicatie en opslaan in de applicatie; • inrichting: is de basisstructuur van de applicatie helder/logisch opgebouwd? • gebruik/flexibiliteit keuzelijsten: hoe makkelijk zijn ze te gebruiken? • zoekfunctie: gebruikersgemak/zoeken op jokers/zoeken op 1 plek; • navigatie: heen en weer navigeren door de applicatie. Is helder waar de gebruiker zich bevindt? • consistentie: gebruik van iconen, ondersteunende functies, opmaak van pagina’s, ondersteuning gebruik door visuele hulp (grafische user interface) • gebruikersoverzicht: wat moet de gebruiker (nu) doen/werklast?
Flexibiliteit systeem Het betreft hier de vraag in welke mate het systeem is in te richten naar de wensen van de gebruikers (organisatie en individuele werkers).
Gebruik/beheer sociale kaart Dit heeft betrekking op de vraag hoe gemakkelijk de sociale kaart door de hele applicatie heen te gebruiken is/hoe gemakkelijk nieuwe contacten zijn in te voeren, dan wel te beheren
Gebruikersvriendelijkheid Het gaat hier om de vraag in welke mate bij het ontwerp van de applicatie naar het oordeel van de testgroep prioriteit is gegeven aan het gemak dat de professional tijdens het gebruik ervaart. Het gaat hier om de gemiddelde score van de lexen van de testgroep.
Managementinformatie/monitorinformatie Wat is de kwaliteit van de managementinformatie, aanvullend op de informatie die ten behoeve van het Informatie Protocol wordt gegenereerd. Hoe flexibel is de informatie in rapportages weer te geven? Is managementinformatie gemakkelijk te lokaliseren/aan te passen aan lokale wensen?
Specificaties (benodigde hardware/software) Wat zijn de hardware eisen en met welke browsers kan worden gewerkt? 4
Vereniging van Nederlandse Gemeenten
Autorisatieniveaus In hoeveel gradaties zijn autorisatieniveaus in te stellen en hoe eenvoudig is het om ze in te stellen door de gebruikersorganisatie?
Intuïtiviteit van de applicatie: Hoe voor de hand liggend zijn de handelingen die in de applicatie moeten worden verricht, voor iemand die wel het werkproces kent, maar (nog) geen geroutineerde gebruiker is van de applicatie? Hier is het gemiddelde van steeds dezelfde zes testers genomen. We hebben er voor gekozen om niet per applicatie een gemiddelde score te presenteren over alle bovenstaande criteria. Dat zou immers betekenen dat we alle criteria op dezelfde manier zouden wegen, hetgeen niet conform de werkelijkheid van Veilig Thuis zou zijn. We weten uit ervaring dat de verschillende Veilig Thuis organisaties de criteria verschillend wegen. Het is aan iedere Veilig Thuis organisatie om te bepalen welke kenmerken van de applicatie voor haar het zwaarst wegen en daarop haar keuze te bepalen. Conclusion
Obec
Regas
Capgemini
stabiliteit
+
primaire processen
+
+
+
+/-
+
+
+/-
++
++
+
++
-
+
+
afspraken maken
*
++
-
-
+
docs samenstellen
++
+
+/-
+/-
+
inrichting
+
+/-
+/-
+/-
+
gebruik/flexibiliteit keuzelijsten
+
+
+
+
+
zoekfunctie
++
+
+/-
+/-
+
navigatie
+
+/-
+/-
+/-
+
consistentie
+
+
+
-
+
gebruikersoverzicht
+
+/-
+
+/-
+
flexibiliteit systeem
+
++
+
+/-
++
gebruik/beheer sociale kaart
++
+
+
**
***
gebruikersvriendelijkheid
+
+
+
+/-
+
managementrapportage
+
++
++
**
***
voorkomende fouten
+
+
+/-
+/-
+
autorisatieniveaus
+
+
+
++
***
intuïtiviteit applicatie
+
+/-
+
+/-
+
email versturen
Datawerken
* Conclusion geeft aan over uitgebreide standaard agendafunctionaliteit te beschikken, die naar wens toegevoegd kan worden. ** Capgemini geeft aan dat de sociale kaart half april wordt opgeleverd. Zie voor de toelichting over management informatie bij de antwoorden van Cap op de vragenlijst in de bijlage. *** Voor Datawerken (RegiPro.Net) geldt dat lang niet alle scenario’s in de test zijn doorlopen, vanwege de beperkte tijd en kleine testgroep. Criteria die niet getest zijn, zijn niet beoordeeld. RegiPro.Net is de enige geteste applicatie die sinds begin dit jaar in productie (regio Gooi- en Vecht) is.
Vereniging van Nederlandse Gemeenten
5
Overzicht koppelingen Conclusion
Obec
Regas
Capgemini
Datawerken
CORV
ja
ja
ja
juni ****
juni
GBA-V
ja
ja
maart
ja
juni
VIR
ja
ja
ja
april
ja
**** Capgemini beschikt al vanaf begin april 2015 over een geteste CORV-koppeling die gebruikt maakt van Jeugdzorgnet en KIJ. De in dit overzicht bedoelde koppeling legt de verbinding met CORV via de algemene standaard Digikoppeling en is ook geschikt om VTO’s namens gemeenten via CORV te sturen naar de Raad voor
6
de Kinderbescherming.
Vereniging van Nederlandse Gemeenten
3 De vragenlijsten en respons van leveranciers Aan alle leveranciers is een uniforme vragenlijst voorgelegd. In de bijlagen zijn de antwoorden van leveranciers terug te vinden. In onderstaand overzicht zijn de antwoorden van de leveranciers onderling vergeleken hoewel daarbij zo dicht mogelijk bij de antwoorden van leveranciers is gebleven, is enige mate van interpretatie onontkoombaar. We adviseren dat iedere Veilig Thuis organisatie de antwoorden van de leveranciers in de bijlagen ook zelfstandig beoordeelt en weegt.
Conclusion
Obec
Regas
Capgemini
Datawerken
pentest
++
+/-
++
++
+/-
management informatie
+
+
++
+
++
niet ter inzage
++
++
++
++
++
verbonden dossiers
++
++
+
+
++
performance
++
++
++
++
++
doorlooptijd implementatie (wk)
2-4
8-12
4-8
6-8
3-8
gebruikersoverleg
++
++
++
+
++
koppeling GBA-V
+
++
+/-
+
+/-
compatibiliteit hard/software*
++
++
+
+
++
autorisaties
++
++
++
++
++
email
+
++
+
+
++
agenda
+
++
+/-
+
+
informatie protocol
++
++
++
++
++**
koppeling VIR
++
++
+
+/-
++
sociale kaart
+
+
+/-
+/-
++
aansluiting CORV
++
++
+/-
+
-
* Onderscheidend is hier de geschiktheid van de applicatie voor verschillende apparaten (desktop, tablet, smartphone). Op het gebied van de toepasbare software zijn de verschillen tussen de leveranciers te verwaarlozen. ** Datawerken heeft de overdracht van alle informatie volgens het IP aan het CBS al gerealiseerd.
Prijsvergelijk volgens opgave leveranciers Alle leveranciers hebben inzage gegeven in de kosten voor de gebruikers, op hoofdlijnen. De hier gepresenteerde bedragen zijn richtbedragen. Ze geven een indicatie op hoofdlijnen, van de kosten van de VT applicatie, voor een groep van 50 gebruikers, over een periode van 2 jaren. Waar vraagtekens staan, hebben de leveranciers geen informatie aangeboden op het betreffende onderwerp. Als er een vraagteken staat in onderstaande lijst, wil dit niet zeggen dat er geen (of juist wel) kosten berekend worden, alleen dat daar geen inzicht in is. Indien € 0,00 is ingevuld, is deze post onderdeel van een andere kostenpost (doorgaans de vaste, de flexibele of de implementatiekosten). Onderstaand overzicht heeft betrekking op de kostenposten waarover wij aan de leveranciers informatie hebben gevraagd. Als kosten niet in dit overzicht staan vermeld, betekent dat niet dat ze er niet zijn. In alle gevallen adviseren we aan de Veilig Thuis organisaties een maatwerk offerte op te laten stellen. Vereniging van Nederlandse Gemeenten
7
Obec (o.b.v. 50 gebruikers) vast
Jaar 1
Jaar 2
€ 4.000,00
€ 920,00
flexibel per gebruiker € 300,00
€ 15.000,00
€ 3.450,00
implementatie/beheer
€ 20.000,00
€ 1.860,00
inrichting
?
training
€ 1.750,00
CORV
€ 4.500,00
?
GBA-V
€ 4.500,00
?
CBS
€ 4.500,00
?
VIR
€ 3.000,00
hosting Totaal
Regas (o.b.v. 50 gebruikers) vast flexibel per gebruiker € 300,00 implementatie/beheer
? € 1.250,00
€ 57.250,00
Jaar 1
€ 7.480,00
Jaar 2
€ 0,00
€ 0,00
€ 15.000,00
€ 15.000,00
€ 5.000,00
?
inrichting
?
training
€ 1.650,00
CORV
€ 5.000,00
€ 5.000,00
GBA-V
?
CBS
?
VIR
?
hosting
?
?
€ 26.650,00
€ 20.000,00
Totaal
Conclusion (50 gebruikers) vast
Jaar 1
Jaar 2
€ 4.000,00
€ 920,00
flexibel per gebruiker € 300,00
€ 15.000,00
€ 15.000,00
implementatie/beheer
€ 20.000,00
?
inrichting training
? € 0,00
CORV
?
?
GBA-V
?
?
CBS
?
?
VIR
?
?
hosting
?
?
€ 39.000,00
€ 15.920,00
Totaal
8
Vereniging van Nederlandse Gemeenten
Capgemini (50 gebruikers) Vast (15%)
Jaar 1
Jaar 2
€ 2.992,50
flexibel per gebruiker € 399,00
€ 19.950,00
implementatie/beheer
€ 15.000,00
€ 19.950,00
Inrichting
€ 0,00
Training
€ 0,00
CORV
€ 0,00
€ 0,00
GBA-V
€ 0,00
€ 0,00
CBS
€ 0,00
€ 0,00
VIR
€ 0,00
€ 0,00
Strippenkaart
€ 0,00
Totaal
Datawerken (50 gebruikers) vast flexibel per gebruiker € 260,00 implementatie/beheer inrichting
€ 37.942,50
Jaar 1
€ 19.950,00
Jaar 2
€ 0,00
€ 0,00
€ 13.000,00
€ 13.000,00
€ 2.500,00
€ 0,00
€ 0,00
€ 0,00
training
€ 1.000,00
€ 0,00
CORV
€ 2.000,00
€ 0,00
GBA-V
€ 2.000,00
€ 0,00
CBS
€ 0,00
€ 0,00
VIR
€ 1.500,00
€ 0,00
€ 0,00
€ 0,00
€ 20.500,00
€ 13.000,00
hosting Totaal
Het overzicht van Capgemini is gebaseerd op het aanbod dat zij op 3 maart 2015 aan alle Veilig Thuis organisaties hebben gedaan.
Vereniging van Nederlandse Gemeenten
9
4 Algemene bevindingen Naast de bevindingen op basis van de testen met user scenario’s en de input van de leveranciers op de vragenlijsten, is er ook een kort algemeen beeld te schetsen, per organisatie. Hierbij wordt teruggevallen op de presentatie en concrete ervaringen van de testgroep, met verschillende leveranciers.
Conclusion Conclusion is een Nederlandse organisatie waar ongeveer 1800 mensen werkzaam zijn. De organisatie heeft een brede oriëntatie en beschikt zowel over technische mensen als specialisten op andere vakgebieden. Conclusion werkt veel voor klanten in de maatschappelijke sector.
Obec Obec is met 25 mensen een relatief kleine aanbieder, met een sterk technische focus. Vanuit deze focus hebben ze al meer dan 20 jaar ervaring met de ontwikkeling van informatiesystemen, onder andere voor maatschappelijke organisaties en bieden ze een relatief breed assortiment van technische oplossingen.
Regas Regas is een middelgrote organisatie, van ongeveer 50 mensen. Vanuit een overwegend technische focus, biedt Regas een gestandaardiseerde oplossing met een behoorlijke mate van flexibiliteit. Regas heeft ruime ervaring in de maatschappelijke sector in algemene zin en SHG’s in specifieke zin.
Capgemini Capgemini is de grootste van de vier geteste partijen, met 4500 werknemers in Nederland. Capgemini is onder meer leverancier van Gecertificeerde Instellingen, en heeft vanuit deze verbinding de afgelopen periode gewerkt aan een oplossing voor Veilig Thuis. Capgemini heeft ruime ervaring in de publieke sector.
Datawerken Datawerken is de kleinste leverancier, met 6 werknemers. De organisatie bestaat bijna 25 jaar en ondersteunt verschillende opdrachtgevers in de publieke sector. Datawerken heeft op het moment van de test een volledig werkende applicatie voor Veilig Thuis geïmplementeerd.
Mens Centraal Mens Centraal is een vereniging die vooral voor gemeenten werkt. De generieke, maar flexibele ICT oplossing werkt onder andere bij verschillende Centra voor Jeugd en Gezin en wijkteams.
10
Vereniging van Nederlandse Gemeenten
5 Nawoord Zoals eerder aangegeven: deze gebruikerstest kent geen conclusies, maar signaleert en waardeert verschillende kenmerken van de verschillende organisaties. We hopen dat de Veilig Thuis organisaties geholpen zijn met de informatie in dit rapport. Ter ondersteuning van de bevindingen zijn de volgende bijlagen meegeleverd: • de bevindingen van de gebruikersgroep + respons van de leveranciers (ex Datawerken) • de antwoorden van de leveranciers op de vragenlijst
15 april 2015 Programma Doorontwikkeling Veilig Thuis
Vereniging van Nederlandse Gemeenten
11
