Van meten naar inzicht? Onderzoek naar een evaluatiemethode ter bevordering van het inzicht in digitale dienstverlening binnen de gemeente Delft
Anouk Davidse Sectie Systeemkunde Faculteit Techniek, Bestuur en Management Technische Universiteit Delft Delft, 16 oktober 2002 Opdrachtgever: Begeleider extern: Hoogleraar TU Delft: Begeleider TU Delft: Begeleider TU Delft: Begeleider TU Delft:
B. Janssen, Hoofd ICT gemeente Delft D.J. van Dijk, Projectcoördinator gemeente Delft prof. dr. H.G. Sol (Systeemkunde) drs. J.H. Appelman (Systeemkunde) dr. ir. M. den Hengst-Bruggeling (Systeemkunde) dr. ir. M.F.W.H.A. Janssen (ICT)
“Voor ons telt het resultaat. … Aan de resultaten kunnen de gemeenteraad en de stad zien of we onze ambities en beloften hebben kunnen waarmaken.” (Collegeprogramma 2002-2006 Voorzetten en Doorzetten, gemeente Delft)
Voorwoord Dit rapport is het resultaat van mijn afstudeeronderzoek bij de gemeente Delft voor de studie Technische Bestuurskunde aan de Technische Universiteit Delft. Het onderwerp is voortgekomen uit overleg tussen Marijn Janssen van de Technische Universiteit Delft en Inge van de Water van de gemeente Delft. Ben Janssen, het vakteamhoofd ICT van de gemeente Delft heeft opdracht gegeven voor dit onderzoek. Vanuit de gemeente Delft ben ik begeleid door Dirkjan van Dijk. Binnen de Technische Universiteit Delft is het onderzoek uitgevoerd in de sectie Systeemkunde van de faculteit Techniek, Bestuur en Management onder leiding van professor dr. H.G. Sol. Vanuit deze sectie ben ik begeleid door Mariëlle den Hengst. In de laatste fase van het onderzoek is dit gedeeltelijk overgenomen door Jaco Appelman, in verband met een verblijf in het buitenland van Mariëlle. Marijn Janssen heeft mij vanuit de sectie ICT begeleid. Ik wil alle begeleiders hartelijk danken voor hun steun, waardevolle adviezen en wijze raad.
Anouk Davidse, Delft, 16 oktober 2002
Inhoudsopgave Samenvatting ................................................................................................................... Begrippenlijst .................................................................................................................... Hoofdstuk 1: Inleiding ..................................................................................................... 1 Hoofdstuk 2: Achtergrond ............................................................................................... 3 2.1 Organisatiestructuur van de gemeente Delft......................................................... 3 2.2 Programma KIS.................................................................................................... 3 2.3 ‘ICT in de gemeente Delft’ .................................................................................... 5 Hoofdstuk 3: Probleemanalyse ....................................................................................... 9 3.1 Actorenanalyse..................................................................................................... 9 3.2 Stuurmodel......................................................................................................... 14 3.3 Conclusie ........................................................................................................... 17 Hoofdstuk 4: Onderzoeksopzet..................................................................................... 19 4.1 Voorkeuren gemeente Delft................................................................................ 19 4.2 Onderzoeksaanpak ............................................................................................ 22 Hoofdstuk 5: Prestaties meten...................................................................................... 25 5.1 Meten van prestaties in een (overheids)organisatie............................................ 25 5.2 Raamwerk toegepast op bestaande methoden................................................... 27 5.3 Raamwerk toegepast op voorkeuren gemeente Delft ......................................... 31 5.4 Conclusie ........................................................................................................... 32 Hoofdstuk 6: Evaluatiemethode .................................................................................... 35 6.1 Uitgangspunten .................................................................................................. 35 6.2 Subdoelen .......................................................................................................... 37 6.3 Prestatie-indicatoren........................................................................................... 41 6.4 Selectie prestatie-indicatoren ............................................................................. 51 6.5 Uitvoering evaluatiemethode .............................................................................. 53 Hoofdstuk 7: Prototype ................................................................................................. 55 7.1 Eigenschappen prototype ................................................................................... 55 7.2 Ontwerp en bouw ............................................................................................... 56 Hoofdstuk 8: Reflectie op de evaluatiemethode en het prototype.................................. 61 8.1 Terugkoppeling naar stuurmodel en bestaande methoden ................................. 61 8.2 Toetsing evaluatiemethode................................................................................. 62 8.3 Toetsing prototype.............................................................................................. 64 Hoofdstuk 9: Conclusies en aanbevelingen .................................................................. 67 Literatuurlijst ................................................................................................................. 71 Bijlagen......................................................................................................................... 73 Bijlage 1: Overzicht clusters ..................................................................................... 74 Bijlage 2: Overzicht projecten ................................................................................... 75 Bijlage 3: Lijst geïnterviewden .................................................................................. 76 Bijlage 4: Toelichting bij prestatie-indicator ‘Variëteit bezoekers’ .............................. 77 Bijlage 5: Inventarisatie informatiebronnen gemeente Delft ...................................... 78 Bijlage 6: Klassediagram gegevensstructuur van de database ................................. 80 Bijlage 7: Scenario’s, vragen en enquête toetsing prototype .................................... 81
Samenvatting In 1996 heeft de gemeente Delft besloten zich te profileren als Delft Kennisstad. Om ook de inwoners van Delft op een digitale manier van dienst te kunnen zijn, is de gemeente in 1997 gestart met het programma Kennis Infrastructuur (KIS). Dit programma beoogt de nieuwe technieken op het gebied van Informatie- en Communicatietechnologie te gebruiken ten gunste van de interne organisatie en in de communicatie met externe partijen. Na de eerste vier jaar van de uitvoering van dit programma moest in 2002 een basisvoorziening beschikbaar zijn voor alle balie- en beleidsmedewerkers, besluitvormers, administrateurs en beheerders, waarmee het werken in de kennisorganisatie wordt gefaciliteerd. De tweede periode van de uitvoering van dit programma, van 2002 tot en met 2006, is gericht op het aanbieden van digitale dienstverlening aan inwoners van Delft en andere externe doelgroepen. In 2000 heeft de rekenkamercommissie van de gemeente Delft een onderzoek uitgevoerd naar de effectiviteit van het ICT-beleid binnen de gemeente. Een belangrijke conclusie van dit onderzoek is dat de rapportages over het programma KIS de gemeenteraad onvoldoende inzicht gaven om een oordeel te kunnen vormen over het doelmatig functioneren van de ICT-organisatie. Er was behoefte aan een meet- en verbetersysteem (hierbij is de Balanced Scorecard genoemd), concrete prestatieindicatoren en een evaluatie van grote ICT-projecten. Mede naar aanleiding van de conclusies van bovengenoemd onderzoek, is dit afstudeeronderzoek gestart met als doel: de resultaten van het programma KIS inzichtelijk maken voor de gemeenteraad. Er is voor gekozen eerst breed te kijken naar de uitvoering van het programma KIS en daarna te focussen op een klein gedeelte van de problematiek dat aansluit bij het doel. Om te beginnen is een actorenanalyse uitgevoerd en is een stuurmodel ontwikkeld, een model dat de uitvoering van projecten binnen het programma KIS systematisch weergeeft. De ideale situatie is beschreven en vergeleken met de werkelijke situatie, de uitvoering van projecten binnen het programma KIS in de gemeente Delft. Door deze vergelijking is een aantal problemen zichtbaar geworden: • een duidelijke visie of strategie waarop projecten geselecteerd kunnen worden voor ze mogen worden uitgevoerd ontbreekt bij het programma KIS • het sturend orgaan, de gemeenteraad, heeft onvoldoende kennis van het onderwerp ICT, om alternatieven aan te dragen en in te grijpen in (projecten van) het programma KIS • er is te veel vraag naar projecten • er zijn geen prestatie-indicatoren en normen voor prestatie-indicatoren gedefinieerd op projectniveau en voor het totale programma KIS • projecten worden soms gestart vanuit het enthousiasme van het vakteam ICT • projecten worden soms gestart vanuit de beschikbare techniek • formulieren om de voortgang van projecten te monitoren worden matig ingevuld • het systeem om de voortgang van projecten te monitoren (PIN) wordt matig ingevuld • er zijn te veel projecten tegelijkertijd bezig In overeenstemming met het doel van dit onderzoek, inzicht geven in de resultaten van het programma KIS, is na overleg met de gemeente Delft besloten het onderzoek te richten op het ontwikkelen van een evaluatiemethode voor het programma KIS. Van de negen geschetste problemen wordt slechts een bijdrage geleverd aan de oplossing van het probleem ‘geen prestatie-indicatoren en normen gedefinieerd’ en ‘onvoldoende kennis van het sturend orgaan’. Om de voorkeuren van de gemeente Delft ten opzichte van een evaluatiemethode te achterhalen zijn interviews gehouden met betrokkenen binnen de gemeente. Voor de ontwikkeling van de evaluatiemethode zijn, als gevolg hiervan, de volgende uitgangspunten gebruikt: • hoofdaspecten van het programma KIS: digitale dienstverlening met tevreden gebruiker en concrete kostenbesparingen • burgerwaarden: toegankelijkheid, doeltreffendheid, betrouwbaarheid, controleerbaarheid en doelmatigheid • doelen van KIS 2: verbeteren van de informatievoorziening en uitbreiden van het aantal producten en diensten In overleg met de gemeente Delft is gekozen voor de volgende afbakening: • De evaluatiemethode is alleen gericht op digitale dienstverlening, het digitaal aanbieden van diensten (door de gemeente producten genoemd) via internet, aan inwoners van Delft.
•
Met de evaluatiemethode wordt het totaal aan digitale dienstverlening beoordeeld, er wordt niet ingegaan op resultaten per project. • Als gevolg van het belang dat de gemeente Delft stelt in de mening van de burger over digitale dienstverlening heeft de evaluatiemethode slechts betrekking op het meten van ‘de buitenkant’, er wordt niet gekeken naar aspecten van de back-office. • Om de organisatie niet onnodig te belasten wordt voor de evaluatiemethode, waar mogelijk, gebruik gemaakt van informatie die al in de organisatie aanwezig is. • De evaluatiemethode moet een eenvoudige methode zijn, waarbij meer informatie verkregen kan worden door in te zoomen. • Vooraf aan het invoeren van de evaluatiemethode moet een nulmeting worden uitgevoerd. Hierna kan de methode jaarlijks aan de gemeenteraad worden getoond. Waar mogelijk zullen resultaten van de evaluatiemethode per maand beschikbaar zijn. De gemeente Delft heeft aangegeven geïnteresseerd te zijn in de mogelijkheid om elementen van de methoden Balanced Scorecard en INK-model te gebruiken. Deze mogelijkheid wordt onderzocht. Als gevolg van de afbakening is het doel van het onderzoek de gemeenteraad inzicht geven in de resultaten van digitale dienstverlening, bewerkstelligd door het programma KIS. Voor het onderzoek zijn de volgende onderzoeksvragen geformuleerd: 1. Op welke manier kan een evaluatiemethode worden vormgegeven die inzicht geeft in de resultaten van het programma KIS, rekening houdend met de gestelde randvoorwaarden? 2. Kunnen (elementen van) de methoden Balanced Scorecard en INK-model een bijdrage leveren aan de evaluatiemethode voor het programma KIS? 3. Op welke manier kan invulling worden gegeven aan de hoofdaspecten van het programma KIS, de burgerwaarden en de doelen van KIS 2? 4. Welke prestatie-indicatoren geven inzicht in de resultaten van het programma KIS? 5. Hoe kunnen de gegevens voor deze prestatie-indicatoren worden verkregen? 6. Hoe kan de evaluatiemethode visueel worden weergegeven in een prototype? Om een evaluatiemethode te ontwikkelen aan de hand van de eerder geschetste uitgangspunten zijn zeven subdoelen geformuleerd die beogen de hoofdaspecten en de burgerwaarden te representeren: • het vergroten van het aanbod van digitale dienstverlening • het vergroten van de bekendheid van digitale dienstverlening • het vergroten van het gebruik van digitale dienstverlening • het vergroten van de tevredenheid van de burger over digitale dienstverlening • het verbeteren van de kwaliteit van afhandeling van digitale dienstverlening • het beperken van de investeringen in digitale dienstverlening • het vergroten van de besparing door het gebruik van digitale dienstverlening De subdoelen zijn elk uitgewerkt in meerdere prestatie-indicatoren die samen het betreffende subdoel weergeven. Bij het meten van deze prestatie-indicatoren wordt zoveel mogelijk gebruik gemaakt van informatie die al in de organisatie aanwezig is. Vaak moet deze informatie nog wel worden verwerkt. Naast de reeds beschikbare informatie zijn nog enkele onderzoeken noodzakelijk. Hiervan is het onderzoek naar de mening van de burgers over digitale dienstverlening de belangrijkste. Er is een prototype ontwikkeld dat de ontwikkelde evaluatiemethode kan weergeven. Per prestatieindicator worden de volgende aspecten getoond: de eigenschappen van de prestatie-indicator (definitie, eenheid, verantwoordelijke, bron), de norm (waarbij ook gegevens over wijzigingen in de norm opgevraagd kunnen worden), een beeld van de ontwikkelingen in de tijd (eerder behaalde scores), de score op een bepaald moment en eventueel extra informatie zoals bijvoorbeeld gegevens per product of per project. De methode Balanced Scorecard en INK-model zijn niet geschikt gebleken als methoden om de raad inzicht te geven in de resultaten van het programma KIS. Redenen hiervoor zijn: • Bij zowel de Balanced Scorecard als het INK-model is het proces van het ontwikkelen van de methode binnen de organisatie een zeer belangrijk aspect. Hierbij wordt de hele organisatie betrokken. De ingreep die nodig is voor de invoering van de Balanced Scorecard of het INK-model is buiten proporties voor het doel dat de gemeente wil bereiken. Te meer daar de gemeente Delft erop heeft aangedrongen de medewerkers niet te veel overlast te bezorgen met de invoering van de evaluatiemethode.
•
De gemeente Delft geeft er de voorkeur aan de methode te richten op het meten van ‘de buitenkant’. Methoden als Balanced Scorecard en INK-model zijn ook gericht op aandachtsgebieden zoals ‘Interne bedrijfsvoering’ en ‘Processen’. • De gemeente Delft is op zoek naar een methode om de gemeenteraad inzicht te geven in resultaten. De evaluatiemethode heeft dus als doel om transparantie te bieden. De Balanced Scorecard en het INK-model beogen voornamelijk de organisatie te laten leren en zijn niet gericht op het afleggen van verantwoording. • De methoden Balanced Scorecard en INK-model zijn gericht op het veranderingsproces binnen de organisatie. De ontwikkelingen die de organisatie doormaakt zijn een belangrijk onderdeel van de methoden. De invoering van de evaluatiemethode bij de gemeente Delft is niet bedoeld om de organisatie te veranderen. • Het invoeren van methoden zoals de Balanced Scorecard en het INK-model is een langdurig proces. De uitvoering van dit proces wordt in teamverband gedaan. De ‘architect’ heeft hierbij als rol het proces te ondersteunen. Het ontwikkelen van de evaluatiemethode voor de gemeente Delft heeft in korte tijd plaatsgevonden en is gedaan door een individu die in de rol van ‘architect’ de methode heeft opgesteld. Bij de ontwikkeling van de evaluatiemethode voor het programma KIS is wel gebruik gemaakt van een uitwerking in prestatie-indicatoren op aandachtsgebieden (subdoelen), zoals dit ook bij de Balanced Scorecard en het INK-model gebeurt. Er is echter uitgegaan van andere aandachtsgebieden. Met de ontwikkelde evaluatiemethode en het prototype is het mogelijk een overzicht te krijgen van resultaten van het programma KIS op het gebied van digitale dienstverlening. Het is moeilijk om met deze methode interne oorzaken van slechte prestaties te vinden, maar de methode geeft wel enige richting in de sturing aan. Het is bijvoorbeeld mogelijk om op basis van bepaalde prestaties te bepalen in welke producten meer of minder moet worden geïnvesteerd en of de nadruk op kwaliteit of kwantiteit moet komen te liggen. Ook is het mogelijk met de informatie die de evaluatiemethode biedt goede vragen te stellen aan de verantwoordelijke(n). Dit onderzoek is gestart om de gemeenteraad inzicht te geven in resultaten van het programma KIS. Tijdens de toetsing heeft de gemeente Delft het prototype voor dit doel positief beoordeeld. Bij de toetsing van het prototype is gebleken dat er risico’s zijn verbonden aan het gebruik van de evaluatiemethode. De volgende risico’s zijn geconstateerd: • Scores op prestatie-indicatoren kunnen verkeerd worden geïnterpreteerd als het totaaloverzicht uit het oog wordt verloren en er slechts naar een gedeelte van de informatie wordt gekeken. • Afwijkingen van de norm kunnen verkeerd worden geïnterpreteerd als er niet gekeken wordt naar de context. • Bij het beantwoorden van vragen die niet met het prototype beantwoord kunnen worden kan te veel waarde worden gehecht aan de informatie die wel in het prototype aanwezig is. • Sturingsinformatie ontbreekt in het prototype waardoor aannamen over oorzaken van problemen worden gedaan die niet uit het prototype volgen. Deze risico’s moeten niet alleen als negatief worden ervaren. Het feit dat ze bekend zijn is waardevol. Nu kan er immers rekening mee worden gehouden. Het is belangrijk te realiseren dat er grenzen zijn aan meetbaarheid en controleerbaarheid. Zoals uit de toetsing van het prototype is gebleken kunnen getallen verkeerd worden geïnterpreteerd of kunnen, door de hardheid van getallen, omgevingsfactoren uit het oog worden verloren. Om beter beleid te kunnen voeren is een rijker beeld nodig dan de fijnmazige informatie die de evaluatiemethode en het prototype bieden. De evaluatiemethode voor het programma KIS is gericht op het meten van ‘de buitenkant’. Het kan worden betwijfeld of dit een goede weergave is van de prestaties die de organisatie heeft geleverd en of de evaluatiemethode valide is. Bovendien is een gevolg van het meten van ‘de buitenkant’ en het niet ingaan op resultaten per project dat er geen inzicht is in de back-office. Dit is juist de plaats waar problemen zich zullen voordoen en verbetermogelijkheden te vinden zijn. Oorzaken van slechte resultaten zijn niet terug te vinden met deze evaluatiemethode. Als gevolg hiervan is deze methode niet geschikt om er intern mee te sturen. Zou de gemeente Delft de evaluatiemethode ook binnen het ambtelijk deel van de organisatie willen gaan gebruiken, dan is het aan te raden om deze uit te breiden. Hier wordt op teruggekomen bij de aanbevelingen.
Naar aanleiding van de bevindingen van dit onderzoek zijn aanbevelingen opgesteld voor de gemeente Delft. Er wordt begonnen met aanbevelingen voor het gebruik van het prototype en de evaluatiemethode. Daarna worden suggesties besproken om het prototype en de evaluatiemethode uit te breiden. Bij de toetsing van het prototype is gebleken dat het werken met het prototype niet als gemakkelijk wordt ervaren. Daarom wordt aangeraden het prototype eerst te demonstreren en de werking ervan uit te leggen voordat nieuwe gebruikers ermee gaan werken. Het prototype is niet bedoeld als vervanging van schriftelijke rapportages. Zoals gezegd kunnen de resultaten van het prototype verkeerd worden geïnterpreteerd. Als rekening wordt gehouden met de beschreven risico’s, kan het prototype een hulpmiddel zijn bij het trekken van conclusies. Deze conclusies dienen schriftelijk te worden gepresenteerd. Het prototype kan gebruikt worden als achtergrondinformatie bij de schriftelijke rapportage. Door beperkte tijd en middelen is het prototype oppervlakkig getoetst. Bij de invulling van het prototype is bijvoorbeeld gebruik gemaakt van fictieve waarden die de toekomst weergeven. Als gevolg hiervan is het slecht mogelijk geweest om de validiteit van het prototype te toetsen. Als echte metingen zijn verricht is het interessant nader te onderzoeken of het beeld van deskundigen over digitale dienstverlening in Delft overeenkomt met het beeld dat het prototype geeft. Omdat de informatie die nodig is voor de evaluatiemethode uit veel verschillende informatiebronnen moet komen, lijkt het niet zinvol om informatiesystemen te integreren. Wel is het waardevol om te kijken naar een efficiënte manier om gegevens uit het informatiesysteem van Publiekszaken over te brengen naar het systeem dat de evaluatiemethode weergeeft. Dit zijn namelijk relatief veel gegevens en handmatige invoering kan onnodig veel tijd kosten. Om met het prototype te kunnen werken moeten er in de eerste plaats gegevens beschikbaar zijn. Om dit te garanderen wordt aangeraden één persoon verantwoordelijk te stellen voor het verzamelen van de gegevens. Deze persoon moet erop toezien dat jaarlijks de gegevens over de prestatie-indicatoren op tijd aanwezig zijn. Per prestatie-indicator is ook een verantwoordelijke aangewezen. Jaarlijks vraagt de hoofdverantwoordelijke aan deze persoon de informatie voor de betreffende prestatie-indicator in de juiste vorm aan te leveren. Voor de uitbreiding van het prototype worden de volgende suggesties gedaan: • Een mogelijkheid bieden waarmee gegevens op eenvoudige wijze kunnen worden ingevoerd in de database (om het direct in de database invoeren van gegevens te voorkomen). • Plaatjes in het prototype (ten minste de staafdiagrammen) automatisch laten genereren op basis van gegevens in de database. • De mogelijkheid bieden om ook per product gegevens op te kunnen vragen. • De mogelijkheid inbouwen om zelf (per onderwerp) selecties van prestatie-indicatoren te tonen. • De mogelijkheid inbouwen om prioriteit te kunnen geven aan prestatie-indicatoren en deze bovenaan te plaatsen. Bij de analyse van het stuurmodel is gebleken dat meer aspecten van belang zijn dan alleen de output en het effect waar de evaluatiemethode op is gefocust. Het is daarom aan te raden de methode uit te breiden op de nu nog ontbrekende gebieden. Hiervoor wordt gesuggereerd vervolgonderzoek uit te voeren naar de mogelijkheid om de interne organisatie te monitoren door projecten in de evaluatiemethode op te nemen. Per project zal de te verwachte opbrengst in prestatie-indicatoren moeten worden uitgedrukt. Op deze wijze kan ook een selectie van projecten plaatsvinden door projecten met een (te) kleine bijdrage (uitgedrukt in een score op prestatie-indicatoren) niet uit te voeren of een lagere prioriteit te geven. Als dit proces continu wordt gemonitord en wordt teruggekoppeld naar de input, ontstaat een systeem waarmee kan worden gestuurd en waarmee wordt bijgedragen aan een oplossing voor de eerder geschetste problemen.
Begrippenlijst Woorden die in de begrippenlijst voorkomen zijn aangegeven met een sterretje. Accountmanager:
Onderhoudt, vanuit het vakteam* ICT*, de contacten met één specifiek cluster* over de lopende en nog uit te voeren projecten. Actor: Persoon of organisatie(onderdeel) op één of andere wijze betrokken bij het programma KIS* Actorenanalyse: Methode waarbij (de uitvoering van) het programma KIS* wordt geanalyseerd door het te bestuderen vanuit het perspectief van de verschillende actoren* Advies.overheid: Programmabureau van de overheid dat overheidssites onderzoekt en beoordeelt op inhoud en kwaliteit van de dienstverlening ASP: Active Server Pages, techniek waarmee webapplicaties kunnen worden gemaakt, met behulp van deze techniek is het prototype* ontwikkeld Back-office: Interne organisatie van de gemeente Delft BAVAK: Klantenvolgsysteem waarmee elke baliebezoeker van het cluster* Publiekszaken gevolgd kan worden Balance Scorecard: Methode waarmee een organisatie of een deel van een organisatie wordt gemonitord op basis van vier perspectieven (Financieel, Afnemers, Interne bedrijfsvoering, Leerresultaten en groei) waarbij het leerproces en de bewustwording van de hele organisatie belangrijke aspecten zijn (BSC, nadere uitleg is te vinden in paragraaf 5.2) Benchmarking: Vergelijkend onderzoek binnen en tussen organisaties Buitenkant: Hetgeen de burger ervaart van de digitale dienstverlening in de gemeente Delft met inbegrip van de mening van de burger hierover Burgerwaarden: Met de consumentenwaarden* als voorbeeld, heeft de gemeente Delft in de nota KIS 2 vijf burgerwaarden geformuleerd: toegankelijkheid, doeltreffendheid, betrouwbaarheid, controleerbaarheid en doelmatigheid Consumentenwaarden: De consumentenbond gebruikt acht internationaal geaccepteerde consumentenwaarden bij het beoordelen van het functioneren van markten en publieke diensten vanuit consumentenperspectief: toegang, keuzevrijheid, kwaliteit, waar voor je geld, informatie, veiligheid, klacht- en verhaalmogelijkheden en duurzaamheid Cookie: Een informatieblokje dat op de computer van de bezoeker van een website wordt opgeslagen. Met deze informatie kan de bezoeker geïdentificeerd worden als deze terugkeert op de site. Cookies zijn omstreden omdat ze de privacy van gebruikers kunnen schenden. Cluster: De gemeente Delft is opgedeeld in vijf verschillende clusters: Publiekszaken, Wijk- en Stadszaken, Bedrijven, Centrale Staf en Facilitaire Dienstverlening DKO: De regiegroep Digitale Kennisorganisatie is de opvolger van het project- en adviesbureau KIS*, heeft een adviserende rol richting het GMT* op het gebied van ICT* in het kader van het programma KIS* en bestaat uit vertegenwoordigers van de verschillende clusters* van de gemeente Delft Dummywaarden: Fictieve waarden die gebruikt zijn als invulling van het prototype* DVA: Dienstverleningsafspraken, interne richtlijnen voor te behalen prestaties Extranet: Uitbreiding van het intranet* waarbij gedeelten van het intranet* onder bepaalde condities opengesteld worden voor gebruik van buiten af Frontline: Call-centersysteem van de sector* Stadsbeheer dat telefoongesprekken die binnenkomen bij het Infopunt* registreert Front-office Gedeelte van de organisatie van de gemeente Delft waarmee de burger en andere externe doelgroepen in aanraking komen Gemeentesite: Website waarop de gemeente Delft producten* aanbiedt aan de burgers en andere externe doelgroepen (www.gemeentedelft.info) GMT: Gemeentelijk Managementteam, bestaande uit vijf clusterdirecteuren en de gemeente secretaris Internet: Een zelfregulerend internationaal netwerk van computernetwerken Intranet: Computernetwerk binnen een organisatie IBP: Informatiebeleidsplan, voorafgaand aan het programma KIS* I&A: Informatisering en Automatisering
ICT: Infopunt:
Informatie en Communicatietechnologie Call-center van de sector* Stadsbeheer waar telefonisch producten* kunnen worden afgenomen (grofvuil kan bijvoorbeeld worden aangemeld) INK: Instituut Nederlandse Kwaliteit INK-model: Methode waarmee een organisatie of een organisatieonderdeel wordt gemonitord op basis van negen aandachtsgebieden (Leiderschap, Strategie en Beleid, Medewerkers, Middelen, Processen, Waardering door klanten en leveranciers, Waardering door medewerkers, Waardering door de maatschappij, Eindresultaten) waarbij het leerproces en de bewustwording van de hele organisatie belangrijke aspecten zijn (zie ook paragraaf 5.2) IP-adres: Het adres van een computer in een netwerk KIS: Programma Kennis Infrastructuur, is gestart in 1997 en beoogt het gebruik van nieuwe technieken op het gebied van ICT* ten dienste van de interne organisatie en externe doelgroepen van de gemeente Delft te bevorderen (nadere uitleg is te vinden in paragraaf 2.2) Logfile: Computerbestand waarin is opgeslagen welke (onderdelen van) internetpagina’s zijn opgevraagd, vanaf welke IP-adressen* en wanneer dat is gebeurd Multicriteria-analyse: Methode waarmee een beoordeling gegeven kan worden op verschillende criteria in combinatie met bepaalde gewichten Nedstat-tellers: Verborgen tellers die geplaatst worden op een webpagina en waarmee informatie kan worden geregistreerd over: het aantal pageviews, de klikpaden, de herkomst en eigenschappen van de browsers en computers van de bezoekers NEON: Naar externe oriëntatie 1999, reorganisatie van de gemeente Delft, formeel per 1 maart 2000 Nulmeting: Meting die vóór de invoering van een evaluatiemethode wordt uitgevoerd en fungeert als referentie PAKIS: Project- en adviesbureau KIS* PDF-file: Portable Document Format, bestandtype waarin formulieren op de gemeentesite worden aangeboden PIN: Project Informatie Navigator, intern systeem waarin informatie over lopende projecten binnen de gemeente Delft kan worden bijgehouden en geraadpleegd Portal: Een internetsite die fungeert als wegwijzer naar informatie over een thema Producten: Diensten die de gemeente Delft aanbiedt aan burgers en andere externe doelgroepen Projectenlijst: Excel-file, gemaakt door het vakteam* ICT*, waarin gegevens over de projecten worden bijgehouden Projectleider: Projecten uitgevoerd door het vakteam* ICT* worden begeleid door een projectleider Prototype: Computerprogramma waarmee het weergeven van de evaluatiemethode voor het programma KIS wordt uitgeprobeerd PUZA: Publiekszaken Regiegroep: Zie DKO* Return on Investment: Verhouding tussen opbrengst en investering, geeft het succes van een investering weer Ringenmodel: Model dat gebruikt wordt als structuur voor het programma KIS* Sector: Een cluster* is opgebouwd uit sectoren die weer bestaan uit vakteams* Stadsportal: Portal* met als thema de stad Delft Standaarddeviatie: Geeft de mate van spreiding in meetresultaten aan Stoplicht-model: Model dat een eenvoudig overzicht geeft van de stand van zaken, waarbij de kleur groen aangeeft dat het goed gaat en de kleur rood dat het niet goed gaat Stuurmodel: Model dat in paragraaf 3.2 wordt gebruikt om de uitvoering van (projecten van) het programma KIS* in weer te geven Vakteam: Een cluster* is opgebouwd uit meerdere sectoren* die weer bestaan uit vakteams of een cluster* is direct opgebouwd uit vakteams Webdam: Website (www.webdam.nl) waarop Nederlandse gemeentesites worden beoordeeld op vormgeving, inhoud, communicatie, dienstverlening en plus- en minpunten
Hoofdstuk 1: Inleiding In 1997 is de gemeente Delft met het programma Kennis Infrastructuur (KIS) gestart. Dit programma beoogt het gebruik te bevorderen van nieuwe technieken op het gebied van ICT ten dienste van de interne organisatie en externe doelgroepen van de gemeente Delft. In de eerste jaren van het programma KIS heeft de nadruk gelegen op het aanbieden van ICT-voorzieningen in de eigen organisatie. In de komende jaren moet de nadruk komen te liggen op het aanbieden van digitale dienstverlening aan de burger en andere externe partijen. Over het programma KIS moet verantwoording worden afgelegd aan de gemeenteraad. De raad heeft aangegeven moeite te hebben met het beoordelen van de resultaten van het programma. In 2000 heeft de rekenkamercommissie van Delft een onderzoek uitgevoerd naar de effectiviteit van het Delftse ICT-beleid. Een passage uit de eindconclusie van het rapport, ‘ICT in de gemeente Delft’, over dit onderzoek: “Uit de beoordeling van het Delftse ICT-beleid blijkt dat een aantal belangrijke doelen zijn bereikt, zoals centralisatie van ICT-beleidsvorming en standaardisatie van de werkplek op beheersniveau. Het is echter niet mogelijk om de effectiviteit van het gevoerde beleid met de daarvoor ingezette middelen te beoordelen. … Het strategisch belang van ICT voor het functioneren van de gemeente en de bedragen die jaarlijks in ICT worden geïnvesteerd vereisen dat de raad meer zicht wordt gegeven in 1 de planning, voortgang en resultaten van het totale ICT-beleid.” Uit deze passage komt naar voren dat de gemeenteraad onvoldoende inzicht heeft in het effect van de investeringen die gedaan zijn ter bevordering van het programma KIS. Daarom is behoefte aan een manier om de resultaten beter in kaart te brengen en te kunnen beoordelen. Mede naar aanleiding van de conclusies van bovengenoemd onderzoek, is in de vorm van een afstudeeropdracht aandacht geschonken aan dit probleem. Dit afstudeeronderzoek heeft als doel de resultaten van het programma KIS inzichtelijk te maken voor de gemeenteraad. Eerst wordt echter dieper ingegaan op de uitvoering van het programma KIS. In hoofdstuk 2 wordt hierover achtergrondinformatie gegeven. In hoofdstuk 3 wordt naar aanleiding van interviews inzicht gegeven in problemen die spelen rondom het programma KIS. Pas na de uitvoering van deze analyse is het definitieve onderwerp voor het vervolg van dit onderzoek vast komen te staan, het ontwikkelen van een evaluatiemethode voor het programma KIS. In hoofdstuk 4 wordt de onderzoeksopzet besproken en komt ook de afbakening van deze opdracht aan de orde. Hoofdstuk 5 gaat in op het meten van prestaties en het gebruik van bepaalde methoden. De uitwerking van de evaluatiemethode komt in hoofdstuk 6 aan de orde. Om een indruk te krijgen van de manier waarop de evaluatiemethode kan worden gebruikt en de resultaten zichtbaar kunnen worden gemaakt, is een prototype ontwikkeld. Dit wordt besproken in hoofdstuk 7. In hoofdstuk 8 wordt teruggekeken op de evaluatiemethode en het prototype in de vorm van een toetsing. Hierna volgen conclusies en aanbevelingen in hoofdstuk 9. De betekenis van specifieke termen en afkortingen die in dit onderzoek worden gebruikt, is terug te vinden in de begrippenlijst.
1
Rekenkamercommissie Delft, ICT in de gemeente Delft, 2000, p. 7
1
2
Hoofdstuk 2: Achtergrond In dit hoofdstuk wordt de achtergrond van het programma KIS weergegeven. Allereerst wordt de organisatiestructuur van de gemeente Delft geschetst in paragraaf 2.1. Hierna zal dieper worden ingegaan op het programma KIS in paragraaf 2.2. In paragraaf 2.3 komt het rapport ‘ICT in de gemeente Delft’ aan de orde, dat in oktober 2000 een oordeel gaf over het programma KIS.
2.1 Organisatiestructuur van de gemeente Delft Tijdens de eerste jaren van het programma KIS verkeerde de gemeente Delft in een onrustige periode. Onder de naam NEON (Naar externe oriëntatie 1999) heeft een reorganisatie plaatsgevonden van de gemeente Delft. Tot en met 1999 was de gemeente Delft opgebouwd uit zes verschillende diensten. Deze diensten waren: de Bestuursdienst (BD), Stadsontwikkeling (SO), Dienst Maatschappelijke Zorg (DMZ), Beheer en Milieu (B&M), Combiwerk (COMB) en Welzijn, Onderwijs en Cultuur (WOC). De verschillende diensten hadden elk een eigen informatiserings- en automatiseringsstafgroep (I&A stafgroep). Deze verschillende I&A stafgroepen functioneerden als onafhankelijke eenheden. Er was geen sprake van een algemeen ICT-beleid. Een gevolg hiervan was dat elke dienst zijn eigen keuze maakte voor de soft- en hardware. Binnen de gemeente werden verschillende pakketten gebruikt. In 1997 is gestart met het vormgeven van de nieuwe organisatie van de gemeente Delft. De visie op de nieuwe organisatie is als volgt geformuleerd: “De gemeente Delft is een extern georiënteerde, flexibele organisatie die daardoor erkende kwaliteit aan burgers en bedrijven levert. Zij treedt als één organisatie de samenleving tegemoet en doet dat met medewerkers die taken uitvoeren die overeen komen met hun competenties en in samenwerking 2 met anderen.” In 2000 is de organisatiestructuur van de gemeente Delft veranderd. In plaats van in diensten, is de gemeente opgedeeld in vijf verschillende clusters. Deze clusters zijn: Publiekszaken, Wijk- en Stadszaken, Bedrijven, Centrale Staf en Facilitaire Dienstverlening. Een cluster is opgebouwd uit meerdere sectoren die weer bestaan uit vakteams, of een cluster is direct opgebouwd uit vakteams, zoals het cluster Facilitaire Dienstverlening. In bijlage 1 is een overzicht te zien van de verschillende clusters met hun taakomschrijving en onderdelen. Het cluster Facilitaire Dienstverlening werkt ter ondersteuning van de andere clusters. Eén van de vakteams van dit cluster is het vakteam ICT, dat de verantwoordelijkheid voor de ICT-voorzieningen voor de gemeente Delft heeft. Dit geldt zowel voor ICT-voorzieningen binnen de gemeente als voor voorzieningen voor de burger en andere externe partijen. In paragraaf 3.1 wordt een actorenanalyse beschreven. Daar wordt verder ingegaan op de actoren die in het kader van dit onderzoek een rol spelen binnen de gemeente Delft.
2.2 Programma KIS Door de aanwezigheid van vele kennisintensieve ondernemingen, een Technische Universiteit en het 3 hoofdkantoor van TNO, heeft Delft in 1996 besloten zich te profileren als Kennisstad. In 1997 is de projectgroep Kennisinfrastructuur (KIS) (ook wel project- en adviesbureau KIS (PAKIS) genoemd) opgericht. De opdracht aan deze projectgroep was “aan te geven hoe de ambities van Delft Kennisstad waargemaakt zouden kunnen worden met Informatie en Communicatie Technologie 4 (ICT).”
2
Raadsvoorstel NEON 1999, p. 2 http://www.delft.nl/kennisstad/organisatie.html, 13-5-2002 4 Bedrijfsplan KIS 1997, p. 2 3
3
Door de projectgroep KIS is een plan opgesteld voor het programma KIS. Dit plan heeft betrekking op een periode van acht jaar. Het programma KIS beoogt de nieuwe technieken op het gebied van Informatie- en Communicatietechnologie te gebruiken ten gunste van de interne organisatie en in de communicatie met externe partijen. De gemeente Delft wenst digitale dienstverlening aan te bieden aan externe doelgroepen (zoals burgers, bedrijven, instituten, verenigingen, e.d.) en de efficiency te vergroten door het gebruik van ICT en hiermee een kostenbesparing te bewerkstelligen. Het programma KIS is opgesplitst in twee perioden van vier jaar. De eerste periode (1998-2002) wordt besteed aan het uitvoeren van ICT-projecten ten behoeve van de interne organisatie. Deze zijn gericht op het verzamelen en standaardiseren van informatie binnen de gemeentelijke organisatie. In 2002 moet een basisvoorziening beschikbaar zijn voor alle balie- en beleidsmedewerkers, besluitvormers, administrateurs en beheerders, waarmee het werken in de kennisorganisatie wordt gefaciliteerd. Na deze vier jaar is de organisatie in staat om projecten met een externe uitwerking uit te voeren. In de 5 tweede periode (2002-2006) wordt gewerkt aan ondersteuning van externe doelgroepen in Delft. 6
De projectgroep KIS heeft een ringenmodel geïntroduceerd. Een weergave hiervan is te zien in figuur 2.1. Met behulp van het ringenmodel wordt structuur aangebracht in het programma KIS. De verschillende ringen staan voor een bepaald informatiesoort en een bepaalde technologie, of informatiedrager. Voorbeelden van een informatiesoort zijn balie-informatie en beleidsinformatie. Het Internet en het intranet zijn voorbeelden van een informatiedrager. In figuur 2.1 zijn de informatiesoorten en informatiedragers aangegeven bij de betreffende ringen. De projectgroep KIS 7 heeft voorgesteld deze ringen van binnen naar buiten door te werken. Balie-informatie Internet (kennis) Beleidsinformatie Extranet (kennis) Besluitvormingsinformatie Intranet (informatie) Basisinformatie Basiswerksystemen (gegevens)
5
T
4 3 2 1
Beheersinformatie Werkplek (applicaties)
T
= Tijd = Eerste vier jaar KIS = Tweede vier jaar KIS
figuur 2.1: Ringenmodel In de eerste vier jaar van KIS worden de projecten uit de eerste twee ringen uitgevoerd. Na uitvoering van deze projecten, zou elke medewerker van de gemeente een eigen gestandaardiseerde werkplek (configuratie van hardware, software, randapparatuur en communicatiemogelijkheden) moeten hebben (ring 1) en zouden de basisinformatie-systemen (Personen, Vastgoed, Maatschappelijke activiteiten, Financiën, Personeel en Documentaire Informatie) voor alle medewerkers toegankelijk moeten zijn (ring 2). Als met de eerste twee ringen de basis is gelegd, komen in de tweede vier jaar van het programma KIS de laatste drie ringen aan de orde. In die periode kan gewerkt gaan worden aan digitale dienstverlening naar de externe doelgroepen toe. Het zou mogelijk moeten worden voor geautoriseerde ambtenaren om besluitvormingsinformatie via het intranet te raadplegen (ring 3). Door middel van het extranet moeten burgers, bedrijven, instellingen en andere externe partijen in staat worden gesteld om interactief te communiceren met het gemeentebestuur en ambtelijke 5
Programma KIS 1999, p. 5 Bedrijfsplan KIS 1997, p. 4 7 Bedrijfsplan KIS 1997, p. 4 6
4
beleidsvoorbereiders (ring 4). Tot slot moeten de producten en diensten van de gemeente digitaal aan 8 de externe doelgroepen worden aangeboden (ring 5). 9
Bij de invoering van het programma KIS zijn 17 projecten gedefinieerd die direct of in een latere fase, afhankelijk van de ring waaraan ze zijn toegekend, worden gestart. In de loop van de tijd zijn hier nog projecten bijgekomen. Anderhalf jaar na de start van het programma KIS worden 33 projecten met in 10 totaal 25 deelprojecten omschreven. In bijlage 2 is een overzicht te zien van deze projecten. In het 11 overzicht status projecten per 1 maart 2002 worden 131 projecten genoemd. Het programma KIS is door het project- en adviesbureau KIS (PAKIS) gestart vóór de NEONreorganisatie in 2000. Vooruitlopend op de reorganisatie zijn in 1999 de medewerkers van de I&A stafgroepen van de verschillende diensten zoveel mogelijk bij elkaar op dezelfde locatie geplaatst. Per 1 maart 2000 zijn de I&A stafgroepen samen met PAKIS samengevoegd tot het vakteam ICT van het 12 cluster Facilitaire Dienstverlening. De KIS-stuurgroep is vervolgens opgericht en krijgt als taak technische standaards en informatiestandaards te ontwikkelen. Tevens heeft de KIS-stuurgroep een 13 ontwikkel- en bewakingsfunctie ten behoeve van het gemeentebestuur. De stuurgroep is in november 2001 uiteindelijk overgegaan in de regiegroep Digitale Kennisorganisatie.
2.3 ‘ICT in de gemeente Delft’ In 2000 heeft de rekenkamercommissie van de gemeente Delft een onderzoek uitgevoerd naar de effectiviteit van het Delftse ICT-beleid. Aanleiding hiervoor was onder andere de door de gemeenteraad ervaren ongrijpbaarheid van ICT-ontwikkelingen en de stijging van 14 automatiseringskosten . In het rapport over dit onderzoek, ‘ICT in de gemeente Delft’, wordt gemeld: “Er is regelmatig gerapporteerd, echter de rapportages ten behoeve van het bestuur geven geen goed zicht op de samenhang van ICT-activiteiten, het doelbereik en de ICT-uitgaven”(p.6) Een gedeelte van dit onderzoek, waarbij dieper wordt ingegaan op de ontwikkelingen en prestaties van het programma KIS, is door het bureau Ernst & Young uitgevoerd. In een ICT-beleidsevaluatie is het totale gemeentelijke ICT-beleid in de periode van 1994 tot 2000 geanalyseerd. Aangezien het programma KIS pas startte in 1997/1998 heeft de evaluatie betrekking op een periode van vier jaar zonder het programma KIS en de eerste twee jaar van het programma KIS. In de beleidsevaluatie wordt echter goed onderscheid gemaakt tussen deze twee perioden. In dit afstudeeronderzoek wordt alleen de periode van het programma KIS beschouwd. In de beleidsevaluatie van Ernst & Young komt naar voren dat het niet goed mogelijk is om het programma KIS te evalueren, mede omdat van te voren geen meetbare verwachte resultaten zijn gedefinieerd waarop achteraf kan worden getoetst. Over het evalueren van het programma KIS als geheel wordt opgemerkt: “Op programmaniveau zijn … geen prestatie-indicatoren terug te vinden. … binnen … KIS is het 15 behalen van het beoogde resultaat van de ingezette middelen achteraf moeilijk te beoordelen.” “Het geactualiseerde KIS- plan vertelt … over de voortgang van projecten, het geeft echter niet aan hoe het plan er als geheel (c.p. de vijf ringen daarbinnen) er nu voorstaat in termen van doelbereik en ingezette middelen daarvoor.“(p.5) “Een totaaloverzicht met betrekking tot de ingezette middelen ontbreekt. Specifieke kwaliteitscriteria zijn niet geformuleerd.”(p.16) Ook wordt ingegaan op de evaluatie van projecten. Hierover wordt het volgende gezegd: “Zowel het IBP (Informatiebeleidsplan 1994, situatie vóór KIS) als de KIS- plannen geven een globale planning van de projecten weer. Hoewel de KIS- plannen concreter zijn dan de IBP- plannen, kan
8
Bedrijfsplan KIS 1997 Rekenkamercommissie Delft, ICT in de gemeente Delft, 2000, p. 25 10 Programma KIS 1999, p. 29 11 Status projecten per 1 maart 2002 12 Feber 2000, p. 21 13 Bedrijfsplan KIS 1997, p. 8 14 Rekenkamercommissie Delft, ICT in de gemeente Delft, 2000, p. 5 15 Meerman 2000, p. 5 9
5
gesteld worden dat voor beide geldt dat zij te globaal zijn om op basis van die gegevens concrete evaluaties op prestaties/effecten en ingezette middelen uit te kunnen voeren.”(p.4) “De KIS projecten bevatten slechts zeer globale prestatie-indicatoren.”(p.5) “Te bereiken resultaten van ICT-inspanningen worden niet meetbaar weergegeven in projectplannen en worden achteraf niet getoetst.”(p.13) “Indien een project vooraf passend binnen het KIS-concept wordt bevonden, vindt achteraf geen evaluatie meer plaats op gevoerde beleid en strategie.”(p.16) “De doelmatigheid van de uitvoering van I&A-projecten en de reguliere ICT-activiteiten (beheer en exploitatie van alle ICT-voorzieningen) kan nauwelijks beoordeeld worden, omdat heldere toetsingscriteria ontbreken. Ook het financiële overzicht en inzicht over periodes ontbreken. Benchmarking met andere organisaties vindt niet plaats.”(p.22) Ook komt in de beleidsevaluatie naar voren dat de planning, de keuze van projecten en de prioritering van projecten te wensen over laat. “Binnen KIS bestaat alleen prioritering tussen de ringen, niet tussen projecten. De binnenste ringen zijn nog niet geheel voltooid, met name de ring m.b.t. basisinformatie zal nog verder ingevuld moeten worden, desondanks lijkt de uitvoering van de buitenste ringen geïntensiveerd te gaan worden.”(p.7) “KIS heeft geen kritiek pad en dus ook geen management daarvan: de volgorde van projecten lijkt adhoc bepaald.”(p.15) “De gemeenteraad krijgt geen alternatieven of risico-analyses aangereikt.”(p.10) Over de financiële kant van het programma KIS wordt het volgende opgemerkt: “Ten tijde van het IBP en KIS wordt op projectniveau de uitputting van de reserves bijgehouden. De financiële informatievoorziening via de beleidscyclus (en eventueel aanvullende rapportages) is inconsistent van structuur. Dit maakt de totale omvang van de automatiseringskosten alsook de omvang van de automatiseringskosten voor de te onderscheiden ICT-activiteiten ondoorzichtig.“(p.9) Deze tekortkomingen hebben gevolgen voor het inzicht van de gemeenteraad in de effectiviteit van ICT-investeringen. Dit wordt als volgt toegelicht: “Taken, verantwoordelijkheden en bevoegdheden zijn in beginsel duidelijk. De bestuurlijke informatievoorziening, op basis waarvan de besluitvorming en besturing van de gemeenteraad plaatsvindt, aan de gemeenteraad is ontoereikend.”(p.7) “Belangrijkste manco dat door de gemeenteraadsleden wordt gesignaleerd is het gebrek aan totaaloverzicht op gebied van I&A. In termen van: waar zijn we als Delft mee bezig? Wat is de samenhang? Wat kost het? En wat levert het op voor de organisatie en de burgers? De gemeenteraad mist het tactisch niveau van informatievoorziening: samenhang tussen projecten en resultaten in vergelijking tot ingezette middelen.“(p.8,9) “De informatie waarover de gemeenteraad beschikt is niet geschikt om een oordeel te kunnen vormen over het doelmatig functioneren van de ICT-organisatie.”(p.23) Uit de beleidsevaluatie komt naar voren dat zowel een totaaloverzicht van het programma KIS wordt gemist, als de mogelijkheid om de projecten te monitoren. In het rapport ‘ICT in de gemeente Delft’ worden onder andere de volgende aanbevelingen gedaan om de situatie te verbeteren: “Maak gebruik van een meet- en verbetersysteem, bijvoorbeeld volgens de opzet van een Balanced 16 Scorecard.” “Zorg per project voor een helder projectvoorstel met dito bewakingsmogelijkheden en een daarop te baseren management informatievoorziening: een informatiecyclus per project.”(p.33) “Zorg bij elk ICT-project voor een concrete vertaling in prestatie-indicatoren in termen van resultaat, financiële, personele capaciteit, doorlooptijd, plaats in het ICT-programma en afhankelijkheid van andere projecten. Dit geldt ook zowel voor de KIS-projecten als de projecten/investeringen ten behoeve van clusterapplicaties. Deze moeten KIS-compatibel zijn.“(p.33) “Besteed systematisch aandacht aan de evaluatie van grote ICT-projecten, zeker bij projecten waar zich knelpunten bij de implementatie danwel het daaropvolgend gebruik hebben voorgedaan.”(p.33)
16
6
Rekenkamercommissie Delft, ICT in de gemeente Delft, 2000, p. 30
Samengevat zijn de punten die in het rapport ‘ICT in de gemeente Delft’ aan de orde zijn gekomen de volgende: • Als een project binnen het programma KIS is gestart, vindt achteraf geen evaluatie plaats • Het is moeilijk om het programma KIS te evalueren omdat er geen of te globale prestatieindicatoren zijn gedefinieerd op project- en programmaniveau • Er lijkt geen duidelijke prioritering van projecten te zijn • De kosten voor ICT-activiteiten zijn ondoorzichtig • De rapportages over het programma KIS voor de gemeenteraad bleken niet geschikt om een oordeel te kunnen vormen over het doelmatig functioneren van de ICT-organisatie • Er is gebrek aan totaaloverzicht • Er is behoefte aan een meet- en verbetersysteem (bijvoorbeeld de Balanced Scorecard), concrete prestatie-indicatoren en de evaluatie van grote ICT-projecten Zoals genoemd in de inleiding zijn de conclusies uit het rapport ‘ICT in de gemeente Delft’ mede aanleiding geweest voor deze afstudeeropdracht.
7
8
Hoofdstuk 3: Probleemanalyse Om een goede indruk te krijgen van de uitvoering van het programma KIS zijn interviews gehouden met betrokkenen. In paragraaf 3.1 worden de resultaten van deze interviews besproken tegen de 17 achtergrond van een actorenanalyse en in paragraaf 3.2 tegen de achtergrond van een stuurmodel. In paragraaf 3.3 wordt afgesloten met een conclusie waarin deze modellen opnieuw worden bekeken. Passages uit interviews zijn cursief weergegeven. Een lijst met geïnterviewden is te zien in bijlage 3. Overigens dient te worden opgemerkt dat de interviews zijn gehouden in mei 2002. De stand van zaken of bepaalde meningen kunnen sindsdien zijn gewijzigd. In dit onderzoek wordt echter uitgegaan van de meningen ten tijde van de interviews.
3.1 Actorenanalyse In paragraaf 2.1 is een globale schets gegeven van de structuur van de gemeente Delft. In deze paragraaf wordt deze structuur nader toegelicht en zullen ook enkele partijen buiten de gemeente worden besproken. In figuur 3.1 is de situatie in kaart gebracht. De verschillende actoren die een rol spelen bij het programma KIS zullen nader worden toegelicht. Het gaat hierbij om de wethouder (onder andere) verantwoordelijk voor digitale dienstverlening en ICT, de gemeenteraad, het gemeentelijk managementteam (GMT), de regiegroep Digitale Kennisorganisatie (DKO), het vakteam ICT, andere clusters, de burger en andere externe doelgroepen en andere gemeenten. Andere gemeenten
Gemeente Delft Bestuurlijk Ambtelijk Regiegroep DKO
Webdam
GMT
Publiekszaken
Wethouder ICT
Centrale staf
Wijk- en stadszaken
Advies.overheid
B&W
ICT Facilitaire Dienstverlening
Controlerend & Vertegenwoordigend Gemeenteraad
Bedrijven
Bedrijven
Externe doelgroepen Burgers
Verenigingen Instituten
= beoordeelt = verantwoordelijk voor
= kiest
= leveren diensten aan
= legt verantwoording af aan
= adviseert
= vergelijkbaar met
= vragen, klachten, meningen, o.a. via Delft Internet Panel (DIP)
figuur 3.1: actorenoverzicht
17
Enserink 2000, p. 99
9
Wethouder De wethouder verantwoordelijk voor digitale dienstverlening en ICT is onderdeel van het college van B&W en heeft dus een sturende functie. In een tijd waarin de mogelijkheden van de nieuwe digitale technieken hoog op de agenda staan wil hij zich ook op dit gebied profileren. In het nieuwe collegeprogramma wordt de nadruk gelegd op resultaten en het meten van deze resultaten. Dit heeft ook bij de wethouder hoge prioriteit. Hiervoor is het noodzakelijk dat de wethouder informatie heeft over het gevoerde beleid en de resultaten hiervan. Gemeenteraad De gemeenteraad wordt gekozen door de inwoners van Delft en heeft een controlerende en vertegenwoordigende functie. Het college moet verantwoording afleggen aan de gemeenteraad. Omdat de gemeenteraad te weinig inzicht had in de resultaten van het programma KIS, is er een onderzoek ingesteld naar de effectiviteit van het ICT-beleid. Het bureau Ernst & Young heeft naar aanleiding hiervan als mogelijke oplossing een Balanced Score Card gesuggereerd. Deze term is de gemeenteraad bijgebleven en de invoering van een evaluatiemethode, met name de Balanced Score Card, zal in goede aarde vallen. Het door de gemeenteraad aangegeven gebrek aan inzicht lijkt niet zozeer te komen door een tekort aan terugkoppeling. “Er is nergens zoveel over geschreven als over KIS.” Wel lijken de manier van terugkoppeling en de aard van de materie oorzaken te zijn van het gebrek aan inzicht in resultaten bij de gemeenteraad. Door middel van nota’s wordt de gemeenteraad periodiek op de hoogte gehouden van de ontwikkelingen op het gebied van ICT in de gemeente Delft. Hierin worden geen concrete doelen gesteld die achteraf kunnen worden getoetst. Om de kritiek op het programma KIS in een breder kader te plaatsen wordt de vergelijking gemaakt met andere beleidsterreinen. In het rapport ‘ICT in de gemeente Delft’ is aangegeven dat de raad er moeite mee heeft dat er geen alternatieven worden geboden. Dit blijkt op andere beleidsterreinen ook niet te gebeuren. Een verschil is echter dat de raad op andere beleidsterreinen beter in staat is om mee te praten over een voorgesteld plan. “Bij de discussie over de herinrichting van een stuk stad ligt er ook gewoon een herinrichtingsplan, maar iedereen kan zich er wat bijvoorstellen en zeggen ‘dat moet 10 meter hoger en dan moet 10 meter lager’. Als er een plan komt voor het overgaan op een ander besturingssysteem … dan wordt niet de discussie gevoerd of linux beter is of dat er op applecomputers moeten worden overgaan.” Op het gebied van ICT mist de raad de kennis en ervaring om suggesties aan te dragen en is de enige keuze ‘ja of ja’ zeggen. Omdat de nieuwe technieken op het gebied van ICT hoge prioriteit hadden is er veel geld ingestoken. Hierdoor is de aandacht van de raad erop gevestigd. Beleidsterreinen die ook niet transparant zijn maar waar minder geld in omgaat worden veel minder in de gaten gehouden. GMT De gemeente Delft is na de NEON-reorganisatie opgedeeld in vijf clusters. Deze clusters staan elk onder leiding van een clusterdirecteur. De vijf clusterdirecteuren vormen samen met de gemeentesecretaris het gemeentelijk managementteam (GMT). Het gemeentelijk managementteam is inhoudelijk verantwoordelijk en moet de uitgevoerde projecten in het kader van het programma KIS kunnen verantwoorden. Vanuit het GMT gezien verloopt het starten van projecten “behoorlijk chaotisch en toevallig”. Voor een evaluatiemethode wordt van groot belang geacht dat aan de start van een project concrete, meetbare doelstellingen worden gedefinieerd, zodat achteraf duidelijk is of het doel wel of niet is bereikt. Het starten van projecten, omdat het leuk of interessant is, zonder het budget vast te stellen zou uit den boze moeten zijn. “Je krijgt dan allerlei projecten die niet overschreden zijn want er is nooit bedacht hoeveel het zou mogen kosten. Maar ondertussen is het wel heel duur geworden.” Regiegroep Digitale Kennisorganisatie (DKO) In de regiegroep DKO zitten vertegenwoordigers van de verschillende clusters van de gemeente Delft. De regiegroep heeft in feite de rol van het oorspronkelijke project- en adviesbureau KIS overgenomen. Zij heeft nu een adviserende rol, op het gebied van ICT in het kader van het programma KIS, richting het GMT. De regiegroep geeft aan dat het de resultaten van projecten transparanter wil maken. “Als je geld vraagt voor een project zou je al in het begin moeten aangeven dat het een meerwaarde heeft, waar die meerwaarde inzit, wat de burger eraan heeft, waarom het goed zou zijn om te doen, ook voor de
10
organisatie. En na afloop van het project verantwoording afleggen: heeft het nu geleid tot het resultaat? Zo ja, fantastisch, iedereen heeft goed zijn best gedaan. Zo nee, waar zitten dan de verbeterpunten voor de volgende keer.” Tevens wordt aangegeven dat het moeilijk is om alles meetbaar te maken en hiervoor doelstellingen te bepalen. Binnen de organisatie klinkt de kritiek dat er geen duidelijke visie of strategie is voor het programma KIS. “In het geheel van Kennisinfrastructuur ontbreekt een overzicht. Het is nog steeds duizend bloemen bloeien onder één grote noemer. ‘Delfts erfgoed digitaal’ is digitaal, dat is ongeveer het enige verband wat ze hebben met ‘grofvuilmeldingen op internet’. En hoe pas je beide in een kennisstructuur? … Er ligt geen groot framework aan ten grondslag. … Het zou wel gestructureerder mogen. Het zou meer gedragen moeten zijn door één strategie die ook meer rekening houdt met organisatieontwikkelingen.“ Een taak van de regiegroep DKO zou zijn om een duidelijke strategie te definiëren. Alleen projecten die binnen deze strategie vallen mogen worden uitgevoerd. Vakteam ICT Het vakteam ICT is onderdeel van het cluster Facilitaire Dienstverlening en heeft dus een ondersteunende rol voor andere clusters. Per cluster is een accountmanager aangesteld die als contactpersoon fungeert tussen het cluster en het vakteam ICT. Om een vraag van een ander cluster te realiseren wordt een project gestart onder leiding van een projectleider. Al eerder werd genoemd dat het starten van projecten niet altijd verloopt zoals dat hoort. In het verleden zijn sommige projecten gestart vanuit het enthousiasme van het vakteam ICT. “Zijn ze gewoon begonnen, laten we maar eens een pilotje doen en dan nog eens een pilotje en dan kopen we er een server bij en uiteindelijk heb je een project waarbij er drie miljoen bij moet, willen we dit in de lucht houden.” Ook zijn projecten gestart niet zozeer vanuit een verzoek van een ander cluster, maar vanuit de beschikbare techniek. “Het werden steeds meer projecten vanuit ICT en dan verlies je op een gegeven moment de organisatie een beetje uit het oog. Het had de neiging steeds meer in techniek te gaan. Of projecten werden opgedrongen aan organisatieonderdelen die er nog helemaal niet aan toe waren.” Sinds een half jaar moet gedurende de uitvoering van een project een serie van zes formulieren worden ingevuld. In deze formulieren worden gegevens genoteerd zoals: de betrokkenen, het doel, de probleemstelling, het (verwachte) eindresultaat, de randvoorwaarden, de risico’s, een begroting, etc. Hierbij gaat het om beschrijvingen in woorden. Er wordt niet gevraagd om concrete prestatieindicatoren met een te behalen norm te definiëren. “De formulieren worden vrij matig ingevuld. Dan weet men het niet, en vult men het maar niet in en begint toch.” Als oorzaak van het niet of niet goed invullen van formulieren wordt genoemd dat de accountmanagers en projectleiders het systeem te bureaucratisch vinden. Ook is het niet altijd mogelijk om volgens de formulieren te werken, omdat een vakteam al met een specifieke vraag aankomt. “Wat heel veel voorkomt is dat een vakteam ergens op een beurs een tool heeft gezien waarvan ze denken, “daar kunnen we wat mee, fantastisch voor ons, kopen die handel”. Als je volgens deze systematiek werkt, dan dienen ze een verzoek in om dat tooltje aan te schaffen, om het toe te voegen aan de applicaties. En dan zeggen wij: Wat is nou het einddoel daarvan?, Wat wil je er nou mee bereiken?, We hebben een aantal standaarden, kan het niet binnen die standaarden? Dan krijg je dus dat soort moeilijkheden, terwijl zij zeggen “Ja, maar ik heb het tooltje al gezien” en soms hebben ze het al gekocht ook, “Het ligt hier op de plank, installeer het nu even”.” Een andere manier om informatie over de projecten te krijgen is via het programma PIN (Project Informatie Navigator). “In PIN wordt bij elk project aangegeven wat de planning en status is, uit welke projectleden het project bestaat en wat hun rol is, welke externe relaties er aan het project verbonden 18 zijn en wat de financiële stand van zaken is.” De gegevens voor het programma PIN moeten worden ingevuld door de projectleiders en accountmanagers. Een onderdeel van het programma PIN is de PIN Cockpit. Hierin is een overzicht te zien van de lopende projecten met daarbij de vorderingen in de tijd en in budget. Op het gebied van ICT worden hierin (op 16-5-2002) 33 projecten en deelprojecten weergegeven. Bij 11 projecten wordt aangegeven dat de tijdplanning onbekend is en voor slechts 2 projecten wordt de voortgang in het budget weergegeven. 18
ICT, Informatiestromen (gemeente Delft), PINmanager handleiding 2001, p. 1
11
“De invulling daarvan (het PIN) gaat nog niet zoals het zou moeten. … Het blijkt gewoon te veel moeite om het in te vullen.” “Er staan volgens mij projecten op het PIN waar al 100 jaar niks meer aan gebeurd is.” “Ik kreeg laatst een signaal dat het zoveel gebruikt wordt dat er nu sprake is van een soort wildgroei. Dus dat je vervolgens weer het overzicht gaat missen. … dat er projecten inzitten die misschien al verlopen zijn en eruit zouden moeten.” Het meest wordt gebruik gemaakt van de ‘projectenlijst’, een lijst (in Microsoft Excel) die gemaakt is door het vakteam ICT, waarin gegevens over de projecten worden bijgehouden. Onder andere wordt bijgehouden welke formulieren al zijn ingevuld. Ook wordt een inschatting gemaakt van het aantal te besteden uren. Dit is echter niet achteraf te controleren omdat bij het vakteam ICT geen uren worden geschreven voor de verschillende projecten. Er zijn zowel op programma- als op projectniveau van te voren geen prestatie-indicatoren gedefinieerd en normen weergegeven die moeten worden gehaald. Ook op de formulieren, in de projectenlijst en in het programma PIN worden deze niet gevraagd. Het vakteam ICT realiseert zich dat er pas geëvalueerd kan worden als van te voren normen worden gesteld. Tegelijkertijd wordt aangegeven dat het moeilijk is om deze normen op te stellen. De structuur waarin het programma KIS wordt uitgevoerd heeft gevolgen voor de evaluatie. Een project wordt uitgevoerd op verzoek van een ander vakteam. Het vakteam ICT levert in feite producten aan hun ‘klanten’, de andere vakteams. Uiteindelijk zijn echter (bij veel projecten) de burgers (of andere externe doelgroepen) de ‘klanten’. Dit zou ook tot uitdrukking moeten komen in een evaluatiemethode. “Als er een beoordeling is, is het vaak een beoordeling door de gebruikers (het vakteam) zelf. …maar dat gaat dan vooral over de technische kant. Over het project als geheel is zelden een beoordeling. Het gaat vooral over de acceptatie van het pakket.” Als de resultaten van projecten van het programma KIS worden geëvalueerd zal naast de implementatie van een applicatie ook het effect voor de burger en het gebruik van de applicatie door de burger moeten worden beoordeeld. Beide vakteams, ICT en het vragende vakteam, zouden dus betrokken moeten zijn bij een evaluatie. Het vakteam ICT geeft aan dat er te veel projecten worden gevraagd door de organisatie. “als we die lijst (lijst met aangevraagde projecten) totaliseren tot één gemeentebrede lijst en dan optellen hoeveel capaciteit we daarvoor nodig hebben blijkt dat we 40.000 tot 50.000 uur nodig hebben terwijl we maar de helft aan uren beschikbaar hebben.” Dit heeft ook gevolgen voor de uitvoering van projecten. “Ik heb het beeld dat projecten wel voornamelijk starten maar zelden afgerond worden en dat heeft te maken met het feit dat we veel te veel projecten op ons bord hebben.” Deze ‘overdosis’ aan projecten kan mede worden veroorzaakt door het eerder genoemde gebrek aan visie of strategie waarop projecten kunnen worden geselecteerd. Andere Clusters De vakteams uit andere clusters zijn in feite de klanten van het vakteam ICT. Zij vragen om bepaalde ICT-toepassingen. Omdat in deze periode de digitale dienstverlening hoog op de agenda staat is ervoor gekozen om in dit onderzoek het cluster Publiekszaken als voorbeeld te nemen voor ‘Andere clusters’. Er is gebleken dat alle verzoeken van de clusters samen te veel capaciteit vragen van het vakteam ICT. Hierdoor is er voor komend jaar een lijst met aangevraagde projecten naar de clusters teruggegaan waaruit een top 10 moet worden gekozen. De keuze voor prioriteit van de uitvoering van projecten wordt hiermee dus bij de andere clusters gelegd. Bij de clusters zelf wordt, in sommige gevallen, het gebruik van ICT-applicaties door de burger gemonitord. Zo wordt bij het cluster Publiekszaken het gebruik van de digitale adreswijziging maandelijks bekeken. Deze resultaten worden nu echter niet gebruikt om het programma KIS te evalueren. Om informatie te krijgen over de vorderingen van aangevraagde projecten wordt weinig gebruik gemaakt van het PIN. Door verschillende mensen wordt aangegeven dat ze liever gebruik maken van
12
persoonlijke communicatie met de accountmanager of projectleider dan projectgegevens in het programma PIN op te zoeken. “Ik pak eerder de telefoon om de precieze stand van zaken na te vragen of je hebt contact met je accountmanager of de projectleider van ICT als je direct betrokken bent bij een bepaald project. “ Burgers en andere externe doelgroepen De burgers en andere externe doelgroepen zoals bedrijven, instituten en verenigingen zijn de uiteindelijke gebruikers van de digitale dienstverlening van de gemeente Delft. Zij zijn de ‘klanten’ van de gemeente. Het verschil met een bedrijf is dat de klanten van de gemeente voor de meeste producten geen keuzemogelijkheid hebben. Ze kunnen niet bij de concurrent terecht. Met betrekking tot de invoering van digitale dienstverlening spelen de externe doelgroepen in feite een passieve rol. Wel is een bijzondere positie weggelegd voor de burger. Iedere vier jaar is de burger in de gelegenheid invloed uit te oefenen op het beleid van de gemeente door een stem uit te brengen bij de gemeenteraadsverkiezingen. Deze invloed is echter beperkt aangezien de burger kiest voor een vertegenwoordiging en niet voor een bepaald beleid of bepaalde activiteiten. Als klant spelen de burger en de andere externe doelgroepen echter een belangrijke rol. Zij bepalen het succes van het ICT-beleid. Als een project wordt gestart met als doel een digitale dienst aan een bepaalde doelgroep aan te bieden en deze doelgroep maakt hiervan geen gebruik, heeft het project in principe gefaald. Het is dus van groot belang om de wensen en het gedrag van de burger mee te nemen in het opstellen van projecten. Om de mening van de inwoners van Delft te inventariseren maakte de gemeente Delft de afgelopen jaren gebruik van het stadspanel, een groep mensen die schriftelijk benaderd wordt met vragen over de gemeente Delft. Sinds een aantal maanden heeft de gemeente de beschikking over het Delft Internet Panel (DIP), een vaste groep mensen die regelmatig digitaal (en/of schriftelijk) benaderd wordt met vragen over de gemeente Delft. Andere manieren waarop de gemeente Delft reacties krijgt van de burger is in de vorm van vragen, klachten en door middel van inspraakavonden. Andere gemeenten Bij het evalueren van de resultaten van een gemeente rijst de vraag of het mogelijk is om een vergelijking te maken met andere gemeenten. Verschillende organisaties, zoals de consumentenbond, hebben evaluaties uitgevoerd naar gemeentelijke internetsites. 19 Ook worden er continu websites van gemeenten geëvalueerd . Op de internetsite ‘www.webdam.nl’ worden websites van Nederlandse gemeenten beoordeeld. Hierbij wordt een puntensysteem gehanteerd waarbij gelet wordt op de volgende aspecten: vormgeving, inhoud, communicatie, dienstverlening en plus- en minpunten. De maximale totaal score is 436 en de minimale score -188. 20 In onderstaande tabel is de score van de gemeente Delft van 20 maart 2002 te zien ten opzichte van andere gemeenten: Nr. 1 2 3 : 13
Gemeente Hoogeveen Amsterdam s Hertogenbosch : Delft
Vormgeving 19 45 38 : 37
Inhoud 149 154 134 : 151
Communicatie 45 30 22 : 20
Dienstverlening 45 41 85 : 20
MinPunten 0 -30 -20 : -15
PlusPunten 25 30 0 : 20
Eindtotaal 283 270 259 : 233
Een andere website waar gemeentelijke websites (en websites van andere overheidsorganisaties) worden beoordeeld is ‘www.advies.overheid.nl’. Op deze website wordt een gemeentelijke site beoordeeld op gebruikersvriendelijkheid, (bestuurlijke)informatie, dienstverlening en participatie. In het 21 overzicht op de volgende pagina is de positie van de gemeente Delft te zien ten opzichte van andere gemeenten volgens deze methode.
19
Voor de gemeente Delft wordt het portal www.delft.nl beoordeeld. Het portal is een initiatief van de gemeente Delft maar is niet de officiële gemeentesite. Wel is er een verwijzing te vinden naar de gemeentesite. 20 http://www.webdam.nl/show, 14-5-2002 21 http://www.advies.overheid.nl/page.jsp?pageid=10182, 14-5-2002
13
Gemeente Nr. 1 2 3 : 21
Amsterdam Rotterdam Eindhoven : Delft
Gebruiks vriendelijkheid 76.2 85.7 66.0 : 47.6
(bestuurlijke) Informatie 100.0 100.0 66.7 : 60.0
Dienstverlening 57.7 55.7 84.0 : 59.7
Participatie 53.8 42.3 67.8 : 50.0
Eindtotaal 70.9 69.4 66.0 : 53.8
De beide methoden suggereren een nauwkeurigheid die er niet is. Door de beoordeling op deze manier uit te werken in getallen en door het aanbrengen van een rangorde wordt de schijn gewekt van een exacte weergave van de werkelijkheid. In grote mate wordt de beoordeling echter bepaald door de aspecten die bij een bepaalde manier van beoordelen belangrijk worden gevonden. Dit hadden ook andere aspecten kunnen zijn, waardoor de volgorde binnen de rangorde anders was geweest. Een ander nadeel van deze methoden is dat ze beide alleen een beeld geven van de buitenkant van de website van de gemeente, de front-office. Problemen doen zich echter voor in het gebied tussen de front- en back-office. Dit wordt niet meegenomen in de beoordeling. Er wordt bijvoorbeeld volgens deze manier van beoordeling geen onderscheid gemaakt tussen automatische afhandeling van digitale dienstverlening en afhandeling waarbij de verwerking van (ontvangen) e-mails nog handmatig plaatsvindt. Ook wordt maar een beperkt aantal aspecten van de website beoordeeld. Bij beide methoden wordt alleen de gemeentesite zelf beoordeeld en wordt de manier en de kwaliteit van de afhandeling van de dienstverlening buiten beschouwing gelaten. Deze evaluaties van de gemeentelijke internetsites geven dus een zeer beperkt beeld.
3.2 Stuurmodel De problemen die aan de orde zijn gekomen bij de actorenanalyse kunnen ook binnen het proces van de uitvoering worden geplaatst. Om de uitvoering van (projecten van) het programma KIS inzichtelijker 22 te maken, wordt gebruik gemaakt van een model te zien in figuur 3.2. Dit model wordt uitgebreid tot een zogenaamd ‘stuurmodel’, door de mogelijkheden van het sturend orgaan (de gemeenteraad) hierin op te nemen. Eerst zal de ideale situatie worden besproken, hierna komt aan de orde hoe de uitvoering van het programma KIS nu verloopt.
Input
Proces
Output
Effect
figuur 3.2: Basismodel voor stuurmodel Ideale situatie Het programma KIS beoogt de nieuwe technieken op het gebied van Informatie- en Communicatietechnologie te gebruiken ten gunste van de interne organisatie, digitale dienstverlening aan te bieden en kosten te besparen door het gebruik van ICT. Om dit te bereiken worden in naam van het programma KIS projecten uitgevoerd. Van deze projecten zijn vier factoren van groot belang: de input, het proces, de output en het effect. In figuur 3.3 zijn deze aspecten te zien en ze worden één voor één besproken. Input: Voordat een project wordt gestart, dient een aantal zaken bekend te zijn. Ten eerste moet duidelijk zijn wat het doel is van het project en wat ermee moet worden bereikt (output en effect). Hierna moet worden getoetst of het doel van het project en de door de uitvoering van het project te verkrijgen output en het beoogde effect passen binnen de visie of strategie van het programma KIS. Ook dient te worden bekeken of het project voldoet aan de gestelde randvoorwaarden en standaarden van het programma KIS. Sluit één van deze factoren niet aan bij het programma KIS, dan moet worden besloten om het project niet uit te voeren. Tevens moet worden bekeken of er behoefte is vanuit de organisatie aan (de uitvoering van) het project of dat er andere redenen zijn om het project op de agenda te zetten. Ook als er te weinig behoefte is aan een project dient te worden besloten dat het project niet wordt uitgevoerd. 22
Broen e.a. 1995, p.24
14
= informatie = invloed
Visie
Ingrijpen
Sturend orgaan
Proces: Prog. KIS
Effect: ICT in Delft
project 1
Input
project 2 project x
Omgeving
effect project 1
Output
effect project 2 effect project x
figuur 3.3: stuurmodel Om achteraf te kunnen controleren of het doel van het project is bereikt, moet van te voren worden aangegeven op welke manier dat te toetsen is. Er zullen dus prestatie-indicatoren (p.i.) moeten worden gedefinieerd met een norm die moet worden behaald. Als alle normen zijn behaald kan het project geslaagd worden genoemd. Als dit niet het geval is dient te worden bekeken op welke punten het mis is gegaan en hoe dit, in een volgend project, kan worden voorkomen. Er kunnen twee verschillende soorten prestatie-indicatoren worden gedefinieerd. Ten eerste op het niveau van de output van het project, bijvoorbeeld ‘een applicatie moet x gebruikers aankunnen’. Ten tweede zijn prestatie-indicatoren te definiëren op het gebied van het effect, bijvoorbeeld ‘x procent van de gebruikers moet uiteindelijk gebruik maken van de digitale dienstafhandeling’. Tot slot is het belangrijk dat vooraf wordt aangegeven welke middelen (in de vorm van geld, personeel en tijd) nodig zijn voor de uitvoering van het project. Ook op het gebruik van middelen moet het project achteraf worden getoetst. Wordt op één van deze gebieden de ingeschatte hoeveelheid overschreden dan moet worden nagegaan waardoor dat is veroorzaakt en hoe dat kan worden voorkomen. Proces: De inzet van middelen moet tijdens het proces in de gaten worden gehouden om te zien of deze op schema ligt of dat er overschrijdingen plaatsvinden. Als dit het geval is moet worden geprobeerd deze zoveel mogelijk te beperken en de oorzaak ervan te achterhalen om hier in de toekomst van te leren. Output: Nadat het project is geïmplementeerd, is het mogelijk de gestelde norm voor de prestatieindicatoren op output te vergelijken met de werkelijke score. De verwachte besteding van middelen (geld, personeel en tijd) kan worden vergeleken met de werkelijke besteding en de implementatie van het project kan worden beoordeeld. Als er grote (negatieve) verschillen zijn opgetreden, moeten oorzaken hiervan worden gevonden en verbetermogelijkheden worden gezocht voor de toekomst. Effect: Pas na de implementatiefase van het project kan inzicht worden gekregen in het effect. De normen voor de prestatie-indicatoren op effect moeten worden vergeleken met het werkelijke effect. Als deze grote afwijkingen vertonen moeten de redenen voor deze afwijkingen worden gezocht om hiervan te leren. Pas in deze fase kan worden vastgesteld of het project geslaagd is of niet. Sturend orgaan: Het sturend orgaan krijgt informatie over de vier beschreven fasen en moet de informatie goed kunnen beoordelen om een beeld te vormen van de voortgang en de ontwikkelingen van het programma KIS.
15
Ingrijpen: Het sturend orgaan heeft in principe de mogelijkheid om in te grijpen in de input en in het proces van projecten. Het sturend orgaan moet echter over voldoende kennis, ervaring en sturingsmogelijkheden beschikken om op de juiste momenten projecten een goede wending te geven indien noodzakelijk. Visie: Om het doel van het programma KIS te kunnen realiseren moet er worden gewerkt vanuit een visie of strategie. Alleen projecten die in de visie passen en waarvan de resultaten bijdragen aan het doel van het programma KIS mogen worden uitgevoerd. Voor een project start, moet dit worden gecontroleerd. Omgeving: De omgeving zal op het sturend orgaan, maar ook op het gehele traject invloed hebben. Zo zijn er op het gebied van ICT veel technische ontwikkelingen gaande. Het is zaak om deze omgevingsinvloeden op een goede manier te gebruiken en te voorkomen dat de omgeving een ongewenste invloed heeft. Uitvoering KIS Zoals gezegd zullen de bij de actorenanalyse geïdentificeerde problemen ook in het kader van het stuurmodel worden geplaatst. De toelichting en beargumentering bij de problemen zal achterwege worden gelaten omdat deze al bij de actorenanalyse aan de orde is geweest. Input: Ten eerste is aangegeven dat projecten moeten worden getoetst aan de visie van het programma KIS voor ze worden uitgevoerd. In paragraaf 3.1 is opgemerkt dat een duidelijke visie of strategie waarop projecten geselecteerd kunnen worden ontbreekt. Projecten werden vaak gestart vanuit beschikbare technieken of vanuit het enthousiasme van het vakteam ICT. Ook is genoemd dat clusters zelf moeten aangeven welke projecten ze wel of niet uitgevoerd willen zien. Van een selectie van projecten op basis van het wel of niet bij het programma KIS aansluiten is geen sprake. Ten tweede worden er van te voren wel doelstellingen geformuleerd. Dit zijn echter globale, niet meetbare doelstellingen. Er worden geen prestatie-indicatoren met norm gedefinieerd. Tot slot worden er, indien de formulieren (correct) zijn ingevuld, wel inschattingen gemaakt van de benodigde middelen. Proces: Tijdens de uitvoering van een project wordt de voortgang van een project bijgehouden door de projectleider of accountmanager. Het daarvoor beschikbare systeem (PIN) geeft niet altijd een actueel beeld. De formulieren uit de formulierencyclus worden ook niet altijd ingevuld. Output: Beoordeling op middelen achteraf vindt voor de tijdsduur en het budget soms plaats maar hier wordt verder niets mee gedaan. Er kan achteraf niet op aantal uren worden beoordeeld omdat de uren niet aan de projecten worden toegeschreven. Door het ontbreken van prestatie-indicatoren is het niet mogelijk om de implementatie van het project hierop te beoordelen. Effect: Ook bij het effect kan achteraf niet op prestatie-indicatoren worden beoordeeld omdat deze ontbreken. Hierdoor kan in feite niet worden vastgesteld of een project geslaagd is of niet. Bij een evaluatie ontstaat tevens het probleem dat het effect van een project alleen bij het vakteam dat om het project heeft gevraagd zichtbaar (te maken) is. De noodzaak voor een evaluatie van het programma KIS wordt echter bij het vakteam ICT benadrukt. Voor een evaluatie zou het vakteam ICT dus moeten samenwerken met het vragende vakteam. Sturend orgaan: Het sturend orgaan krijgt informatie over het verloop van het programma KIS. Deze informatie is echter, in het rapport ‘ICT in de gemeente Delft’, niet geschikt bevonden om het programma KIS op te beoordelen. Ingrijpen: Om in te kunnen grijpen in de projecten van het programma KIS moet het sturend orgaan voldoende inzicht hebben in de manieren van ingrijpen. De kennis op het gebied van ICT ontbreekt bij de raad, het sturend orgaan. Visie: Zoals genoemd bij input, ontbreekt bij het programma KIS een duidelijke visie waarop projecten geselecteerd worden voor ze mogen worden uitgevoerd. Er wordt van te voren niet bekeken of door het uitvoeren van het project het uiteindelijke doel van het programma KIS dichterbij is gekomen.
16
Omgeving: Eén van de (ongeoorloofde) redenen om projecten te starten is de technische mogelijkheid daartoe. Op het gebied van ICT vinden veel ontwikkelingen plaats. Bij sommige projecten wordt de beschikbare techniek meer als leidraad genomen dan de behoefte van de organisatie.
3.3 Conclusie Aan de hand van de actorenanalyse en het stuurmodel zijn verschillende punten aan de orde gekomen die een probleem kunnen vormen bij (een evaluatiemethode voor) het programma KIS. Deze geïdentificeerde problemen hebben elk een plaats bij of tussen verschillende actoren en in het stuurmodel. Dit is grafisch weergegeven in figuur 3.4 en figuur 3.5. Het cluster Publiekszaken is in figuur 3.4, net zoals in de bespreking, als voorbeeld genomen voor ‘Andere clusters’.
Andere gemeenten
Gemeente Delft - gebrek aan visie KIS om projecten op te selecteren
Bestuurlijk Ambtelijk Regiegroep DKO Webdam
B&W
GMT
Publiekszaken
Wethouder ICT
Centrale staf
- te veel vraag projecten - verantwoordelijkheid evaluatie niet duidelijk Wijk- en stadszaken
Advies.overheid
ICT
Controlerend & Vertegenwoordigend
Facilitaire Dienstverlening
Gemeenteraad
Bedrijven - gebrek aan kennis
Bedrijven
Externe doelgroepen
- starten projecten vanuit beschikbare techniek - starten projecten vanuit enthousiasme vakteam ICT - geen p.i. en norm voor p.i. gedefinieerd - matig invullen formulieren - matig invullen PIN - te veel projecten bezig
Burgers
Verenigingen Instituten
= beoordeelt = verantwoordelijk voor
= kiest
= leveren diensten aan
= legt verantwoording af aan
= adviseert
= vergelijkbaar met
= vragen, klachten, meningen, o.a. via Delft Internet Panel (DIP)
figuur 3.4: actorenoverzicht met problemen
17
- gebrek aan visie KIS om projecten op te selecteren
= informatie = invloed
Visie - gebrek aan kennis sturend orgaan
Ingrijpen
Sturend orgaan
Proces: Prog. KIS
Effect: ICT in Delft
project 1
Input
project 2 project x
- te veel vraag projecten - geen p.i. en norm voor p.i. gedefinieerd - starten projecten vanuit enthousiasme vakteam ICT - starten projecten vanuit beschikbare techniek
figuur 3.5: stuurmodel met problemen
18
Omgeving
effect project 1
Output
effect project 2 effect project x - verantwoordelijkheid evaluatie niet duidelijk
- matig invullen formulieren - matig invullen PIN - te veel projecten bezig
Hoofdstuk 4: Onderzoeksopzet In dit hoofdstuk wordt ingegaan op de vormgeving van het vervolg van dit onderzoek. In paragraaf 4.1 worden de voorkeuren van de gemeente Delft ten aanzien hiervan besproken. In paragraaf 4.2 wordt de afbakening als gevolg van deze voorkeuren aangegeven en in paragraaf 4.3 wordt ingegaan op de onderzoeksvragen en het stappenplan voor dit onderzoek.
4.1 Voorkeuren gemeente Delft Naar aanleiding van de in hoofdstuk 3 beschreven probleemanalyse is er een bijeenkomst geweest met vertegenwoordigers van het vakteam ICT van de gemeente Delft met als doel de focus van het vervolg van dit onderzoek te bepalen. In deze paragraaf wordt ingegaan op de keuze voor het vervolg van het onderzoek, op de actoren die betrokken zullen worden bij de uitvoering en op de voorkeuren van deze actoren ten aanzien van de uitvoering van het onderzoek. Onderzoek In de probleemanalyse in hoofdstuk 3 is een aantal problemen genoemd die spelen rondom de uitvoering van het programma KIS. De volgende problemen zijn beschreven tegen de achtergrond van de actorenanalyse en het stuurmodel: • een duidelijke visie of strategie waarop projecten geselecteerd kunnen worden voor ze mogen worden uitgevoerd ontbreekt bij het programma KIS • het sturend orgaan, de gemeenteraad, heeft onvoldoende kennis van het onderwerp ICT, om alternatieven aan te dragen en in te grijpen in (projecten van) het programma KIS • er is te veel vraag naar projecten • er zijn geen prestatie-indicatoren en normen voor prestatie-indicatoren gedefinieerd op projectniveau en voor het totale programma KIS • projecten worden soms gestart vanuit het enthousiasme van het vakteam ICT • projecten worden soms gestart vanuit de beschikbare techniek • formulieren om de voortgang van projecten te monitoren worden matig ingevuld • het systeem om de voortgang van projecten te monitoren (PIN) wordt matig ingevuld • er zijn te veel projecten tegelijkertijd bezig Het doel van dit onderzoek is de gemeenteraad inzicht te geven in de resultaten van het programma KIS. Na overleg met de gemeente Delft is daarom besloten het onderzoek te richten op het ontwikkelen van een evaluatiemethode waarmee de resultaten van het programma KIS kunnen worden gepresenteerd. Aan de overige problemen wordt tijdens de uitvoering van dit onderzoek geen aandacht geschonken. Actoren Bij de uitvoering van dit onderzoek wordt een aantal actoren betrokken om de voorkeuren ten aanzien van de evaluatiemethode voor het programma KIS te kunnen inventariseren en de ontwikkelde evaluatiemethode te kunnen toetsen en beoordelen. Om het onderzoek uitvoerbaar te houden is een selectie gemaakt van de actoren die in paragraaf 3.1 zijn genoemd. Dit onderzoek wordt uitgevoerd op initiatief van het vakteam ICT van de gemeente Delft. De mening van het vakteam ICT zal daarom worden meegenomen tijdens dit onderzoek. De regiegroep Digitale Kennisorganisatie heeft het oorspronkelijke project- en adviesbureau KIS vervangen en adviseert het GMT op het gebied van ICT in het kader van het programma KIS. In de regiegroep zitten vertegenwoordigers van de verschillende clusters van de gemeente Delft. Door de rol van de regiegroep Digitale Kennisorganisatie is zij nauw verbonden met het programma KIS en zal zij ook betrokken worden bij de uitvoering van dit onderzoek. De evaluatiemethode die wordt ontwikkeld, is bedoeld om de gemeenteraad inzicht te geven in de resultaten van het programma KIS. Met name in de vakantieperiode (waarin een groot deel van dit onderzoek heeft plaatsgevonden) is het moeilijk om gemeenteraadsleden te bereiken of de gemeenteraad bij elkaar te krijgen. Uit praktisch oogpunt is ervoor gekozen bij de uitwerking van dit onderzoek de wethouder, verantwoordelijk voor digitale dienstverlening en ICT, te betrekken. De
19
wethouder dient verantwoording af te leggen aan de gemeenteraad en was bovendien gemeenteraadslid tijdens de periode waarin het rapport ‘ICT in de gemeente Delft’ verscheen. Evaluatiemethode De drie actoren die worden betrokken bij de uitwerking van de evaluatiemethode voor het programma KIS hebben, tijdens interviews, hun voorkeuren uitgesproken ten aanzien van de evaluatiemethode. Een overzicht van de geïnterviewden is te zien in bijlage 3. Het vakteam heeft nog een aantal extra randvoorwaarden aangegeven tijdens de eerder genoemde bijeenkomst. De voorkeuren ten aanzien van de evaluatiemethode worden per actor besproken. Vakteam ICT Het tweede gedeelte van het programma KIS, dat de komende vier jaar wordt uitgevoerd, is gericht op het aanbieden van digitale dienstverlening aan de burger en andere externe doelgroepen. Het vakteam ICT geeft er daarom de voorkeur aan de evaluatiemethode alleen betrekking te laten hebben op dit aspect van het programma KIS. Hierbij is het vakteam ICT met name geïnteresseerd in de prestaties richting de burger en de tevredenheid van de burger, oftewel de klant van de gemeente Delft. De vraag hoe de burger deze digitale dienstverlening ervaart en wat de mening van de burger over de digitale dienstverlening is, staat hierbij centraal. Bij het vakteam ICT is er voornamelijk interesse in het meten van ‘de buitenkant’. Een gevolg van het meten van alleen ‘de buitenkant’ is dat het de stuurmogelijkheden beperkt. Er ontstaat immers geen inzicht in oorzaken van goede of slechte prestaties en verbetermogelijkheden in de interne organisatie. Het vakteam ICT geeft er de voorkeur aan dat het programma KIS niet wordt gezien als een optelling van de verschillende projecten. In plaats daarvan zal moeten worden gekeken naar het effect dat het totale programma teweegbrengt voor de burgers en andere externe doelgroepen van Delft. Ook hierdoor is de evaluatiemethode minder geschikt om te sturen in het programma KIS. De stuurmogelijkheden (de inzet van middelen bij de input en het proces in het stuurmodel in paragraaf 3.2) hebben immers betrekking op de individuele projecten. Als er geen inzicht is in de resultaten per project is het moeilijk de relatie te leggen tussen geïnvesteerde middelen en behaald resultaat. Het vakteam ICT benadrukt de noodzaak van een eenvoudige methode. Om de eenvoud van de methode uit te drukken is de term ‘stoplichtmodel’ gebruikt, waarbij de kleur groen aangeeft dat het goed gaat en de kleur rood dat het niet goed gaat. De presentatie van de gegevens moet op een inzichtelijke en begrijpelijke manier gebeuren. Dit zal met name tot uiting komen bij de ontwikkeling van een prototype, een computerprogramma waarmee (het weergeven van) de evaluatiemethode wordt uitgeprobeerd. Over de frequentie waarmee de evaluatiemethode moet worden toegepast zegt het vakteam ICT dat dit afhankelijk is van wat erin wordt opgenomen. Om een trend te kunnen herkennen wordt aangegeven dat een periode van 3 maanden geschikt is, maar dat er ook gegevens zijn die per maand kunnen worden bijgehouden. Voor het meten van de mening van de burger wordt een jaarlijkse evaluatie gesuggereerd. Om de organisatie niet onnodig te belasten geeft het vakteam ICT aan dat bij de uitvoering van de evaluatiemethode zoveel mogelijk gebruik moet worden gemaakt van informatie die al in de organisatie aanwezig is. In het rapport ‘ICT in de gemeente Delft’ wordt de Balanced Scorecard gesuggereerd als mogelijke oplossing. In andere organisatieonderdelen van de gemeente Delft wordt gebruik gemaakt van het INK-model (op deze methode wordt in paragraaf 5.2 nader ingegaan). Het vakteam ICT zou graag de mogelijkheden voor het gebruik van (elementen van) deze methoden bij de evaluatiemethode voor het programma KIS onderzocht willen hebben. Regiegroep Digitale Kennisorganisatie De regiegroep Digitale Kennisorganisatie is bij het meten van de resultaten van digitale dienstverlening geïnteresseerd in de standaard kwaliteitsindicatoren zoals gebruikersvriendelijkheid, effectiviteit en doelmatigheid. Ook zal als extra element moeten worden meegenomen hoe de burger ernaar kijkt. Wellicht heeft de burger andere eisen zoals toegankelijkheid, snelheid van afhandeling, inzicht in de status van het product dat is aangevraagd.
20
De regiegroep is bezig met de ontwikkeling van de nota KIS 2, het document waarin voor de komende vier jaar uiteen wordt gezet wat er moet gebeuren in het kader van het programma KIS. Daarin wordt aangegeven wat de uitvoering van het programma KIS zou moeten opleveren. De regiegroep suggereert dat daarop evaluaties kunnen worden uitgevoerd. In de nota KIS 2 worden de doelen van 23 KIS 2 samengevat in drie punten : - het verbeteren van de informatievoorziening, door beschikbare informatie beter toegankelijk te maken, ook via internet. - het uitbreiden van het aantal digitale producten en diensten, af te nemen via internet en de wijkservicepunten. - het verbeteren van de relatie tussen burger en bestuur, door digitale ondersteuning bij interactieve beleidsontwikkeling. Vanuit de regiegroep Digitale Kennisorganisatie is het verzoek gekomen de uitwerking van de evaluatiemethode te baseren op vijf burgerwaarden die beschreven worden in de nota KIS 2. Deze burgerwaarden zijn: toegankelijkheid, doeltreffendheid, betrouwbaarheid, controleerbaarheid en 24 doelmatigheid . Over de frequentie waarmee de evaluatiemethode moet worden uitgevoerd zegt de regiegroep dat dit afhankelijk is van wat er wordt gemeten. De regiegroep geeft aan dat sommige gegevens makkelijk per maand beschikbaar zullen zijn en andere minder vaak kunnen worden verkregen. De Regiegroep benadrukt voor de evaluatiemethode het belang van een nulmeting. Wethouder verantwoordelijk voor digitale dienstverlening en ICT Voor de wethouder is de hoofdvraag of de uitgegeven middelen in verhouding staan met wat de gemeenschap ervoor terug heeft gekregen. Wat heeft een raadslid eraan? Wat heeft de burger eraan? Wat heeft de gemeente eraan? Hiernaast geeft de wethouder aan geïnteresseerd te zijn in concrete kostenbesparingen. Het programma KIS beoogt, door de efficiency te vergroten, een kostenbesparing te bereiken. Er is veel geld geïnvesteerd in ICT, ook een eventuele kostenbesparing zou zichtbaar gemaakt moeten worden op operationeel niveau. Het resultaat van digitale dienstverlening kan zich uiten in een afname van het totaal aantal uur dat baliemedewerkers voor een bepaald product klanten aan het helpen zijn. Na het publiceren van de 10 meest gestelde vragen over een bepaald product op internet, is een afname van het aantal telefonische vragen een besparing en een indicatie voor het succes van digitale dienstverlening. De voorkeur van de wethouder is een evaluatiemethode waarbij de resultaten op verschillende niveaus kunnen worden bekeken, zodat gedetailleerde informatie beschikbaar is indien gewenst. Als frequentie voor het beoordelen van het programma KIS geeft de wethouder aan dat een jaarlijkse evaluatie voldoende is. De voorkeuren van de verschillende actoren met betrekking tot de evaluatiemethode voor het programma KIS zijn uitgesproken op een bepaald moment. Het is mogelijk dat de voorkeuren in de loop van de tijd veranderen, bijvoorbeeld als gevolg van nieuwe inzichten. Bij dit onderzoek wordt uitgegaan van de bovenbeschreven voorkeuren en wordt geen rekening gehouden met veranderde voorkeuren in de loop van de tijd. De voorkeuren die de actoren van de gemeente Delft hebben uitgesproken met betrekking tot de evaluatiemethode voor het programma KIS zijn samengevat in de tabel op de volgende pagina.
23 24
Gemeente Delft,
[email protected] (in ontwikkeling, versie 18-7-2002), p. 6 Gemeente Delft,
[email protected] (in ontwikkeling, versie 18-7-2002), p. 14, 15
21
Afbakening
Onderwerp Eigenschappen Periode Extra
Vakteam ICT - betrekking op digitale dienstverlening - voor de burger - betrekking op ‘de buitenkant’ - totaal, niet per project - informatie die al aanwezig is - digitale dienstverlening met tevreden burger - eenvoudige methode (stoplichtmodel) - afhankelijk van wat je meet, waar mogelijk per kwartaal/maand - mogelijkheden bekijken BSC/INK
Regiegroep DKO
Wethouder
- doelen KIS 2 - burgerwaarden - nulmeting
- concrete kostenbesparingen - inzoommogelijkheden - verschillende niveaus - afhankelijk van wat - jaarlijks je meet
4.2 Onderzoeksaanpak In deze paragraaf wordt aan de hand van de voorkeuren van de gemeente Delft die beschreven zijn in paragraaf 4.1 ingegaan op het vervolg van dit onderzoek. Hierbij komen de volgende onderwerpen aan de orde: de probleemformulering, de uitgangspunten, de afbakening, de onderzoeksvragen en het stappenplan. Probleemformulering In paragraaf 4.1 is vastgesteld dat dit onderzoek betrekking heeft op het ontwikkelen van een evaluatiemethode voor het programma KIS waarmee de gemeenteraad inzicht kan worden gegeven in de resultaten op het gebied van digitale dienstverlening. De raad heeft aangegeven te weinig inzicht te hebben in de resultaten van het programma KIS. Als gevolg hiervan heeft de raad moeite met het beoordelen van het effect van de investeringen die gedaan zijn ten bate van het programma. Er is behoefte aan een methode waarmee de opbrengsten van het programma KIS in kaart kunnen worden gebracht. Door het tonen van de resultaten van het ICT-beleid kan de gemeenteraad een beter beeld vormen en kunnen het vakteam ICT en de regiegroep Digitale Kennisorganisatie verantwoording afleggen over de uitgevoerde activiteiten. Uitgangspunten De uitwerking van de evaluatiemethode zal gebaseerd zijn op de onderwerpen die de actoren hebben genoemd in paragraaf 4.1. Hierin zijn twee hoofdaspecten voor het programma KIS te onderscheiden: het aanbieden van digitale dienstverlening waarbij gestreefd wordt naar een tevreden gebruiker en het bereiken van concrete kostenbesparingen door het gebruik van ICT. Met de evaluatiemethode moet inzicht verkregen kunnen worden in de mate waarin deze punten zijn gerealiseerd. Naast deze onderwerpen zijn ook de burgerwaarden genoemd die in de nota KIS 2 worden beschreven. Ook deze waarden worden gebruikt bij de uitwerking van de evaluatiemethode voor het programma KIS. Tot slot moet de evaluatiemethode in staat zijn inzicht te geven in de mate van realisatie van de doelen die in de nota KIS 2 zijn genoemd. Afbakening Als gevolg van de voorkeuren van de gemeente Delft zal de evaluatiemethode alleen betrekking 25 hebben op digitale dienstverlening, met als belangrijk aspect de mening van de burger . Bij het vormgeven van de evaluatiemethode wordt de omschrijving gebruikt die de gemeente Delft hanteert voor een digitale dienst: “Het beschikbaar stellen van een gemeentelijk product via een digitaal kanaal, voorlopig meestal de website. We onderscheiden vier vormen van digitale diensten, waarbij drie en vier voor de klant identiek zijn. De eerste is de mogelijkheid om formulieren die nodig zijn voor een baliebezoek te kunnen downloaden vanaf de site (voorbeeld: formulier dat de ene ouder moet ondertekenen voor bijschrijving van kinderen in paspoort van de andere ouder). De tweede betreft formulieren die men thuis op de pc (of met de hand) kan invullen, vervolgens ondertekent en per post opstuurt of langs brengt. 25
Bij de uitwerking van de evaluatiemethode wordt de burger als voorbeeld genomen voor ‘de burger en andere externe doelgroepen’. Met ‘burgers’ worden inwoners van Delft bedoeld. De gemeente Delft heeft ook digitale diensten voor mensen buiten Delft. Omdat dit een minderheid betreft, wordt dit buiten beschouwing gelaten.
22
Een echte digitale dienst is het pas als alles via de pc van de klant kan worden afgehandeld. Het ingevulde formulier wordt per e-mail teruggestuurd. Het formulier wordt handmatig verwerkt in de backoffice: er is voor de organisatie weinig tot geen verschil tussen de dienst aan de balie of via de website afhandelen. De digitale dienst levert nog weinig efficiency-voordelen. Voor de organisatie is een digitale dienst ook echt digitaal als ook de afhandeling in mid- of back-office 26 is geautomatiseerd. Hier gaat digitale dienstverlening zich echt in efficiency terugbetalen.” Volgens deze beschrijving heeft digitale dienstverlening alleen betrekking op het digitaal aanbieden 27 van producten . In dit onderzoek worden daarom andere vormen van het gebruik van ICT met als doelgroep de burger, zoals interactieve beleidsvorming, niet meegenomen. Als gevolg hiervan zal het derde doel uit de nota KIS 2, dat betrekking heeft op interactieve beleidsvorming, buiten beschouwing worden gelaten. De evaluatiemethode zal het programma KIS als totaal beoordelen en er wordt niet ingegaan op resultaten per project. De evaluatiemethode heeft betrekking op het meten van ‘de buitenkant’, er zal niet worden gekeken naar aspecten van de back-office. Waar mogelijk zal gebruik worden gemaakt van informatie die in de organisatie aanwezig is. Als informatie niet beschikbaar is, wordt aangegeven wat gedaan moet worden om de informatie te verkrijgen. De evaluatiemethode moet eenvoudig zijn, waarbij meer informatie verkregen kan worden door in te zoomen op een dieper liggend niveau. Vooraf aan het invoeren van de evaluatiemethode moet een nulmeting worden uitgevoerd. Hierna kan de methode jaarlijks aan de gemeenteraad worden getoond. Waar mogelijk zullen gegevens per maand (op dieper liggende niveaus) beschikbaar zijn. De mogelijkheid om elementen van de Balanced Scorecard of het INKmodel te gebruiken zal worden onderzocht. Overigens dient te worden opgemerkt dat de Balanced Scorecard een erg groot en zwaar instrument is. Voor een goede invoering en uitvoering van de Balanced Scorecard moet veel informatie verzameld worden en moet de hele organisatie betrokken zijn. Om deze redenen lijkt de Balanced Scorecard geen geschikt instrument als evaluatiemethode voor de gemeenteraad. In paragraaf 5.2 wordt hier dieper op ingegaan. Als aan de hand van deze afbakening opnieuw gekeken wordt naar het stuurmodel dat in hoofdstuk 3 is besproken, heeft dit onderzoek slechts betrekking op een klein deel van het stuurmodel. Door de keuze voor een evaluatiemethode wordt niet verder ingegaan op ‘de visie’ en het starten van projecten. Door de wens met de evaluatiemethode ‘de buitenkant’ te meten, zijn ‘de input’ en ‘het proces’ geen onderdeel van dit onderzoek. Slechts ‘de output’ en ‘het effect’ blijven over. Hiervan heeft het beoordelen van het programma KIS alleen betrekking op het totaal en niet op de projecten van het programma KIS. Als gevolg hiervan zijn de stuurmogelijkheden van het sturend orgaan beperkt. In figuur 4.1 is te zien op welk gedeelte van het stuurmodel het onderzoek betrekking heeft. Om beter beleid te kunnen voeren dient de evaluatiemethode echter geïntegreerd te worden met de visie en de manier van aansturing.
26
Internetbeleid 2002, p. 7 De diensten die de gemeente Delft aan burgers en andere externe doelgroepen aanbiedt, worden ‘producten’ genoemd. 27
23
= informatie = invloed
Visie
Ingrijpen
Sturend orgaan
Proces: Prog. KIS
Effect: ICT in Delft
project 1
Input
project 2 project x
Omgeving
effect project 1
Output
effect project 2 effect project x
figuur 4.1: Gedeelte van het stuurmodel dat onderwerp is van dit onderzoek Onderzoeksvragen Rekening houdend met de afbakening is het doel van dit onderzoek de gemeenteraad inzicht geven in de resultaten van digitale dienstverlening bewerkstelligd door het programma KIS. Aan de hand van de probleemformulering, de uitgangspunten en de afbakening zijn de volgende onderzoeksvragen geformuleerd: 1. Op welke manier kan een evaluatiemethode worden vormgegeven die inzicht geeft in de resultaten van het programma KIS, rekening houdend met de gestelde randvoorwaarden? 2. Kunnen (elementen van) de methoden Balanced Scorecard en INK-model een bijdrage leveren aan de evaluatiemethode voor het programma KIS? 3. Op welke manier kan invulling worden gegeven aan de hoofdaspecten van het programma KIS, de burgerwaarden en de doelen van KIS 2? 4. Welke prestatie-indicatoren geven inzicht in de resultaten van het programma KIS? 5. Hoe kunnen de gegevens voor deze prestatie-indicatoren worden verkregen? 6. Hoe kan de evaluatiemethode visueel worden weergegeven in een prototype? Stappenplan Voor het vervolg van de uitvoering van dit onderzoek is een stappenplan opgesteld. Bij de activiteiten die uitgevoerd worden is aangegeven op welke vraag deze aangrijpen en in welk hoofdstuk de beschrijving hiervan terug te vinden is: 1. Literatuuronderzoek uitvoeren naar het meten van prestaties in (overheids)organisaties (vraag 1, hoofdstuk 5). 2. Literatuuronderzoek uitvoeren naar de eigenschappen en mogelijkheden van de bestaande methoden Balanced Scorecard en INK-model en deze toetsen aan de voorkeuren van de gemeente Delft (vraag 2, hoofdstuk 5). 3. Inventarisatie van de beschikbare informatiebronnen binnen de gemeente Delft (vraag 5, bijlage 5). 4. De uitgangspunten die als basis worden gebruikt voor de evaluatiemethode uitwerken in meetbare subdoelen. (vraag 3, hoofdstuk 6) 5. Prestatie-indicatoren definiëren op basis van de uitwerking in subdoelen (vraag 4, hoofdstuk 6). 6. Toetsen van de prestatie-indicatoren voor de evaluatiemethode bij de actoren. (vraag 4, hoofdstuk 6) 7. Ontwikkelen van prototype om actoren inzicht te geven in de mogelijkheden van de evaluatiemethode (vraag 6, hoofdstuk 7) 8. Toetsen evaluatiemethode en prototype (vraag 4 en 6, hoofdstuk 8)
24
Hoofdstuk 5: Prestaties meten In dit hoofdstuk wordt ingegaan op het meten van prestaties. Hiervoor worden in paragraaf 5.1 de resultaten van literatuuronderzoek naar het meten van prestaties in een (overheids)organisatie besproken. In paragraaf 5.2 volgt een raamwerk dat wordt gebruikt om de eigenschappen van de bestaande methoden Balanced Scorecard en INK-model in te beschrijven. In paragraaf 5.3 wordt dit zelfde raamwerk gebruikt om de voorkeuren van de gemeente Delft in weer te geven. Dit hoofdstuk wordt afgesloten met een conclusie waarin de bestaande methoden worden vergeleken met de voorkeuren van de gemeente Delft.
5.1 Meten van prestaties in een (overheids)organisatie Om een beeld te krijgen van de resultaten of de prestaties van een organisatie moeten deze meetbaar worden gemaakt. Ook bij overheidsorganisaties is dit het geval. Een overheidsorganisatie heeft echter, door haar bijzondere positie binnen de maatschappij, bepaalde kenmerken die het meten van prestaties beïnvloeden. Een overheidsorganisatie wordt gefinancierd met gemeenschapsgeld. Het is noodzakelijk dat hierover verantwoording wordt afgelegd. Ook kan er worden geleerd van het afleggen van verantwoording over prestaties. Als verantwoording moet worden afgelegd over prestaties ontstaat de situatie dat er naar oorzaken moet worden gezocht voor het afwijken van de norm. Het expliciet maken van deze oorzaken kan een bijdrage leveren aan het verkleinen of voorkomen van afwijkingen van de norm in de toekomst. Een ander punt is dat de overheidsorganisatie door het zichtbaar maken van prestaties 28 legitimiteit verwerft voor haar optreden. De eigenschappen van een overheidsorganisatie kunnen ook problemen geven bij het meten van prestaties. Allereerst is het moeilijk om productie van overheidsorganisaties te meten door het ontbreken van marktprijzen. Het is bijvoorbeeld bij een nationale overheid niet mogelijk om prijzen voor diensten te vergelijken met ‘de concurrent’. Een ander punt is dat overheidsproducten soms voor het algemeen belang zijn (bijvoorbeeld bescherming van de openbare orde en veiligheid of landsverdediging) of quasi-publieke goederen zijn (zoals onderwijs en gezondheidszorg) en daarom 29 moeilijk meetbaar zijn. 30 Andere bezwaren tegen het meten van prestaties bij een overheidsorganisatie worden hieronder genoemd. Sommige van deze bezwaren kunnen overigens ook in een private organisatie voorkomen. • Een overheidsorganisatie moet plichten vervullen in plaats van producten leveren. Prestatiemeting benadrukt het belang van efficiëntie en effectiviteit. De overheid is juist aangesteld om een oplossing te vinden voor ‘de lastige en onoplosbare problemen’. Bij sommige overheidstaken is prestatiemeting daardoor in strijd met de legitimiteit. • Publieke diensten zijn meervoudig en moeten recht doen aan verschillende waarden die in strijd met elkaar kunnen zijn. Een rechtbank moet bijvoorbeeld zo snel mogelijk een vonnis wijzen of zo veel mogelijk rechtszaken afhandelen. Tevens is het van belang dat het vonnis zorgvuldig en goed afgewogen is. Prestatiemeting kan een beperkte weergave van de meervoudigheid van de producten geven en een aantal waarden negeren. • Bij sterk procesgeoriënteerde overheidsorganisaties wordt geïnvesteerd in de processen. Het kost bijvoorbeeld veel tijd om beleid te maken in samenwerking met andere partijen. Hier is veel overleg en onderhandeling voor nodig. Het resultaat hiervan staat niet van te voren vast. Goede processen kunnen toch tot tegenvallende resultaten leiden en prestatiemeting is in dat geval niet zinvol. • Een kenmerk van de prestaties van de overheid is dat deze in samenwerking met derden tot stand komen. De prestaties zijn daarom maar gedeeltelijk toe te schrijven aan de overheidsorganisatie. Bij de prestaties van een school speelt bijvoorbeeld de houding van de ouders van de leerlingen ook een rol. Het meten van prestaties geeft dan een onjuist beeld.
28
de Bruijn 2001, p. 12, 13 de Groot 1991, p. 23 30 de Bruijn 2001, p. 16-25 29
25
•
•
• • •
•
Producten van verschillende afdelingen binnen een overheidsorganisatie kunnen invloed op elkaar hebben, ze kunnen interfereren. Als er alleen op de eigen producten wordt afgerekend, is er geen prikkel om ook de doelen van de andere afdelingen na te streven. Hierdoor kan een goede prestatie, volgens de prestatiemeting schade veroorzaken aan het geheel. De relatie tussen de inspanning en het resultaat is niet altijd bekend. Als het product slechts gedeeltelijk het resultaat is van de geleverde inspanning, levert de meting geen juist beeld op. ‘Het aantal gesprekken gevoerd met een gedetineerde’ zal bijvoorbeeld wellicht een bijdrage leveren aan het voorkomen van recidive maar geeft (door het ontbreken van causaliteit) niet de prestaties van de organisatie weer. Het is moeilijk om kwaliteit te meten met prestatie-indicatoren. Wordt dit toch gedaan dan kan de aandacht voor kwantiteit nadelige gevolgen hebben voor de aandacht voor kwaliteit. In verschillende contexten kan eenzelfde prestatie verschillende betekenissen hebben. Als deze prestatie in twee verschillende contexten wordt vergeleken, ontstaat een onjuist beeld van de werkelijkheid. Als de omgeving van de overheidsorganisatie dynamisch is heeft dit invloed op de prestatiemeting door bijvoorbeeld veranderingen in het contact met derden of de totstandkoming van coproducten. Prestatiemeting wordt dan moeilijker en de mogelijkheden voor een goede vergelijking in de tijd nemen af. Bij prestatiemeting wordt er in feite vanuit gegaan dat de omgeving van de overheidsorganisatie stabiel is en blijft. De doorlooptijd tussen de interventie en het uiteindelijke effect (zie ook stuurmodel in hoofdstuk 3) kan soms lang zijn, waardoor het uiteindelijke effect moeilijk te meten is. Dit is met name het geval als het gaat om interventies die een bijdrage moeten leveren aan abstracte doelen als bijvoorbeeld leefbaarheid of veiligheid. Wel meetbaar is in dat geval de directe output (zie stuurmodel) zoals bijvoorbeeld het aantal afgegeven vergunningen.
Uit de bovenstaande bezwaren komt naar voren dat het moeilijk is om bepaalde prestaties van een overheidsorganisatie meetbaar te maken. Soms zal ervoor moeten worden gekozen genoegen te nemen met het meten van een prestatie-indicator die niet geheel weergeeft wat moet worden gemeten, maar er dicht bij in de buurt komt. Op dat moment moet worden gerealiseerd dat het volgende mechanisme een rol kan spelen: “naarmate de afstand tussen degene die productiecijfers produceert en degene die de productiecijfers gebruikt groter is, neemt de vermeende hardheid van de 31 cijfers toe.” Cijfers kunnen overkomen als ‘de waarheid’. Het is slechts een weergave van bepaalde gekozen prestatie-indicatoren. Bij een grote afstand tussen de gemeenteraad en de werkelijke uitvoering van het ICT-beleid zal de beperktheid van de cijfers moeten worden benadrukt. Om een zo goed mogelijk beeld te krijgen van de werkelijkheid moet van meervoudigheid gebruik worden gemaakt. “Meervoudigheid impliceert dat de producten van een organisatie op verschillende manieren kunnen worden gedefinieerd en dus ook op verschillende wijzen worden gemeten en beoordeeld. Als dit zo is, dient aan oordeelsvorming over de professionele productie altijd een zekere variëteit aan criteria ten grondslag te liggen. Deze variëteit kan betrekking hebben op 32 productdefinities, prestatie-indicatoren, wijzen van meten en wijzen van oordeelsvorming.” Tot slot moet rekening worden gehouden met de dynamiek van de organisatie en de omgeving. Veranderingen in de organisatie en in de omgeving vereisen ook een nieuwe of een andere 33 prestatiemeting. Bij de bezwaren, die in deze paragraaf genoemd zijn, moet worden stilgestaan bij het ontwikkelen van een evaluatiemethode voor het programma KIS. Met een aantal bezwaren kan rekening worden gehouden. Andere bezwaren kunnen niet worden opgeheven maar zullen wel in het achterhoofd moeten worden gehouden en zijn beperkingen bij het gebruiken van de evaluatiemethode.
31
de Bruijn 2001, p. 35 de Bruijn 2001, p. 70 33 de Bruijn 2001, p. 125 32
26
5.2 Raamwerk toegepast op bestaande methoden Om inzicht te krijgen in evaluatiemethoden wordt gebruik gemaakt van een raamwerk. In deze paragraaf zal eerst dit raamwerk nader worden toegelicht. Vervolgens zullen de methoden Balanced Scorecard en INK-model bekeken worden tegen de achtergrond van het raamwerk. Raamwerk Om de bestaande evaluatiemethoden te bekijken wordt gebruik gemaakt van het ‘four ways’ 34 raamwerk , een ontwerpmethodologie waarbij wordt uitgegaan van de volgende vier ‘wijzen’: denkwijze, modelleerwijze, werkwijze en beheerswijze. De verschillende wijzen kunnen als volgt worden ingevuld: • Denkwijze: De denkwijze geeft de achterliggende filosofie of het wereldbeeld van een methode weer. De denkwijze is vaak weergegeven in de vorm van richtlijnen, vuistregels, ontwerptheorieën en metaforen. • Modelleerwijze: De modelleerwijze geeft het gebruik van modellen, talen en technieken weer die worden gebruikt bij het ontwerpproces. Modellen kunnen in verschillende fasen van het proces worden gebruikt, om de huidige situatie weer te geven en om mogelijke oplossingsrichtingen te evalueren. De modelleerwijze geeft ook aan op wat voor manier het probleem is opgedeeld in subproblemen. • Werkwijze: Bij de werkwijze komt naar voren op wat voor manier het ontwerpproces is ingericht. Het gaat hierbij met name om de ontwerpactiviteiten, taken, fasen en stappen die tijdens het proces worden ondernomen. • Beheerswijze: De beheerswijze gaat in op de vraag hoe het proces goed kan verlopen. Hierbij spelen tijd, geld en mankracht een rol. Onderdeel van de beheerswijze is de planning en de evaluatie. Balanced Scorecard De Balanced Scorecard is een methode ontwikkeld door Robert S. Kaplan en David P. Norton. In de Harvard Business Review zijn artikelen verschenen waarin dit concept werd gepresenteerd. Hierna hebben Kaplan en Norton verschillende boeken gepubliceerd met als onderwerp de Balanced Scorecard. Denkwijze De drijfveer achter de ontwikkeling van de Balanced Scorecard was het gebrek aan inzicht in de prestaties van een bedrijf als alleen gebruik wordt gemaakt van financiële gegevens. “De Balanced Scorecard combineert de financiële meting van historische prestaties met meting van de stuwende factoren achter toekomstige prestaties (prestatiemotoren). De doelstellingen en metingen van de scorecard zijn altijd afgeleid van het doel (de visie en missie) en de strategie van de onderneming. Deze doelstellingen en prestatiemetingen belichten de resultaten van de organisatie vanuit vier perspectieven: het financieel perspectief, het afnemers-, het interne-processen en het leer35 en groeiperspectief. Samen vormen ze het raamwerk van de Balanced Scorecard.” De Balanced Scorecard is geen meetinstrument dat van bovenaf aan de organisatie wordt opgelegd: “De Balanced Scorecard moet worden gebruikt als een communicatiemiddel, om te informeren en om ervan te leren, niet met de bedoeling om te superviseren.” “De Balanced Scorecard helpt de visie en de strategie van de onderneming te vertalen in termen die voor iedereen te begrijpen zijn en waarop acties kunnen worden gebaseerd.” Ook wordt benadrukt dat het strategisch leerproces misschien wel ‘het meest innoverende aspect’ van de Balanced Scorecard is, waarbij een gemeenschappelijk strategisch framework, een systeem voor 36 feedback en het teamproces een centrale rol spelen. 37 De Balanced Scorecard houdt niet op bij meten, maar gaat ook in op verbeteracties. Bij de Balanced Scorecard spelen (veronderstelde) relaties tussen de doelstellingen en metingen in de vier perspectieven een belangrijke rol. Hiermee wordt inzicht verkregen in de structuur van de te volgen strategie en deze relaties moeten ook worden weergegeven in het meetsysteem. Verder wordt 34
Sol en Bockstael-Blok 2000, p. 16 Kaplan en Norton 1996, p. 23 36 Premereur 2001, p. 13, 21, 24-25 37 Buytendijk 2000, p. 14 35
27
onderscheid gemaakt tussen resultaatmetingen en prestatiemotoren, waarbij een prestatiemotoren (bijvoorbeeld de duur van productiecycli of uitvalpercentages) aangeven hoe de gewenste resultaten kunnen worden bereikt. In een Balanced Scorecard moet een goede mix van prestatiemotoren en 38 prestatie-indicatoren voorkomen. Een richtlijn die wordt meegegeven bij de uitwerking van een Balanced Scorecard in een organisatie is te beginnen bij een (strategische) bedrijfseenheid, omdat het moeilijk is direct op overkoepelend 39 niveau een Balanced Scorecard op te stellen. Verder wordt aangegeven dat per perspectief vijf tot tien succesbepalende factoren moeten worden 40 gedefinieerd die elk worden gerepresenteerd door drie tot vijf meetbare prestatie-indicatoren. Tot slot wordt nog aangegeven dat het implementatieproject voor de Balanced Scorecard het beste 41 door een team kan worden uitgevoerd en niet door één individu. Modelleerwijze Het model waar de Balanced Scorecard vanuit gaat, geeft de vier perspectieven weer samen met de wisselwerking met de ‘visie en strategie’ van de organisatie. In figuur 5.1 is dit model te zien.
Financieel
Afnemers
Visie en strategie
Interne bedrijfsvoering
Leerresultaten en groei 42
figuur 5.1: Model Balanced Scorecard’
Werkwijze 43 Kaplan en Norton gebruiken een stappenplan voor het opstellen van een Balanced Scorecard: 1. Kies de juiste organisatorische unit: maak een keuze voor een geschikte unit binnen de organisatie, liefst een strategische business unit die activiteiten kent langs een hele keten: innovatie, productie, marketing, verkoop en service. 2. Identificeer de relaties met andere units: om te voorkomen dat het kiezen van doelstellingen en indicatoren ten koste gaat van andere units, moet rekening worden gehouden met bestaande relaties. 3. Organiseer een eerste ronde interviews: De ‘architect’, die het hele ontwerpproces van de Balanced Scorecard begeleidt, interviewt alle managers om input te krijgen voor de strategische doelstellingen van de organisatie en voorstellen te inventariseren voor indicatoren van de Balanced Scorecard. 4. De samenvoeg-sessie: De architect en het ‘Balanced Scorecard ontwerpteam’ discussiëren over de verkregen informatie, geven kernpunten aan en maken een ‘voorlopige’ lijst van doelstellingen. 5. Eerste workshop voor de top: discussie over missie en strategie tot overeenstemming is bereikt, debat over elk voorstel voor een doelstelling van de Balanced Scorecard en in vier subgroepen per perspectief doelstellingen en potentiële prestatie-indicatoren formuleren. 38
Kaplan en Norton 1996, p. 47, 48 Kaplan en Norton 1996, p. 330 40 Ahaus 1998, p. 27 41 Premereur 2001, p. 37 42 Kaplan en Norton 1996, p. 25 43 Kwaliteit in Bedrijf 1997, p. 7 39
28
6. Bijeenkomsten van de subgroepen: verdere uitwerking van doelstellingen, prestatie-indicatoren en verbindingen tussen de Balanced Scorecard velden. 7. Tweede workshop voor de top: top, directe medewerkers en middenmanagers discussiëren over de visie, de strategie-omschrijvingen en de potentiële prestatie-indicatoren en doelstellingen. 8. Ontwikkel een implementatieplan: de uitgewerkte doelstellingen worden geformaliseerd en er wordt een implementatieplan voor de Balanced Scorecard ontwikkeld. 9. Derde workshop voor de top: definitieve overeenstemming wordt bereikt over de visie, de doelstellingen, de prestatie-indicatoren en het implementatieplan. 10. Afronding van het implementatieplan: integratie van de Balanced Scorecard in het managementsysteem van de organisatie. Beheerswijze Een goede toepassing van de Balanced Scorecard zal alleen worden bereikt als het hele bedrijf meewerkt. Hiervoor moet de gedachte van de Balanced Scorecard worden overgebracht en het belang van de inzet van alle medewerkers van de organisatie duidelijk worden gemaakt. “Kaplan en Norton stellen terecht dat de introductie van de scorecard impliceert dat er dient te worden gedacht aan enige opleiding van en engagement bij de medewerkers die met de scorecard zullen werken. … Betrokkenheid is echter niet voldoende om het gedrag daadwerkelijk te kunnen wijzigen. Er moeten programma’s worden uitgewerkt om de link tussen BSC en de doelstellingen van het team 44 en van het individu te realiseren.” INK-model
45
Het Instituut Nederlandse Kwaliteit (INK) is ontstaan vanuit een initiatief van het ministerie van Economische Zaken. In 1991 is een stuurgroep opgericht die bedrijven, non-profit instellingen en de overheid stimuleerde zich bezig te houden met het continu verbeteren van de bedrijfsvoering. De stuurgroep is in 1994 overgegaan in een onafhankelijk instituut zonder commerciële doelstellingen. Door het Instituut Nederlandse Kwaliteit is een Nederlandse versie gemaakt van het Europese EFQMmodel (ontwikkeld door de European Foundation for Quality Management), het INK-model. Denkwijze Het INK-managementmodel gaat uit van vier uitgangspunten: 1. Praktijkgericht en zelfwerkzaamheid: Er zijn negen aandachtsvelden in het INKmanagementmodel dat geschikt is voor zowel profit als non-profit organisaties. Binnen de aandachtsvelden is een scheiding aangebracht tussen organisatie- en resultaatgebieden. Het model toont ook de samenhang tussen de verschillende gebieden. Zelfwerkzaamheid door het management is bij het ontwerp het uitgangspunt geweest. 2. Ontwikkelingsfasen: Het uiteindelijke doel is een ‘excellente onderneming’ te worden. In het proces om dat doel te bereiken zijn vijf fasen gedefinieerd. 3. PDCA als regelkring: Er wordt in het INK-model uitgegaan van de 'Plan-Do-Check-Act-cirkel' van dr. W. Edwards Deming om verbeteringen in de organisatie door te voeren. 4. Focus op excellentie: Zoals genoemd is het uiteindelijke doel een excellente onderneming te worden. Deze wordt gekenmerkt door leiderschap met lef, resultaatgerichtheid, continu verbeteren, transparantie en samenwerking. Ook dit model is gericht op leren. In het INK-model speelt het oorzaak-en-gevolgdenken een rol, zowel 46 tussen als binnen de aandachtsgebieden. Evenals bij de Balanced Scorecard wordt voor het INK-model aangegeven dat per aandachtsgebied vijf tot tien succesbepalende factoren moeten worden gedefinieerd die elk weergegeven worden in 47 drie tot vijf meetbare prestatie-indicatoren. Bij het toepassen van het INK-model wordt in teamverband gewerkt. Modelleerwijze Het INK-model is vormgegeven door negen aandachtgebieden. Deze worden kort toegelicht. In figuur 5.2 is de samenhang in het model weergegeven.
44
Premereur 2001, p. 21-22 http://www.ink.nl/index_ink.htm, 16-6-2002 46 Ahaus 1998, p. 31 47 Ahaus 1998, p. 27 45
29
waardering door medewerkers
medewerkers
leiderschap
strategie & beleid
processen
waardering door klanten en leveranciers
eindresultaten
waardering door de maatschappij
middelen
leren & verbeteren
figuur 5.2: INK-model 1. Leiderschap: de koersbepaling van de organisatie, de vertaling naar de dagelijkse gang van zaken, de manier van het inrichten van de organisatie en de omgang met medewerkers en relaties. 2. Strategie en Beleid: de implementatie van strategie, concrete vertaling naar beleid, plannen, budgetten en processen. 3. Medewerkers: de inzet van medewerkers in de organisatie, stimulering en waardering van medewerkers om de strategie en beleidsdoelstellingen te realiseren. 4. Middelen: het aanwenden van middelen om activiteiten van de organisatie effectief en efficiënt uit te voeren vanuit de strategie. 5. Processen: het identificeren, ontwerpen en beheersen en waar nodig verbeteren en vernieuwen van processen vanuit strategie en beleid. 6. Waardering door klanten en leveranciers: de mate waarin klanten en leveranciers de inspanningen waarderen die de organisatie verricht om hun eisen en wensen te vervullen. 7. Waardering door medewerkers: de mate waarin medewerkers de organisatie ervaren, beleven en waarderen voor haar inspanningen om een aantrekkelijke werkgever te zijn. 8. Waardering door de maatschappij: de mate waarin de maatschappij de organisatie waardeert voor haar inspanningen om bij de uitvoering met de omgeving rekening te houden. 9. Eindresultaten: de mate waarin de financiële en operationele doelstellingen van de organisatie worden gerealiseerd. Werkwijze In de toepassing van het INK-model wordt onderscheid gemaakt in vier fasen: 1. Bewustmaking: Het INK-model kan een goede basis zijn voor het op gang brengen van discussie in het managementteam over de inhoud van het model, het basisprincipe van verbeteren, de koppeling van organisatie- aan resultaatgebieden plus de onderliggende fundamentele waarden. 2. Diagnose: Door het stellen van een diagnose komen de sterke punten en verbeterpunten naar boven. Deze kunnen worden gebruikt om verbeteringen door te voeren. 3. Verbeteren: De potentiële verbeteringen die zichtbaar gemaakt zijn bij de diagnose kunnen worden uitgevoerd. Het inzicht in de organisatie door het gebruik van het INK-model kan ervoor zorgen dat de organisatie hierbij niet uit balans raakt. 4. Besturen: Als al enkele jaren met het INK-model wordt gewerkt kan het een versterking zijn van het managementsysteem en jaarplannen, rapportages, performance-indicatoren etc. structureren. Beheerswijze Om de invoering van het INK-model te laten slagen is de betrokkenheid van medewerkers belangrijk. Hier moet actief aan worden gewerkt. Bij de invoering van het INK-model bij de sociale dienst in Spijkenisse werd bijvoorbeeld in tweeëneenhalve dag met vijftien medewerkers aan een evaluatie 48 gewerkt. Een ander voorbeeld hiervan is het structureel uitvoeren van medewerkers- en klanttevredenheidsonderzoeken zodat het management ook op de hoogte blijft van wat er leeft in de organisatie. 48
le Nobel 1999, p. 22
30
5.3 Raamwerk toegepast op voorkeuren gemeente Delft De voorkeuren van de gemeente Delft ten aanzien van een evaluatiemethode uit paragraaf 4.1 worden besproken in de structuur van het raamwerk. Denkwijze 49 Prestatiemeting kan verschillende functies hebben voor een organisatie. De volgende functies van prestatiemeting worden vaak genoemd in de literatuur: • Transparantie: prestatiemeting kan in deze functie een rol spelen in verantwoordingsprocessen. • Leren: prestatiemeting kan inzicht geven in wat er goed gaat en waar verbeteringen mogelijk zijn. • Oordelen: prestatiemeting kan bijdragen aan het vormen van een oordeel over het functioneren van de organisatie. • Afrekenen: prestatiemeting kan gevolgd worden door positieve sancties bij succes en negatieve sancties bij onvoldoende resultaat. Bij het ontwikkelen van een evaluatiemethode is het van belang om de functie van de methode voor ogen te houden. De gemeente Delft is op zoek naar een evaluatiemethode voor het programma KIS waarmee de gemeenteraad inzicht kan worden gegeven in prestaties en waarmee verantwoording kan worden afgelegd aan de gemeenteraad. Van de beschreven functies sluit ‘Transparantie’ hierbij het beste aan. Er kan over worden gediscussieerd of het doel van de evaluatiemethode vanuit de ogen van de gemeenteraad gezien ook niet ‘Oordelen’ of misschien zelfs ‘Afrekenen’ is. Op de lange termijn is dit misschien het geval en zal de keuze voor het voortzetten van het gevoerde beleid wellicht afhangen van het beeld dat de evaluatiemethode geeft. Op dit moment ligt de prioriteit echter bij het bieden van een oplossing voor het gebrek aan inzicht in resultaten van de gemeenteraad. Zoals gezegd is de functie die hierbij past ‘Transparantie’. Een ander aspect van de denkwijze van de gemeente Delft ten aanzien van een evaluatie is de gewenste eenvoud van de methode. Om dit uit te drukken spreekt de gemeente de wens uit voor een ‘stoplichtmodel’ dat een eenvoudig overzicht geeft en waarbij de kleur groen aangeeft dat het goed gaat en de kleur rood dat het niet goed gaat. Eventueel kan meer informatie worden verkregen door middel van inzoomen naar diepere niveaus. De gemeente Delft is, wat betreft de oriëntatie van de evaluatiemethode voor het programma KIS, gericht op ‘de buitenkant’, op resultaat. Hierbij is de gemeente geïnteresseerd in twee hoofdaspecten: - resultaat voor de burger en andere doelgroepen in de vorm van digitale dienstverlening - resultaat voor de gemeente in de vorm van concrete kostenbesparingen Ook wil de gemeente de evaluatiemethode baseren op de volgende burgerwaarden: toegankelijkheid, doeltreffendheid, betrouwbaarheid, controleerbaarheid en doelmatigheid. Tot slot zal de evaluatiemethode inzicht moeten geven in de mate van realisatie van de doelen beschreven in de nota KIS 2. Modelleerwijze Bij het ontwerpen van de methode zal gebruik worden gemaakt van de drie uitgangspunten die genoemd zijn door de gemeente Delft: de hoofdaspecten, de burgerwaarden en de doelen van KIS 2. Deze worden verder uitgewerkt in subdoelen die de gemeente nastreeft. De subdoelen moeten zowel de hoofdaspecten, als de burgerwaarden, als de doelen van KIS2 representeren. Vervolgens worden deze subdoelen uitgewerkt in prestatie-indicatoren die meetbaar zijn of meetbaar moeten worden gemaakt. Om een indruk te krijgen van de werking van de evaluatiemethode wordt een prototype ontwikkeld. Het prototype heeft als doel de gegevens op een inzichtelijke manier te presenteren. In het prototype is informatie te vinden over de prestatie-indicatoren en zijn de scores op prestatie-indicatoren te volgen in de tijd en ten opzichte van een vooraf gestelde norm. Werkwijze De gemeente benadrukt de noodzaak van een nulmeting. De waarde van de prestatie-indicatoren zal worden vastgesteld op een gegeven ogenblik. Vervolgens zal periodiek opnieuw de waarden van dezelfde prestatie-indicatoren worden bepaald. Waar mogelijk zal dit per maand gebeuren, anders per jaar. Eén keer per jaar zullen de gegevens worden verzameld en getoond aan de gemeenteraad.
49
de Bruin 2001, p. 17
31
Deze zullen op een inzichtelijke en begrijpelijke manier worden gepresenteerd door gebruik te maken van het prototype. Bij de voorkeuren van de gemeente Delft is als ‘werkwijze’ het gebruik van de evaluatiemethode beschreven nadat deze is ontwikkeld. Bij de Balanced Scorecard is het stappenplan voor het introduceren van een Balanced Scorecard beschreven als werkwijze. Dit verschil in benadering kan beargumenteerd worden door de focus van respectievelijk de gemeente Delft en de Balanced Scorecard. Aangezien bij de Balanced Scorecard het bewustwordingsproces van de organisatie tijdens de ontwikkeling en implementatie van de methode centraal staat, kan de introductie van de Balanced Scorecard ook beschouwd worden als een onderdeel van de methode zelf. Bij de gemeente Delft ligt de nadruk op het uiteindelijke gebruik van de evaluatiemethode en niet op de introductie ervan. Daarom is de introductie van de methode bij de werkwijze van de voorkeuren van de gemeente Delft buiten beschouwing gelaten. Beheerswijze Om te voorkomen dat de organisatie niet te veel wordt belast met het verzamelen van informatie voor de evaluatiemethode, zal zoveel mogelijk gebruik worden gemaakt van informatie die al in de organisatie aanwezig is. Bij een uitbreiding van deze informatie zal zorgvuldig rekening worden gehouden met de extra inspanningen die dit van de organisatie vraagt. Mogelijk zullen de verschillende organisatieonderdelen worden gevraagd hun informatie eens per maand, per kwartaal of per jaar door te geven. Eventueel zal periodiek een gebruikersonderzoek worden uitgevoerd om de mening over digitale dienstverlening van de burger te verkrijgen.
5.4 Conclusie In paragraaf 5.2 zijn twee bestaande methoden, te weten de Balanced Scorecard en het INK-model, beschreven aan de hand van het ‘four ways’ raamwerk. In paragraaf 5.3 zijn de voorkeuren van de gemeente Delft ten aanzien van een evaluatiemethode in de vorm van dit raamwerk beschreven. Aan de hand hiervan wordt, in deze paragraaf, bekeken of (elementen van) deze methoden kunnen worden gebruikt voor de invulling van de evaluatiemethode voor het programma KIS. De gemeente Delft is op dit moment voor het programma KIS op zoek naar een eenvoudige evaluatiemethode met als functie ‘Transparantie’ om de gemeenteraad inzicht te geven in de behaalde resultaten. Daarbij is uitdrukkelijk verzocht zoveel mogelijk gebruik te maken van bestaande informatie om de organisatie niet te veel overlast te bezorgen. Het uitvoeren van de evaluatiemethode moet bij wijze van spreken ongemerkt gebeuren. Beide bestaande methoden zijn gericht op de functie ‘Leren’. De implementatie van deze methoden wordt gezien als een langdurig veranderingsproces waarvan de hele organisatie op de hoogte dient te zijn en bij betrokken moet worden. De Balanced Scorecard is slechts indirect een meetinstrument. In de eerste plaats is het bedoeld als een leerinstrument. Voor het succesvol zou kunnen zijn, moeten echter grote investeringen worden gedaan en moet een lange leercyclus worden doorlopen. De hele organisatie dient betrokken te zijn bij de invoering en uitvoering van de Balanced Scorecard en moet informatie beschikbaar stellen. Dit is erg arbeidsintensief. Bij de invulling van de gegevens in het programma PIN is in het verleden al gebleken dat dit moeilijk is te realiseren. Zeker voor een organisatie als de gemeente waar verspreid wordt gewerkt in verschillende contexten. Informatie is in de eerste plaats bedoeld voor managers en bij de invoering van de Balanced Scorecard zouden alle medewerkers moeten worden betrokken. De ingreep die hiervoor nodig is, is buiten proporties voor het doel dat de gemeente ermee wil bereiken. Dit zou ook tot uiting komen in de kosten die gemaakt moeten worden voor de invoering van de Balanced Scorecard. Een ander punt zijn de aandachtsgebieden. De interesse van de gemeente Delft betreft twee hoofdaspecten van het programma KIS: digitale dienstverlening in combinatie met de mening van de burger daarover en concrete kostenbesparingen als gevolg van digitale dienstverlening. Hiernaast ziet de gemeente Delft graag een uitwerking van de burgerwaarden en moeten de resultaten van de doelen van KIS 2 terug te vinden zijn. De aandachtsgebieden van de Balanced Scorecard en het INKmodel hebben op andere aspecten betrekking. Een punt van kritiek op de Balanced Scorecard is overigens dat de vier aandachtsvelden die worden voorgeschreven, geschikt zouden zijn voor elk type organisatie, in elk stadium van ontwikkeling. In de realiteit is dit niet het geval. Een voorbeeld waarbij dit niet opgaat zijn bedrijfstakken (zoals de
32
automobielindustrie) waar meer aandacht voor het afnemersperspectief nog nauwelijks concurrentievoordeel kan bieden. Een ‘toeleverancierperspectief’ zou hier bijvoorbeeld waardevoller 50 zijn. Ook bij een overheidsorganisatie kunnen vraagtekens worden gezet bij het afnemersperspectief. Doordat een overheidsorganisatie in een bijzondere positie verkeert, heeft ook de ‘afnemer’ bepaalde kenmerken. Zo heeft deze (vaak) niet de mogelijkheid om naar ‘de concurrent’ te stappen als het product niet bevalt. Het is de vraag of een afnemersperspectief in een overheidsorganisatie hierdoor dezelfde functie kan vervullen als in een bedrijf. Een mogelijke 51 oplossing hiervoor wordt gesuggereerd met de Public Balanced Scorecard die gebruik maakt van de volgende perspectieven: Maatschappelijk, Burger, Intern en Innovatief. Ook is een suggestie gedaan voor een Balanced Scorecard speciaal gericht op het meten van de productiviteit van informatiesystemen met de volgende perspectieven: gebruiksgerichtheid, toegevoegde waarde voor 52 het bedrijf, het internet proces en de gerichtheid op de toekomst. Tevens is er nog een initiatief 53 genomen voor het ontwikkelen van een IT Balanced Scorecard met als perspectieven: gebruikersgerichtheid, bedrijfscontributie, operationele uitmuntendheid en toekomstgerichtheid. De interesse voor deze ‘speciaal toegepaste’ Balanced Scorecards geeft weer dat het idee om een evaluatiemethode uit te werken vanuit verschillende aandachtsgebieden aantrekkelijk is. De keuze van de aandachtsgebieden zal wellicht niet voor elke situatie zo sterk vastliggen. De werkwijze en de beheerswijze voor het ontwikkelen van de evaluatiemethode wijkt bij de gemeente Delft af van die van de Balanced Scorecard en het INK-model. In de gemeente Delft is niet de hele organisatie bij het ontwerp betrokken en van de ontwikkeling van de methode op de hoogte. Het uitwerken van een beperkt aantal aandachtsgebieden in operationele prestatie-indicatoren, zoals dit bij de Balanced Scorecard en het INK-model gebeurt, zal voor de gemeente Delft ook waardevol zijn. Maar de keuze voor de aandachtsgebieden zal hierbij anders zijn dan die van de Balanced Scorecard of INK-model. In onderstaand overzicht zijn de belangrijkste onderlinge verschillen tussen de voorkeuren van de gemeente Delft en de twee bestaande methoden samengevat: Balanced Scorecard Denkwijze Aandachtsgebieden
Functie Oriëntatie Modelleerwijze Focus
Werkwijze Aanpak Beheerswijze Hele organisatie betrokken Invoering Implementatie door Rol ‘architect’
INK
Gemeente Delft
- Leiderschap - Strategie en Beleid - Medewerkers - Middelen - Processen - Waardering door klanten en leveranciers - Waardering door medewerkers - Waardering door de maatschappij - Eindresultaten Leren Procesgericht
- Digitale dienstverlening voor de burger en andere doelgroepen - Concrete kostenbesparingen
Financiële resultaten en stuwende factoren achter toekomstige prestaties
Resultaatgebieden en organisatiegebieden
Behaalde resultaten
Stappenplan voor invoering
Fasen van ontwikkeling
Activiteiten bij uitvoering
- Financieel - Afnemers - Interne bedrijfsvoering - Leerresultaten en groei
Leren Procesgericht
Ja Langdurig proces Team Proces ondersteunen
Ja Langdurig proces Team Proces ondersteunen
Transparantie Resultaatgericht
Nee Kort proces Individu Methode opstellen
50
Kwaliteit in Bedrijf 1997, p. 9 Hoorweg 2000, p. 189 52 Duijvelaar 2000, p. 411 53 Grembergen 1998, p. 37 51
33
34
Hoofdstuk 6: Evaluatiemethode In dit hoofdstuk wordt de ontwikkeling van de evaluatiemethode beschreven. In paragraaf 6.1 worden de uitgangspunten bekeken die de basis vormen voor de uitwerking van de evaluatiemethode. In paragraaf 6.2 wordt de formulering van subdoelen toegelicht die worden gebruikt bij het ontwikkelen van de evaluatiemethode. En in paragraaf 6.3 wordt de uitwerking van de subdoelen in prestatieindicatoren besproken. In paragraaf 6.4 wordt de mening van de actoren vakteam ICT, regiegroep Digitale Kennisorganisatie en de wethouder, verantwoordelijk voor digitale dienstverlening en ICT, over de prestatie-indicatoren weergegeven. Tot slot wordt in paragraaf 6.5 toegelicht wat er moet worden gedaan voor de uitvoering van de evaluatiemethode.
6.1 Uitgangspunten In paragraaf 4.1 is aangegeven dat de uitwerking van de evaluatiemethode gebaseerd zal zijn op twee hoofdaspecten van het programma KIS, de burgerwaarden en de doelen van KIS 2. Deze uitgangspunten worden in deze paragraaf toegelicht. Hoofdaspecten programma KIS De twee hoofdaspecten van het programma KIS waar de gemeente Delft door middel van de evaluatiemethode inzicht in wil verkrijgen zijn: - digitale dienstverlening in combinatie met de mening van de burger daarover - concrete kostenbesparingen als gevolg van digitale dienstverlening Om het resultaat van het programma KIS te kunnen weergeven zal dit moeten worden uitgedrukt in de mate waarin deze aspecten zijn gerealiseerd. Burgerwaarden Om het functioneren van markten en publieke diensten te beoordelen vanuit het perspectief van de consument, maakt de consumentenbond gebruik van acht internationaal geaccepteerde 54 consumentenwaarden . Dit zijn de volgende begrippen: toegang, keuzevrijheid, kwaliteit, waar voor je geld, informatie, veiligheid, klacht- en verhaalmogelijkheden en duurzaamheid. Met deze 55 consumentenwaarden als voorbeeld, heeft de gemeente Delft in de nota KIS 2 vijf burgerwaarden geformuleerd: toegankelijkheid, doeltreffendheid, betrouwbaarheid, controleerbaarheid en doelmatigheid. Deze waarden wil de gemeente Delft nastreven en vanuit deze begrippen wordt ook de evaluatiemethode ontwikkeld. Hierbij hebben de burgerwaarden betrekking op de digitale dienstverlening voor de burger. Overigens wordt in de nota KIS 2 een andere interpretatie van de burgerwaarden aangehouden dan de interpretatie die bij de ontwikkeling van deze evaluatiemethode wordt gebruikt. Dit heeft twee oorzaken. Ten eerste worden in de nota KIS 2 de burgerwaarden uitgelegd als waarden die de gemeente als gehele organisatie moet nastreven. Deze uitleg kan niet direct worden toegepast op digitale dienstverlening, gerealiseerd door het programma KIS. In dit onderzoek zullen de burgerwaarden daarom alleen worden geïnterpreteerd in het kader van digitale dienstverlening. Ten tweede worden de vijf burgerwaarden in de nota gekoppeld aan de vijf ringen van het ringenmodel (beschreven in paragraaf 2.2). Van deze ringen hebben slechts alleen de ringen ‘Balieinformatie’ en ‘Beleidsinformatie’ betrekking op ‘de buitenkant’. In de nota wordt de burgerwaarde toegankelijkheid gekoppeld aan de ‘Balie-informatie’-ring (de buitenste ring) en de burgerwaarde betrouwbaarheid wordt gekoppeld aan de ‘Beleidsinformatie’-ring (de op één na buitenste ring). Als gebruik zou worden gemaakt van de omschrijving van de burgerwaarden uit de nota, zouden dus alleen deze twee burgerwaarden kunnen worden gebruikt voor de beoordeling van het programma KIS.
54 55
Consumentenbond 2001, De marktmeester aan zet, p. 4, 7 Gemeente Delft,
[email protected] (in ontwikkeling, versie 18-7-2002), p. 14, 15
35
Om een zo volledig mogelijk beeld te kunnen geven, wordt de koppeling van de burgerwaarden aan de ringen losgelaten en worden alle vijf de burgerwaarden gebruikt voor de beoordeling van het programma KIS. Met deze twee aanpassingen in het achterhoofd worden de vijf burgerwaarden toegelicht. Toegankelijkheid Het begrip ‘toegankelijk’ wordt in het van Dale woordenboek omschreven als “bereikt kunnende worden …, betreden kunnende worden … , bezocht kunnende of mogende worden, open voor 56 bezoek” . In dit geval heeft dit betrekking op de digitale dienstverlening van de gemeente Delft. Hierbij is een aantal aspecten van belang. Om gebruik te kunnen maken van de digitale dienstverlening van de gemeente Delft moet eerst de betreffende website waarop de digitale dienstverlening wordt aangeboden bereikt kunnen worden door de burger. Vervolgens moet er voldoende aanbod zijn van diensten die digitaal kunnen worden afgenomen. Tot slot moet de burger (op eenvoudige wijze) toegang hebben om deze verschillende diensten af te nemen. Doeltreffendheid “… doeltreffendheid is het zo veel mogelijk bereiken van de doelstellingen uitgaande van gegeven 57 middelen (de juiste dingen doen).” De doeltreffendheid heeft dus betrekking op het succes dat behaald wordt met het uitvoeren van het programma KIS en het aanbieden van digitale dienstverlening. Hierbij wordt ingegaan op de vraag of de digitale dienstverlening aanslaat bij burgers en of burgers er tevreden over zijn. Betrouwbaarheid Als betekenis van ‘betrouwbaar’ geeft het van Dale woordenboek “te vertrouwen, waarop men zich 58 verlaten kan …, deugdelijk …, geloofwaardig” . Bij dit begrip speelt de kwaliteit van de digitale dienstverlening volgens (door de gemeente of een andere organisatie) vooraf opgestelde (kwaliteits)normen een rol. Maar ook zal vanuit het perspectief van de burger een beoordeling moeten plaatsvinden aangezien die de klant van de digitale dienstverlening is. Het is prettig als er aan opgestelde normen wordt voldaan, maar als de burger de digitale dienstverlening niet als betrouwbaar ervaart, is het de vraag of de normen goed gesteld zijn. Controleerbaarheid ‘Controleren’ wordt in het van Dale woordenboek omschreven als “toezicht oefenen op enig beheer, 59 beleid, gedrag op een werking of werkzaamheid” . Het begrip controleerbaarheid wordt op twee manieren uitgelegd. Bij de eerste manier wordt de burger gezien als belastingbetaler die de uitvoering van gemeentebeleid financiert. Vanuit deze positie wil de burger resultaten zien, controleren wat er gebeurd is met het belastinggeld. Controleerbaarheid komt dan tot uiting in de digitale dienstverlening die de gemeente Delft aanbiedt. Bij de andere manier waarop het begrip controleerbaarheid wordt uitgelegd, wordt de burger gezien als klant. Controleerbaarheid heeft in die situatie betrekking op de reactie van de gemeente op een digitale aanvraag van de burger, de afhandeling van de digitale dienstverlening. Doelmatigheid “… doelmatigheid is het gebruik van zo min mogelijk middelen voor het bereiken van de gegeven 60 doelstelling (de dingen juist doen).” Dit begrip geeft weer met welke inzet van middelen de hoofdaspecten van het programma KIS in welke mate worden verwezenlijkt. Zoals eerder is beschreven zijn de hoofdaspecten van het programma KIS het aanbieden van digitale dienstverlening en het bewerkstelligen van concrete kostenbesparingen als gevolg van het gebruik van digitale dienstverlening. De mate van realisatie van deze twee hoofdaspecten, in combinatie met de (financiële)middelen die zijn ingezet om de doelen te bereiken, geven de doelmatigheid weer.
56
Geerts 1999, Groot woordenboek der Nederlandse taal, van Dale, p. 3446 den Hengst 2002, Analyse van bedrijfssystemen, p. 12 58 Geerts 1999, Groot woordenboek der Nederlandse taal, van Dale, p. 381 59 Geerts 1999, Groot woordenboek der Nederlandse taal, van Dale, p. 651 60 den Hengst 2002, Analyse van bedrijfssystemen, p. 12 57
36
Doelen KIS 2 61
In de nota KIS 2 worden drie doelen geformuleerd waar de gemeente Delft tijdens de periode van KIS 2 aan wil gaan werken. Deze doelen worden ook vertaald in geplande projecten. Het eerste doel is de informatievoorziening te verbeteren en beschikbare informatie (ook via internet) toegankelijker maken. Als tweede doel is gesteld de uitbreiding van het aantal producten en diensten die op een digitale manier worden aangeboden. En tot slot is het derde doel de relatie tussen de burger en het bestuur te verbeteren. Dit zou moeten gebeuren door gebruik te maken van interactieve beleidsontwikkeling. In paragraaf 4.1 is aangegeven dat dit laatste doel buiten beschouwing wordt gelaten. Het is van belang dat ook de doelen van KIS 2 en de resultaten van de geplande projecten aansluiten bij de evaluatiemethode. Hierdoor kan het effect van de activiteiten om de doelen te verwezenlijken direct zichtbaar worden gemaakt.
6.2 Subdoelen Een uitgangspunt bij het ontwikkelen van een evaluatiemethode voor het programma KIS is het streven ‘de buitenkant’ te meten. De mening van de burger is van groot belang bij het beoordelen van de resultaten van het programma KIS. De burger is de klant. Om uitdrukking te geven aan de hoofdaspecten van het programma KIS, de burgerwaarden en de doelen van KIS 2, is een zevental subdoelen geformuleerd. Met deze subdoelen zal de evaluatiemethode worden vormgegeven. De subdoelen zijn concreter dan de burgerwaarden en de hoofdaspecten en zijn hierdoor in een latere fase beter meetbaar. Wel beogen de subdoelen het hele gebied te representeren dat ook door de hoofdaspecten en de burgerwaarden wordt weergegeven. De relatie van de subdoelen met de hoofdaspecten, de burgerwaarden en de doelen van KIS 2 wordt later in deze paragraaf toegelicht. Bij het opstellen van deze subdoelen is geprobeerd, waar mogelijk, de resultaten weer te geven zoals die tot uiting komen in de mening en het gedrag van de burger. De subdoelen zijn: • het vergroten van het aanbod van digitale dienstverlening • het vergroten van de bekendheid van digitale dienstverlening • het vergroten van het gebruik van digitale dienstverlening • het vergroten van de tevredenheid van de burger over digitale dienstverlening • het verbeteren van de kwaliteit van afhandeling van digitale dienstverlening • het beperken van de investeringen in digitale dienstverlening • het vergroten van de besparing door het gebruik van digitale dienstverlening Eerst zullen deze subdoelen worden toegelicht samen met de onderlinge relatie. Vervolgens komt de aansluiting bij de hoofdaspecten van KIS, de burgerwaarden en de doelen van KIS 2 aan de orde. Het aanbod van digitale dienstverlening Bij het meten van digitale dienstverlening moet er een manier zijn om ‘de mate van digitale dienstverlening’ weer te geven. Dit wordt gedaan met het aanbod. Bij het aanbod van digitale dienstverlening kan worden gedacht aan zowel de omvang van de digitale dienstverlening (bijvoorbeeld het percentage producten dat digitaal af te nemen is) als de vorm van digitale dienstverlening (een formulier dat kan worden uitgeprint vanaf internet versus een formulier dat via internet kan worden verstuurd). De bekendheid van digitale dienstverlening Naast het feit dat digitale dienstverlening aanwezig is, is het van belang dat ook bij de burger bekend is dàt het er is. De potentiële gebruikers van de digitale dienstverlening zullen op de hoogte moeten zijn van het bestaan van een gemeentesite met digitale producten en zullen deze site ook moeten kunnen vinden. Ook zullen ze moeten weten dat (en welke) producten en diensten worden aangeboden op de website en tot slot zullen de producten en diensten moeten worden gevonden. Het gebruik van digitale dienstverlening Een stap verder dan de bekendheid gaat het gebruik. Digitale dienstverlening heeft pas succes als er ook gebruik van wordt gemaakt. Het gebruik van digitale dienstverlening biedt legitimiteit aan het ontwikkelen en aanbieden van digitale dienstverlening (programma KIS). Tevens kan pas bij het gebruik van digitale dienstverlening worden gedacht aan concrete kostenbesparingen. 61
Gemeente Delft,
[email protected] (in ontwikkeling, versie 18-7-2002), p. 6
37
De tevredenheid van de burger over digitale dienstverlening Door de gemeente is aangegeven dat de mening van de burger belangrijk is bij de beoordeling van digitale dienstverlening. De gemeente zou graag zien dat de burger tevreden is over hetgeen de gemeente aanbiedt. Daarom is ook tevredenheid van de burger over digitale dienstverlening meegenomen als subdoel bij de beoordeling. Uiteraard kan dit begrip betrekking hebben op verschillende kanten van digitale dienstverlening. Gestreefd wordt hiervan een zo volledig mogelijk beeld te geven. De kwaliteit van afhandeling van digitale dienstverlening Naast het aanbieden van digitale producten op een website is van belang dat digitale aanvragen voor producten op een juiste en tijdige manier worden afgehandeld. Al is er nog zo’n mooie website, zonder reactie op e-mails zal er toch een negatief beeld ontstaan over de digitale dienstverlening. Een onderdeel van dit aspect is de mening van de burger over de kwaliteit van de afhandeling. De investeringen in digitale dienstverlening Om tot een goede beoordeling van het effect van de investeringen in het programma KIS te kunnen komen, zullen ook de ingezette financiële middelen, de kosten voor de uitvoering van projecten om digitale dienstverlening mogelijk te maken, moeten worden meegenomen in de evaluatiemethode. Hierbij wordt aangemerkt dat het moeilijk zal zijn om de investeringen specifiek voor digitale dienstverlening te scheiden van investeringen voor een back-office systeem. De besparing door het gebruik van digitale dienstverlening Tot slot wil de gemeente Delft met digitale dienstverlening ook concrete kostenbesparingen bereiken. Door het digitaal afnemen van producten en diensten zullen minder bezoekers aan de balie komen waardoor minder personeel nodig is. Ook kan een besparing ontstaan bij het personeel dat momenteel telefonisch benaderd wordt door burgers met vragen en verzoeken. De subdoelen die omschreven zijn, oefenen invloed op elkaar uit. In figuur 6.1 zijn deze (verwachte) invloeden grafisch weergegeven. bekendheid aanbod besparing
investeringen
kwaliteit afhandeling
tevredenheid
gebruik
= positieve invloed op
figuur 6.1: Subdoelen in relatie tot elkaar De meeste pijlen in figuur 6.1 spreken voor zich, een aantal zal worden toegelicht. Als er meer producten worden aangeboden zijn er meer wegen waarlangs burgers in aanraking kunnen komen met digitale dienstverlening en kan de bekendheid ervan stijgen. Bij een uitgebreid aanbod van digitale diensten hoeft de burger minder vaak naar het gemeentehuis te gaan. Dit kan ook tot uiting komen in de tevredenheid van de burger over digitale dienstverlening. Een reden waarom burgers geen gebruik maken van digitale dienstverlening, kan zijn omdat ze niet op de hoogte zijn van het bestaan. Bij meer bekendheid kan het gebruik toenemen. Relatie met hoofdaspecten KIS Zoals eerder beschreven zijn de hoofdaspecten van het programma KIS het aanbieden van digitale dienstverlening aan de burger, waarbij de mening van de burger hierover een centrale rol speelt en het realiseren van concrete kostenbesparingen. In figuur 6.2 op de volgende pagina is te zien op welke manier deze aspecten tot uiting komen in de eerder omschreven subdoelen.
38
digitale dienstverlening met tevreden gebruiker
= positieve invloed op = komt tot uiting in
bekendheid aanbod besparing
investeringen
kwaliteit afhandeling
gebruik
tevredenheid
concrete kostenbesparing
figuur 6.2: Hoofdaspecten KIS in relatie met subdoelen Het hoofdaspect, digitale dienstverlening met tevreden gebruiker, komt in de eerste plaats tot uiting in het aanbod en in de kwaliteit van afhandeling. Op deze subdoelen heeft de gemeente Delft zelf de meeste invloed. Via het aanbod en de kwaliteit van afhandeling worden ook de subdoelen bekendheid, gebruik en tevredenheid beïnvloed. Het hoofdaspect komt hierin ook tot uiting omdat de gemeente Delft de mening en het gedrag van de burger van grote waarde acht. Het andere hoofdaspect, concrete kostenbesparingen, gaat vooral in op de financiële zaken van het programma KIS. Hierdoor komt dit doel vooral tot uiting in de investeringen van het programma KIS en de besparing. Het is mogelijk dat de besparing alleen niet direct een volledig beeld geeft van de concrete kostenbesparing als gevolg van digitale dienstverlening. Omdat ook andere factoren van invloed kunnen zijn op bijvoorbeeld het aantal baliebezoeken, wordt ook het subdoel gebruik meegenomen. Het gebruik geeft niet direct de besparing weer, maar is er wel aan gerelateerd. Burgers die gebruik maken van (totale) digitale dienstverlening hoeven immers niet meer de balie te bezoeken. Relatie met burgerwaarden In figuur 6.3 is de relatie tussen de vijf burgerwaarden en de zeven subdoelen te zien. Toegankelijkheid Er is een aantal zaken van belang bij het begrip toegankelijkheid. Ten eerste moet de website bereikt kunnen door de burger. Met andere woorden, de burger moet op de hoogte zijn van het bestaan van de website en in staat zijn deze op internet te vinden. Dit komt tot uiting in het subdoel bekendheid. Ten tweede moet er voldoende aanbod zijn dat digitaal toegankelijk is. Doeltreffendheid Bij de doeltreffendheid van het programma KIS wordt gekeken naar de vraag of de digitale dienstverlening aanslaat bij burgers en of burgers er tevreden over zijn. Doeltreffendheid komt dus tot uiting in de subdoelen gebruik en tevredenheid.
39
= positieve invloed op
Toegankelijkheid Controleerbaarheid
= komt tot uiting in
bekendheid aanbod
besparing
Doelmatigheid kwaliteit afhandeling
investeringen
gebruik
tevredenheid
Betrouwbaarheid
Doeltreffendheid
figuur 6.3: Burgerwaarden in relatie met subdoelen Betrouwbaarheid Bij betrouwbaarheid is de mening van de burger over de digitale dienstverlening een belangrijk aspect. Als de burger de digitale dienstverlening niet ‘deugdelijk’ vindt, zal hij er niet tevreden over zijn en het niet gebruiken. Betrouwbaarheid komt hierdoor tot uiting in de tevredenheid van de burger over de digitale dienstverlening en in de kwaliteit van afhandeling, de terugkoppeling naar de burger toe. Controleerbaarheid In paragraaf 5.1 staat beschreven dat controleerbaarheid voor het programma KIS op twee manieren wordt opgevat. Ten eerste wordt de burger gezien als belastingbetaler en wordt bekeken in welke mate de burger digitale dienstverlening terugkrijgt in de gemeente Delft. Dit komt tot uiting in het aanbod. Ten tweede wordt de burger gezien als klant en wordt controleerbaarheid weergegeven in de terugkoppeling die de burger van de gemeente krijgt, de kwaliteit van afhandeling van de digitale dienstverlening. Doelmatigheid Met doelmatigheid wordt de mate van realisatie van de twee hoofdaspecten, het aanbieden van digitale dienstverlening en het bewerkstelligen van concrete kostenbesparingen, in combinatie met de gebruikte middelen weergegeven. Doelmatigheid komt dus tot uiting in het aanbod, de besparing en de investeringen. Relatie met doelen KIS 2 De doelen die in de nota KIS 2 naar voren komen worden ook in relatie gebracht met de zeven subdoelen. Dit is in figuur 5.4 grafisch weergegeven. Het eerste doel is de informatievoorziening te verbeteren en beschikbare informatie (ook via internet) toegankelijker te maken. Dit is in eerste instantie gericht op de bekendheid van digitale dienstverlening en in mindere mate op de tevredenheid van de burger over de digitale dienstverlening. Ten tweede wil de gemeente Delft met het programma KIS het aantal producten en diensten uitbreiden dat digitaal wordt aangeboden. Dit heeft duidelijk betrekking op het subdoel aanbod. Beide doelen zijn ook verbonden met investeringen die gedaan moeten worden voor het realiseren van de doelen. Via de subdoelen waar de doelen op gericht zijn, worden overigens ook de overige subdoelen beïnvloed, zoals te zien is in figuur 6.4.
40
= positieve invloed op
verbeteren informatievoorziening
= komt tot uiting in
bekendheid uitbreiden aantal producten en diensten
aanbod besparing
investeringen
kwaliteit afhandeling
gebruik
tevredenheid
figuur 6.4: Doelen KIS 2 in relatie met subdoelen
6.3 Prestatie-indicatoren Om de in paragraaf 6.2 geformuleerde subdoelen te kunnen meten, moeten prestatie-indicatoren worden gedefinieerd die de mate van verwezenlijking van het subdoel kunnen representeren. Om in aanmerking te komen als prestatie-indicator voor de evaluatiemethode, moeten de prestatieindicatoren bepaalde eigenschappen hebben en aan bepaalde eisen voldoen. “Kengetallen (prestatie-indicatoren) moeten aan een aantal eisen voldoen om als stuurmiddel gehanteerd te kunnen worden. Belangrijk is dat een kengetal vergelijkbaar is in de tijd en homogeen (onderling vergelijkbaar). Daarnaast dienen kengetallen het hele terrein af te dekken van die factoren die kritisch zijn voor het succes. Naast de variëteit in kengetallen is ook een balans tussen de kengetallen nodig. Het is niet zinvol om met vijf verschillende kengetallen te meten hoe groot het marktaandeel van de organisatie is. Daarnaast kan het niet meenemen van een kengetal ervoor 62 zorgen dat het management van één heel gebied binnen de organisatie niet op de hoogte is.” Prestatie-indicatoren die gebruikt worden voor een evaluatiemethode moeten meetbaar en toetsbaar 63 zijn. Hiervoor moeten ze voldoen aan de SMART-eisen : Specific: de prestatie-indicatoren moeten concreet zijn en niet omschreven worden in vaagheden zoals ‘de beste’ en ‘uniek’. Ook moeten de prestatie-indicatoren maar voor één uitleg vatbaar zijn. Measurable: de prestatie-indicatoren moeten met aanvaardbare inspanning te meten zijn. Achievable: de norm van de prestatie-indicatoren moet realistisch en haalbaar zijn. Relevant: de prestatie-indicatoren moeten direct te koppelen zijn aan factoren die worden nagestreefd en relevant zijn voor de resultaatgebieden. Time phased: bij de doelstellingen voor de prestatie-indicatoren moet worden vastgelegd wanneer ze behaald moeten zijn. Met ‘prestatie-indicator’ wordt de naam van de prestatie-indicator samen met de interpretatie, in de vorm van een omschrijving, bedoeld. ‘Voor één uitleg vatbaar’ heeft dus betrekking op de combinatie van het begrip met de omschrijving van de prestatie-indicator.
62 63
Broen e.a. 1995, p. 66 Buytendijk 2000, p. 20
41
Van de prestatie-indicatoren die gebruikt gaan worden in de evaluatiemethode voor het programma KIS moet een aantal aspecten bekend zijn. Het gaat hierbij om de volgende zaken: • eenduidige definitie • eenheid • doel • norm die behaald moet zijn op een bepaalde datum • startwaarde op een bepaalde datum (waarde nulmeting) • verantwoordelijke • bron Verder moeten de prestatie-indicatoren aan bepaalde eisen voldoen. Er zal in de loop van de tijd steeds op dezelfde prestatie-indicatoren moeten worden getoetst. De prestatie-indicatoren moeten dus ook in de toekomst bruikbaar en vergelijkbaar blijven. Een ander punt is dat de prestatie-indicatoren samen zo goed mogelijk de subdoelstellingen en op een hoger niveau de hoofdaspecten, de burgerwaarden en de doelen van KIS 2 moeten weergeven. Hierbij moet een goed evenwicht worden gevonden tussen de verschillende prestatie-indicatoren. Er moet naar worden gestreefd recht te doen aan meervoudigheid, beschreven in paragraaf 5.1: verschillende bronnen en prestatie-indicatoren worden gebruikt om één subdoel te meten. Ook moet ervoor worden gewaakt dat de begrippen die worden gebruikt eenduidig zijn. Is de betekenis van een prestatie-indicator niet bij voorbaat duidelijk, dan zal deze op duidelijke wijze moeten worden toegelicht. De prestatie-indicatoren kunnen op twee manieren worden beoordeeld. De meest relevante manier zal afhankelijk zijn van de prestatie-indicator. Ten eerste kan een prestatie-indicator worden beoordeeld op de score die behaald is in relatie met de norm die hiervoor gesteld is. Een andere manier om de prestatie-indicator te bekijken is aan de hand van het verloop in de tijd. Bij de invulling van de evaluatiemethode wordt zoveel mogelijk gebruik gemaakt van bestaande informatiebronnen. Rekening houdend met deze eigenschappen en eisen zijn per subdoel prestatie-indicatoren gedefinieerd. Over de geselecteerde prestatie-indicatoren kan het volgende worden opgemerkt. Ten eerste kunnen de verschillende prestatie-indicatoren bij één subdoel verschillende onderlinge relaties hebben. Soms zijn de prestatie-indicatoren aanvullend, soms geven ze hetzelfde weer (waarbij de waarde kan verschillen door de manier van meten of door bepaalde aannamen) en soms geven ze verschillende manieren weer waarop een begrip kan worden opgevat. Ten tweede komt een aantal prestatie-indicatoren bij meerdere subdoelen voor. Deze hoeven dus slechts eenmaal gemeten te worden en kunnen bij het weergeven van verschillende subdoelen worden gebruikt. Hierbij moet wel worden gerealiseerd dat het om dezelfde meting gaat, de metingen moeten niet worden ‘dubbel geteld’. In deze paragraaf worden per subdoel de prestatie-indicatoren besproken. Per prestatie-indicator wordt gekeken naar: de interpretatie, de eenheid, manieren van meten en eventuele mogelijkheden om in te zoomen op een dieper niveau. De paragraaf wordt afgesloten met een totaaloverzicht. Het aanbod van digitale dienstverlening Bij aanbod spelen verschillende aspecten een rol. Ten eerste kan worden gekeken naar het percentage producten dat in de verschillende vormen van digitale dienstverlening wordt aangeboden. Ten tweede kan de mate van digitale dienstverlening in de gemeente Delft worden vergeleken met andere gemeenten. Ook kan worden bekeken hoeveel procent van de tijd de digitale dienstverlening daadwerkelijk wordt aangeboden. En tot slot kan de burger naar zijn mening over het aanbod worden gevraagd. Aanbod van producten In de definitie van digitale dienstverlening onderscheidt de gemeente Delft vijf vormen van digitale dienstverlening: 1. alleen informatie over een product 2. formulieren downloaden vanaf de website 3. formulieren invullen op en uitprinten vanaf de website 4. formulieren invullen op de website en (via e-mail) terugsturen naar de gemeente 5. formulieren invullen op de website met geautomatiseerde afhandeling
42
Voor elk van deze vormen van digitale dienstverlening kan het percentage producten worden berekend dat op deze wijze wordt aangeboden. Deze gegevens voor deze prestatie-indicator zijn beschikbaar op de gemeentesite, met uitzondering van het verschil in afhandeling tussen 4 en 5. Het verschil in afhandeling tussen 4 en 5 is binnen de gemeente bekend. Per vorm van digitale dienstverlening kan worden ingezoomd op een overzicht van de producten die in die vorm van digitale dienstverlening worden aangeboden. Aanbod van digitale dienstverlening t.o.v. andere gemeenten Als de gemeente Delft ernaar streeft om ten opzichte van andere gemeenten veel digitale dienstverlening aan te bieden, kan dit ook weergegeven worden in een prestatie-indicator. Zo kan er, op basis van het percentage digitaal af te nemen producten een rangorde worden opgesteld, waarmee gemeentesites worden beoordeeld op het aanbod van digitale dienstverlening. De (relatieve) positie van de gemeente Delft binnen deze rangorde is een indicatie voor het aanbod digitale dienstverlening ten opzichte van andere gemeenten. Een snelle maar zeer globale manier om een indruk te krijgen van het digitale aanbod van producten 64 van andere gemeentesites, is door gebruik te maken van de continue monitor van advies.overheid . In de beoordelingsformulieren wordt onder andere de status (m.b.t. het digitaal aanbieden van het 65 product) van negen producten bijgehouden. Het is de vraag of deze informatie actueel is (de beoordeling van de site van de gemeente Delft is bijvoorbeeld niet correct op 5-7-2002). Een andere manier om het aanbod van digitale dienstverlening van de gemeente Delft te beoordelen ten opzichte van andere gemeenten is door middel van onderzoek. Alle gemeentesites in Nederland (of een selectie hiervan) kunnen worden bekeken op het aantal producten dat digitaal (in verschillende vormen) wordt aangeboden ten opzichte van het totale aantal producten. Aan de hand van deze verhouding (uit te drukken in een percentage) kan de gemeente Delft in een ranglijst worden geplaatst en kan de status ten opzichte van andere gemeenten worden vastgesteld. Beschikbaarheid gemeentesite Als er over digitale dienstverlening wordt gesproken, wordt vaak het voordeel genoemd dat deze zeven dagen per week vierentwintig uur per dag beschikbaar is. Het grootste deel van de tijd zullen de digitale diensten inderdaad kunnen worden afgenomen. Toch kunnen er ook momenten zijn dat de website uit de lucht is voor onderhoud of door calamiteiten. Het aanbod digitale dienstverlening kan worden beoordeeld op de mate van beschikbaarheid. Dit kan worden weergegeven in het percentage van de tijd dat de website wel beschikbaar is. Hiervoor kan de website worden gemonitord. Mening burger over aanbod De mate van tevredenheid van de burger over het aanbod digitale dienstverlening kan ook beschouwd worden als prestatie-indicator. In de bespreking van het subdoel tevredenheid wordt hier op ingegaan. De bekendheid van digitale dienstverlening Om de bekendheid van digitale dienstverlening in de gemeente Delft te bepalen, moet rekening worden gehouden met het feit dat de burger toegang moet hebben tot internet om de gemeentelijke website te bezoeken. Hiervoor wordt naar het internetgebruik gekeken. Een manier om achter de bekendheid van digitale dienstverlening te komen is de burger te vragen of hij de gemeentesite kent/heeft bezocht. Om ook nog op een andere manier de bekendheid te meten zou bij de gemeente het aantal verschillende bezoekers van de gemeentesite kunnen worden bijgehouden. Internetgebruik Om een goede indruk te krijgen van de bekendheid van de digitale dienstverlening moet tevens bekend zijn hoeveel mensen de gemeentesite van Delft zouden kunnen kennen. Voorwaarde hiervoor is namelijk het toegang hebben tot en het gebruik maken van internet. Een maat hiervoor is het percentage internetgebruikers in Delft. Deze prestatie-indicator geeft niet direct bekendheid weer. Toch is het interessant om deze factor ook naast de andere prestatie-indicatoren beschikbaar te
64
punt Di1-Di9 op http://www.advies.overheid.nl/page.jsp?pageid=10485, 5-7-2002 Deze producten zijn: OZB, Bouwvergunning, Afgifte paspoort en identiteitskaart, Afgifte pas 65, rijbewijs, Uittreksel bevolkingsregister of burgerlijke stand, Individuele huursubsidie, Adreswijziging, Aanvraag van een vergunning, Trouwen/Huwelijk. 65
43
hebben. Bij een laag internetgebruik moet een hoog percentage burgers dat de gemeentesite kent (volgende prestatie-indicator) namelijk anders worden beoordeeld dan bij een hoog internetgebruik. Over het internetgebruik in Delft zijn statistieken te vinden. Er is bijvoorbeeld onderzoek naar gedaan met behulp van het stadspanel. Bij het gebruik van reeds beschikbare metingen ontstaat echter het bezwaar dat deze metingen niet gemeten zijn op het moment dat ook de andere prestatie-indicatoren worden gemeten. Voor het meten van de prestatie-indicator ‘gemeentesite bekendheid’ (hierna besproken) moet een steekproef worden gehouden. Een alternatief voor het gebruik van bestaande statistieken is bij deze steekproef een vraag mee te nemen over het wel of niet toegang hebben tot of gebruiken van internet. Gemeentesite bekendheid Om de bekendheid van de gemeentesite van Delft vast te stellen, kan een onderzoek worden uitgevoerd waarbij burgers benaderd worden met de vraag of ze de website kennen, het internetadres weten of de website wel eens bezocht hebben. Hierbij is het van belang dat de ondervraagden niet meer dan gemiddeld bij de gemeente betrokken zijn doordat zij bijvoorbeeld onderdeel uitmaken van een panel dat regelmatig vragenlijsten voor de gemeente invult. Ook moet de groep ondervraagden een goede weergave zijn van de bevolking van Delft wat betreft (de mate van) internetgebruik. Benadering via internet valt hierdoor af. Mogelijke manieren van benadering zijn bijvoorbeeld een enquête op straat uitvoeren, waarbij wel eerst moet worden nagegaan of de ondervraagde inwoner van Delft is. Een andere manier is het benaderen van burgers met een schriftelijke of telefonische enquête. Een schriftelijke enquête heeft als nadeel dat mensen na het doorlezen van de vragenlijst kunnen beslissen deze wel of niet in te vullen en terug te sturen. Het is mogelijk dat burgers die beter bekend zijn met de gemeente Delft of meer op de hoogte zijn van de ontwikkelingen rondom het Internet eerder de vragenlijst invullen. Hierdoor wordt het resultaat beïnvloed. Er zou voor gekozen kunnen worden om ook per product de bekendheid te onderzoeken. Hierbij staat de vraag centraal of de ondervraagde weet dat het product digitaal te verkrijgen is. Het onderzoek wordt hierdoor echter wel veel omvangrijker (zeker als na verloop van tijd steeds meer producten digitaal verkrijgbaar zijn). Variëteit bezoekers Een andere manier om de bekendheid van digitale dienstverlening te benaderen is vanuit de kant van de gemeente. Als kan worden nagegaan door hoeveel verschillende bezoekers de website is geraadpleegd, kan een beeld worden gevormd van het aantal mensen dat de website kent. Er zijn twee manieren om dit te meten. Deze manieren worden hier kort toegelicht, een uitgebreidere beschrijving over het meten van deze prestatie-indicator is te vinden in bijlage 4. Door het analyseren van de logfile (hieronder toegelicht bij het gebruik van digitale dienstverlening) of door gebruik te maken van tellers van Nedstat die geplaatst zijn op de gemeentesite van Delft kan inzicht worden verkregen in het aantal verschillende IP-adressen waar vanaf de website is geraadpleegd. Door het dynamisch toewijzen van IP-adressen door internetproviders is het echter niet duidelijk of eenzelfde IP-adres ook eenzelfde gebruiker betekent, waardoor de gegevens een slechte weergave zijn van de variëteit van bezoekers. Een andere manier om deze prestatie-indicator te meten is door gebruik te maken van cookies. Deze methode is arbeidsintensiever dan de vorige en heeft ook nadelen, maar deze zijn gedeeltelijk te omzeilen. Bij beide methoden is het mogelijk (door extra inspanningen) gegevens per product te verkrijgen. Het gebruik van digitale dienstverlening Gebruik van digitale dienstverlening heeft verschillende vormen. Ten eerste is er de mogelijkheid om alleen informatie te raadplegen op de website. Een verdergaande manier van gebruik is om een digitale dienst via internet af te nemen. Hierbij is onderscheid te maken tussen diensten waarbij alleen een formulier van internet kan worden gedownload of diensten waarbij het formulier ook via internet kan worden verstuurd. Tot slot kan de burger naar zijn mening over het gebruik van digitale dienstverlening worden gevraagd. Geraadpleegde informatie Om een indruk te krijgen van het gebruik van de informatie die op de gemeentesite is geplaatst, is het interessant om per product gegevens te hebben over het aantal keren dat de informatie over dat product is bekeken. Dit kan met behulp van de tellers van Nedstat, die op elke site met productinformatie zouden moeten worden geplaatst. Een andere manier is om de logfile van de server
44
van de website te analyseren met behulp van een softwareprogramma. In een logfile wordt bijgehouden welke (onderdelen van) pagina’s door browsers worden opgevraagd. Als deze verzoeken per site met productinformatie worden gesorteerd, is een overzicht beschikbaar met het aantal pageviews per pagina. Gedownloade formulieren Om een beeld te krijgen van het gebruik van de tweede vorm van digitale dienstverlening zou het aantal gebruikte formulieren dat is gedownload vanaf het Internet moeten worden achterhaald. Gegevens over het aantal formulieren dat is gedownload, zijn ook beschikbaar in de logfile. Als deze voor de ‘geraadpleegde informatie’ (hierboven beschreven) is geanalyseerd, is ook het aantal keren gegeven dat een PDF-file met een formulier is gedownload. Uit deze gegevens is echter nog niet duidelijk of en hoe vaak de formulieren zijn geprint en of ze ook daadwerkelijk gebruikt zijn. Een andere manier om dit te meten is door de formulieren die zijn uitgeprint en ingeleverd aan de balie te tellen. Er moet dan wel onderscheid te maken zijn tussen formulieren die opgehaald zijn aan de balie en die van internet afkomstig zijn. In de PDF-file kan bijvoorbeeld worden aangegeven dat het een formulier betreft dat gedownload is vanaf internet. Medewerkers die de formulieren afhandelen zullen moeten bijhouden hoeveel ingeleverde formulieren zijn gedownload. Dit kan door direct bij de verwerking te turven hoeveel formulieren van de gemeentesite afkomstig zijn. Een andere manier is door dit periodiek te inventariseren (de formulieren nalopen en tellen), bijvoorbeeld één keer per maand. Met informatie over het totaal aantal afnamen van het betreffende product kan, per product, een percentage worden berekend voor het gebruik van gedownloade formulieren. Digitale afname producten Gegevens over het gebruik van producten waarbij de formulieren ook via internet verstuurd kunnen worden zijn waarschijnlijk nog het eenvoudigst te verkrijgen. Zowel bij de balie van publiekszaken als bij het Infopunt Stadsbeheer worden deze gegevens voor de digitale producten bijgehouden. De digitale afname van producten kan weergegeven worden in een percentage ten opzichte van het totaal aantal afgenomen producten. Mening burger over gebruik Ook de mate van tevredenheid van de burger over het gebruik van digitale dienstverlening kan beschouwd worden als een prestatie-indicator. Bij het subdoel tevredenheid wordt hier op ingegaan. De tevredenheid van de burger over digitale dienstverlening Het meten van de mening van de burger is niet exact. Elk mens zal naast een andere mening ook een andere manier van beoordelen hebben, bijvoorbeeld hogere of lagere normen stellen of een ander referentiekader hebben. Dit is ook afhankelijk van de bestaande ervaringen. Toch is het nodig dat er een indicatie is van de mening van de burger over de digitale dienstverlening. De informatie die hiervoor nodig is, moet worden verkregen door het afnemen van vragenlijsten of enquêtes. Ondanks het feit dat tevredenheid niet direct in cijfers te meten is, zal er op één of andere manier wel een keuze gemaakt moeten worden voor een weergave in cijfers, zodat deze door de tijd heen kunnen worden vergeleken. Dit zou bijvoorbeeld kunnen door de burger rapportcijfers te laten geven aan hun mate van tevredenheid. Ook is het mogelijk dat er naar aanleiding van de beantwoording van de vragen een beoordeling wordt berekend. Een andere mogelijkheid is om de tevredenheid weer te geven door middel van percentages burgers die wel, een beetje of niet tevreden zijn over verschillende onderwerpen. Aanvullende informatie kan worden gegeven door bijvoorbeeld ook de standaarddeviatie bij de prestatie-indicator op te nemen. Bij de behandeling van de andere subdoelen is al een aantal specifieke onderwerpen genoemd waarover de tevredenheid van de burger moet worden bepaald. Ook zijn er nog een paar onderwerpen die niet terugkomen bij een ander subdoel. De onderwerpen kunnen nog worden uitgebreid als andere aspecten ook van belang blijken te zijn. Mening van de burger over aanbod Bij de tevredenheid van de burger over het aanbod digitale dienstverlening staat de mening van de burger centraal ten opzichte van de onderwerpen die ook bij het subdoel aanbod zijn besproken. Hierbij kan gedacht worden aan de mening van de burger over de uitgebreidheid van het aanbod van
45
digitale dienstverlening. Zijn de producten die op dit moment digitaal zijn de producten die de burger ook het meest nodig heeft of ziet de burger liever andere producten digitaal? Heeft de burger behoefte aan het digitaal afnemen van producten? Informatie per product is interessant bij deze prestatieindicator. Ook kunnen vragen worden gesteld over de beschikbaarheid van de gemeentesite. Is de site altijd beschikbaar geweest als de ondervraagde er gebruik van wilde maken? In het onderzoek naar klanttevredenheid dat binnenkort wordt uitgevoerd bij Publiekszaken, wordt een aantal vragen opgenomen over de mening van de burger over het aanbod van digitale dienstverlening. Het zal hierbij met name gaan om de vraag welke producten de burger graag digitaal zou willen zien, waar de burger behoefte aan heeft. Mening van de burger over gebruik Bij de tevredenheid van de burger over het gebruik kan onderzocht worden wat de mening van de burger is over de manier van het afnemen van digitale dienstverlening. Vindt de burger het handig om informatie via internet beschikbaar te hebben? Is de informatie snel en gemakkelijk te vinden? Is het aantrekkelijk om daadwerkelijk gebruik te maken van digitale dienstverlening? Is het voor de burger duidelijk op welke producten hij recht heeft en van welke diensten hij gebruik kan maken? Ziet de burger de voordelen van het downloaden van formulieren of het versturen van formulieren via internet? Vindt de burger (de instructies bij) de formulieren duidelijk? Na het digitaal versturen van een formulier ontvangt de burger automatisch een e-mail ter bevestiging. In deze e-mail zou een verzoek kunnen staan om een (digitale) enquête in te vullen. In deze enquête zouden specifieke vragen kunnen staan over het digitaal gebruik van dat product. Op deze manier zou de tevredenheid van de burger over het gebruik ook per (digitaal) product kunnen worden gemeten. Mening van de burger over kwaliteit afhandeling Nadat de burger een formulier via internet heeft verstuurd of bijvoorbeeld in een e-mail een vraag heeft gesteld aan de gemeente, wordt een reactie verwacht van de gemeente. De tevredenheid van de burger over de kwaliteit van afhandeling heeft betrekking op dit onderwerp. Hoelang duurde het voor de gemeente reageerde? Vindt de burger dit snel genoeg? Heeft de gemeente een duidelijk antwoord gegeven op vragen? Is de afhandeling van de aanvraag van producten voor de burger naar wens verlopen? Als na afloop van de afhandeling van de afname van producten de burger benaderd wordt met specifieke vragen over de afhandeling van dat product, kan er ook een beoordeling per product worden gegeven. Mening van de burger over veiligheid Bij het afnemen van digitale dienstverlening zal de burger waarschijnlijk persoonlijke gegevens moeten invullen. De mening van de burger over veiligheid gaat over het gevoel van de burger daarover. Voelt de burger weerstand om persoonlijke gegevens via internet te versturen? Heeft hij het gevoel dat misbruik kan worden gemaakt van zijn gegevens als hij deze via internet verstuurt? Treft de gemeente voldoende maatregelen om dit te voorkomen (veilige verbindingen, certificaten etc.)? Heeft de burger het gevoel heeft dat er zorgvuldig met zijn gegevens wordt omgegaan? Mening van de burger over bereikbaarheid Bij de mening van de burger over de bereikbaarheid van de digitale dienstverlening van de gemeente Delft kan bij verschillende zaken worden stilgestaan. De beschikbaarheid van de site is al bij de mening van de burger over het aanbod aan de orde geweest. Een ander aspect waaraan gedacht kan worden bij bereikbaarheid is bijvoorbeeld de mening van de burger over de snelheid van de site. Wordt de gemeentesite snel genoeg in de browser van de gebruiker weergegeven? Zijn er grote afwijkingen met de snelheid waarin andere sites die de gebruiker bezoekt worden geladen? De kwaliteit van afhandeling van digitale dienstverlening De kwaliteit van afhandeling heeft betrekking op de reactie van de gemeente naar aanleiding van digitale aanvragen voor producten of andere manieren waarop de burger de gemeente digitaal aanspreekt, zoals door middel van een e-mail. Het voldoen aan opgestelde normen is een manier om dit te meten. Verder kan gekeken worden naar de reactietijd op e-mails. Tot slot geeft de mening van de burger over dit aspect ook een indicatie. Kwaliteitshandvesten In de nota KIS 2 wordt gesuggereerd dat de gemeente Delft gebruik zou kunnen maken van kwaliteitshandvesten. “De gemeente geeft de burgers informatie over het niveau van kwaliteit van
46
producten en diensten dat men kan verwachten en welke prestatie er tegenover staat, indien de 66 gemeente die afgesproken kwaliteit niet levert.” Deze kwaliteitshandvesten kunnen ook gebruikt worden om de kwaliteit van de afhandeling van digitale producten te beoordelen. Als deze kwaliteitshandvesten op korte termijn echter nog niet beschikbaar zijn, is het wellicht raadzaam om voor de afhandeling van digitale producten toch een aantal normen op te stellen waaraan moet worden voldaan. Hierbij kan gedacht worden aan normen per product voor de snelheid van verwerking of het binnen een bepaalde tijd een reactie sturen aan de burger. Respons en reactietijd e-mail Naast het digitaal aanvragen van producten, kunnen burgers natuurlijk ook vragen stellen door een email te sturen. Ook dit is een aspect van digitale dienstverlening en het is zaak dat door de gemeente 67 ook (tijdig) op e-mails wordt gereageerd. De consumentenbond heeft in een onderzoek naar gemeentesites een panel e-mails met eenvoudige vragen laten sturen aan gemeenten. Er werd bekeken of er een reactie kwam op de e-mail, de snelheid waarmee de gemeente reageerde en de manier van antwoorden op de vraag. Deze methode zou ook gebruikt kunnen worden bij een onderzoek naar de reactietijd op e-mails bij de gemeente Delft. Vanaf (niet gemeentelijke) emailadressen kunnen ‘testmails’ met vragen verstuurd worden naar verschillende e-mailadressen die op de gemeentesite worden genoemd. Aan de hand hiervan kan de respons en de reactietijd worden gemeten. Voor een specifiekere uitwerking kan gedacht worden aan het opnemen van beoordelingen voor deze prestatie-indicatoren per organisatieonderdeel. Mening burger over kwaliteit afhandeling De mate van tevredenheid van de burger over de kwaliteit van afhandeling van digitale dienstverlening kan gezien worden als prestatie-indicator. Dit is bij het subdoel tevredenheid besproken. De investeringen voor digitale dienstverlening Om een goed beeld te krijgen van de investeringen die gedaan zijn, zullen de kosten voor digitale dienstverlening, gemaakt in naam van het programma KIS en de kosten die door de andere clusters voor digitale dienstverlening zijn gemaakt moeten worden meegenomen. Investeringen KIS met betrekking tot digitale dienstverlening De investeringen die gedaan worden vanuit het budget van het programma KIS zullen waarschijnlijk dicht in de buurt liggen van het beschikbare budget. Geld kan immers alleen worden uitgegeven als het beschikbaar is. Toch is het van belang dat niet het budget wordt overgenomen als kostenpost, maar dat de daadwerkelijk gedane investeringen worden bijgehouden. Ook eventuele andere budgetten die zijn gebruikt voor de verwezenlijking van digitale dienstverlening zullen moeten worden 68 meegenomen. Omdat de budgetten in de nota KIS 2 ook per project zijn gespecificeerd , zou het interessant zijn om ook de investeringen per project bij te houden zodat hierop kan worden ingezoomd. Investeringen clusters met betrekking tot digitale dienstverlening Om een goede indruk te krijgen van de totale investeringen die gedaan zijn om digitale dienstverlening te realiseren, zouden ook de investeringen die per cluster gedaan zijn voor digitale dienstverlening moeten worden bijgehouden. Hierbij moeten alle kosten die bijdragen aan de realisatie van de subdoelen worden opgenomen. Zo dragen bijvoorbeeld advertenties voor de gemeentesite in plaatselijke kranten bij aan het verwerven van bekendheid en zullen de kosten hiervoor ook moeten worden meegenomen. Er is aangegeven dat het verkrijgen van informatie over de kosten voor digitale dienstverlening van de clusters waarschijnlijk moeilijk is. Om een volledig beeld te krijgen van de kosten die gemaakt zijn om de overige subdoelen te verwezenlijken is het wel noodzakelijk dat hier tenminste een indicatie van beschikbaar is.
66
Gemeente Delft,
[email protected] (in ontwikkeling, versie 18-7-2002), p. 14, 15 Consumentenbond 2002, p. 69 68 Gemeente Delft,
[email protected] (in ontwikkeling, versie 18-7-2002), p. 5 67
47
De besparing door het gebruik van digitale dienstverlening Er zijn verschillende manieren om de besparing door digitale dienstverlening te interpreteren. Er kan gekeken worden naar het gebruik, naar de totale balietijd voor het afhandelen van producten en naar het aantal medewerkers. Omdat het alternatief van het digitaal afnemen van producten in het grootste deel van de gevallen het bezoeken van de balie van publiekszaken (PUZA) of het bellen van het Infopunt Stadsbeheer is, worden deze twee bronnen van mogelijke besparing als voorbeeld genomen. Bespaarde tijd volgens gebruik bij balie PUZA en Infopunt Stadsbeheer De bespaarde tijd kan verkregen worden door per product het aantal digitale afnamen te vermenigvuldigen met het gemiddeld aantal minuten dat besteed wordt aan de afhandeling van dat product bij de balie (beschikbaar via het klantenvolgsysteem BAVAK van het cluster Publiekszaken) of bij het Infopunt Stadsbeheer (beschikbaar via het call-centersysteem Frontline). Hiermee kan een indruk verkregen worden van de tijdsduur die aan de balie of bij het Infopunt niet besteed hoeft te worden aan de afhandeling van producten. Deze informatie kan ook per product worden getoond. Totale behandeltijd balie PUZA en Infopunt Stadsbeheer De bespaarde tijd volgens het gebruik (hiervoor beschreven) brengt een probleem met zich mee. Er wordt daarbij namelijk aangenomen dat de afhandeling van digitale producten helemaal geen tijd kost. Dit is niet altijd het geval. Bij de producten die bij het digitaal versturen van het formulier als e-mail bij de gemeente binnenkomen, kost de verwerking ook tijd. De totale besparing wordt pas zichtbaar als de totale behandeltijd van de verwerking van aanvragen van een bepaald product afneemt. Hierbij zou er inzicht moeten zijn in de totale tijdsduur dat medewerkers bezig zijn met de (balie en digitale) afhandeling van de producten. Aantal medewerkers balie PUZA en Infopunt Stadsbeheer Echte besparingen worden pas zichtbaar als de afhandeling van producten voor minder geld kan worden gedaan. Dit zou uitgedrukt kunnen worden in het aantal medewerkers dat bij de balie en het Infopunt werkzaam is voor de afhandeling van producten. Omdat medewerkers waarschijnlijk voor verschillende producten werkzaam zijn, is het inzoomen per product hierbij niet mogelijk. Het is de vraag of alleen het effect van digitale dienstverlening zichtbaar is in verandering van het aantal medewerkers dat zich bezighoudt met de afhandeling van producten. Andere factoren zoals een krappe arbeidsmarkt of aanpassing van de openingstijden van de balie kunnen hier ook invloed op hebben. Hiermee moet rekening worden gehouden bij het analyseren van deze gegevens. Totaalbeeld prestatie-indicatoren In de tabel, in figuur 6.6, zijn per subdoel de prestatie-indicatoren te zien samen met de interpretatie van de prestatie-indicator (de uitleg die wordt gegeven aan het begrip) en de eenheid. In de tabel, in figuur 6.7, is een overzicht te zien met manieren waarop de prestatie-indicatoren kunnen worden gemeten (manier van meten), waarbij suggesties worden gedaan voor de momenten waarop de gegevens moeten worden verzameld (meetvoorschrift). In figuur 6.7 is aangegeven of de prestatie-indicator betrekking heeft op een periode (p) of op een moment (m). De prestatie-indicator ‘digitale afname van producten’ geeft bijvoorbeeld alle producten die afgenomen zijn gedurende een periode van een jaar weer. De prestatie-indicator ‘mening van de burger over aanbod’ heeft betrekking op één moment, namelijk het moment waarop de burger wordt gevraagd naar zijn mening. Bij de evaluatiemethode zal steeds het jaar voorafgaand aan het moment van meting worden beoordeeld. Bij de momentmetingen wordt dan het effect van de inspanningen die in de periode daarvoor hebben plaatsgevonden, gemeten. Dit is aangeduid in figuur 6.5.
P.I. heeft betrekking op: Periode: Moment:
jaar
figuur 6.5: Periode versus moment
48
Prestatie-indicator
Interpretatie
Eenheid
Subdoel aanbod Geen formulieren Formulieren: uitprinten Formulieren: invullen en uitprinten Formulieren: digitaal versturen Form.: dig. versturen en verwerken Aanb. dig.dienstv. t.o.v. andere gem. Beschikbaarheid gemeentesite Mening burger over aanbod
aantal producten zonder formulier aantal producten met formulier dat kan worden uitgeprint aantal prod. met formulier dat kan worden ingevuld en uitgeprint aantal producten met formulier dat digitaal kan worden verstuurd aantal prod. met form. dat dig. kan worden verstuurd en verwerkt positie in rangorde t.o.v. andere gemeenten tijd dat de gemeentesite in de lucht is tevredenheid van de burger over het aanbod
% van tot. aant. prod. % van tot. aant. prod. % van tot. aant. prod. % van tot. aant. prod. % van tot. aant. prod. rapportcijfer 1-10 % van tijd rapportcijfer 1-10
Subdoel bekendheid Internetgebruik Gemeentesite bekendheid Variëteit bezoekers
aantal inwoners van Delft dat toegang heeft tot internet aantal inw. van Delft dat de gemeentesite eens bezocht heeft aantal verschillende bezoekers aan de gemeentesite
% van bevolking Delft % van bevolking Delft % van bevolking Delft
Subdoel gebruik Geraadpleegde informatie Gedownloade formulieren Gebruik gedownloade formulieren Digitale afname van producten Mening burger over gebruik
aantal keren dat gemeentesite (per product) is opgevraagd aantal keren dat een formulier is opgevraagd aantal keren dat een uitgeprint formulier fysiek is ingeleverd aantal keren dat een digitaal formulier digitaal is ingestuurd tevredenheid van de burger over gebruik
pageviews pageviews % van tot. afname prod. % van tot. afname prod. rapportcijfer 1-10
Subdoel tevredenheid Mening burger over aanbod Mening burger over gebruik Mening burger over kwaliteit van afh. Mening burger over veiligheid Mening burger over bereikbaarheid
tevredenheid van de burger over aanbod tevredenheid van de burger over gebruik tevredenheid van de burger over kwaliteit van afhandeling tevredenheid van de burger over veiligheid tevredenheid van de burger over bereikbaarheid
rapportcijfer 1-10 rapportcijfer 1-10 rapportcijfer 1-10 rapportcijfer 1-10 rapportcijfer 1-10
Subdoel kwaliteit van afhandeling Kwaliteitshandvesten Respons e-mail Reactietijd e-mail Mening burger over kwaliteit van afh.
score op kwaliteitsnorm aantal e-mails dat wordt beantwoord bij test gemiddelde tijd van verzenden e-mail tot ontvangen antwoord tevredenheid van de burger over kwaliteit van afhandeling
rapportcijfer 1-10 % van tot. aant. e-mails gemiddeld aantal uur rapportcijfer 1-10
Subdoel kosten Investeringen KIS bedrag geïnvesteerd om digitale dienstverlening te realiseren Investeringen Publiekszaken bedrag geïnvesteerd om digitale dienstverlening te realiseren Investeringen Wijk- en Stadszaken bedrag geïnvesteerd om digitale dienstverlening te realiseren Investeringen Bedrijven bedrag geïnvesteerd om digitale dienstverlening te realiseren Investeringen Centrale Staf bedrag geïnvesteerd om digitale dienstverlening te realiseren Investeringen Facilitaire Dienstverleninbedrag geïnvesteerd om digitale dienstverlening te realiseren Subdoel besparing Bespaarde tijd volgens gebruik PUZA aantal minuten 'balietijd' per product * digitale afname producten Bespaarde tijd volgens gebr. Infopunt aantal minuten 'telefoontijd' per product * dig. afname producten Totale behandeltijd PUZA totale tijd die besteed wordt aan afhandeling van producten Totale behandeltijd Infopunt totale tijd die besteed wordt aan afhandeling van producten Aantal medewerkers PUZA aantal medewerkers werkzaam voor afhandeling van producten Aantal medewerkers Infopunt aantal medewerkers werkzaam voor afhandeling van producten
euro euro euro euro euro euro uur uur uur uur fte fte
figuur 6.6: Prestatie-indicatoren
49
Prestatie-indicator Subdoel aanbod Geen formulieren Formulieren: uitprinten Formulieren: invullen en uitprinten Formulieren: digitaal versturen Form.: dig. versturen en verwerken Aanb. dig.dienstv. t.o.v. andere gem.
m/p Inzoomen
Manier van meten
Meetvoorschrift
m m m m m m
Beschikbaarheid gemeentesite Mening burger over aanbod Subdoel bekendheid Internetgebruik
p m
gemeentesite bekijken en tellen gemeentesite bekijken en tellen gemeentesite bekijken en tellen gemeentesite bekijken en tellen gemeentesite bekijken en tellen gebruik maken van advies.overheid sites andere gemeenten beoordelen site monitoren op de server enquête houden
jaarlijks inventariseren jaarlijks inventariseren jaarlijks inventariseren jaarlijks inventariseren jaarlijks inventariseren jaarlijks inventariseren jaarlijks inventariseren gegevens per maand opvragen jaarlijks onderzoeken
Gemeentesite bekendheid Variëteit bezoekers
m p
per product per product
enquête houden bestaande statistieken gebruiken enquête houden monitoren door gebruik van cookies logfile analyseren Nedstat tellers monitoren
jaarlijks onderzoeken jaarlijks gegevens overnemen jaarlijks onderzoeken gegevens per maand opvragen maandelijks analyse uitvoeren maandelijks gegevens overnemen
Subdoel gebruik Geraadpleegde informatie
p
Gedownloade formulieren
p
Gebruik gedownloade formulieren
p
per prod./mnd logfile analyseren Nedstat tellers monitoren per prod./mnd logfile analyseren Nedstat tellers monitoren per prod./mnd uitgeprinte formulieren tellen
Digitale afname van producten Mening burger over gebruik
p m
per prod./mnd bijhouden in Bavak per product enquête houden
Subdoel tevredenheid Mening burger over aanbod Mening burger over gebruik
m m
per product per product
enquête houden enquête houden
Mening burger over kwaliteit van afh. m
per product
enquête houden
Mening burger over veiligheid Mening burger over bereikbaarheid Subdoel kwaliteit van afhandeling Kwaliteitshandvesten
per product
m
m m p
enquête houden enquête houden
jaarlijks onderzoeken jaarlijks onderzoeken enquêteren digitale aanvraag jaarlijks onderzoeken enquêteren na afhandeling jaarlijks onderzoeken jaarlijks onderzoeken
behalen van normen monitoren
per org. ond. per org. ond. per product
test e-mails met vragen versturen test e-mails met vragen versturen enquête houden
p p p p p p
per project per project per project per project per project per project
financiële gegevens analyseren financiële gegevens analyseren financiële gegevens analyseren financiële gegevens analyseren financiële gegevens analyseren financiële gegevens analyseren
jaarlijks inventariseren jaarlijks inventariseren jaarlijks inventariseren jaarlijks inventariseren jaarlijks inventariseren jaarlijks inventariseren
p p p p p p
per product per product per product per product
bijhouden in Bavak bijhouden bij Stadsbeheer bijhouden in Bavak bijhouden bij Stadsbeheer bijhouden bij personeelsinformatie bijhouden bij personeelsinformatie
gegevens per maand opvragen gegevens per maand opvragen gegevens per maand opvragen gegevens per maand opvragen jaarlijks inventariseren jaarlijks inventariseren
figuur 6.7: Het meten van de prestatie-indicatoren
50
maandelijks analyse uitvoeren maandelijks gegevens overnemen maandelijks analyse uitvoeren maandelijks gegevens overnemen continu bijhouden bij verwerking maandelijks inventariseren gegevens per maand opvragen jaarlijks onderzoeken enquêteren digitale aanvraag
per product
m Respons e-mail m Reactietijd e-mail Mening burger over kwaliteit van afh. m Subdoel kosten Investeringen KIS Investeringen Publiekszaken Investeringen Wijk- en Stadszaken Investeringen Bedrijven Investeringen Centrale Staf Investeringen Fac. Dienstverlening Subdoel besparing Bespaarde tijd volgens gebruik PUZA Bespaarde tijd volgens gebr. Infopunt Totale behandeltijd PUZA Totale behandeltijd Infopunt Aantal medewerkers PUZA Aantal medewerkers Infopunt
producten producten producten producten producten
jaarlijks inventariseren continu bijhouden jaarlijks test uitvoeren jaarlijks test uitvoeren jaarlijks onderzoeken enquêteren na afhandeling
6.4 Selectie prestatie-indicatoren 69
De prestatie-indicatoren zijn voorgelegd aan de actoren vakteam ICT , regiegroep Digitale Kennisorganisatie en de wethouder, verantwoordelijk voor digitale dienstverlening en ICT. De actoren hebben commentaar gegeven hetgeen in deze paragraaf per actor wordt weergegeven. Dit is verwerkt in het overzicht van de herziene prestatie-indicatoren (figuur 6.8) aan het eind van deze paragraaf. Vakteam ICT Het vakteam ICT heeft opgemerkt bij de prestatie-indicator ‘beschikbaarheid gemeentesite’ dat in de dienstverleningsafspraken (DVA’s) van het cluster Facilitaire Dienstverlening alleen richtlijnen zijn opgesteld voor de beschikbaarheid van internetsites in eigen beheer tijdens kantooruren (7.3070 18.00) . Als gevolg hiervan is het interessant om deze prestatie-indicator op te splitsen in twee verschillende prestatie-indicatoren: de totale beschikbaarheid en de beschikbaarheid tijdens kantooruren. Bij het subdoel bekendheid gaf het vakteam ICT aan ook geïnteresseerd te zijn in een prestatieindicator die uitdrukking geeft aan het aantal manieren waarop de website kan worden gevonden. Hierbij kan gedacht worden aan zoekmachines of andere sites waarop verwijzingen naar de gemeentesite zijn opgenomen, zoals stadsportals. Hiervoor worden alsnog twee prestatie-indicatoren opgenomen. De prestatie-indicator ‘vindbaarheid gemeentesite via zoekmachines’ geeft het aantal zoekmachines weer waarbij de gemeentesite is aangemeld en die bij het invullen van termen zoals ‘Delft’ en ’gemeente‘ als resultaat de gemeentesite opleveren. De prestatie-indicator ‘vindbaarheid gemeentesite via verwijzingen’ geeft het aantal pagina’s weer dat gericht is op (inwoners van) Delft, zoals stadsportals en een verwijzing hebben naar de gemeentesite. Voor het meten van deze prestatie-indicatoren zal jaarlijks onderzoek op het internet moeten worden uitgevoerd. Hierbij moeten de bekende zoekmachines en stadsportals e.d. bezocht worden om te kijken of de gemeentesite via die weg te vinden is. Er kan ingezoomd worden op de zoekmachines en sites die mogelijkheid geven tot het bereiken van de gemeentesite. Regiegroep Digitale Kennisorganisatie De regiegroep Digitale Kennisorganisatie geeft er de voorkeur aan de evaluatiemethode alleen op de gemeente Delft te richten en in dit stadium geen gebruik te maken van benchmarking. Als gevolg hiervan wordt de prestatie-indicator ‘aanbod digitale dienstverlening t.o.v. andere gemeenten’ niet meegenomen. De regiegroep DKO ziet bezwaren in het gebruik van cookies. Er is nog geen beleid op dit gebied in de gemeente Delft. Gebruik maken van IP-nummers bij het meten van de prestatie-indicator ‘variëteit gebruikers’ is om eerder beschreven redenen niet aan te raden. Door gebrek aan een goede manier van meten wordt de prestatie-indicator ‘variëteit gebruikers’ weggelaten. Bij de regiegroep Digitale Kennisorganisatie rijst de vraag of het interessant is om in de evaluatiemethode ook een benadering per doelgroep op te nemen. Als bezwaar wordt opgemerkt dat de evaluatiemethode hierdoor verder wordt uitgebreid en dit strijdig is met de wens voor een eenvoudige methode. Als bij het meten van de mening van de burger over gebruik en kwaliteit van afhandeling gebruik gemaakt wordt van de opdeling per product, is er toch een indicatie, aangezien sommige (doelgroepspecifieke) producten slechts door een beperkte groep mensen wordt afgenomen. De regiegroep Digitale Kennisorganisatie heeft aangegeven naast de al genoemde onderwerpen bij tevredenheid ook de mening van de burger over de gemeentesite als prestatie-indicator te willen opnemen in de evaluatiemethode. Hierbij moet echter worden opgemerkt dat veel aspecten van de gemeentesite ook al in andere prestatie-indicatoren van tevredenheid zijn opgenomen. Zo is bijvoorbeeld de vindbaarheid van informatie en andere aspecten van het gebruik van de website opgenomen bij de mening van de burger over gebruik en wordt de inhoud van de website al gedeeltelijk beoordeeld bij de mening van de burger over aanbod. Wethouder verantwoordelijk voor digitale dienstverlening en ICT De wethouder geeft aan geïnteresseerd te zijn in concretere prestatie-indicatoren die de besparing als gevolg van het gebruik van digitale dienstverlening weergeven. Hij zou graag de directe besparing uitgedrukt in aantal fte terugzien. Hiervoor wordt een nieuwe prestatie-indicator gedefinieerd: de besparing als gevolg van digitale dienstverlening (bij PUZA of bij het Infopunt). Besparing wordt in dit 69
De personen die vanuit het vakteam ICT de prestatie-indicatoren hebben beoordeeld, zijn opgenomen in de lijst met geïnterviewden in bijlage 3. 70 DVA’s vakteams cluster Facilitaire Dienstverlening 3-4-2002, p. 32
51
geval opgevat als een vermindering in benodigd personeel (uitgedrukt in fte) ten opzichte van het jaar ervoor. Dit kan worden uitgewerkt per product. De berekening van deze prestatie-indicator is als volgt. Per jaar wordt de totale benodigde verwerkingstijd per product bepaald (tijd voor digitale verwerking * aantal keren digitaal gebruik + tijd voor balieafhandeling en verwerking * aantal keren baliegebruik). De besparing voor een bepaald jaar is de totale benodigde verwerkingstijd van het jaar ervoor verminderd met de totale benodigde verwerkingstijd van het huidige jaar. Deze prestatie-indicator komt in plaats van de eerder geformuleerde prestatie-indicatoren voor het subdoel besparing.
x x x x x x x x x x x x x x x x
x x x x x x
x
x x x x x x x x
Inzoomen producten producten producten producten producten exacte aantallen exacte aantallen exacte aantallen exacte aantallen zoekmachines verwijzingen per product/maand per product/maand per product/maand per product/maand per product per product per product
per org.onderdeel per org.onderdeel per project per project per project per project per project per project per product per product
Onderzoek nodig
Eenheid % van tot. aantal prod. % van tot. aantal prod. % van tot. aantal prod. % van tot. aantal prod. % van tot. aantal prod. % van tijd % van tijd % van bevolking Delft % van bevolking Delft % zoekmachines % verwijzingen pageviews pageviews % van tot. aantal prod. % van tot. aantal prod. rapportcijfer 1-10 rapportcijfer 1-10 rapportcijfer 1-10 rapportcijfer 1-10 rapportcijfer 1-10 rapportcijfer 1-10 % van tot. aantal e-mails gemiddeld aantal uur euro euro euro euro euro euro x fte x fte
Doelrichting
Besparing
Kwaliteit van afh.
Kosten
Gebruik
Tevredenheid
Bekendheid
Nr. Prestatie-indicator 1 Geen formulieren 2 Formulieren: uitprinten 3 Formulieren: invullen en uitprinten 4 Formulieren: digitaal versturen 5 Form.: dig. versturen en verwerken 6 Beschikbaarheid gemeentesite totaal 7 Beschikbaarheid gem.site kantooruren 8 Internetgebruik 9 Gemeentesite bekendheid 10 Vindbaarheid g.site via zoekmachines 11 Vindbaarheid g.site via verwijzingen 12 Geraadpleegde informatie 13 Gedownloade formulieren 14 Gebruik gedownloade formulieren 15 Digitale afname van producten 16 Mening burger over aanbod 17 Mening burger over gebruik 18 Mening burger over kwaliteit van afh. 19 Mening burger over veiligheid 20 Mening burger over bereikbaarheid 21 Mening burger over gemeentesite 22 Respons e-mail 23 Reactietijd e-mail 24 Investeringen KIS 25 Investeringen Publiekszaken 26 Investeringen Wijk- en Stadszaken 27 Investeringen Bedrijven 28 Investeringen Centrale Staf 29 Investeringen Facilitaire Dienstverlening 30 Besparing a.g.v. dig.dienstv.l. PUZA 31 Besparing a.g.v. dig.dienstv.l. Infopunt
Aanbod
Benadering via
-
+ + + + + + + + + + + + + + + + + + + + + + +
x x x x x x x x x x x x x
figuur 6.8: herziene prestatie-indicatoren Totaalbeeld Als gevolg van het commentaar dat gegeven is door de verschillende actoren, is het overzicht van de prestatie-indicatoren aangepast. In de tabel, in figuur 6.8, zijn de wijzigingen verwerkt. In dit overzicht is de prestatie-indicator ‘kwaliteitshandvesten’ weggelaten omdat de gemeente Delft nog geen gebruik maakt van kwaliteitshandvesten en er op dit moment geen normen beschikbaar zijn. In figuur 6.8 is per prestatie-indicator aangegeven welk(e) subdoel(en) de prestatie-indicator representeert. Ook is de eenheid en de mogelijkheid voor inzoomen bij de prestatie-indicator opgenomen. De doelrichting van de prestatie-indicator is ook in het overzicht te zien. Dit is de richting waarin de gemeente Delft verandering nastreeft. Investeringen zal de gemeente Delft bijvoorbeeld willen minimaliseren (-), terwijl voor gebruik naar een toename (+) wordt gestreefd. Tot slot is aangegeven voor welke prestatie-indicatoren onderzoek noodzakelijk is om de gegevens te verkrijgen. Hier wordt verder op ingegaan in paragraaf 6.5. De prestatie-indicatoren uit figuur 6.8 worden gebruikt in het prototype.
52
6.5 Uitvoering evaluatiemethode Wil de gemeente Delft de evaluatiemethode voor het programma KIS daadwerkelijk invoeren dan zullen jaarlijks metingen moeten worden verricht, te beginnen met de nulmeting. In hoofdstuk 4 is aangegeven dat de gemeente Delft de wens heeft zoveel mogelijk gebruik te maken van gegevens die al in de organisatie aanwezig zijn. Voor een aantal prestatie-indicatoren is dit het geval, al moeten de gegevens vaak nog wel worden verwerkt. In deze paragraaf wordt beschreven wat gedaan moet worden om de evaluatiemethode uit te voeren. Eerst wordt ingegaan op de verantwoordelijkheid voor het verkrijgen van de gegevens. Hierna wordt een toelichting gegeven bij de prestatie-indicatoren waarvan de gegevens al grotendeels in de organisatie aanwezig zijn. Tot slot worden de prestatieindicatoren besproken waarvoor extra onderzoek noodzakelijk is om de gegevens te verkrijgen. Verantwoordelijkheid In paragraaf 3.1 is het PIN besproken. De verantwoordelijkheid voor het invullen van dit systeem ligt bij verschillende mensen. Een gevolg hiervan is dat het succes van dit systeem ook van verschillende mensen afhankelijk is. Als één van deze mensen niet tijdig gegevens invult, is het systeem niet meer actueel. Aangezien bekend is dat in het systeem ook niet-actuele gegevens zijn opgenomen, wil men niet het risico lopen deze te gebruiken. Hierdoor wordt het gehele systeem minder gebruikt en neemt ook het nut van het invullen van gegevens in het systeem af. Voor de evaluatiemethode voor het programma KIS wordt daarom de hoofdverantwoordelijkheid bij één persoon gelegd. Deze persoon moet erop toezien dat jaarlijks de gegevens over de prestatie-indicatoren op tijd aanwezig zijn. In paragraaf 6.3 is genoemd dat een prestatie-indicator als eigenschap een verantwoordelijke moet hebben. Dit is een persoon die nauw betrokken is bij de gegevensbron waaruit de informatie over de prestatie-indicator moet worden gehaald. Jaarlijks vraagt de hoofdverantwoordelijke aan deze persoon de informatie voor de betreffende prestatie-indicator in de juiste vorm aan te leveren. Aanwezige informatie In bijlage 5 is een overzicht opgenomen van de inventarisatie van informatie die binnen de gemeente Delft wordt bijgehouden met betrekking tot digitale dienstverlening. Een gedeelte van deze informatie kan ook worden gebruikt bij de invulling van het prototype. Vaak moet de informatie nog wel verwerkt worden om het bruikbaar te maken voor het prototype. Per categorie informatie wordt dit besproken. Inhoud gemeentesite: De eerste vijf prestatie-indicatoren (uit figuur 6.8) hebben betrekking op de producten die op de gemeentesite worden aangeboden. Voor de evaluatiemethode zal jaarlijks op de gemeentesite moeten worden geïnventariseerd welke producten in welke vorm worden aangeboden. Per vorm dient een lijst te worden aangeleverd met producten in die vorm. Beschikbaarheid gemeentesite: De beschikbaarheid van de gemeentesite wordt kan op de server worden bijgehouden. De beschikbaarheid van de gemeentesite komt ook terug in de dienstverleningsafspraken van de vakteams van het cluster Facilitaire Dienstverlening. Momenteel is de gemeente Delft hiervoor opzoek naar een manier om dit te monitoren. Als deze is gevonden kunnen prestatie-indicator 6 en 7 ook worden ingevuld. Logfile analyseren: Informatie over prestatie-indicator 12 en 13 kan verkregen worden door de logfile van de gemeentesite te analyseren. Dit kan met behulp van een softwareprogramma. De mogelijkheid om hiervoor een freeware-programma te gebruiken moet worden onderzocht. Na de analyse zijn gegevens beschikbaar over het aantal keer dat een pagina of paginaonderdeel van de gemeentesite is opgevraagd. Deze aantallen moeten per maand beschikbaar zijn voor de pagina’s waarop producten worden aangeboden en voor de PDF-files met formulieren. Investeringen: Jaarlijks moeten de kosten die door de verschillende clusters zijn gemaakt en die bijdragen aan de subdoelen voor digitale dienstverlening worden geïnventariseerd. De verantwoordelijkheid hiervoor ligt bij de clusters. Er moet worden geprobeerd de kosten zoveel mogelijk in te delen bij een bepaalde kostenpost of bij een bepaald project. PUZA en Stadsbeheer: Een aantal prestatie-indicatoren heeft betrekking op de balie bij publiekszaken en op het Infopunt Stadsbeheer. Deze organisatieonderdelen moeten hierdoor relatief veel informatie aanleveren. Om te beginnen dient per product te worden aangegeven hoe vaak dit per
53
maand digitaal is afgenomen ten opzichte van het totaal aantal afnamen. Deze gegevens kunnen bij publiekszaken uit het klantenvolgsysteem BAVAK en bij Stadsbeheer uit het systeem ARIS worden gehaald. Vervolgens moet bij de verwerking van papieren formulieren bij de balie van publiekszaken worden nagegaan of de formulieren uitgeprint zijn vanaf internet. Ook hierover moeten per product aantallen per maand ten opzichte van het totaal worden aangeleverd. Tevens moet in de PDF-files op de gemeentesite worden aangegeven dat het formulier afkomstig van de site is, zodat onderscheid kan worden gemaakt. Tot slot moet per product een gemiddelde verwerkingstijd, zowel voor digitaleals voor balieafnamen, bekend zijn om de totale benodigde verwerkingstijd te kunnen berekenen. Onderzoek In figuur 6.8 in paragraaf 6.4 is een overzicht te zien van de prestatie-indicatoren waarbij ook is aangegeven of extra onderzoek nodig is voor het verkrijgen van gegevens over deze prestatieindicator. De prestatie-indicatoren waarvoor dat het geval is worden hier besproken. Onderzoek ‘vindbaarheid’: Om een indruk te krijgen van de ‘vindbaarheid’ van de gemeentesite, uitgedrukt in het aantal zoekmachines waarmee de gemeentesite gevonden kan worden en het aantal verwijzingen vanaf pagina’s die betrekking hebben op Delft, moet handmatig onderzoek worden uitgevoerd. Hiervoor dienen de bekende zoekmachines op internet te worden bezocht en moet er worden nagegaan of de gemeentesite gevonden kan worden door het invullen van voor de hand liggende zoekwoorden als ‘gemeente’ en ‘Delft’. Ook moeten bij bekende pagina’s met als doelgroep de inwoners van Delft, zoals stadsportals, nagegaan worden of deze een verwijzing naar de gemeentesite bevatten. E-mail test: Voor het verkrijgen van gegevens voor prestatie-indicator 22 en 23 moet onderzoek uitgevoerd worden naar de reactie van de gemeente Delft op e-mails. Hiervoor dient op de gemeentesite te worden nagegaan welke e-mailadressen worden genoemd. Naar deze adressen moeten e-mails worden verzonden met eenvoudige vragen. Het percentage e-mails dat beantwoord wordt en de reactietijd van de gemeente Delft (per organisatieonderdeel waarnaar de e-mails verstuurd zijn) moet worden gebruikt in de evaluatiemethode. Onderzoek burgers: Voor de prestatie-indicatoren 8, 9 en 16 tot en met 21 is onderzoek in verschillende vormen onder burgers noodzakelijk. In paragraaf 6.3 is dit per prestatie-indicator al toegelicht, dit wordt kort samengevat. Ten eerste is het nodig burgers zonder speciale band met de gemeente Delft te benaderen met de vraag of ze gebruik maken van internet en of ze weten dat de gemeentesite bestaat en of ze deze ooit bezocht hebben (hierbij kan geen gebruik gemaakt worden van benadering via internet). Hiernaast is onderzoek noodzakelijk naar de mening over de gemeentesite onder bezoekers door middel van enquêtes. Onderwerpen als het aanbod, de wens van de burger voor digitale dienstverlening per product, de veiligheid en de bereikbaarheid van de gemeentesite staan hierbij centraal. Tot slot dienen ook gegevens aangeleverd te worden waarin de mening van de burger over het gebruik en de kwaliteit van afhandeling per product tot uiting komt. De burger kan hiervoor het beste worden benaderd nadat hij een digitaal product heeft afgenomen. De gegevens die verkregen zijn door onderzoek bij de burger, moeten zodanig worden verwerkt dat ze direct bruikbaar zijn voor de evaluatiemethode.
54
Hoofdstuk 7: Prototype Om een indruk te krijgen van de manier waarop de evaluatiemethode kan worden gebruikt en de resultaten zichtbaar kunnen worden gemaakt, is een prototype ontwikkeld. Dit is een computerprogramma waarmee (het weergeven van) de evaluatiemethode wordt uitgeprobeerd. Het prototype wordt gebruikt om de evaluatiemethode te toetsen en de voor- en nadelen ervan in te zien. Deze toetsing wordt besproken in paragraaf 8.3. In dit hoofdstuk wordt een toelichting gegeven op het prototype. In paragraaf 7.1 wordt ingegaan op de eigenschappen van het prototype. In paragraaf 7.2 komt het ontwerp en de bouw van het prototype aan de orde.
7.1 Eigenschappen prototype Voor er begonnen kan worden aan het ontwerp van het prototype, moet eerst worden stilgestaan bij de eigenschappen van het prototype. Hierbij wordt ingegaan op de eigenschappen van de prestatieindicatoren en wordt de afbakening van het prototype besproken. Prestatie-indicatoren In paragraaf 6.3 zijn de eigenschappen genoemd die per prestatie-indicator bekend moeten zijn. Dit zijn de volgende aspecten: • eenduidige definitie • eenheid • doel • norm die behaald moet zijn op een bepaalde datum • startwaarde op een bepaalde datum (waarde nulmeting) • verantwoordelijke • bron De ‘norm’ is een streefwaarde voor de score op een bepaalde prestatie-indicator die de gemeente Delft na een bepaalde periode wil behalen en die van te voren gesteld is. Aangezien de score op een prestatie-indicator altijd gerelateerd aan de norm zal worden beoordeeld, is dit een belangrijk onderdeel van de beoordeling. Het moet mogelijk zijn om een door omstandigheden verkeerd gestelde norm te wijzigen. Het is echter niet de bedoeling dat de resultaten gunstig gekleurd kunnen worden door slechts de norm aan te passen. Hiervoor is het belangrijk dat de norm niet zomaar kan worden veranderd. Per norm moeten in het prototype de wijzigingen worden bijgehouden. Hierbij moeten gegevens bekend zijn zoals: wie de norm heeft aangepast, de datum van aanpassing, de nieuwe waarde van de norm en de reden van aanpassing. Om een goede beoordeling te kunnen maken over de behaalde score op een prestatie-indicator (p.i.), is het interessant om ook de mate van afwijking van de norm op te nemen in het prototype. Dit kan uitgedrukt worden in een percentage en wordt als volgt berekend:
Afwijking =
score op p.i. - gestelde norm x 100 gestelde norm
Voor sommige prestatie-indicatoren is het belangrijk dat aan de norm wordt voldaan. Bij andere prestatie-indicatoren geeft de ontwikkeling van de prestatie-indicator in de tijd een beter beeld. Voor elke prestatie-indicator zullen daarom ook eerder behaalde scores beschikbaar moeten zijn zodat het verloop in de tijd te volgen is. Afbakening Het prototype geeft een indruk van de evaluatiemethode voor het programma KIS. De afbakening van de evaluatiemethode in paragraaf 4.2 is dus ook van toepassing op het prototype. Hiernaast dient het volgende te worden opgemerkt. Het prototype heeft alleen betrekking op de gemeentesite (www.gemeentedelft.info). Er wordt alleen gekeken naar (producten van) de balie van Publiekszaken en het Infopunt Stadsbeheer. Om het invullen van het prototype beperkt te houden, zijn tien producten als voorbeeld in het prototype opgenomen.
55
In het prototype wordt geen aandacht besteed aan de manier van invoeren van gegevens. Dit onderzoek heeft immers als doel het geven van inzicht in resultaten. Het prototype is daarom uitsluitend gericht op het presenteren van de informatie. Voor het invullen van het prototype worden geen metingen verricht aangezien dit veel tijd en moeite zou kosten en voor het onderzoek niet relevant is. Er wordt gebruik gemaakt van fictieve waarden, dummywaarden. Deze zullen zo realistisch mogelijk worden ingeschat. In figuur 6.8 in hoofdstuk 6 is het overzicht te zien van de herziene prestatie-indicatoren die worden opgenomen in het prototype. De prestatie-indicatoren ‘Investeringen Wijk- en Stadszaken’, ‘Investeringen Bedrijven’ en ‘Investeringen Centrale Staf’ worden weggelaten als gevolg van de afbakening. In dit overzicht zijn ook de inzoommogelijkheden per prestatie-indicator weergegeven.
7.2 Ontwerp en bouw In deze paragraaf wordt het ontwerp van het prototype toegelicht. Er zal worden ingegaan op hiërarchische structuur, de inhoud van de verschillende schermen en de bouw van het prototype. Hiërarchische structuur Het doel van het prototype is het kunnen bekijken van de scores op de verschillende prestatieindicatoren over een bepaalde periode. In het prototype wordt altijd gestart vanuit het Beginscherm. Vanuit dit scherm zijn er twee manieren om een overzicht te krijgen van de prestatie-indicatoren. De eerste manier is te kiezen voor één van de zeven subdoelen. Hierbij wordt een scherm getoond met informatie over de prestatie-indicatoren van dat subdoel. Een andere manier is om direct een totaaloverzicht van prestatie-indicatoren op te vragen. Wordt voor deze optie gekozen dan wordt informatie over alle prestatie-indicatoren van de zeven subdoelen getoond. Meer informatie over één prestatie-indicator is te zien op verschillende schermen die bereikt kunnen worden vanuit het Subdoelscherm of vanuit het Totaaloverzichtscherm. Per prestatie-indicator kunnen drie of vier schermen met verdere informatie worden geraadpleegd. Bij elke prestatie-indicator zijn er schermen beschikbaar met meer informatie over de prestatie-indicator zelf, de historie oftewel de scores die behaald zijn op die prestatie-indicator in het verleden en de wijzigingen in de norm voor die prestatie-indicator. Afhankelijk van de prestatie-indicator is er de mogelijkheid om gedetailleerde informatie te verkrijgen over de opbouw van de score (inzoommogelijkheid). Een overzicht van deze hiërarchische structuur is te zien in figuur 7.1. p.i.’s van aanbod p.i.’s van bekendheid p.i.’s van gebruik
Beginscherm
p.i.’s van tevredenheid p.i.’s van kwaliteit van afhandeling
informatie p.i. 1 historie p.i. 1 wijzigingen norm p.i. 1 berekening/inzoomen p.i. 1 informatie p.i. 2 historie p.i. 2 wijzigingen norm p.i. 2 berekening/inzoomen p.i. 2 etc.
p.i.’s van kosten p.i.’s van besparing totaaloverzicht p.i.’s
figuur 7.1: Hiërarchische structuur Inhoud van de schermen De inhoud van de schermen die in de hiërarchische structuur zijn genoemd wordt per scherm toegelicht. In figuur 7.2 aan het eind van deze paragraaf is een overzicht te zien van de inhoud van de
56
verschillende schermen. Ook zijn in deze figuur de navigatiemogelijkheden tussen de verschillende schermen zichtbaar gemaakt. Beginscherm: Het Beginscherm biedt de mogelijkheid te kiezen uit één van de subdoelen en van dit subdoel de prestatie-indicatoren te zien. Een andere mogelijkheid op het Beginscherm is het totaaloverzicht van alle prestatie-indicatoren te raadplegen. Subdoelscherm: Op het Subdoelscherm worden de prestatie-indicatoren getoond van het betreffende subdoel. Per prestatie-indicator wordt de naam, de score, de eenheid, de norm, de afwijking van de norm en het woord ‘historie’ getoond. De score geeft de waarde weer van de prestatie-indicator over een bepaalde periode. Per prestatieindicator wordt de score weergegeven in de eenheid die te terug te vinden is in de tabel in figuur 6.8 in hoofdstuk 6. De norm geeft weer welke streefwaarde er van te voren is gesteld voor deze prestatieindicator, voor deze periode. De afwijking is weergegeven in een percentage en geeft de mate aan waarin de score afwijkt van de norm. De waardering van de gemeente Delft is afhankelijk van de doelrichting van de prestatie-indicator. Deze is ook per prestatie-indicator weergegeven in figuur 6.8. Als een afwijking positief wordt gewaardeerd door de gemeente Delft wordt de afwijking in de kleur groen getoond. In dat geval is voor de prestatie-indicator een groen stoplichtje te zien. Als de afwijking negatief en minder dan tien procent is, dan is er, in het Subdoelscherm, voor de prestatie-indicator een oranje stoplichtje te zien en is de afwijking in de kleur oranje afgebeeld. Is de afwijking negatief en meer dan tien procent dan is voor de prestatie-indicator een rood stoplichtje te zien en is de afwijking in de kleur rood weergegeven. Tien procent is een arbitraire waarde die als voorbeeld is genomen in het prototype om onderscheid te maken tussen de kleuren oranje en rood. Er zou ook voor een andere waarde kunnen worden gekozen. Wellicht is het zelfs interessant deze waarde per prestatie-indicator te variëren. Andere manieren om onderscheid te maken tussen de kleuren oranje en rood is door gebruik te maken van de standaarddeviatie. Om het prototype eenvoudig te houden is gekozen voor de grens van tien procent. Vanuit het Subdoelscherm kunnen verschillende andere schermen worden bereikt. Als op de naam van de prestatie-indicator wordt geklikt, wordt het Informatiescherm zichtbaar. Bij sommige prestatie-indicatoren kan op de score voor de prestatie-indicator worden geklikt. In dat geval wordt het Scoreopbouwscherm getoond. Als op de norm, gesteld voor een bepaalde prestatieindicator wordt geklikt, komt het Normwijzigingenscherm in beeld. Als er tot slot op het woord ‘historie’ achter de prestatie-indicator wordt geklikt, kan het Historiescherm worden bekeken. In het Subdoelscherm is ook een staafdiagram te zien waarbij van alle prestatie-indicatoren de afwijking van de score tot de norm te zien is. Ook hier is weer rekening gehouden met de doelrichting. Bij een positieve (gewaardeerde) afwijking is de balk in het diagram groen afgebeeld, een negatieve (gewaardeerde) afwijking is rood afgebeeld. Informatiescherm: Op het Informatiescherm wordt informatie getoond over de prestatie-indicator die in principe in de tijd gelijk blijft. Er wordt een beschrijving van de prestatie-indicator gegeven waaruit de definitie en interpretatie van die prestatie-indicator blijkt. De eenheid wordt weergegeven. Verder worden gegevens getoond over de verantwoordelijke voor de prestatie-indicator en de informatiebron waar de gegevens van de prestatie-indicator worden verkregen. Scoreopbouwscherm: Afhankelijk van de prestatie-indicator zijn gegevens beschikbaar over de opbouw van de score van de prestatie-indicator. In figuur 6.8 is dit per prestatie-indicator weergegeven onder het kopje ‘Inzoomen’. In het ontwerp van het prototype in figuur 7.1 is alleen de vorm ‘gegevens per product, per maand’ geschetst. Andere vormen kunnen op een dergelijke manier worden uitgewerkt. Normwijzigingenscherm: Op het Normwijzigingenscherm wordt informatie getoond over de wijzigingen die hebben plaatsgevonden voor de norm van een prestatie-indicator. Bovenaan worden de normwijzigingen getoond die betrekking hebben op de huidige periode. Lager in de lijst zijn ook de normwijzigingen opgenomen voor normen van eerdere perioden zodat een totaalbeeld ontstaat. Gegevens die worden getoond zijn: de datum van wijziging, de naam van degene die de norm heeft aangepast, de nieuwe waarde van de norm, de oorzaak van wijziging en de periode waarop de norm betrekking heeft.
57
Historiescherm: Op het Historiescherm worden de scores getoond die eerder zijn behaald voor de betreffende prestatie-indicator. Om te beginnen wordt de score van de nulmeting getoond. Daarna volgen de scores van latere beoordelingen. Met uitzondering van de nulmeting wordt naast de score ook de norm en de afwijking van de norm getoond. Als er op een score wordt geklikt, komt het Scoreopbouwscherm voor die score in beeld. Als er op een norm wordt geklikt, wordt het Normwijzigingenscherm behorend bij die norm getoond. De afwijking wordt op dezelfde manier getoond als beschreven bij het Subdoelscherm, in het rood bij een negatieve afwijking, in het oranje bij een negatieve afwijking van minder dan tien procent en in het groen bij een positieve afwijking. Ook op het Historiescherm is een staafdiagram te zien. Hierin zijn twee soorten balken weergegeven. Eén type geeft de score weer voor de verschillende perioden, het andere geeft de norm weer. Alleen voor het eerste beoordelingsmoment is er geen norm opgenomen. Hierbij gaat het om de nulmeting. In figuur 7.2 is het ontwerp van het prototype te zien. Vanuit de vier schermen met informatie over een prestatie-indicator is het mogelijk om terug te keren naar het Subdoelscherm en naar het Beginscherm. Vanuit het Subdoelscherm is het mogelijk om terug te keren naar het Beginscherm. Om het overzicht te behouden zijn niet al deze verbindingen met pijlen in de figuur opgenomen. Terug naar: Beginscherm > Subdoel x
Beginscherm (meting: 2004)
Scoreopbouw p.i. 1 2004:
Subdoel Y Prod. 1 Prod. 2 etc. totaal
Subdoel X Subdoel Z
jan feb mrt apr mei jun jul aug sep okt nov dec totaal 94 110 87 114 150 144 167 177 180 203 192 215 1833 50 40 46 57 63 65 56 52 68 74 60 65 696 … … … … … … … … … … … … … … … … … … … … … … … … … …
250 200 150 100 50 0
… Totaaloverzicht
product product product product jan feb mrt apr mei jun
Terug naar: Beginscherm
Historie p.i. 1:
Naam Score Eenheid Norm Afwijking Historie
p.i. 2 :
75
%
80%
5500 pageviews 5000 :
:
- 6% + 10%
:
:
historie
Score Norm Afwijking
Nulmeting 60%
100 80 60 40 20 0
:
p.i. 3
p.i. 4
2004 75% 80% - 6%
score norm
nulmeting pi. 2
2003 70% 65% + 8%
historie
Norm
p.i. 1
jul aug sep okt nov dec
Terug naar: Beginscherm > Subdoel x
Subdoel X (periode: 2004) p.i. 1
1 2 3 4
2003
2004
score
Terug naar: Beginscherm > Subdoel x
Informatie p.i. 1:
Terug naar: Beginscherm > Subdoel x
Wijzigingen norm p.i. 1 2004: Datum Gewijzigd door Norm Periode Reden wijziging
Omschrijving: <definitie & interpretatie p.i. 1>
Verantwoordelijke: … Bron gegevens: …
figuur 7.2: Ontwerp prototype
58
… …
… …
… …
… …
… …
Bouw van het prototype Het prototype is met behulp van Active Server Pages (ASP) ontwikkeld. Dit is een techniek waarmee webapplicaties gemaakt kunnen worden. Ook de gemeentesite is met ASP gemaakt. Het prototype legt een koppeling met een database. Het programma haalt gegevens uit deze database, voert enige berekeningen uit en toont de gegevens op het scherm. In figuur 7.3 is een overzicht te zien van de architectuur van het systeem.
Client
Server
Database
figuur 7.3: Systeemarchitectuur In bijlage 6 is de gegevensstructuur van de database uitgewerkt in een klassediagram. Het prototype zou in principe gebruikt kunnen worden om daadwerkelijk resultaten te tonen aan de gemeenteraad, het heeft echter een aantal beperkingen: • In het prototype is geen aandacht besteed aan de manier van het invoeren van gegevens. Alle gegevens moeten nu met de hand in de database ingevoerd worden. • Het toevoegen van een nieuwe prestatie-indicator moet met de hand in de database gebeuren. • De figuren die in het prototype worden getoond zijn met de hand (in Microsoft Excel) gemaakt. Als gebruik gemaakt wordt van het prototype, moeten deze elk jaar met de hand worden gemaakt. De gemeente Delft kan ervoor kiezen het prototype op deze punten uit te breiden of er kan gebruik gemaakt worden van een standaard programma, zoals bijvoorbeeld Cognos Visualizer dat bij de afdeling Onderzoek en Statistiek wordt gebruikt.
59
60
Hoofdstuk 8: Reflectie op de evaluatiemethode en het prototype In dit hoofdstuk wordt teruggekeken op de ontwikkeling van de evaluatiemethode en het prototype. Hiervoor wordt in paragraaf 8.1 de relatie gelegd met het eerder besproken stuurmodel en de methoden Balanced Scorecard en het INK-model. In paragraaf 8.2 volgt een toetsing van de evaluatiemethode. In paragraaf 8.3 wordt dit hoofdstuk afgesloten met een toetsing van het prototype door de actoren vakteam ICT, regiegroep DKO en de wethouder, verantwoordelijk voor digitale dienstverlening en ICT..
8.1 Terugkoppeling naar stuurmodel en bestaande methoden In deze paragraaf wordt eerst de relatie gelegd tussen de evaluatiemethode en het stuurmodel en vervolgens met de Balanced Scorecard en het INK-model. Stuurmodel In paragraaf 3.2 is een stuurmodel ontwikkeld voor de gemeente Delft. In paragraaf 4.2 is al geconstateerd dat dit onderzoek slechts betrekking heeft op een klein gebied van het stuurmodel. Als gevolg van de voorkeur van de gemeente Delft om de ‘buitenkant’ te meten wordt de evaluatiemethode grotendeels beperkt tot de gebieden ‘output’ en ‘effect’. Dit is terug te zien in de prestatie-indicatoren van de evaluatiemethode. In figuur 8.1 is een overzicht te zien waarin is aangegeven op welke gebieden van het stuurmodel de prestatie-indicatoren betrekking hebben. Hierdoor en door het feit dat er geen resultaten per project worden weergegeven is het moeilijk om te sturen met de evaluatiemethode. In de probleemanalyse in hoofdstuk 3 zijn de volgende problemen onderscheiden: • een duidelijke visie of strategie waarop projecten geselecteerd kunnen worden voor ze mogen worden uitgevoerd ontbreekt bij het programma KIS • het sturend orgaan, de gemeenteraad, heeft onvoldoende kennis van het onderwerp ICT, om alternatieven aan te dragen en in te grijpen in (projecten van) het programma KIS • er is te veel vraag naar projecten • er zijn geen prestatie-indicatoren en normen voor prestatie-indicatoren gedefinieerd op projectniveau en voor het totale programma KIS • projecten worden soms gestart vanuit het enthousiasme van het vakteam ICT • projecten worden soms gestart vanuit de beschikbare techniek • formulieren om de voortgang van projecten te monitoren worden matig ingevuld • het systeem om de voortgang van projecten te monitoren (PIN) wordt matig ingevuld • er zijn te veel projecten tegelijkertijd bezig Dit onderzoek heeft als doel de gemeenteraad inzicht geven in de resultaten van digitale dienstverlening bewerkstelligd door het programma KIS. De evaluatiemethode levert als gevolg daarvan slechts een bijdrage aan de oplossing van twee problemen. Ten eerste aan het probleem ‘geen prestatie-indicatoren en normen voor prestatie-indicatoren gedefinieerd’. Hierbij moet worden opgemerkt dat er nu prestatie-indicatoren zijn voor het totaal aan digitale dienstverlening en niet voor projecten van het programma KIS. Ten tweede kan de evaluatiemethode een bijdrage leveren aan de oplossing voor het probleem ‘gebrek aan kennis sturend orgaan’. De evaluatiemethode beoogt de kennis van het sturend orgaan te vergroten op het gebied van de resultaten van het programma KIS. Balanced Scorecard en INK-model In paragraaf 4.2 worden de methoden Balanced Scorecard en INK-model beschreven. Er is aangegeven dat deze methoden niet geschikt zijn als evaluatiemethode voor het programma KIS. De vraag is in hoeverre de evaluatiemethode betrekking heeft op de aandachtsgebieden van deze methoden. In figuur 8.1 is per prestatie-indicator aangegeven onder welk perspectief van de Balanced Scorecard en aandachtsgebied van het INK-model deze valt. Ook hierin is terug te zien dat de evaluatiemethode met name betrekking heeft op resultaten en de ‘buitenkant’.
61
Bij de Balanced Scorecard hebben de prestatie-indicatoren met name betrekking op het afnemersperspectief. En bij het INK-model betreft dit de waardering door klanten en leveranciers samen met de eindresultaten. Prestatie-indicatoren op de ontbrekende perspectieven en aandachtsgebieden zouden meer inzicht geven in manieren om te sturen met behulp van de evaluatiemethode.
x x x x x x x
x x x x x x x x x x x x x x x x x x x x x
x x x x x x x x x x x x x x x x
x x x x x x x x
x x
figuur 8.1: Relatie met stuurmodel, Balanced Scorecard en INK-model
8.2 Toetsing evaluatiemethode Bij de uitwerking van de evaluatiemethode is uitgegaan van de hoofdaspecten van het programma KIS, de burgerwaarden en de doelen van KIS 2. Met name aan de uitwerking van de burgerwaarden kleeft een aantal problemen. Deze begrippen zijn erg abstract en niet specifiek van toepassing op het
62
Eindresultaten
Waardering door de maatschappij
Waardering door medewerkers
x x x x x x
x x x x x x x x
Waardering door klanten en leveranciers
x x x x x x x x x x x x x x x
x x
x x x x x x
Processen
Middelen
Medewerkers
Strategie en beleid
Leiderschap
Leerresultaten en groei
INK-model
Interne bedrijfsvoering
Afnemers
Financieel
BSC
Effect
Output
Proces
Nr. Prestatie-indicator 1 Geen formulieren 2 Formulieren: uitprinten 3 Formulieren: invullen en uitprinten 4 Formulieren: digitaal versturen 5 Form.: dig. versturen en verwerken 6 Beschikbaarheid gemeentesite totaal 7 Beschikbaarheid gem.site kantooruren 8 Internetgebruik 9 Gemeentesite bekendheid 10 Vindbaarheid g.site via zoekmachines 11 Vindbaarheid g.site via verwijzingen 12 Geraadpleegde informatie 13 Gedownloade formulieren 14 Gebruik gedownloade formulieren 15 Digitale afname van producten 16 Mening burger over aanbod 17 Mening burger over gebruik 18 Mening burger over kwaliteit van afh. 19 Mening burger over veiligheid 20 Mening burger over bereikbaarheid 21 Mening burger over gemeentesite 22 Respons e-mail 23 Reactietijd e-mail 24 Investeringen KIS 25 Investeringen Publiekszaken 26 Investeringen Wijk- en Stadszaken 27 Investeringen Bedrijven 28 Investeringen Centrale Staf 29 Investeringen Facilitaire Dienstverlening 30 Besparing a.g.v. dig.dienstv.l. PUZA 31 Besparing a.g.v. dig.dienstv.l. Infopunt
Input
Stuurmodel
x x
programma KIS of op digitale dienstverlening. Om toch prestatie-indicatoren te kunnen formuleren is eerst een zevental subdoelen opgesteld. Met de subdoelen is geprobeerd het spectrum te representeren dat weergegeven wordt door zowel de hoofdaspecten, als de burgerwaarden, als de doelen van KIS 2. De afleiding van de burgerwaarden naar de subdoelen is echter kunstmatig. De burgerwaarden zijn afgeleid van de internationaal geaccepteerde consumentenwaarden die de consumentenbond heeft beschreven in ‘De marktmeester aan zet’. Deze consumentenwaarden zijn ook abstract, maar minder abstract dan burgerwaarden. De consumentenbond stelt zelf dat de consumentenwaarden uitgangspunt moeten zijn bij het ontwerpen van overheidsbeleid voor markten 71 én publieke voorzieningen. Zodra burgers producten afnemen van de gemeente zijn het ook in feite consumenten. Wellicht was een uitwerking van de consumentenwaarden eenvoudiger en minder kunstmatig geweest. In paragraaf 5.1 is het bezwaar van de vermeende hardheid van cijfers beschreven. Door de afstand tussen de gemeenteraad en de uitvoering van het programma KIS is het mogelijk dat te veel waarde wordt gehecht aan de cijfers uit de evaluatiemethode. Een groot deel van de prestatie-indicatoren is een weergave van factoren die mogelijk verband houden met inspanningen die gedaan zijn in het kader van het programma KIS. Er is voor gekozen met de evaluatiemethode digitale dienstverlening ‘te meten’. Voor de invoering van digitale dienstverlening worden echter ook inspanningen verricht die niet uit naam van het programma KIS worden gedaan. Het nadeel van het meten van ‘de buitenkant’ is dat prestatie-indicatoren die hierop betrekking hebben ook beïnvloed kunnen worden door factoren waar de gemeente Delft geen invloed op heeft en niet verantwoordelijk voor is. Dit speelt met name bij de mening van de burger over digitale dienstverlening. Het is mogelijk dat de score op deze prestatie-indicator eerder beïnvloed wordt door de stemming van de ondervraagde burgers als gevolg van persoonlijke-, economische- of weersomstandigheden, dan door (veranderingen in) het aanbieden van digitale dienstverlening. Ook zullen de scores op deze prestatie-indicatoren beïnvloed worden door de samenstelling van de bevolking. Als gevolg van de grote studentenpopulatie in de gemeente Delft, is het bijvoorbeeld mogelijk dat er relatief veel vertrouwen is in (de mogelijkheden van) het Internet. De score op ‘mening van de burger over veiligheid’ zal hierdoor wellicht hoger liggen dan in andere gemeenten het geval zou zijn. Dit is niet het gevolg van betere preventiemaatregelen van de gemeente Delft, maar van de bevolkingssamenstelling. Bij het onderzoek naar de mening van de burger moet ook gerealiseerd worden dat burgers geen klanten van een winkel zijn die dagelijks of wekelijks producten nodig hebben. Er zullen jaren zijn waarin een burger helemaal geen contact heeft met de gemeente Delft. Andere jaren neemt de burger één of enkele keren een product af van de gemeente Delft. Hierdoor is het de vraag of de mening van de burger een goed beeld kan geven van de inspanningen die gedaan zijn om digitale dienstverlening te realiseren. Al deze aspecten geven de beperktheid van ‘meten’ weer en gaan ten koste van de validiteit van de evaluatiemethode. Doordat de evaluatiemethode alleen gericht is op het meten van ‘de buitenkant’ en doordat niet wordt ingegaan op de resultaten of uitkomsten per project is het moeilijk om ermee te sturen. De evaluatiemethode geeft vooral aspecten weer van de front-office. Problemen zullen zich vaak voordoen in de back-office en hier zullen dus ook de meeste verbetermogelijkheden zijn. De backoffice wordt echter niet meegenomen in de beoordeling. Oorzaken van slechte resultaten zullen moeilijk terug te vinden zijn met deze evaluatiemethode. Met deze kanttekeningen moet rekening worden gehouden tijdens het gebruik van de evaluatiemethode. Door het bezwaar van de vermeende hardheid van cijfers is het de vraag of dit ook in alle gevallen zal gebeuren. Met dit in het achterhoofd is er tijdens de ontwikkeling van de evaluatiemethode niet verder ingegaan op nadere verwerking van de scores op de prestatieindicatoren. Mogelijkheden hiervoor zouden bijvoorbeeld zijn: het berekenen van de return on investment of het uitvoeren van een multicriteria-analyse. In de huidige uitwerking van de evaluatiemethode wordt de gemeente Delft gedwongen te kijken naar de scores per prestatieindicator. Bij gebruik van een multicriteria-analyse is het mogelijk om het programma KIS te beoordelen op slechts één score (het resultaat van de berekening met gewichten). Hierdoor lijkt het of het resultaat in de vorm van deze score eenduidig is en dit is niet het geval, omdat de beoordeling dan sterk afhankelijk is van de keuzes voor de gewichten. 71
Consumentenbond 2001, De marktmeester aan zet, p. 7
63
8.3 Toetsing prototype Om het prototype te beoordelen is een bijeenkomst georganiseerd voor de actoren vakteam ICT, regiegroep DKO en de wethouder, verantwoordelijk voor digitale dienstverlening en ICT. Bij deze bijeenkomst was de wethouder aanwezig en twee personen die de andere actoren vertegenwoordigden. Tijdens deze bijeenkomst is het prototype gepresenteerd. Hierna zijn de genodigden in de gelegenheid gesteld om zelf met het prototype te werken aan de hand van scenario’s. Deze scenario’s zijn terug te vinden in bijlage 7. Uit interviews zijn vragen naar voren gekomen die de gemeente Delft graag beantwoord zou zien met behulp van een evaluatiemethode. Tijdens deze bijeenkomst zijn deze vragen voorgelegd en konden de genodigden aangeven of ze het antwoord konden vinden met behulp van het prototype. Tot slot zijn de genodigden gevraagd naar hun mening over het prototype. De enquête die hiervoor is gebruikt is ook opgenomen in bijlage 7. De resultaten van de toetsing van het prototype worden in deze paragraaf per onderdeel besproken. Scenario’s Om een goed beeld te krijgen van de mogelijkheden en onmogelijkheden van het prototype zijn scenario’s opgesteld. De genodigden kregen een situatieschets voorgelegd en moesten aan de hand hiervan met het prototype een vraag beantwoorden of een situatie interpreteren. De scenario’s zijn gemaakt om het leren werken met het prototype eenvoudiger te maken, maar ook om beperkingen van het prototype aan het licht te brengen. Zoals al eerder is genoemd zijn er risico’s verbonden aan ‘meten’ en het interpreteren van de scores op prestatie-indicatoren. Bij het opstellen van de scenario’s is hiermee rekening gehouden. Een aantal scenario’s is gericht op het verkrijgen van inzicht in resultaten van digitale dienstverlening, het doel van dit onderzoek. Andere scenario’s zijn gericht op mogelijke valkuilen van de evaluatiemethode. Vermeende risico’s en beperkingen van de evaluatiemethode zijn met behulp van de scenario’s getoetst en worden één voor één besproken. Totaalbeeld: De evaluatiemethode die in het prototype wordt getoond, bestaat uit 28 verschillende prestatie-indicatoren. Voordat er iets met de informatie uit het prototype gedaan kan worden, moeten eerst de scores op de prestatie-indicatoren worden geïnterpreteerd. Het is belangrijk dat de gebruiker van het prototype het totaaloverzicht behoudt en niet enkel afgaat op de scores van individuele prestatie-indicatoren. Om dit te toetsen is een scenario geschetst waarbij, voor een bepaald product, het digitale gebruik en als gevolg daarvan de besparing redelijk laag is. De tevredenheid van de burger over dit product ligt echter extreem hoog. Om te onderzoeken of dit aspect ook wordt bekeken voordat een conclusie wordt getrokken is gesuggereerd dat het digitaal beschikbaar stellen van dit product niet succesvol is. De opdracht was na te gaan of dit inderdaad het geval is. Door twee van de drie genodigden werd dit tegengesproken als gevolg van de score op tevredenheid van de burger, maar één persoon heeft dit over het hoofd gezien, waardoor dit digitale product ten onrechte als niet succesvol werd beschouwd. Bij een ander scenario was het belangrijk dat naast de scores op de prestatie-indicatoren ook de ontwikkeling in de tijd werd bekeken. Geen van de genodigden heeft dit gedaan. Uit deze twee voorbeelden is te concluderen dat het prototype dat de 28 prestatie-indicatoren toont, niet direct een goed overzicht biedt. Hierdoor kunnen onjuiste conclusies worden getrokken als slechts naar een gedeelte van de informatie wordt gekeken. Dit kan ook gebeuren als te weinig tijd wordt genomen om de informatie te analyseren en er snel conclusies worden getrokken. Normen: In het prototype is de procentuele afwijking tussen de score en de norm voor een prestatieindicator duidelijk aangegeven. Hiervoor worden verschillende kleuren gebruikt en zijn stoplichtjes te zien die aangeven of de afwijking positief of (en in welke mate) negatief is. Het risico bestaat dat hier te veel waarde aan wordt gehecht en te weinig wordt gekeken naar de context. Om dit te toetsen is een scenario geschetst waarbij een interpretatie wordt gevraagd van de afwijkingen op de eerste vijf prestatie-indicatoren van het subdoel aanbod (nr.1-5 in figuur 6.8). Deze vijf prestatie-indicatoren geven het aantal producten weer dat in een bepaalde (digitale)vorm voorkomt (voor de verschillende vormen zie pagina 42). Omdat in principe wordt nagestreefd dat producten een hoog digitaal niveau bereiken, is het beter als een product in vorm 5 voorkomt dan in vorm 3. In het prototype had de prestatie-indicator die vorm 3 weergeeft een negatieve afwijking van 50 procent ten opzichte van de norm. De prestatie-indicator die vorm 5 weergeeft had een positieve afwijking van 25 procent ten opzichte van de norm. Deze situatie was ontstaan doordat alle producten volgens de normen waren verdeeld, met uitzondering van één product dat niet in vorm 3 maar in vorm 5 voorkwam. Deze situatie is in feite gunstiger dan de situatie waarbij alle vijf de prestatie-indicatoren
64
geen afwijking vertonen. Eén van de drie genodigden zag dit in, door de overige twee werd dit niet onderkend. Het duidelijke onderscheid dat wordt gemaakt door het gebruik van kleuren en stoplichtjes wekt de indruk dat er maar één interpretatie mogelijk is. Groen is goed en rood is fout. De werkelijkheid is (helaas) niet zo eenvoudig. Als gevolg hiervan is het belangrijk dat er voldoende aandacht blijft voor de context en er niet te snel conclusies worden getrokken. Ontbrekende informatie: Om de beperkingen van het prototype te laten zien, is een scenario opgesteld waarbij de vraag niet beantwoord kan worden met de gegevens in het prototype. Eén van de genodigden gaf aan dat het antwoord inderdaad niet te vinden was. De anderen gaven aan de hand van gegevens die wel in het prototype zijn opgenomen toch een antwoord. Het risico hierbij is dat er te veel waarde gehecht wordt aan de informatie die wel in het prototype aanwezig is en dat deze informatie ten onrechte wordt gebruikt om vragen te beantwoorden die niet met het prototype beantwoord kunnen worden. Oorzaken van problemen: Tijdens de bespreking van de scenario’s kwam een knelpunt aan de orde bij de prestatie-indicator ‘mening van de burger over veiligheid’. Deze prestatie-indicator had een veel lagere score dan de andere prestatie-indicatoren van het subdoel tevredenheid. Door één van de genodigden werd de oorzaak hiervan genoemd: “Dat is een imago-probleem want, met de veiligheid zelf is waarschijnlijk niets mis”. Deze vermeende oorzaak berust echter op een aanname. Eerder is immers al aangegeven dat het prototype geen inzicht geeft in oorzaken van problemen. Een instrument als het prototype kan de indruk geven dat alles bekend is. Het is belangrijk dat wordt ingezien welke informatie in het prototype ontbreekt en dat onderscheid wordt gemaakt tussen informatie uit het prototype en eigen aannamen. Vragen Tijdens interviews (een lijst met geïnterviewden is te vinden in bijlage 3) is aangegeven welke vragen de gemeente Delft graag zou willen kunnen beantwoorden met behulp van een evaluatiemethode. Het doel van dit onderzoek is het verkrijgen van inzicht in de resultaten van digitale dienstverlening bewerkstelligd door het programma KIS. De genoemde vragen geven in feite aan waaruit het gewenste ‘inzicht’ bestaat. De volgende vragen zijn genoemd: 1. Loopt het programma KIS goed of loopt het niet goed? 2. Vinden burgers dat ze meer mogelijkheden hebben op het gebied van digitale dienstverlening? En zijn ze tevreden? 3. Hoeveel kan er bespaard worden op de inzet van personeel aan de balie of aan de telefoon door het aanbieden van digitale dienstverlening? 4. Staan de uitgegeven middelen in verhouding met wat we ervoor hebben teruggekregen als gemeenschap? 5. Hebben de burgers meer diensten gekregen? Bij de toetsing zijn deze vragen voorgelegd aan de genodigden en is gevraagd in hoeverre zij op deze vragen een antwoord vonden met behulp van het prototype. De genodigden vonden eensgezind dat de vragen één, twee, drie en vijf te beantwoorden zijn met het prototype. Bij vraag vier werd aangegeven dat deze niet met behulp van het prototype te beantwoorden is. De conclusie die hieruit volgt is dat het prototype in redelijke mate inzicht geeft in de resultaten van digitale dienstverlening bewerkstelligd door het programma KIS. Enquête De actoren hebben hun mening over het prototype gegeven door een vragenlijst in te vullen. Deze vragenlijst is te zien in bijlage 7. De vragen zijn opgesteld om te onderzoeken of het prototype voldoet aan het doel, het geven van inzicht in de resultaten van digitale dienstverlening bewerkstelligd door het programma KIS. Er is gekozen voor een vijfpuntsschaal om voldoende onderscheid te kunnen maken in de meningen van de genodigden. Omdat de antwoorden niet statistisch verwerkt kunnen worden als gevolg van het kleine aantal genodigden is een specifiekere antwoordschaal niet zinvol. Bij de beschrijving van de antwoorden wordt het nummer van het antwoord aangegeven waarbij de antwoorden (in bijlage 7) van links naar rechts genummerd zijn van één tot en met vijf. Uit deze enquête is gebleken dat de genodigden redelijk tevreden zijn over het prototype. De hoeveelheid prestatie-indicatoren wordt door de drie genodigden als voldoende (‘3’) beschouwd. Aan de gedetailleerde informatie over de scores in het Scoreopbouwscherm wordt door de genodigden toegevoegde waarde toegeschreven (twee keer ‘4’, één keer ‘5’). Volgens de actoren geeft het prototype een voldoende tot zeer overzichtelijk beeld (één keer ‘3’, één keer ‘4’, één keer ‘5’). De informatie die het prototype geeft wordt als begrijpelijk ervaren (twee keer ‘3’, één keer ‘4’) en wordt
65
gezien als voldoende tot veel (één keer ‘3’, twee keer ‘4’). Het prototype maakt niet sterk duidelijk dat er ook veel niet gemeten kan worden (twee keer ‘2’, één keer ‘3’) en dit moet dus (bij gebruik) worden uitgelegd. Het interpreteren van de informatie van het prototype wordt door de genodigden als redelijk moeilijk ervaren (drie keer ‘2’) en de tijdsduur die nodig is om met het prototype te leren werken wordt als gemiddeld gezien (twee keer ‘2’, één keer ‘3’). De voorkeur wordt gegeven aan het prototype boven een schriftelijke rapportage (drie keer ‘5’) waarbij wordt opgemerkt dat de conclusies schriftelijk gepresenteerd moeten worden. De algemene indruk is dat het prototype geschikt is voor gebruik (één keer ‘4’, twee keer ‘5’). De wethouder heeft aangegeven geïnteresseerd te zijn in het te zijner tijd beschikbaar maken van (een dergelijk systeem als) het prototype voor burgers via internet. Hier zijn echter risico’s aan verbonden. Uit de scenario’s is gebleken, dat de resultaten van het prototype verkeerd kunnen worden geïnterpreteerd. Aangezien het moeilijk is om instructies te geven als het prototype via internet beschikbaar is, bestaat de kans dat foute conclusies worden getrokken en voor verkeerde doeleinden worden gebruikt. Aan de hand van de bevindingen van de toetsing worden de volgende aanbevelingen gedaan voor het gebruik van het prototype: • Het prototype moet niet ter vervanging komen van schriftelijke rapportages. Om te voorkomen dat de resultaten van het prototype verkeerd worden geïnterpreteerd, wordt aangeraden de conclusies schriftelijk te presenteren. Het prototype is een nuttig hulpmiddel bij het trekken van conclusies, mits bij de interpretatie rekening wordt gehouden met de beschreven risico’s. • Om tegemoet te komen aan het feit dat het werken met het prototype niet als gemakkelijk wordt ervaren, wordt aangeraden het prototype eerst te demonstreren en de werking ervan uit te leggen voordat nieuwe gebruikers ermee gaan werken. In hoofdstuk 9 worden ook aanbevelingen gedaan voor eventuele uitbreidingen van de evaluatiemethode en het prototype. Samengevat blijkt uit de toetsing van het prototype dat de volgende risico’s verbonden zijn aan het gebruik van het prototype: • Scores op prestatie-indicatoren kunnen verkeerd worden geïnterpreteerd als het totaaloverzicht uit het oog wordt verloren en er slechts naar een gedeelte van de informatie wordt gekeken. • Afwijkingen van de norm kunnen verkeerd worden geïnterpreteerd als er niet gekeken wordt naar de context. • Bij het beantwoorden van vragen die niet met het prototype beantwoord kunnen worden kan te veel waarde worden gehecht aan de informatie die wel in het prototype aanwezig is. • Sturingsinformatie ontbreekt in het prototype waardoor aannamen over oorzaken van problemen worden gedaan die niet uit het prototype volgen. Door beperkte tijd konden niet meer scenario’s worden getoetst en zijn de gevonden risico’s slechts voorbeelden. Bij een uitgebreidere toetsing zullen waarschijnlijk meer risico’s aan het licht komen. De gevonden risico’s moeten niet alleen als negatief worden ervaren. Het is waardevol dat ze bekend zijn, zodat er rekening mee kan worden gehouden. Uit de beantwoording van de in interviews genoemde vragen is gebleken dat vier van de vijf vragen volgens de genodigden met het prototype te beantwoorden zijn. Hiermee is in redelijke mate voldaan aan de doelstelling om inzicht te geven in digitale dienstverlening bewerkstelligd door het programma KIS. Uit de enquête is gebleken dat de genodigden redelijk tevreden zijn over het prototype en het geschikt achten voor gebruik.
66
Hoofdstuk 9: Conclusies en aanbevelingen Dit onderzoek beoogt het inzicht van de gemeenteraad van Delft in de resultaten van het programma Kennis Infrastructuur (KIS) te verbeteren. Er is voor gekozen eerst breed te kijken naar de uitvoering van het programma KIS en daarna te focussen op een klein gedeelte van de problematiek dat aansluit bij het doel. Het onderzoek is gestart met een probleemanalyse die aan de hand van een actorenanalyse en een stuurmodel is besproken. Informatie hiervoor is verkregen door het houden van interviews. De volgende problemen zijn geconstateerd: • een duidelijke visie of strategie waarop projecten geselecteerd kunnen worden voor ze mogen worden uitgevoerd ontbreekt bij het programma KIS • het sturend orgaan, de gemeenteraad, heeft onvoldoende kennis van het onderwerp ICT, om alternatieven aan te dragen en in te grijpen in (projecten van) het programma KIS • er is te veel vraag naar projecten • er zijn geen prestatie-indicatoren en normen voor prestatie-indicatoren gedefinieerd op projectniveau en voor het totale programma KIS • projecten worden soms gestart vanuit het enthousiasme van het vakteam ICT • projecten worden soms gestart vanuit de beschikbare techniek • formulieren om de voortgang van projecten te monitoren worden matig ingevuld • het systeem om de voortgang van projecten te monitoren (PIN) wordt matig ingevuld • er zijn te veel projecten tegelijkertijd bezig Rekening houdend met het doel van dit onderzoek is na overleg met de gemeente Delft besloten het onderzoek te richten op het ontwikkelen van een evaluatiemethode om de resultaten van digitale dienstverlening bewerkstelligd door het programma KIS te beoordelen. Deze focus van het onderzoek heeft als gevolg gehad dat er slechts een bijdrage aan de oplossing van twee problemen wordt geleverd. Er zijn prestatie-indicatoren gedefinieerd voor het totaal aan digitale dienstverlening, waarmee het probleem ‘geen prestatie-indicatoren en normen voor prestatie-indicatoren gedefinieerd op projectniveau en voor het totale programma KIS’ slechts ten dele is opgelost. Hiernaast biedt de ontwikkelde evaluatiemethode een zekere vorm van kennis aan het sturend orgaan, de gemeenteraad. Aan de interpretatie van de evaluatiemethode zijn echter risico’s verbonden, waarop later in dit hoofdstuk wordt teruggekomen. Het doel van dit onderzoek is de gemeenteraad inzicht geven in de resultaten van digitale dienstverlening bewerkstelligd door het programma KIS. De volgende onderzoeksvragen zijn gesteld: 1. Op welke manier kan een evaluatiemethode worden vormgegeven die inzicht geeft in de resultaten van het programma KIS, rekening houdend met de gestelde randvoorwaarden? 2. Kunnen (elementen van) de methoden Balanced Scorecard en INK-model een bijdrage leveren aan de evaluatiemethode voor het programma KIS? 3. Op welke manier kan invulling worden gegeven aan de hoofdaspecten van het programma KIS, de burgerwaarden en de doelen van KIS 2? 4. Welke prestatie-indicatoren geven inzicht in de resultaten van het programma KIS? 5. Hoe kunnen de gegevens voor deze prestatie-indicatoren worden verkregen? 6. Hoe kan de evaluatiemethode visueel worden weergegeven in een prototype? Deze worden één voor één besproken waarna algemene conclusies volgen. Dit hoofdstuk wordt afgesloten met aanbevelingen voor de gemeente Delft. (Vraag 1:) Door het afnemen van interviews is een inventarisatie gemaakt van de voorkeuren van de gemeente Delft. Aan de hand van deze voorkeuren is de evaluatiemethode ontwikkeld. De gemeente wilde met de evaluatiemethode twee hoofdaspecten ‘meten’, namelijk: - de mate waarin digitale dienstverlening wordt aangeboden en de mening van de burger hierover - de mate waarin concrete kostenbesparingen door het gebruik van ICT worden bereikt Daarnaast wilde de gemeente uitdrukking geven aan de zogenaamde burgerwaarden die in de nota KIS 2 worden beschreven. Om de evaluatiemethode vorm te geven zijn zeven subdoelen geformuleerd die beogen de hoofdaspecten en de burgerwaarden te representeren. Voor deze subdoelen zijn prestatie-indicatoren gedefinieerd. De evaluatiemethode voor het programma KIS is overigens gemaakt voor de gemeenteraad van de gemeente Delft. De methode kan niet zomaar worden toegepast op andere gemeenten.
67
Tijdens de probleemanalyse is een stuurmodel ontwikkeld waarmee de ideale situatie voor de uitvoering van projecten binnen het programma KIS is beschreven. Als gevolg van de afbakening werd gefocust op resultaten van het totale programma KIS en is niet ingegaan op projecten en op de gebieden ‘input’ en ‘proces’. Wordt echter breder naar de situatie gekeken, dan zou onderzoek naar mogelijkheden om de ontbrekende aspecten, input en proces op projectniveau in de evaluatiemethode op te nemen interessant zijn. Aan het eind van dit hoofdstuk worden hier aanbevelingen voor gedaan. (Vraag 2:) De methode Balanced Scorecard en INK-model zijn niet geschikt gebleken als methoden om de raad inzicht te geven in de resultaten van het programma KIS. Redenen hiervoor zijn: • Bij zowel de Balanced Scorecard als het INK-model is het proces van het ontwikkelen van de methode binnen de organisatie een zeer belangrijk aspect. Hierbij wordt de hele organisatie betrokken. De ingreep die nodig is voor de invoering van de Balanced Scorecard of het INK-model is buiten proporties voor het doel dat de gemeente wil bereiken. Te meer daar de gemeente Delft erop heeft aangedrongen de medewerkers niet te veel overlast te bezorgen met de invoering van de evaluatiemethode. • De gemeente Delft geeft er de voorkeur aan de methode te richten op het meten van ‘de buitenkant’. Methoden als Balanced Scorecard en INK-model zijn ook gericht op aandachtsgebieden zoals ‘Interne bedrijfsvoering’ en ‘Processen’. • De gemeente Delft is op zoek naar een methode om de gemeenteraad inzicht te geven in resultaten. De evaluatiemethode heeft dus als doel om transparantie te bieden. De Balanced Scorecard en het INK-model beogen voornamelijk de organisatie te laten leren en zijn niet gericht op het afleggen van verantwoording. • De methoden Balanced Scorecard en INK-model zijn gericht op het veranderingsproces binnen de organisatie. De ontwikkelingen die de organisatie doormaakt zijn een belangrijk onderdeel van de methoden. De invoering van de evaluatiemethode bij de gemeente Delft is niet bedoeld om de organisatie te veranderen. • Het invoeren van methoden zoals de Balanced Scorecard en het INK-model is een langdurig proces. De uitvoering van dit proces wordt in teamverband gedaan. De ‘architect’ heeft hierbij als rol het proces te ondersteunen. Het ontwikkelen van de evaluatiemethode voor de gemeente Delft heeft in korte tijd plaatsgevonden en is gedaan door een individu die in de rol van ‘architect’ de methode heeft opgesteld. Bij de ontwikkeling van de evaluatiemethode voor het programma KIS is wel gebruik gemaakt van een uitwerking in prestatie-indicatoren op aandachtsgebieden (subdoelen), zoals dit ook bij de Balanced Scorecard en het INK-model gebeurt. Er is echter uitgegaan van andere aandachtsgebieden. (Vraag 3:) Voor de ontwikkeling van de evaluatiemethode voor digitale dienstverlening zijn drie uitgangspunten gebruikt: • de hoofdaspecten van het programma KIS: digitale dienstverlening met tevreden gebruiker en concrete kostenbesparingen • de burgerwaarden: toegankelijkheid, doeltreffendheid, betrouwbaarheid, controleerbaarheid en doelmatigheid • de doelen van KIS 2: verbeteren van de informatievoorziening en uitbreiden van het aantal producten en diensten Deze uitgangspunten zijn de basis geweest voor de zeven subdoelen die zijn geformuleerd: • het vergroten van het aanbod van digitale dienstverlening • het vergroten van de bekendheid van digitale dienstverlening • het vergroten van het gebruik van digitale dienstverlening • het vergroten van de tevredenheid van de burger over digitale dienstverlening • het verbeteren van de kwaliteit van afhandeling van digitale dienstverlening • het beperken van de investeringen van digitale dienstverlening • het vergroten van de besparing door het gebruik van digitale dienstverlening Het is de vraag of met name de burgerwaarden geschikt zijn geweest als uitgangspunt voor de evaluatiemethode die tijdens dit onderzoek is ontwikkeld. Deze begrippen zijn erg abstract en niet specifiek van toepassing op digitale dienstverlening. De afleiding naar de subdoelen is hierdoor 72 kunstmatig. Een uitwerking van de internationaal geaccepteerde consumentenwaarden was voor de
72
Consumentenbond 2001, De marktmeester aan zet, p. 7
68
evaluatiemethode in dit onderzoek wellicht eenvoudiger en minder kunstmatig geweest. Bovendien zijn burgers in feite consumenten op het moment dat ze een product van de gemeente afnemen. (Vraag 4 & 5:) De subdoelen zijn elk uitgewerkt in meerdere prestatie-indicatoren die samen het betreffende subdoel representeren. Bij het meten van deze prestatie-indicatoren wordt zoveel mogelijk gebruik gemaakt van informatie die al in de organisatie aanwezig is. Vaak moet deze informatie nog worden verwerkt. Naast de reeds beschikbare informatie zijn nog enkele onderzoeken noodzakelijk. Hiervan is het onderzoek naar de mening van burgers over digitale dienstverlening de belangrijkste. (Vraag 6:) Er is een prototype ontwikkeld dat de evaluatiemethode kan weergeven. Per prestatieindicator worden de volgende aspecten getoond: de eigenschappen van de prestatie-indicator (definitie, eenheid, verantwoordelijke, bron), de norm (met gegevens over wijzigingen in de norm), een beeld van de ontwikkelingen in de tijd (eerdere behaalde scores), de score op een bepaald moment en eventueel extra informatie zoals bijvoorbeeld gegevens per product of per project. Met de ontwikkelde evaluatiemethode en het prototype is het mogelijk een overzicht te krijgen van resultaten van het programma KIS op het gebied van digitale dienstverlening. Het is moeilijk om met deze methode interne oorzaken van slechte prestaties te vinden, maar de methode geeft wel enige richting in de sturing aan. Het is bijvoorbeeld mogelijk om op basis van bepaalde prestaties te bepalen in welke producten meer of minder moet worden geïnvesteerd en of de nadruk op kwaliteit of kwantiteit moet komen te liggen. Ook is het mogelijk met de informatie die de evaluatiemethode biedt goede vragen te stellen aan de verantwoordelijke. Bij de toetsing van het prototype is gebleken dat er risico’s zijn verbonden aan het gebruik van de evaluatiemethode. De volgende risico’s zijn geconstateerd: • Scores op prestatie-indicatoren kunnen verkeerd worden geïnterpreteerd als het totaaloverzicht uit het oog wordt verloren en er slechts naar een gedeelte van de informatie wordt gekeken. • Afwijkingen van de norm kunnen verkeerd worden geïnterpreteerd als er niet gekeken wordt naar de context. • Bij het beantwoorden van vragen die niet met het prototype beantwoord kunnen worden kan te veel waarde worden gehecht aan de informatie die wel in het prototype aanwezig is. • Sturingsinformatie ontbreekt in het prototype waardoor aannamen over oorzaken van problemen worden gedaan die niet uit het prototype volgen. Deze risico’s moeten niet alleen als negatief worden ervaren. Het feit dat ze bekend zijn is waardevol. Nu kan er immers rekening mee worden gehouden. Dit onderzoek is gestart om de gemeenteraad inzicht te geven in resultaten van het programma KIS. Tijdens de toetsing heeft de gemeente Delft het prototype voor dit doel positief beoordeeld. Er is gesuggereerd om het prototype te zijner tijd via internet ook beschikbaar te maken voor burgers. Hierin schuilt echter het gevaar dat de resultaten van het prototype verkeerd worden geïnterpreteerd. Aangezien het moeilijk is om instructies te geven als het prototype via internet beschikbaar is, bestaat de kans dat foute conclusies worden getrokken en voor de verkeerde doeleinden worden gebruikt. Het is belangrijk te realiseren dat er grenzen zijn aan meetbaarheid en controleerbaarheid. Zoals uit de toetsing van het prototype is gebleken kunnen getallen verkeerd worden geïnterpreteerd of kunnen, door de hardheid van getallen, omgevingsfactoren uit het oog worden verloren. Om beter beleid te kunnen voeren is een rijker beeld nodig dan de fijnmazige informatie die de evaluatiemethode en het prototype bieden. De evaluatiemethode voor het programma KIS is gericht op het meten van ‘de buitenkant’. Het kan worden betwijfeld of dit een goede weergave is van de prestaties die de organisatie heeft geleverd en of de evaluatiemethode valide is. Bovendien is een gevolg van het meten van ‘de buitenkant’ en het niet ingaan op resultaten per project dat er geen inzicht is in de back-office. Dit is juist de plaats waar problemen zich zullen voordoen en verbetermogelijkheden te vinden zijn. Oorzaken van slechte resultaten zijn niet terug te vinden met deze evaluatiemethode. Als gevolg hiervan is deze methode niet geschikt om intern mee te sturen. Zou de gemeente Delft de evaluatiemethode ook binnen het ambtelijk deel van de organisatie willen gaan gebruiken, dan is het aan te raden om deze uit te breiden. Hier wordt op teruggekomen bij de aanbevelingen.
69
Naar aanleiding van de bevindingen van dit onderzoek zijn aanbevelingen opgesteld voor de gemeente Delft. Begonnen wordt met aanbevelingen voor het gebruik van het prototype en de evaluatiemethode. Daarna volgen suggesties om het prototype en de evaluatiemethode uit te breiden. Bij de toetsing van het prototype is gebleken dat het werken met het prototype niet als gemakkelijk wordt ervaren. Daarom wordt aangeraden het prototype eerst te demonstreren en de werking ervan uit te leggen voordat nieuwe gebruikers er zelf mee gaan werken. Het prototype is niet bedoeld als vervanging van schriftelijke rapportages. Zoals gezegd kunnen de resultaten van het prototype verkeerd worden geïnterpreteerd. Als rekening wordt gehouden met de beschreven risico’s, kan het prototype een hulpmiddel zijn bij het trekken van conclusies. Deze conclusies dienen schriftelijk te worden gepresenteerd. Het prototype kan gebruikt worden als achtergrondinformatie bij de schriftelijke rapportage. Overigens moet hierbij worden opgemerkt dat bij de ontwikkeling van de evaluatiemethode expliciet gekozen is de scores op prestatie-indicatoren niet verder te verwerken. Berekeningen tot een ‘hoofdscore’, bijvoorbeeld met een multicriteria-analyse, maken het mogelijk het programma KIS te beoordelen op slechts één score (het resultaat van de berekening met gewichten). Het resultaat lijkt dan eenduidig maar is sterk afhankelijk van de keuzes voor de gewichten. Aangeraden wordt om ook bij het gebruik van een schriftelijke rapportage, de scores op prestatieindicatoren te vermelden en niet alleen een berekende ‘hoofdscore’. Door beperkte tijd en middelen is het prototype oppervlakkig getoetst. Bij de invulling van het prototype is bijvoorbeeld gebruik gemaakt van fictieve waarden die de toekomst weergeven. Als gevolg hiervan is het slecht mogelijk geweest om de validiteit van het prototype te toetsen. Als echte metingen zijn verricht is het interessant nader te onderzoeken of het beeld van deskundigen over digitale dienstverlening in Delft overeenkomt met het beeld dat het prototype geeft. Omdat de informatie die nodig is voor de evaluatiemethode uit veel verschillende informatiebronnen moet komen, lijkt het niet zinvol om informatiesystemen te integreren. Wel is het waardevol om te onderzoeken hoe op een efficiënte manier gegevens uit het BAVAK over te brengen zijn naar het systeem dat de evaluatiemethode weergeeft. Dit zijn namelijk relatief veel gegevens en handmatige invoering kan onnodig veel tijd kosten. Om met het prototype te kunnen werken moeten er in de eerste plaats gegevens beschikbaar zijn. Om dit te garanderen wordt aangeraden één persoon verantwoordelijk te stellen voor het verzamelen van de gegevens. Deze persoon moet erop toezien dat jaarlijks de gegevens over de prestatie-indicatoren op tijd aanwezig zijn. Per prestatie-indicator is ook een verantwoordelijke aangewezen. Jaarlijks vraagt de hoofdverantwoordelijke aan deze persoon de informatie voor de betreffende prestatie-indicator in de juiste vorm aan te leveren. Voor de uitbreiding van het prototype worden de volgende suggesties gedaan: • Een interface bieden waarmee gegevens op eenvoudige wijze kunnen worden ingevoerd in de database (om het direct in de database invoeren van gegevens te voorkomen). • Plaatjes in het prototype (ten minste de staafdiagrammen) automatisch laten genereren op basis van gegevens in de database. • De mogelijkheid bieden om ook per product gegevens op te kunnen vragen. • De mogelijkheid inbouwen om zelf (per onderwerp) selecties van prestatie-indicatoren te tonen. • De mogelijkheid inbouwen om prioriteit te kunnen geven aan prestatie-indicatoren en deze bovenaan te plaatsen. Bij de analyse van het stuurmodel is gebleken dat meer aspecten van belang zijn dan alleen de output en het effect waar de evaluatiemethode op is gefocust. Het is daarom aan te raden de methode uit te breiden op de nu nog ontbrekende gebieden. Hiervoor wordt gesuggereerd vervolgonderzoek uit te voeren naar de mogelijkheid om de interne organisatie te monitoren door projecten in de evaluatiemethode op te nemen. Per project zal de te verwachte opbrengst in prestatie-indicatoren moeten worden uitgedrukt. Op deze wijze kan ook een selectie van projecten plaatsvinden door projecten met een (te) kleine bijdrage (uitgedrukt in een score op prestatie-indicatoren) niet uit te voeren of een lagere prioriteit te geven. Als dit proces continu wordt gemonitord en wordt teruggekoppeld naar de input, ontstaat een systeem waarmee kan worden gestuurd en waarmee wordt bijgedragen aan een oplossing voor de eerder geschetste problemen.
70
Literatuurlijst Ahaus, C.T.B. en F.J. Diepman (red.), Balanced Scorecard & Model Nederlandse Kwaliteit, Apeldoorn: Kluwer, 1998. Bouckaert, Geert, e.a. Prestatiemeetsystemen in de overheid: een internationale vergelijking, Brugge: die Keure, 2000. Broen, J.G.W, e.a., Besturing en beheersing: Balans in beweging, Deventer: Kluwer, 1995 Bruijn, Hans de, Prestatiemeting in de publieke sector: tussen professie en verantwoording, Utrecht: Lemma, 2001. Buytendijk, Frank en Jeannet Brinkhuis-Slaghuis, Balanced Scorecard: van meten naar managen, Deventer: Samsom, 2000. Consumentenbond, De marktmeester aan zet: ruimte maken voor consumentensoevereiniteit, Den Haag, oktober 2001, PDF-file Consumentenbond, ‘Gemeentehuid in cyberspace: Paspoort via internet toekomstmuziek’, Consumentengids, 50 (2002), nr. 2, p. 66-71. Duijvelaar, K.A.M., ‘Meten van productiviteit van informatiesystemen’, Od, 54 (2000), nr. 11, p. 406407, 409, 411, 413. Enserink, B, J.F.M. Koppenjan en W.A.H. Thissen, Analyse van complexe omgevingen, TB211, Delft: TU Delft Technische Bestuurskunde, 2000. Feber, C.J.M.M. de en R.D.W. Meerman, Resultaten quick-scan ICT-uitgaven en ICTbeleidsevaluatie, een rapportage van Cap Gemini Ernst & Young Nederland B.V. aan de rekenkamercommissie Delft, september 2000, PDF-file. Gemeente Delft, Raadsvoorstel NEON, 1999. Gemeente Delft, Programma KIS, 1999. Gemeente Delft, Collegeprogramma 2002-2006 ‘voorzetten en doorzetten’, 2002, Word-document. Gemeente delft, Internetbeleid, februari 2002, Word-document. Gemeente Delft, Status projecten per 1 maart 2002, maart 2002, Excel-document. Gemeente Delft, DVA’s vakteams cluster Facilitaire Dienstverlening, april 2002, Excel-document. Grembergen, Wim van, Bedrijfsinformatica en de Balanced Scorecard: een audit-benadering, Deventer: Kluwer, 1998. Groot, Hans de en René Goudriaan, De productiviteit van de overheid: over prestaties, personeel en uitgaven in de publieke sector, Schoonhoven: Academic Service, 1991. Hengst, M. den, Analyse van bedrijfssystemen, TB112, Delft: TU Delft Faculteit Techniek, Bestuur en Management, 2002 Hillenga, P.K. en J. Krul, ‘Balanced scorecard voor hele corporatie: een directe koppeling tussen beleid en resultaat’, Aedes-magazine, (1999), nr. 1, p. 22-25. Hoorweg, Erik, e.a., ‘De Public Balanced Scorecard als bestuurlijk instrument, Besturing en beheersing van de politieke verantwoordelijkheid’, Overheidsmanagement, (2000), nr. 7-8, p. 189-193. ICT, Informatiestromen (gemeente Delft), Pinmanager handleiding, maart 2001, Word-document.
71
Janssen, Marijn en René Wagenaar, ‘CRM in E-Government: A Dutch survey', The second European Conference on E-Government (ECEG'2002), St Catherine's College Oxford, 1-2 October 2002. Kaplan, Robert S. en David P. Norton, ‘Using the Balanced Scorecard as a Strategic Management System: Building a scorecard can help managers link today’s actions with tomorrow’s goals’, Harvard Business Review, 77 (1996), jan./febr., p. 75-85. Kaplan, Robert S. en David P. Norton, Op kop met de Balanced Scorecard: Strategie vertaald naar actie, Amsterdam: Contact, 1996. Kwaliteit in bedrijf, ‘De Balanced Scorecard: een westers equivalent van Quality Policy Deployment?’, Kwaliteit in Bedrijf, (1997), augustus, p. 6-10. Martinsons, Maris, e.a., ‘De Balanced Scorecard, een basis voor het strategisch management van informatiesystemen’, IT Management Select, 6 (2000), nr. 3, p. 49-68. Meerman, Rob en Jeanne de Feber, Onderzoek naar het ICT-beleid in de gemeente Delft voor de periode 1994-1999, augustus 2000, PDF-file. Nobel, Peter le, ‘INK-model biedt overzicht kwaliteit sociale diensten’, Sociaal Bestek, 61 (1999), nr. 12, p. 20-23. Premereur, André en Wim van Grembergen, Meten en beheren van de auditfunctie met de Balanced Scorecard, Dordrecht: Kluwer, 2001. Procesteam Digitale Dienstverlening, Digitale Dienstverlening Publiekszaken: Van wachtkamer naar huiskamer, maart 2002, Word-document. Projectgroep KIS (gemeente Delft), Bedrijfsplan KIS: Bedrijfsplan kennisinfrastructuur voor de gemeente Delft, december 1997, PDF-file. Rekenkamercommissie Delft, ICT in de gemeente Delft, november 2000, PDF-file. Sol, H.G., ‘Het Ontwikkelen van Informatiesystemen: Een probleem oplossende benadering’, ROM 2 no. 4 (1988), p. 2-6. Sol, H.G. en W. Bockstael-Blok, Policy process design and business system engineering: TB311 Lecture notes and reader, course 2000-2001, Delft: TU Delft Technische Bestuurskunde, 2000. Tufte, Edward R., The Visual Display of Quantitative Information, Cheshire, Connecticut: Graphics Press, 1983. Weinschenk, Susan, Sarah C. Yeo, Guidelines for enterprise-wide GUI design, New York: Wiley, 1995. Wijers, G.M., P.S. Seligmann, H.G. Sol, Analysing the Structure of I.S. Development Methods: A Framework for Understanding, Serc & Delft University of Technology, 1992.
72
Bijlagen
Bijlage 1: Overzicht clusters Bijlage 2: Overzicht projecten Bijlage 3: Lijst geïnterviewden Bijlage 4: Toelichting bij prestatie-indicator ‘Variëteit bezoekers’ Bijlage 5: Inventarisatie informatiebronnen gemeente Delft Bijlage 6: Klassediagram gegevensstructuur van de database Bijlage 7: Scenario’s, vragen en enquête toetsing prototype
73
Bijlage 1: Overzicht clusters Cluster
Taak73
Publiekszaken
individuele dienstverlening
Wijk- en Stadszaken
Bedrijven
Centrale Staf Facilitaire Dienstverlening
73
gemeentebreed wijkgericht werken en projecten en extern beleid diensten en producten die een sterk bedrijfsmatig karakter hebben onder andere organisatiebreed middelenbeleid en control interne dienstverlening en ondersteuning aan de clusters -
Raadsvoorstel NEON 1999, p. 6
74
Onderdelen Werk, inkomen en zorg Bouwen, Toezicht en Ondernemen Belastingen Instituut Sociale Raadslieden Burgerzaken Ingenieursbureau Leefbaarheid Kennisstad Wijkzaken en Projecten Duurzaamheid Musea Vrije Akademie Brandweer Archeologie Sportbedrijf Stadsbeheer Archief Strategie en Control Bestuurlijke Processturing Treasury en Riskmanagement Huisvesting, Services en Middelen Personeelszaken Informatie en communicatie technologie Juridische zaken Financiën Beheer gemeentelijke onroerende zaken Documentaire informatie voorziening Communicatie
Bijlage 2: Overzicht projecten Projecten bij de start van het programma KIS 1. Personeels investeringsplan 2. Kwaliteitsslag 3. Optimaal benutten DelftNet 4. Inrichten Basis Informatie Punt Systeem 5. Digitaliseren bestemmingsplannen 6. Vernieuwing basissystemen (IMIS, POVO, etc.) 7. Workflow 8. Informatie op Extranet 9. Investeren in voorsprong 10. Subsidie (CRS) 11. Ingenieursnetwerk 12. Reiniging en OWW op Internet 13. Uitwerken balieproductclusters in balieproducten 14. Samenvoegen KIS-producten/Stadhuis op Internet 15. Ontwerpen van een zoekstructuur 16. Top 100 van aan gemeente gestelde vragen op Internet 17. Communicatieplan Projecten anderhalf jaar na de start van het programma KIS 1. Communicatieplan KIS 2. Personeelsinvesteringsplan 3. Millennium 4. Webplek overeenkomst (DVO) 5. Standaardisering Kantoorautomatisering 6. Optimaal Benutten DelftNet 7. Kwaliteitsslag Beheer I&A (ITIL) 8. Documentgenerator (CODE) 9. DMZ 10. NT-Cluster 2 & 3 11. Basisinformatie 12. Vernieuwing basissystemen 13. ZWAAN – Bedrijvenatlas 14. LWI/ICES 15. Digitaliseren Bestemmingsplannen 16. Brandweer Informatie Systeem (BIS) 17. Uitbouw Kennisorganisatie 18. WISE 19. VIP 20. Management Informatie Systeem (MIS) 21. Informatie op Extranet 22. Investeren in Voorsprong 23. Subsidies (CRS) 24. Interactieve besluitvor-ming - Sportnota 25. RIS - bestuurlijke stukkenstroom 26. Reiniging/OWW op Internet 27. Gemeente Delft Site 28. Sportvisie op Internet 29. Jongerensite 30. Israel Office op Internet 31. ICICT 32. Stadsgids op Internet 33. Stad Delft
75
Bijlage 3: Lijst geïnterviewden Naam
Functie
C.L. Baljé
Wethouder (o.a.) verantwoordelijk voor digitale dienstverlening en ICT, raadslid tijdens het verschijnen van het rapport ‘ICT in de gemeente Delft’
H. Bos
Extern adviseur, lid regiegroep DKO
H.G.L.M. Camps
Clusterdirecteur Facilitaire Dienstverlening
B. Janssen
Vakteamhoofd ICT, lid regiegroep DKO
K.E.J. Kientz
Sectorhoofd inwonerszaken, projectleider Digitale Dienstverlening, lid regiegroep DKO
J.S.M. Koenen
Controller cluster Facilitaire Dienstverlening
C. Kruizinga
Clusterdirecteur Publiekszaken, voorzitter regiegroep DKO
M. Mahler
Oud wethouder (o.a.) verantwoordelijk voor Informatie- en Communicatietechnologie
I.E. van de Water
Accountmanager vakteam ICT
76
Bijlage 4: Toelichting bij prestatie-indicator ‘Variëteit bezoekers’ Op verschillende sites van de gemeentesite zijn tellers van Nedstat geplaatst. Eén van de zaken die deze tellers monitoren is het aantal pageviews (het aantal keer dat een webpagina is opgevraagd en bekeken). Hierbij is het mogelijk om van dit aantal pageviews, ook het aantal unieke IP-adressen te bekijken. Dit geeft dus een indicatie van het aantal verschillende bezoekers aan de site (uitgedrukt in aantal verschillende IP-adressen waarmee de website is geraadpleegd). Een probleem met IP-adressen is echter dat internetproviders aan gebruikers die verbinding maken vaak een IP-adres toedelen uit een pool van IP-adressen. Als daarna de verbinding wordt verbroken wordt dit IP-adres weer aan de pool toegevoegd. De volgende gebruiker kan daarna opnieuw gebruik maken van hetzelfde IP-adres. Door dit dynamisch toewijzen van IP-adressen is het niet duidelijk of eenzelfde IP-adres ook eenzelfde gebruiker betekent. Tevens is het mogelijk dat dezelfde gebruiker de website bezoekt onder meerdere IP-adressen. Een ander probleem is dat Nedstat het aantal pageviews met unieke IP-adressen alleen per dag, per week of per maand weergeeft. Het is dus niet mogelijk om het totaal aantal verschillende bezoekers te achterhalen dat de website ooit bezocht heeft. Dit probleem kan worden opgelost door de informatie over de verschillende IP-adressen niet van Nedstat te gebruiken maar uit de logfile te halen. Analyse van de logfile wordt bij het gebruik van digitale dienstverlening besproken. Een andere manier om een indruk te krijgen van de variëteit van de bezoekers is door gebruik te maken van cookies. Als een bezoeker de website opvraagt, kan een cookie worden geplaatst in de browser van de bezoeker. Bij elk bezoek aan de website kan worden gecontroleerd of de bezoeker al eerder de website heeft geraadpleegd door na te gaan of er een cookie aanwezig is. Als er geen cookie is, wordt deze geplaatst en wordt met behulp van een teller in een database het aantal unieke bezoekers met één opgehoogd. Dit aantal geeft een indruk van de variëteit van de bezoekers (uitgedrukt in het aantal verschillende browsers waarmee de website is geraadpleegd). Ook bij het gebruik van cookies spelen een paar problemen. Ten eerste kan een bezoeker het gebruik van cookies in zijn browser hebben uitgeschakeld. Hierdoor is het niet mogelijk om een cookie te plaatsen en kan dus ook niet worden nagegaan of de bezoeker de website al eens heeft bezocht. Om aan dit bezwaar tegemoet te komen, zou nagegaan kunnen worden of na plaatsing van het cookie, het cookie inderdaad aanwezig is (als dit niet zo is, maakt de browser blijkbaar geen gebruik van cookies). Hiermee kan een indruk verkregen worden van het percentage gebruikers dat cookies heeft uitstaan en kunnen de wel beschikbare gegevens hieraan worden aangepast. Een ander punt is dat gebruikers cookies zelf kunnen verwijderen van hun computer, waardoor de gegevens niet meer kloppen. Het is de vraag of dit in grote getale gebeurt. Bij beide manieren van meten geldt overigens dat niet te achterhalen is of de bezoeker van de website inwoner van Delft is. Wel is het bij beide methoden mogelijk om dezelfde gegevens te verkrijgen voor elk product dat wordt aangeboden. Bij de eerste methode zal hiervoor voor elk product een teller beschikbaar moeten zijn die op de pagina geplaatst wordt waarop het product wordt aangeboden. Bij de tweede manier wordt bij het bezoeken van elke productpagina een ander cookie geplaatst en moet er per product een teller worden bijgehouden met het aantal unieke bezoekers.
77
Bijlage 5: Inventarisatie informatiebronnen gemeente Delft Binnen de gemeente wordt op verschillende plaatsen informatie bijgehouden over het resultaat van digitale dienstverlening. Deze informatie is echter verdeeld over de clusters. Om te voorkomen dat het verkrijgen van informatie voor de evaluatiemethode veel overlast veroorzaakt voor de medewerkers van de gemeente Delft, is een inventarisatie gemaakt van de informatie die wordt bijgehouden (in verschillende organisatieonderdelen) en al beschikbaar is. Websites De gemeente Delft heeft een gemeentelijke internetsite (www.gemeentedelft.info) en tevens is er vanuit de gemeente het initiatief genomen om een portal te maken voor de inwoners van Delft (www.delft.nl). Vanuit dit portal kan ook de gemeentesite worden bereikt. De gemeentelijke internetsite is op 18 juni 2002 vervangen door een nieuwe versie. Naast het portal en de gemeentesite zijn er nog andere websites, onder andere van: Delft Kennisstad, het Gemeentearchief, de Digitale Stamboom, de Brandweer, de Vrije Akademie, Musea, Digitaal Erfgoed Delft, Delftse Monumenten Digitaal en het Sportbedrijf Delft. De gemeente Delft wil ook de zeven wijken van de gemeente elk een eigen internetsite geven. Op dit moment is er alleen nog maar een website voor de Wippolder. Bezoekers website De gemeente had voor de oude website een contract met Nedstat voor het bijhouden van 22 tellers. Dit contract is voor de nieuwe website uitgebreid naar 40 tellers. Hiermee kunnen dus 40 pagina’s worden gemonitord. Er worden gegevens bijgehouden over het aantal pageviews, de klikpaden, de herkomst en eigenschappen van de browsers en computers van de bezoekers. Met de 40 tellers kunnen niet alle webpagina’s van de gemeente worden gemonitord. Ook wordt een logfile bijgehouden van de website. Hieruit zou ook informatie over het aantal pageviews kunnen worden gehaald. Gebruikersonderzoek Bij het team Onderzoek en Statistiek zijn geen onderzoeken uitgevoerd naar het gebruik van en de tevredenheid over de gemeentelijke internetsite en digitale dienstverlening. Wel is er een evaluatie geweest over de wijksite van de Wippolder. Informatie hierover komt later beschikbaar. Binnenkort wordt vanuit het cluster Publiekszaken een klanttevredenheidsonderzoek uitgevoerd op locatie (d.w.z. onder ‘klanten’ die een bezoek brengen aan de fysieke balie). Hierin zullen ook enkele vragen worden gesteld over digitale dienstverlening. Producten op de website Op de gemeentelijke internetsite zijn de ‘producten’ te vinden die de gemeente Delft aanbiedt aan de burgers. Er zijn drie verschillende manieren waarop de producten op de internetsite kunnen staan. Ten eerste is er een aantal producten dat interactief kunnen worden afgenomen van de internetsite. Dit houdt in dat de gehele afhandeling via internet plaatsvindt. De burger kan een formulier invullen en verzenden via internet. Op dit moment is dit alleen mogelijk voor een adreswijziging, een grofvuilmelding en een melding openbare ruimte (met verschillende varianten). Binnen de organisatie is er onderscheid in de manier van verwerken. De formulieren van de grofvuilmeldingen worden automatisch verwerkt. De formulieren voor een adreswijziging of een melding openbare ruimte die op internet zijn ingevuld komen bij het betreffende organisatieonderdeel in de vorm van een e-mail binnen. Dit onderscheid is echter voor de burger niet zichtbaar. De tweede manier waarop een product op de website kan voorkomen is in de vorm van een PDF-file met het formulier dat kan worden gedownload. Het formulier moet worden ingevuld en vervolgens bij de gemeente worden ingeleverd of afgegeven. Tot slot zijn er producten waar alleen informatie over te vinden is op de internetsite. Digitale afhandeling of digitale formulieren uitprinten is hiervoor (nog) niet mogelijk. De gegevens over het aantal producten dat zich in een bepaalde fase (manier van presentatie op internetsite) bevindt, kan uiteraard direct van de internetsite worden verkregen. Cluster Publiekszaken Het cluster Publiekszaken heeft de meeste producten die zich lenen voor digitale dienstverlening. Op dit moment kan alleen de adreswijziging digitaal plaatsvinden. Hierover worden gegevens bijgehouden zoals bijvoorbeeld het aantal adreswijzigingen dat digitaal binnenkomt. Verder maakt het cluster Publiekszaken gebruik van het klantenvolgsysteem Bavak. Hiermee wordt iedere klant die een bezoek
78
brengt aan de balie gevolgd. Uit dit systeem kunnen gegevens worden gehaald over de wachttijden, het aantal klanten en afhandeltijden, per product of per productgroep en voor verschillende tijdseenheden. Naast het initiatief om steeds meer producten digitaal aan te bieden, zijn er ook initiatieven voor het opzetten van wijkservicepunten. Dit is een locatie in de wijk waar de burger voor zeven producten terecht kan. Als een product niet wordt geleverd, dan kan direct een afspraak worden gemaakt met de betrokkene die de burger wel kan helpen. Met dit initiatief zal rekening moeten worden gehouden bij het gebruiken van de gegevens over het baliebezoek. Een mogelijke vermindering van baliebezoek kan worden veroorzaakt door digitale dienstverlening, maar ook door de opkomst van wijkservicepunten. Producten sector Stadsbeheer (cluster Bedrijven) De sector Stadsbeheer is onderdeel van het cluster Bedrijven en is verantwoordelijk voor het beheer van de openbare ruimte. Het is onderverdeeld in de vakteams Reiniging (inspectie, overlaad, inzameldienst, klein chemisch afval en wit- en bruingoedhal), Civiel (bestrating en riolering), Groen (groenvoorziening, speelplaatsen en begraafplaatsen) en de Technische Dienst (gemalen, straatmeubilair en werkplaats). De sector Stadsbeheer biedt circa 40 producten aan, waarvan sommige weer verschillende varianten kennen. Op dit moment zijn alleen de grofvuilmeldingen en de meldingen openbare ruimte digitaal. Van deze meldingen worden bij de sector gegevens bijgehouden zoals het aantal grofvuilmeldingen per wijk per maand (via internet en telefonisch) en het aantal meldingen openbare ruimte per onderwerp (in verschillende niveaus). Een andere manier om meldingen te doen is telefonisch. Sinds kort wordt bij de sector Stadsbeheer het call-centersysteem Frontline gebruikt. Hiermee worden gegevens bijgehouden zoals het aantal telefoongesprekken, wachttijden en gesprekstijden. Financiën Het is moeilijk om een goed beeld te krijgen van de financiën van het programma KIS. Hierbij spelen verschillende zaken een rol. Ten eerste is het programma KIS in 1997 van start gegaan met een fonds (van 4,5 miljoen gulden). Hieruit werden de projecten gefinancierd. Het is de vraag of nog te achterhalen is welke bedragen precies in welke projecten zijn geïnvesteerd om hieruit de projecten ten bate van digitale dienstverlening te selecteren. Omdat er geen uren zijn geschreven voor de verschillende projecten, is het niet mogelijk om de arbeidskosten toe te schrijven aan verschillende doelen zoals interne ICT-voorziening en digitale dienstverlening. Het is de vraag of die scheiding überhaupt aan te geven is. Waar ligt de grens bij bijvoorbeeld een back-officesysteem dat nodig is voor digitale dienstverlening maar ook voor balieafhandeling grote voordelen heeft? Naast het budget uit het KIS-fonds hebben de clusters ook zelf geld gestoken in projecten waar ze om gevraagd hebben. Hierdoor is het niet meer helder hoeveel geld in totaal is geïnvesteerd in het programma Kennis Infrastructuur. Het is niet mogelijk om te achterhalen wat er de afgelopen vier jaar door de verschillende clusters in digitale dienstverlening is geïnvesteerd. De meningen zijn verdeeld over de vraag of het mogelijk zou zijn om in de toekomst de bedragen die de clusters investeren in digitale dienstverlening bij te houden. Het vakteam ICT geeft er de voorkeur aan alleen uit te gaan van het budget speciaal uitgetrokken voor KIS. Voor de periode KIS 2 is een voorstel gedaan voor een totaalbedrag van 3.000.000,- euro. Opgesplitst in verschillende projecten is voor het jaar 2003 74 450.000,- euro begroot. Servicedesk Tot slot worden gegevens bijgehouden bij de Servicedesk. De servicedesk fungeert als het toegangsportaal tot de ICT-organisatie. Hier kunnen medewerkers van de gemeente (telefonisch) terecht met problemen of aanvragen voor nieuwe apparatuur. Ook hier wordt gebruik gemaakt van het call-centersysteem Frontline waarin gegevens worden bijgehouden over het aantal telefoongesprekken, wachttijden en gesprekstijden. Verder wordt gebruik gemaakt van het Support Magic Systeem. Hierin worden de meldingen en oplossingen per onderwerp bijgehouden. Ook is er nog een systeem waarin de gegevens van alle apparatuur en de status ervan binnen de gemeente Delft wordt bijgehouden.
74
Aanzet claim KIS II
79
Bijlage 6: Klassediagram gegevensstructuur van de database vorm digitale dienstverlening-subscore product zoekmachinesubscore zoekmachine verwijzingsubscore verwijzing product subscore product waarde
subdoel naam 1..7 1..* prestatie-indicator naam eenheid doelrichting omschrijving verantwoordelijke informatiebron opmerking
organisatie-onderdeelsubscore
1
organisatie-onderdeel waarde
*
project subscore project waarde teller/noemer subscore waarde teller eenheid teller waarde noemer eenheid noemer besparing subscore product jaar tijd digitale-verwerking afname digitaal tijd balie-verwerking balie-afname product/maand subscore product waarde januari waarde februari waarde maart waarde april waarde mei waarde juni waarde juli waarde augustus waarde september waarde oktober waarde november waarde december totaal
80
score waarde periode 1 0..* subscore
1
*
norm waarde periode datum persoon reden
Bijlage 7: Scenario’s, vragen en enquête toetsing prototype Deel A: Scenario’s 1. De eerste vijf prestatie-indicatoren van het onderwerp ‘Aanbod’ geven de status van de formulieren van producten weer. In 2004 zijn er twee afwijkingen van de norm te zien. Een negatieve afwijking van 50% en een positieve afwijking van 25%. Hoe zou u deze score op de vijf prestatie-indicatoren interpreteren (positief of negatief) en waarom? 2. In het komend jaar zal één product, waarbij het formulier op dit moment alleen vanaf internet kan worden uitgeprint, ook digitaal verstuurd en verwerkt gaan worden. Welk product moet hiervoor worden gekozen om een zo groot mogelijk aantal digitaal verwerkte formulieren te krijgen? 3. Het lijkt erop dat het digitaal beschikbare formulier voor een ‘Uittreksel GBA’ niet zo’n groot succes is. Kunt u in het prototype terugvinden of dit inderdaad het geval is? Waar ziet u dat aan? 4. Begin van het jaar 2004 is er een reclamecampagne gehouden om het digitaal aanvragen van een ‘vergunning openbare ruimte’ te stimuleren. Kunt u in het prototype terugvinden of deze campagne effect heeft gehad? Waar ziet u dat aan? 5. In het komend jaar is er een budget om één product digitaal te gaan verwerken. Kunt u terugvinden in het prototype van welk product de interne verwerking zodanig kan worden aangepast dat de grootst mogelijke besparing behaald wordt? 6. Kunt u in het prototype terugvinden wat nu de hoogste prioriteit heeft en hoe sturing gegeven kan worden aan digitale dienstverlening? Deel B: Vragen genoemd tijdens interviews Tijdens interviews zijn vragen genoemd die de gemeente met behulp van een evaluatiemethode graag beantwoord zou willen zien. Kunt u nagaan in hoeverre u deze vragen kunt beantwoorden met behulp van het prototype? • Loopt het programma KIS goed of loopt het niet goed? • Vinden burgers dat ze meer mogelijkheden hebben op het gebied van digitale dienstverlening? En zijn ze tevreden? • Hoeveel kan er bespaard worden op de inzet van personeel aan de balie of aan de telefoon door het aanbieden van digitale dienstverlening? • Staan de uitgegeven middelen in verhouding met wat we ervoor hebben teruggekregen als gemeenschap? • Hebben de burgers meer diensten gekregen? Deel C: Enquête Om het prototype goed te kunnen evalueren wordt u tot slot verzocht de onderstaande vragen te beantwoorden. 1 2 3 4 5 1. Kunnen met behulp van het prototype de scenario’s worden ingevuld? Opmerking:
slecht
2. Kunnen met behulp van het prototype de vragen genoemd tijdens interviews worden beantwoord? Opmerking:
slecht
3. Hebben de prestatie-indicatoren toegevoegde waarde? Opmerking: 4. Heeft de indeling van prestatie-indicatoren in onderwerpen toegevoegde waarde? Opmerking: 5. Hoe ervaart u de hoeveelheid prestatie-indicatoren? Opmerking: 6. Heeft de gedetailleerde informatie over de scores (Score-opbouwscherm) toegevoegde waarde? Opmerking:
Ο
Ο
Ο
Ο
Ο
Ο
Ο
Ο
Ο
Ο
Ο
Ο
Ο
Ο
Ο
Ο
Ο veel
Ο
Ο
Ο
te weinig voldoende
weinig
Ο weinig
weinig
Ο
Ο goed
veel
Ο
Ο goed
Ο
Ο
Ο
Ο te veel
Ο veel
81
7. Geeft het prototype een overzichtelijk beeld? Opmerking: 8. Is de informatie die het prototype geeft begrijpelijk? Opmerking: 9. Is de informatie die het prototype geeft voldoende? Opmerking: 10. Maakt het prototype ook duidelijk dat we veel niet kunnen meten en ook niet weten? Opmerking:
1
2
3
4
Ο
Ο
Ο
Ο
helemaal niet
Ο
Ο
Ο Ο
Ο
kort
Ο
Ο
Ο
Ο
Ο
Ο te veel
Ο
Ο
Ο
Ο
Ο makkelijk
Ο
Ο
Ο lang
Ο
Ο
schriftelijke rapportage
Ο
Ο
zeer
12. Wat vindt u van de tijdsduur die nodig is om met het prototype te leren werken? Opmerking:
82
Ο
helemaal niet
moeilijk
14. Wat is uw algemene indruk van het prototype? Opmerking:
Ο
zeer
11. Hoe ervaart u het interpreteren van de informatie van het prototype? Opmerking:
13. Geeft u de voorkeur aan het prototype of een schriftelijke rapportage met dezelfde informatie? Opmerking:
Ο
te weinig voldoende
Ο
Ο zeer
helemaal niet
Ο
5
Ο
niet geschikt voor gebruik
Ο
beide
Ο
prototype
Ο
Ο
geschikt voor gebruik
