Onderzoek naar de informatiehuishouding Twee vragenlijsten vergeleken Wat zijn de verschillen tussen een informatie audit vragenlijst en een e-discovery checklist en maak je een keuze of kunnen ze elkaar aanvullen? Annemarie Kunst-Jol 4-6-2013
Inhoudsopgave Inleiding .................................................................................................................................3 Doel .......................................................................................................................................3 Onderzoeksmethode ...............................................................................................................3 Resultaten...............................................................................................................................3 Aanbeveling: keuze of samenvoegen? ....................................................................................4 Conclusie: ..............................................................................................................................7
Inleiding Aanleiding voor dit onderzoek is een gesprek met G.J. van Bussel, lector van het lectoraat Digital Archiving and Compliance geweest. Vanuit het vak van informatiemanagement wordt er gebruik gemaakt van een instrument voor een informatie audit, om te kunnen onderzoeken of en hoe goed een organisatie zijn informatievoorziening op orde heeft. Recentelijk is vanuit het lectoraat E-Discovery een checklist voor ‘forensic readiness’ ontwikkeld, die (vanuit een ander oogpunt) ook onderzoekt of en hoe een organisatie zijn informatievoorziening op orde heeft. Omdat beide instrumenten gebruikt worden voor onderzoek naar hetzelfde, zou je kunnen verwachten dat de resultaten bij het gebruik van beide instrumenten hetzelfde zijn. Omdat ze echter vanuit een hele andere achtergrond ontwikkeld zijn, en wellicht een heel ander doel dienen zou het heel goed kunnen dat de resultaten van elkaar verschillen. Wanneer je onderzoek wilt doen naar de gesteldheid van de informatievoorziening van een organisatie, wil je dat deze zo volledig mogelijk is voor het doel waarvoor je het inzet. Nu nog niet helder is op welke punten deze instrumenten verschillen, is het niet mogelijk om een doelbewuste keuze maken voor het ene of het andere instrument, dan wel items uit beide instrumenten te gebruiken om een zo volledig mogelijk onderzoek te doen. Dit adviesrapport is een zeer verkorte weergave van het onderzoek naar deze twee instrumenten en mijn gemotiveerde advies wat ik op basis daarvan geformuleerd heb. Voor een uitgebreid volledig overzicht van de onderzoeksmethode, achtergrondinformatie en resultaten, alsmede naar de gebruikte vragenlijsten verwijs ik naar mijn bachelorscriptie.
Doel Doel van dit onderzoek is om inzicht krijgen in de verschillen tussen de informatie audit vragenlijst en de forensic readiness checklist om advies te kunnen geven wanneer het best gekozen kan worden voor welk instrument en waarin ze elkaar mogelijk kunnen aanvullen. Om het onderzoek ook in praktische zin uit te voeren, heb ik de twee vragenlijsten ook toegepast in (twee) gemeentelijke organisaties en de resultaten met elkaar vergeleken.
Onderzoeksmethode Door middel van literatuuronderzoek heb ik informatie gevonden over de achtergrond van de informatie audit en forensic readiness onderzoek. Op basis hiervan heb ik een keuze gemaakt voor de RODIN vragenlijst en de Checklist e-discovery readiness. Hiervan heb ik een analyse op vraagniveau gemaakt. Daarnaast heb ik ook praktijkonderzoek gedaan. Hiertoe heb ik bij twee gemeentelijke organisaties interviews gehouden met behulp van beide vragenlijsten. Tot slot heb ik over mijn bevindingen interviews gehouden met drie experts op het gebied van informatie auditering en 3 experts op het gebied van e-discovery.
Resultaten De vragenlijsten verschillen op een aantal punten waar het gaat om de vorm, het aantal vragen, toelichting e.d. Op vraagniveau komen 13 vragen van de Rodin vragenlijst niet of nauwelijks voor in de checklist e-discovery readiness. Het betreft vragen op het gebied van: mensen en middelen; wijze van ordening van archiefbestanddelen;
wijze van toekenning metadata; koppeling tussen digitaal bestanddeel en metadata; zoekopdracht naar digitale archiefstukken; waarborging van de samenhang van archiefbestanddelen; ICT (risicoanalyse, beveiligingsplan, controle back-ups, beheertaken, eisen aan ICT dienstverleners en serverruimte).
Op vraagniveau komen 16 vragen van de checklist e-discovery niet of nauwelijks voor in de Rodin vragenlijst. Het betreft vragen op het gebied van: organisatiekenmerken / aspecten; gebruik van systemen voor informatie, data-opslag; onderscheid tussen informatie en records; plaats en vorm waar(in) informatie zich bevindt. Resultaten van de onderzoeken die ik bij de beide gemeentes heb uitgevoerd, lieten (o.a.) het volgende zien: beide gemeentes scoren op beide vragenlijsten aardig vergelijkbaar, maar de resultaten van de checklist e-discovery readiness komen meer met elkaar overeen dan de resultaten van de Rodin vragenlijst; op de checklist e-discovery readiness wordt (procentueel gezien) door beide gemeentes beter gescoord (gemeente X 76 % ja, gemeente Y 75 % ja) dan op de Rodin vragenlijst (gemeente X 56 % ja, gemeente Y 64 % ja). Tevens heb ik een aantal verschillen en overeenkomsten gevonden bij de uitvoering van het onderzoek. In de interviews met experts bleken de verschillende experts grotendeels wel op één lijn te zitten en vonden ze, in zijn algemeenheid, de meeste onderwerpen wel belangrijk om aan de orde te laten komen. Voor de achtergrondtheorie en de uitgebreide overzichten van de onderzoeksresultaten verwijs ik naar mijn scriptie.
Aanbeveling: keuze of samenvoegen? Een belangrijk doel van dit onderzoek was antwoord vinden op de vragen of een keuze nodig is voor toepassing van één van beide instrumenten en / of dat het mogelijk is dat beide instrumenten elkaar aanvullen. De vragenlijsten overlappen, zeker qua onderwerpen voor een groot deel. Ondanks dat ze grotendeels dezelfde onderwerpen behandelen, zijn de vragen zo verschillend geformuleerd dat ze vaak net andere aspecten belichten of net andere nuances aanbrengen in de vraag. De vragen werden geformuleerd met een ander doel. Interpretatie van de vragen en met name de antwoorden en de mate van belang van bepaalde vragen verschillen nogal voor het doel waarvoor je het gebruikt. Een aantal vragen zijn voor het ene doel wat meer relevant dan voor het andere en andersom. Om meer organisaties e-discovery ready te maken en hier preventief aandacht voor te hebben voordat een incident plaatsgevonden heeft (zoals nu vaak gebeurd) zou heel nuttig kunnen zijn als de vragenlijsten samengevoegd konden worden tot één vragenlijst. Informatie-audits
komen, in ieder geval bij gemeenten (mede ivm inspectie en nu intern in het kader van de verplichte horizontale verantwoording) met een regelmatige frequentie voor. Als je door enkele vragen toe te voegen aan de vragenlijst voor de informatie audit meteen het aspect van e-discovery readiness mee zou kunnen nemen, zou dat efficiënt zijn en het onderwerp ediscovery readiness meer onder de aandacht brengen. Nadeel is dat je de antwoorden op de vragenlijsten wel vanuit twee verschillende interpretatiekaders zou moeten beoordelen, om een antwoord te kunnen geven op de vraag: is de kwaliteit van de informatiehuishouding voldoende vanuit het perspectief van digital archiving en vanuit het perspectief van ediscovery readiness. Als je deze twee vragenlijsten samen zou willen voegen tot een vragenlijst, zou ik als basis de Rodin vragenlijst kiezen. Deze behoeft de minste aanvulling uit de andere vragenlijst (als je kijkt naar welke vragen niet overeenkomen op vraagniveau). Bovendien als je kijkt naar de resultaten van het onderzoek bij de beide gemeenten, dan zie je ook dat in de Rodin vragenlijst kennelijk meer aspecten aan de orde komen, want daar wordt, op basis van dezelfde informatiehuishouding, procentueel lager gescoord dan op de Checklist e-discovery readiness. De Rodin vragenlijst zou op basis van dit onderzoek dan aangevuld moeten worden met vragen over de gebruikte informatiesystemen (de Rodin vragenlijst richt zich voornamelijk op archiefsystemen); vragen over waar de gegevens zich bevinden (en of ze in papieren vorm of digitaal zijn en liefst ook of het (semi-)gestructureerde data of ongestructureerde data betreft); en (indien de vragenlijst ook bij andere organisaties dan gemeenten toegepast gaat worden): vragen over de organisatiekenmerken / aspecten, zoals missie, visie en strategie. Uitermate lastig hierbij is om voor deze vragen een formulering te vinden die enigszins passend is bij de stijl van de rest van de vragen van de Rodin vragenlijst. Omdat de vragenlijsten in vorm en formulering zo van elkaar verschillen, levert dat wel problemen op om de vragenlijsten samen te voegen tot één geheel. Wellicht zou het beter zijn om van beide vragen onderwerpen te definiëren en daarmee een nieuwe vragenlijst op te stellen. De vraag is echter of dit echt zoveel meerwaarde oplevert. De vragenlijst wordt langer, het is meer werk om de resultaten vanuit twee perspectieven te interpreteren en zit een organisatie daarop te wachten als gevraagd wordt om onderzoek te doen met een bepaald specifiek doel. Aanleiding voor een onderzoek naar e-discovery readiness is vaak een incident en dat ze dan willen kijken hoe ze dat voor de toekomst kunnen voorkomen of het onderzoek beter kunnen doorlopen. De meeste organisaties willen dan graag een redelijk snelle gerichte check en zitten wellicht niet te wachten op een uitgebreid onderzoek naar in welke mate de hele informatiehuishouding ook nog bijdraagt aan de bedrijfsvoering. In het algemeen zou ik ten aanzien van beide vragenlijsten zou ik nog de volgende aanbeveling willen doen: Voeg bij beiden een (uitgebreidere) toelichting toe, waarin opgenomen: hoe de vragenlijst gehanteerd dient te worden (schriftelijk, mondeling, als gestructureerde vragenlijst of als eigen checklist voor de onderzoeker), dit ook in relatie tot de informatie die de antwoorden opleveren (ja, nee enz. of toelichting waarom) onder welke voorwaarden de vragenlijst gebruikt dient te worden (bijv. welke type functies dienen bevraagd te worden)
welke kennis en vaardigheden van de onderzoeker gevraagd worden (zeker als de Rodin vragenlijst in niet-archiefwetgebonden organisaties toegepast zou worden, waar de medewerker die verantwoordelijk is voor het informatiebeheer wellicht niet heel vertrouwd is met de terminologie in deze vragenlijst. een interpretatiekader voor de antwoorden (hoewel dit natuurlijk ook organisatie- en contextgebonden kan zijn).
Conclusie: De vragenlijsten komen grotendeels qua onderwerpen overeen. Op vraagniveau verschillen veel vragen in nuance of in specifieke aspecten en komen een aantal vragen van de Rodin vragenlijst (informatie audit vragenlijst) niet voor in de checkllist e-discovery readiness en andersom. Op de beide vragenlijsten wordt met dezelfde informatiehuishouding positiever gescoord op de e-discovery checklist dan op de Rodin vragenlijst. Dit geldt voor beide gemeentes. Keuze voor toepassing van een van beide instrumenten is zinvol, omdat ze beiden met een ander doel toegepast worden. Het is moeilijk praktisch te realiseren dat de ene vragenlijst de andere op een zinvolle en stijlvolle manier aanvult. Wanneer het zeer wenselijk wordt geacht om toch één vragenlijst te gebruiken voor beide onderzoeken, zou het beter zijn om vanuit onderwerpsniveau een nieuwe vragenlijst samen te stellen. Daarnaast heb ik nog een aantal aanbevelingen gedaan voor mogelijke verbeteringen van beide vragenlijsten.
