Vergadering Afnemersraad MiDaS Maandag 15 april 2013 14.30-16.30 Locatie: CBS Aanwezig: Paul de Graaf (COS Rotterdam) Bas van der Klaauw (VU) Lucy Kok (SEO) Jan van der Linden (EIM) Arthur van Soest (Netspar) Ineke Stoop (SCP, voorzitter) Ruben Dood (hoofd Centrum voor Beleidsstatistiek) Ruurd Schoonhoven (Relatiebeheerder MiDaS, secretaris) Verhinderd: Michiel van den Hauten (Min. SZW) Johan Polder (RIVM) Bas ter Weel (CPB) Ilonca Vaartjes (UMC Utrecht, Julius Centrum) Agenda: 1. Opening, vaststellen agenda 2. Terugblik op twee jaar afnemersraad 3. Follow-up brief van afnemersraad aan CBS over IT problemen 4. Upgrade SAS van 9.1 naar 9.3 5. Communicatie over nieuwe versies van bestanden 6. Communicatie met CBS medewerkers 7. Onderzoek door CBS zelf vs door (private) onderzoeksinstellingen 8. Toepassing geheimhoudingsrichtlijnen bij outputs 9. CCS-machtiging drempel voor toegang tot microdata 10. Eventuele vragen over schriftelijke mededelingen (bijlage) 11. Rondvraag en sluiting 1. Opening, vaststellen agenda De voorzitter heet de aanwezigen welkom. Notulen van de vorige vergadering zijn reeds per mail becommentarieerd en goedgekeurd en inmiddels op de website van het Centrum voor Beleidsstatistiek gepubliceerd. De agenda wordt ongewijzigd vastgesteld. 2. Terugblik op twee jaar afnemersraad Ruben Dood geeft aan de afnemersraad erg te waarderen. Bij beleidsmatige onderwerpen, zoals de tariefstelling, levert de klankbordfunctie waardevolle inzichten vanuit klantperspectief. De raad legt bij het CBS duidelijk gewicht in de schaal daar waar CvB intern CBS verbeteringen tracht te realiseren, zoals bij de brief over de IT-problemen. De ervaring van de raad is soortgelijk. Enkele leden van de raad geven aan dat er een zeker spanningsveld is tussen hun persoonlijke inbreng en hun rol als representant van een achterban van vergelijkbare instellingen (denk aan VSO, VBO). Er bestaan zowel mogelijkheden als behoefte om die laatste rol nadrukkelijker op te pakken. Tevens geven enkele leden aan het als handicap te ervaren dat zij zelf (maar wellicht ook de raad als geheel) relatief ver van het operationele niveau af staan. Eén lid geeft mede om die reden aan graag plaats te maken voor een opvolger die hierin kan voorzien. Ineke Stoop en Ruben Dood zullen dit oppakken, mede binnen de oorspronkelijke gedachte van roulatie van leden na enkele jaren lidmaatschap 3. Follow-up brief van afnemersraad aan CBS over IT problemen (bijlage) Ineke Stoop heeft namens de afnemersraad in een brief aan het CBS de ernstige zorgen bij gebruikers verwoord omtrent de situatie rond de IT voorzieningen en de schijnbare stagnatie van verbeteringen
daarin. Een schriftelijke reactie van het CBS is nog onderweg. Ruben Dood geeft aan dat naar aanleiding van de brief het upgraden van het RA netwerk in de tijd aanzienlijk naar voren is gehaald en inmiddels ver gevorderd is. Er is een 64-bits werkomgeving gecreëerd met Windows 7 en actuele versies van software zoals SPSS 20 en Stata 12. Er zijn echter nog enkele technisch hobbels (onder andere de interface met de vingerafdruklezers). Optimisme over de verdere doorlooptijd lijkt gerechtvaardigd, maar de migratie kan pas plaatsvinden als ook deze laatste zaken zijn opgelost. Voorts kan het CBS, mocht de upgrade onvoldoende soelaas bieden, overwegen advies voor verdere verbetering te vragen aan een extern bureau. 4. Upgrade SAS van 9.1 naar 9.3 Uit de afnemersgemeenschap is een verzoek gekomen voor een upgrade van SAS. Ruben Dood geeft aan dat het huidige CBS-beleid is om de RA omgeving te upgraden naar hetzelfde niveau als het CBS, en dat CBS zelf met 9.1 werkt. Een verzoek voor upgrade in de RA omgeving is wel ingediend maar vermoedelijk niet kansrijk, mede in verband met de er waarschijnlijk mee gemoeide licentieaspecten en –kosten. De raad is echter van mening dat het beleid zou moeten zijn om in de RA omgeving aan te sluiten bij wat in de wereld van de onderzoekers beschikbaar is, al was het maar om te voorkomen dat de RA omgeving over enkele jaren opnieuw achter de feiten aanloopt. Ruben Dood zal dit standpunt van de raad meenemen binnen het CBS. 5. Communicatie over nieuwe versies van bestanden Uit de afnemersgemeenschap is de vraag gekomen om betere informatie met betrekking tot updates van microdata bestanden. Is het mogelijk de komst van updates vooraf aan te kondigen, concreet aan te geven wat de update behelst en waarom het bestaande bestand niet voldeed, en meteen een link naar het nieuwe documentatierapport toe te voegen? Ruben Dood geeft aan dat dit niet gemakkelijk te realiseren is. Het gaat om een groot aantal bestanden. CvB heeft een planning voor de leveringen en geplande updates vanuit de statistische afdelingen. Die planning is ondergeschikt aan de planning van het statistisch hoofdproces van het CBS. CvB ontvangt zelf met name bij updates niet altijd ruim tevoren aankondiging daarvan. Wel informeert CvB gebruikers altijd bij het verschijnen van updates. Belangrijke updates krijgen extra aandacht Gebruikers van de bestanden krijgen een melding waarin de update wordt omschreven zodat daarmee rekening kan worden gehouden. Ruben Dood zal laten nagaan of meer dan tot nu toe gebruikelijk bij de mailing over plaatsen van een nieuwe versie van het bestand ook informatie kan worden opgenomen over de reden daarvoor. 6. Communicatie met CBS medewerkers Uit de afnemersgemeenschap is de vraag gekomen of het voor externe onderzoekers gemakkelijker gemaakt kan worden direct contact op te nemen met CBS medewerkers. Vragen kunnen zo sneller en efficiënter worden beantwoord. Idealiter zou er een lijst moeten zijn voor remote access gebruikers met directe emailadressen van CBS-medewerkers (bij voorkeur ook telefoonnummers) en daarbij de bestanden waar zij mee werken/waar ze verstand van hebben. Ruben Dood licht toe waarom dit in zijn algemeenheid niet wenselijk is. Belangrijk voordeel van een centraal punt voor vragen is de garantie dat vragen nooit blijven liggen. Van daar uit kunnen bovendien veel voorkomende vragen direct beantwoord worden zodat interne CBS-ers daarmee niet worden lastiggevallen. In de praktijk blijkt ook dat CBS-medewerkers buiten CvB enigszins afgeschermd moeten worden, zowel ten behoeve van het uitvoeren van hun primaire taken, als ten aanzien van vragen van onderzoekers die niet de moeite nemen de documentatierapporten goed te lezen. CBS-ers buiten CvB weten niet altijd goed genoeg hoe remote access in zijn werk gaat, waardoor verkeerde verwachtingen kunnen worden gewekt. Tot slot wordt vermeld dat het verwachtingspatroon van externe onderzoekers niet altijd realistisch is: zij doen onderzoek dat binnen CBS niet wordt gedaan (bijv. koppelen van bepaalde combinaties van bestanden) en stuiten dan nogal eens op vragen waarop CBS het antwoord niet klaar heeft liggen. Microdata onderzoekers ervaren echter nogal eens dat beantwoording van een vraag langer duurt dan voor hun onderzoek acceptabel is, en verkeren in onzekerheid over de voortgang van de behandeling van hun vraag.
Conclusie van de discussie is dat het centrale punt voor vragen wordt gehandhaafd, maar met het advies om in dringende gevallen telefonisch contact op te nemen met een van de relatiebeheerders. 7. Onderzoek door CBS zelf vs door (private) onderzoeksinstellingen Met name private onderzoeksinstellingen vragen zich af of er wel een gelijk speelveld bestaat ten opzichte van de onderzoeksafdeling van het Centrum voor Beleidsstatistiek ten aanzien van de actualiteit van beschikbare bestanden; bestanden komen voor remote access soms pas later beschikbaar dan voor CvB intern. Ruben licht toe dat, mocht dit al het geval zijn, het verschil in tijd alleen de tijd aangaat die nodig is voor het documenteren van een bestand op het moment dat dit bij CvB wordt aangeleverd. Dit is maximaal enkele weken. Het is zeker niet zo dat CvB onderzoek kan verrichten op bestanden die nog niet door inhoudelijke afdelingen zijn vrijgegeven. Voorts is goed te beseffen dat de onderzoeksafdeling zich nooit als concurrent gedraagt. Als een externe opdrachtgever (bijvoorbeeld een ministerie) een onderzoeksopdracht aanbesteedt of anderszins ‘in de markt zet’, zal CvB niet naar die opdracht meedingen. CvB doet alleen opdrachten waarbij exclusief aan CvB offerte wordt gevraagd. Opdrachten van de overheid zijn altijd via inbesteding, dat wil zeggen via directe opdrachten aan CvB. 8. Toepassing geheimhoudingsrichtlijnen bij outputs Er komen geluiden van afnemers dat de beoordeling van outputs niet altijd consistent gebeurt, bijvoorbeeld ten aanzien van het dominantiecriterium of het aantal waarnemingen per cel. Ruurd Schoonhoven geeft aan dat uiteraard de bedoeling is dat er wel consistent gecontroleerd wordt. Mocht dat in ogen van klanten niet zo zijn dan verzoekt CvB om dit direct te melden. Voor CvB is dat waardevolle input om het proces van outputcontrole te verbeteren. Voor onderzoekers is het meer werk om onderbouwing ten aanzien van het dominantiecriterium te geven. Sommige onderzoekers ervaren het als storend dat zij outputs moeten corrigeren op slecht gevulde cellen, terwijl zij toch niet voornemens zijn die in hun publicaties te gebruiken. Ruben Dood licht nogmaals toe waarom outputcontrole voor het CBS zo gevoelig is: zelfs bij een relatief klein incident zou de schade voor het CBS enorm kunnen zijn. Uit de afnemersraad klinkt het geluid dat onderzoekers het in stand houden van de microdata faciliteit niet in de waagschaal zouden moeten stellen door lichtvaardig met de outputcriteria te willen omgaan. 9. CCS-machtiging drempel voor toegang tot microdata Sommige onderzoeksinstellingen signaleren dat de toegang tot microdata via een hoogdrempelige machtiging (via de Centrale Commissie voor de Statistiek – CCS) juist het gebruik van microdata beperkt, terwijl er tegelijkertijd sprake is van een publieke functie. Universiteiten, planbureaus en private instellingen met 100% onderzoeksdoelstelling hebben immers een machtiging voor al hun projecten, terwijl overige onderzoeksbureaus (dwz die naast onderzoek ook activiteiten hebben als advisering, detachering) per project steeds afzonderlijke machtigingen moeten aanvragen. Dit onderscheid wordt door die laatste niet terecht gevonden. Ruben Dood licht toe dat dit onderwerp ook binnen het CBS nadrukkelijk de aandacht heeft, mede doordat momenteel de richtlijnen worden herbezien in het kader van Europese harmonisatie (zie ook punt 10g). CvB heeft hierop geen directe invloed, maar zal ook namens de afnemersraad aan de CBSdirectie en de CCS de zorgen hieromtrent kenbaar maken en aandringen op richtlijnen die instellingen die onderzoeksprojecten willen uitvoeren ‘uit de markt’ zoveel mogelijk gelijkwaardig behandelen, en daarbij de doorlooptijden binnen acceptabele grenzen houden. 10. Eventuele vragen over schriftelijke mededelingen (bijlage) Ruben Dood licht de verschillende punten kort toe, wat geen aanleiding geeft tot nadere discussie. 11. Rondvraag en sluiting Paul de Graaf vermeldt dat enkele collega’s van een andere grote gemeente bij hem belangstelling hebben getoond voor onderzoek via de remote access faciliteit; hij zal zijn ervaringen met hen delen.
z.o.z. Na afloop heeft de afnemersraad een bezoek gebracht aan de on-site werkruimte bij het CBS, daar kennis gemaakt met een aantal medewerkers van Microdata Services, en een korte demonstratie gekregen van de vernieuwde netwerkomgeving in ontwikkeling.
Actiepunten Naar aanleiding van 2 (actie Ruurd Schoonhoven): In het vervolg zal een agenda met beknopte toelichting voorafgaand aan de vergadering worden gepubliceerd op de website, ter informatie aan onderzoeksinstellingen die niet zelf in de raad zitten maar wel via bijvoorbeeld VBO/VSO vertegenwoordigd zijn en via die weg hun inbreng vooraf willen geven. Naar aanleiding van 2 (actie Ineke Stoop en Ruben Dood): Mogelijke wisseling in de samenstelling van de raad. Naar aanleiding van 4 (actie Ruben Dood): Onderzoekers zouden hun schaarse RA inlogtijd efficiënter kunnen gebruiken als het importeren van reeds op hun eigen PC ontwikkelde programma’s (en eventueel ook weer exporteren daarvan om ze daar juist weer te kunnen vervolmaken) versneld zou kunnen worden. Ruben Dood laat de mogelijkheden onderzoeken. Naar aanleiding van 4 (actie Ruben Dood): Nagaan of meer dan tot nu toe gebruikelijk bij de mailing over plaatsen van een nieuwe versie van een bestand ook informatie kan worden opgenomen over de reden daarvoor. Naar aanleiding van 9 (actie Ruben Dood): Binnen CBS en CCS nadrukkelijk onder de aandacht brengen dat ‘faire’ en gelijke regels rond toegang tot microdata moeten gelden voor vergelijkbare partijen. De doorlooptijden dienen acceptabel te zijn.
Bijlage agendapunt 8: SCHRIFTELIJKE MEDEDELINGEN a) Invoering nieuwe tarieven per 1-1-2013: CvB heeft de aanbevelingen van de afnemersraad overgenomen en gebruikers begin november geïnformeerd. De overgang is zonder opvallende problemen verlopen, voor enkele projecten is een kortingsregeling getroffen b) SAS Zoals in december aan de raad gecommuniceerd heeft een uitvraag bij interne en externe SAS gebruikers geleid tot de conclusie dat het gewenst is SAS te blijven aanbieden. Belangrijkste motieven zijn het gebruik van SAS in internationale projecten waarbij dezelfde analyses in verschillende landen met exact dezelfde programmatuur worden uitgevoerd; cq in analyses die een stempel van goedkeuring krijgen van belangrijke organisaties als de FDA, het feit dat SAS volgens veel gebruikers aanzienlijk beter (of zelfs: als enige geschikt) bij bepaalde manipulaties met zeer grote bestanden, en SAS is internationaal zo’n veelgebruikt pakket met grote functionaliteit dat je er niet aan voorbij kunt gaan dat veel onderzoekers juist daar goed in thuis zijn en dat dus ook willen gebruiken Voor doorberekening van de licentiekosten is geen alternatief gevonden. Sinds 1-1-2013 heeft CvB het wel mogelijk gemaakt om SAS per maand aan/uit te zetten zodat in veel projecten de kosten beter beheerst kunnen worden. c) Gebruikersbijeenkomsten in 2013 Er zijn twee bijeenkomsten voorzien: i) Gebruikersbijeenkomst ‘Arbeid en sociale zekerheid’ 16 mei ii) Gebruikersbijeenkomst ‘Gezondheid en zorg’ 12 september (als onderdeel van bredere bijeenkomst op dit terrein) Alle gebruikers (en leden van de afnemersraad) zijn inmiddels geïnformeerd over de eerste bijeenkomst. d) Plannen WIKI CvB heeft het voornemen komende zomer een pilot op te zetten voor een WIKI met informatie over beschikbare bestanden, variabelen, berekeningswijzen van afgeleide variabelen, methodologische vragen, etc. Over een evaluatie van deze pilot zal aan de afnemersraad worden gerapporteerd. e) Internationale ontwikkelingen Bij diverse internationale organisaties (Eurostat, EU, UN, OECD) lopen projecten op het gebied van toegang tot microdata. CBS is bij die ontwikkelingen betrokken via lidmaatschap aan projectgroepen en dergelijke. In het kader van het EU Data Without Boundaries programma lopen momenteel vier projecten van universiteiten uit diverse Europese landen die gebruik maken van CBS microdata; enkele volgende projecten zijn in voorbereiding. Een Europees systeem voor toegang tot microdata lijkt nog erg ver weg. Voorlopig is er op vele vlakken nog een aanzienlijke spraakverwarring. f) Klanttevredenheidsonderzoek De resultaten over tweede kwartaal 2012 laten zien dat de dienstverlening gemiddeld het rapportcijfer 7,2 krijgt. De respons op de uitvraag is echter gering (omstreeks 20%) zodat daaraan slechts beperkte waarde kan worden gehecht. Vanaf 1-1-2013 wordt de uitvraag niet meer na afloop van een project gedaan, maar 1-2 maanden na aanvang, in de hoop daarmee een hogere respons te bereiken. g) CCS machtigingen Momenteel is een proces gaande rond Europese harmonisatie van de regels voor toegang tot microdata. Het is niet uitgesloten dat dit leidt tot aanpassing van de huidige regels, en – omdat Nederland op dit moment een relatief liberaal beleid kent – dat die regels strakker zullen worden. De Centrale Commissie voor de Statistiek (CCS) zal naar verwachting begin van de zomer nadere besluiten nemen. Bezien zal worden of dan gerichte actie nodig is naast het reguliere onderhoud van CCS-machtigingen ten aanzien van verlengingen en dergelijke. Eén en ander zal aan de afnemersraad worden gerapporteerd.
