Communicatie van onzekerheden in rapportages van het RIVM Centrum voor Milieumonitoring

Communicatie van onzekerheden in rapportages van het RIVM Centrum voor Milieumonitoring Evaluatie en advies

J.A. Wardekker, A. de Jong, J.P. van der Sluijs Department of Science, Technology and Society Copernicus Institute Utrecht University, Utrecht, The Netherlands Mei 2010 Report commissioned by: National Institute for Public Health and the Environment (RIVM) Report NWS-E-2010-37 ISBN: 978-90-8672-040-8

Inhoudsopgave 1. Inleiding __________________________________________________________3 1.1. Achtergrond en opzet van het project ____________________________________ 3 1.2. Leeswijzer __________________________________________________________ 3

2. Algemeen: doel en doelgroepen van rapporten ___________________________4 3. Analyse per rapport _________________________________________________6 3.1. Swen et al. (2009): LM Mestbeleid ______________________________________ 6 3.2. Van der Hoek et al. (2009): LM Grondwaterkwaliteit _____________________ 10 3.3. Van Pul et al. (2008): Ammoniakgat ____________________________________ 14 3.4. Wattel-Koekoek et al. (2009): Representativiteit monitoring grondwater _____ 19 3.5. Wesseling en Sauter (2007): Kalibratie CAR II ___________________________ 24 3.6. Wesseling et al. (2008): Groen en luchtkwaliteit __________________________ 30

4. Conclusies en algemene aanbevelingen ________________________________35 Referenties _________________________________________________________38 Bijlage A. Schets stappenplan onzekerheidscommunicatie ___________________39

2

1. Inleiding Resultaten van onderzoek en meetprogramma’s kunnen zonder adequate aandacht voor de rol en betekenis van onzekerheden verkeerd worden geïnterpreteerd en tot verkeerde conclusies en beleidsbeslissingen (met mogelijk grote gevolgen) leiden. Echter, niet-technisch publiek lijkt niet altijd prijs te stellen op deze detailinformatie: men wil geen “documenten vol nuances”. De relevantie van onzekerheidsinformatie wordt dan ook lang niet altijd onderkend, begrepen of zelfs maar opgemerkt. Kortom, een lastige situatie en een uitdaging voor auteurs van rapporten om een goede strategie te kiezen voor het communiceren van onzekerheid. Dit rapport presenteert een quickscan analyse van de communicatie van onzekerheden in zes rapporten van het RIVM Centrum voor Milieumetingen.

1.1. Achtergrond en opzet van het project Het Centrum voor Milieu Metingen (CMM) wil de communicatie van onzekerheden verbeteren als essentieel onderdeel van de resultaten van haar onderzoek. Het CMM onderzoek wordt verricht in opdracht van voornamelijk het ministerie van VROM. Ook anderen (politiek en publiek) nemen kennis van de resultaten van het onderzoek. Het onderzoek betreft vooral de milieucompartimenten/thema's ‘lucht’ en ‘bodem & grondwater’. Deze studie bestaat uit een korte, kritische evaluatie van de huidige praktijk van onzekerheidscommunicatie in rapporten van het CMM. De evaluatie zal zich beperken tot zes rapporten, waarvan drie rond het thema ‘lucht’ en drie rond het thema ‘bodem & grondwater’. Hierbij moet opgemerkt worden dat geen uitgebreide analyse gedaan is van welke onzekerheden niet gecommuniceerd zijn (en of dit wel had gemoeten). Hierover kunnen slechts generieke conclusies getrokken worden aan de hand van, bijvoorbeeld, schijnbaar ontbrekende informatie of verwijzingen naar achtergrondstudies in de onderzochte rapporten. De evaluatie vindt plaats per rapport aan de hand van drie vragen: 1. Doelgroep en relevantie: naar wie communiceert het rapport, en wat is wanneer relevant (gezien de gebruikscontext)? 2. Communiceren over onzekerheid: hoe en waar is informatie over onzekerheid verwerkt in het verhaal? 3. Presentatie: op welke wijze zijn onzekerheden weergegeven? Deze vragen worden, per rapport, zowel in evaluerende (hoe gebeurt het nu, wat gaat er goed en wat gaat er mis?) als in ontwerpende zin (hoe kan het beter?) doorlopen. Daarbij zullen de inzichten worden toegepast uit het rapport “Uncertainty Communication: Issues and Good Practice” (Kloprogge et al., 2007), de “Stijlgids Onzekerheidscommunicatie” (Wardekker et al., in press) en eerdere analyses van onzekerheidscommunicatie in milieurapportages (zie bijv. Wardekker et al., 2008). Uit deze analyses van de zes rapporten zal een aantal generieke aanbevelingen worden opgesteld die als leidraad kunnen dienen om in toekomstig werk van het CMM op een meer systematische en doelmatige wijze onzekerheidsinformatie te communiceren.

1.2. Leeswijzer In hoofdstuk 2 wordt een korte analyse gedaan van de mogelijke doelgroepen en insteek van de zes onderzochte rapporten. In hoofdstuk 3 worden de zes rapporten vervolgens per rapport geanalyseerd. Hoofdstuk 4 presenteert de conclusies en aanbevelingen.

3

2. Algemeen: doel en doelgroepen van rapporten Dit hoofdstuk presenteert een korte analyse van de mogelijke doelgroepen en insteek van de zes onderzochte rapporten. In tabel Tabel 1 wordt een overzicht gegeven van de geanalyseerde rapporten en de opdrachtgevers hiervan. Ook wordt een interpretatie gedaan van de insteek (type en doel van de publicatie) en de mogelijke doelgroep van de rapporten, gebaseerd op de titel, opzet en inhoud van het rapport. De beoogde doelgroep werd in de rapporten doorgaans niet specifiek aangegeven. Onder de tabel worden enkele algemene conclusies gedaan over de benodigde insteek van de onzekerheidscommunicatie, gezien de doelgroep en insteek van de rapporten. Tabel 1. Overzicht onderzochte rapporten en interpretatie van de insteek en doelgroep ervan. Bron: Opdrachtgevers: Type/doel: Mogelijke doelgroep: LM Mestbeleid (Swen et VROM, LNV Gegevens, trends en Adviseurs, beleidsmakers al., 2009) overzicht LM Grondwaterkwaliteit (Van der Hoek et al., 2009)

VROM

Onderzoek en achtergrond

Wetenschappers, adviseurs

Ammoniakgat (Van Pul et al., 2008)

VROM

Adviseurs, algemeen geïnteresseerden

Representativiteit monitoring grondwater (Wattel-Koekoek et al., 2009)

VROM

Achtergrond, synthese, nieuwe inzichten Achtergrond

Kalibratie CAR II (Wesseling en Sauter, 2007)

VROM

Achtergrond

Wetenschappers, adviseurs

Groen & luchtkwaliteit (Wesseling et al., 2008)

VROM, VWS, (GGDs)

Topic-overzicht

Beleidsmakers (o.a. lokaal), GGD / gezondheidsprofessionals, adviseurs

Wetenschappers, formeel verantwoordelijke partijen (beleidsmakers?)

Progressive Disclosure of Information Binnen een rapport kunnen verschillende lagen worden onderscheiden die zich op verschillende doelgroepen richten. Beleidmakers lezen vaak alleen de samenvatting terwijl lezers die vooral de technische details willen weten zoals wetenschappers en adviseurs de afzonderlijke hoofdstukken goed zullen lezen. Waarschijnlijk zullen alleen specialisten ook de appendices en voetnoten goed lezen. Het is daarom van belang dat de essentiële onzekerheidsinformatie in de bestgelezen onderdelen van een rapport staat, dus niet in een bijlage, maar bijvoorbeeld liever in de samenvatting. Om dit te bevorderen is het principe van ‘progressive disclosure of information’ (PDI) ontwikkeld (Kloprogge et al., 2007). Dit principe stelt dat informatie over onzekerheid in een rapport aangeboden dient te worden in verschillende lagen die progressief variëren van niet-technische informatie tot meer gespecialiseerde informatie, toegespitst op de behoeften van de gebruiker. De kennis over een bepaalde problematiek wordt in brede zin in verschillende lagen aangeboden, een rapport is een van die lagen, een persbericht, een website of een optreden in een TV programma zijn andere lagen. Een goede onzekerheidscommunicatiestrategie stemt de wijze en de inhoud van onzekerheidscommunicatie af op de rol van de PDI laag waarin die communicatie plaats vindt en de informatiebehoefte van de doelgroep die in die laag wordt geadresseerd. Binnen elk rapport zijn ook weer lagen te onderscheiden. Bij RIVM rapporten is "rapport in het kort" de buitenste PDI laag die door de grootste groep lezers van het rapport ook met aandacht gelezen zal worden, waar de lezers als het ware het rapport binnen komen en op grond waarvan ze

4

besluiten of ze verder lezen en op welke delen van het rapport ze zich daarbij richten. De binnenste PDI laag van RIVM rapporten zijn de technische appendices, onzekerheidsinformatie die daar staat vermeld zal door de meeste lezers niet worden opgemerkt. Doelgroepen van de rapporten Gegeven het type/doel en de mogelijke doelgroepen van de rapporten, kan het volgende onderscheid gemaakt worden: - Van der Hoek et al. (2009) en Wesseling en Sauter (2007) zijn achtergrondrapporten gericht op een ‘technisch’ publiek. De rapporten zijn grotendeels te beschouwen als een ‘binnenste PDI laag’. Dit vraagt nadruk op gedetailleerde technische informatie, aparte behandeling van onzekerheden en nadruk op de typen, bronnen en omvang van de onzekerheden. - Wesseling et al. (2008) is een overzichtsrapport gericht op ‘niet-technisch’ publiek; mensen uit de lokale praktijk, zoals beleidsmakers en gezondheidszorg/GGD. Het rapport is daarmee grotendeels te beschouwen als een ‘buitenste PDI laag’ Dit vraagt nadruk op niet-technische informatie, het integreren van onzekerheden in de boodschap en nadruk op context, betekenis en gevolgen van de onzekerheden. - Swen et al. (2009) en Van Pul et al. (2008) vallen hier tussen in. Ze lijken gericht te zijn op adviseurs, beleidsmakers en algemeen geïnteresseerden. Zowel technische als niet-technische informatie kan relevant zijn, op verschillende plekken in de rapporten. - Wattel-Koekoek et al. (2009) is een achtergrondstudie met een technische inslag. Dit vraagt om gedetailleerde informatie. Echter, het rapport lijkt ook belangrijk voor de partijen die formeel verantwoordelijk zijn voor het monitoringprogramma. Dit is vermoedelijk grotendeels niet-technisch publiek, zoals beleidsmakers. Daarmee moet ook aandacht besteedt worden aan integratie en in context plaatsen van onzekerheid.

5

3. Analyse per rapport In dit hoofdstuk worden zes rapporten van het CMM geanalyseerd, zowel in evaluerende als in ontwerpende zin. Per rapport worden besproken: (a) de relevantie van verschillende onzekerheden gezien de doelgroep en insteek van het rapport, (b) welke onzekerheden waar in het rapport gecommuniceerd worden, en (c) in welke vorm dit gebeurd (verbaal, numeriek, grafisch). Ook worden per rapport enkele concluderende opmerkingen gedaan.

3.1. Swen et al. (2009): LM Mestbeleid Relevantie van onzekerheden Dit rapport presenteert een jaaroverzicht van recente gegevens, trends en overzichten, waarschijnlijk vooral voor adviseurs en beleidsmakers. Het lijkt daarmee tussen een technisch en een niet-technisch rapport in te zitten; beide soorten informatie kunnen relevant zijn. De doelstellingen zoals genoemd in het rapport zijn: (a) het publiek (overheid, burgers) te informeren over de werkzaamheden in 2004 binnen het Landelijk Meetnet effecten Mestbeleid (LMM), (b) de resultaten van waterkwaliteitsmetingen van dat jaar weergeven, (c) de geregistreerde landbouwpraktijk in het voorafgaande jaar rapporteren. Er is norm in de vorm van een Europese Nitraatrichtlijn van 50 mg/l. In de zandregio ligt het gemiddelde ver boven de norm, in de kleiregio net boven of net onder (afhankelijk van bedrijfstype) en in de veenregio ver onder. Een situatie die dicht bij de norm ligt, zoals in de kleiregio, maakt onzekerheidsinformatie vaak extra relevant. Echter, de norm gaat vermoedelijk niet over gemiddelde waarden. De aantallen (of het percentage) bedrijven waar de norm overschreden wordt, is mogelijk belangrijker. Relevante onzekerheden, gezien de doelen van het rapport en de beleidssituatie, zijn met name de onzekerheden in de metingen en methodologie en de implicaties daarvan voor de gemiddelde nitraatconcentratie en het aantal/percentage overschrijdingen. Onzekerheden in de trend zijn ook belangrijk, aangezien die iets kunnen zeggen over de effectiviteit van eventueel beleid. Aan de technische kant is ook de representativiteit van de genomen steekproef van belang. Plaats en inhoud In het rapport zijn vijf lagen te onderscheiden (in volgorde van detailniveau): (1) Rapport in het kort, (2) Samenvatting, (3) Inleiding, (4) Hoofdstukken, (5) Appendices. Verder wordt enkele malen voor meer informatie verwezen naar het jaarrapport 2003 (gepubliceerd in 2008). De behandeling van onzekerheden in de lagen binnen het rapport wordt hieronder kort besproken. In het algemeen: onderdelen 1-3 behoren tot de zogenaamde ‘primaire laag’, waar lezers de meeste aandacht aan besteden en waarin alle essentiële onzekerheidsinformatie naar behandeld moet worden. Rapport in het kort Deze laag lijkt bedoeld als eerste instap in het rapport en voor algemeen geïnteresseerden; o.a. burgers, journalisten, beleidsmakers, etc. (ook mensen die geen kennis van het onderwerp hebben). De onzekerheidsinformatie moet daarom zoveel mogelijk in context geplaatst worden en de implicaties ervan moeten duidelijk aangegeven worden. - De enige onzekerheidsinformatie in dit stuk is dat aangegeven wordt dat op akkerbouwbedrijven een “minder duidelijke trend” zichtbaar is (dan op melkveebedrijven). In andere woorden: de trend hiervoor is onzeker. In dit hoofdstuk had veel meer gedaan kunnen worden met beleidsrelevante onzekerheden. Samenvatting De samenvatting lijkt in dit rapport uitgebreider en inhoudelijker bedoeld te zijn dan ‘rapport in het kort’.

6

-

-

Er wordt aangegeven dat de bemonsterde bedrijven qua bedrijfsopzet “in redelijke mate” overeenkomen met het gemiddelde bedrijf in de steekproefpopulatie. Enkele uitzonderingen worden gegeven. Dit zegt iets over de variabiliteit tussen de bedrijven binnen de steekproef. Ook wordt iets gezegd over de variabiliteit tussen verschillende bedrijfstypen en tussen regio’s van grondsoorten (zand/löss, klei, veen) binnen de steekproef. In tabel S1 worden voor een aantal bedrijfstypen geen getallen gegeven, met de mededeling dat deze “onbetrouwbaar” zijn. Er wordt verwezen naar hoofdstuk 2 voor meer informatie. Op p.11 wordt aangegeven dat de hogere nitraatconcentraties in 2004 mogelijk te wijten zijn aan de uitzonderlijk droge zomer van 2003. Impliciet geeft dit aan dat weersvariabiliteit een onzekerheid vormt in de trend (statistische onzekerheid). De meest beleidsrelevante onzekerheden, zoals boven genoemd, ontbreken.

Inleiding In de inleiding wordt de geschiedenis en de doelen van het LMM en het rapport beschreven. - Op p.15 worden enkele monstermethoden besproken. Op met buizen gedraineerd land is het drainwater bemonsterd, in plaats van bemonstering via boorgaten, omdat deze methode beter is gerelateerd aan de nitraatconcentratie in het bovenste grondwater en een directere relatie heeft met oppervlaktewaterkwaliteit. Dit geeft (impliciet) aan dat er onzekerheden zijn door de meetmethoden, in ieder geval voor de metingen via boorgaten. De interpretatie van deze verschillen wordt echter volledig aan de lezer overgelaten. Voor details wordt verwezen naar een eerder rapport. Hoofdstukken - In hoofdstuk 2 worden verschillende stappen in de gegevensverwerking besproken. Sommige bedrijven zijn vanwege de gekozen afbakening (om de representativiteit van de resultaten te vergroten) niet meegenomen in de gemiddelden. In totaal is 48% van alle bedrijven en 82% van alle cultuurgrond in het LMM vertegenwoordigd. Daarnaast zijn sommige bedrijven waar monstername gepland was niet daadwerkelijk bemonsterd en waren sommige van de wel bemonsterde bedrijven niet geschikt voor rapportage. Al deze zaken houden verband met de representativiteit van de steekproef. Op p.19-20 wordt de conclusie getrokken dat de gerealiseerde aantallen bedrijven veelal ruimschoots voldoen aan de planning (i.e. de implicaties van de onzekerheden worden expliciet aangegeven). - Hoofdstuk 3 bevat vergelijkingen tussen de steekproef van bedrijven in het LMM en bedrijven in het Bedrijven InformatieNetwerk (BIN). Vaak komen deze redelijk overeen, maar er worden verschillende verschillen aangegeven. Een enkele keer wordt ook een verantwoording hiervoor gegeven. Bijvoorbeeld: op p.28 wordt aangegeven dat LMM-akkerbouwbedrijven een groter areaal hebben dan het BIN gemiddelde, maar dat dit voortvloeit uit het streven binnen LMM om representatief te zijn voor het totale areaal van akkerbouwbedrijven. Deze vergelijking tussen LMM en BIN geeft iets aan over de representativiteit van de steekproef. - Hoofdstuk 3 bevat ook vergelijkingen van de gegevens in verschillende regio’s van grondtypen (zand/löss, klei, veen). Deze zeggen iets over de variabiliteit binnen de steekproef. - In hoofdstuk 4 worden de metingen besproken. Verschillen worden meestal verklaard aan de hand van de eigenschappen van bodemtype of geografische ligging (variabiliteit binnen de steekproef). - In hoofdstuk 5 worden diverse andere onderzoeksprojecten besproken. Verschillen in resultaten met dit rapport worden besproken en meestal verklaard aan de hand van verschillen in bodemeigenschappen bij de onderzochte bedrijven (bijv. sommige bedrijven lagen op drogere gronden dan de bedrijven in het LMM). - Hoofdstuk 6 behandelt verschillen tussen het landelijk gemiddelde en de LMM metingen (representativiteit) en regio’s (variabiliteit) en verschillen over de jaren

7

-

(variabiliteit). Regelmatig worden korte verklaringen gegeven (bijv. aan de hand van verschillen in type gebruikte mest). In sectie 6.2, die gaat over waterkwaliteit, wordt aangegeven dat de weergegeven concentraties afwijken van eerdere hoofdstukken doordat andere selectiecriteria voor bedrijven zijn gebruikt. Dit betreft contextgerelateerde (i.e. door de keuze van de systeemgrenzen van het onderzoek) methodologische onzekerheid. Er wordt aangegeven dat de keuze van bedrijven invloed heeft op de meetresultaten, dat deze keuze niet noodzakelijk representatief hoeft te zijn voor het totale landbouwgebied in een regio en dat de steekproef van jaar tot jaar behoorlijk kan verschillen. Dit betreft ook methodologische onzekerheid. Variabiliteit van jaar tot jaar wordt met een statistisch model goeddeels uitgefilterd (maar er wordt aangegeven dat deze variabiliteit nog groot blijft en dat het model “duidelijk… nog verder ontwikkeld moet worden”). Soms zijn jaren vanwege een te geringe hoeveelheid meetgegevens niet weergegeven. Dit betreft onzekerheid in de inputdata. Voor P-totaal wordt aangegeven dat er veel variatie is, maar dat deze deels verklaard kan worden door het geringe aantal bemonsterde bedrijven en doordat een deel van de waarnemingen onder de detectiegrens valt (input data, methodologische onbetrouwbaarheid).

Appendices - In bijlage 4 wordt een detectiegrens van de gebruikte chemische analyses aangegeven. De bijlage laat ook zien dat er verschillen zijn in de gehanteerde voorbehandeling en meetmethode/apparaat per meting. Dit houdt verband met methodologische onzekerheid. - In bijlage 6 en 7 worden voor metingen de standaarddeviaties van het gemiddelde weergegeven. Dit betreft variabiliteit in de metingen. Vorm Verbaal - De meeste verbale onzekerheidscommunicatie bestaat uit beschrijvingen van verschillen, bijv. tussen regio’s, plus verklaringen van deze verschillen. - Aan de hand van de verklaringen, worden gevonden verschillen vaak geduid met termen als ‘ligt in de lijn der verwachting’, ‘zoals verwacht’, ‘waarschijnlijk is … afkomstig van’, ‘kunnen rijk zijn aan … doordat…’, etc. Er wordt geen consequente terminologie gehanteerd. Numeriek - In verschillende tabellen wordt een standaardafwijking weergegeven. Dit betreft standaardafwijkingen van de gemiddelde concentraties van metingen. Dit zegt dus iets over de variabiliteit binnen deze metingen. De standaardafwijkingen worden consequent weergegeven door het rapport en er wordt vermeldt dat het een standaardafwijking betreft. Grafisch - De figuren in dit rapport bevatten geen expliciete onzekerheidsinformatie. - Wel worden bijvoorbeeld trends en metingen uitgezet per regio, mestsoort of bedrijfstype. Metingen worden weergegeven als distributie van de gegevens van alle bedrijven (als cumulatieve percentielgrafieken), waaruit bijv. 5-95% of 25%-75% intervallen van de metingen afgeleid zouden kunnen worden. Deze zaken zeggen iets over de variabiliteit binnen de steekproef. Concluderende opmerkingen - Er wordt vrij weinig over onzekerheden gecommuniceerd in dit rapport. - Wel wordt op een redelijk aantal plekken informatie weergegeven die te maken heeft met de representativiteit van de steekproef. Echter, implicaties (in de zin van een

8

-

-

-

algemene beschouwing en conclusies over de representativiteit) worden niet expliciet gemaakt. Het trekken van een conclusie over hoe representatief de steekproef nu eigenlijk is, gezien al de gegeven informatie, wordt aan de lezer overgelaten. Het is de vraag of deze zich aangespoord voelt hier een mening over te vormen (de kans is groot dat er overheen gelezen wordt), en erin slaagt zich hiervan een goed beeld te vormen. Een uitzondering hierop is par.2.1.4 (p.19-20) “evaluatie van de gerealiseerde steekproef”, waar echter alleen iets wordt gezegd over de aantallen gerealiseerde metingen per bedrijfs- en grondtype in vergelijking met de planning. Representativiteit wordt vooral verbaal besproken, wat terecht lijkt. Ook wordt er op diverse plekken gesproken over variabiliteit binnen de steekproef, met name: (a) afwijkingen van het gemiddelde van de meting en (b) verschillen tussen metingen per bedrijfstype en grondregio. Dit is relevant voor o.a. de schaalgrootte van het probleem (als kanttekening bij gemiddelde meetwaarden/overschrijdingen: is er nationaal een probleem of doet dit zich voor in specifieke regio’s of bij specifieke bedrijfstypen?). Dit is een goed punt in dit rapport: er wordt consistent en uitgebreid ingegaan op de variabiliteit. Deze zaken worden zowel numeriek als grafisch weergegeven, wat terecht lijkt. De meest beleidsrelevante onzekerheden en hun implicaties blijven vrijwel onbelicht: (a) de onzekerheid in de gepresenteerde metingen en (daarmee) de overschrijding van de normen en (b) de onzekerheid in de trend. Deze eerste had goed numeriek weergegeven kunnen worden (bijv. 5-95% confidence intervallen), de tweede met name grafisch (bijv. onzekerheidsband). Beleidsimplicaties hadden besproken kunnen worden in termen van welk tot welk percentage van de bedrijven niet aan de normen zou voldoen. Het verdient de aanbeveling om voorafgaand aan het schrijven van een rapport zorgvuldig op een rij te zetten wie de mogelijke doelgroep/lezers zijn, met welke vragen/problemen zij zitten en daarmee welke onzekerheden voor hen relevant zouden kunnen zijn, en welke implicaties de onzekerheden hebben (voor de doelgroep en voor de hoofdboodschappen van het rapport).

9

3.2. Van der Hoek et al. (2009): LM Grondwaterkwaliteit Relevantie van onzekerheden Dit rapport betreft een vergelijking tussen de analyseresultaten voor een serie monsters van het RIVM en TNO voor het jaar 2004. In dit jaar nam TNO de analyse van de monsters uit het Landelijk Meetnet Grondwaterkwaliteit over van het RIVM. Het betreft een redelijk technisch rapport, vooral door de methodiek die gebruikt wordt om een vergelijking te kunnen maken, en lijkt bedoeld te zijn voor wetenschappers en adviseurs. Deze doelgroepen hebben ervaring met technische rapporten, en weten van de onzekerheden die op diverse momenten tijdens de conservering, analyse en vergelijking kunnen spelen. Het rapport wil een indruk geven in de gevolgen van de wisseling van de laboratoria in het jaar 2004. Inzicht in de onzekerheid die speelt, of in de toekomst kan gaan spelen, om analyseresultaten voor de wisseling te kunnen vergelijken met analyseresultaten na de wisseling, maken dit rapport relevant. De gebruikers van dit rapport zullen geïnteresseerd zijn in de verschillen in methodiek tussen de beide laboratoria, en de verschillen die dit oplevert voor het eindresultaat van de analyse. Een kritische beoordeling van de betrouwbaarheid van de methodieken is daarom relevant. Verder zullen, bij afwijkende eindresultaten, de ‘locaties’ waar verschillen in het eindresultaat vandaan komen, op een logische manier op een rij gezet dienen te worden, en in context geplaatst. Plaats en inhoud In het rapport zijn zes lagen te onderscheiden (in volgorde van detailniveau): (1) Rapport in het kort, (2) Samenvatting, (3) Inleiding, (4) Hoofdstukken, (5) Discussie, (6) Conclusies en aanbevelingen, en (7) Bijlagen. Lezers zullen in het algemeen het meeste aandacht besteden aan de onderdelen 1-3; het is essentieel dat de belangrijkste onzekerheidsinformatie hierin behandeld wordt. De behandeling van onzekerheden hierin wordt hieronder kort besproken en geëvalueerd. Rapport in het kort Deze laag lijkt bedoeld als eerste instap in het rapport en voor algemeen geïnteresseerden; o.a. burgers, journalisten, beleidsmakers, etc. (ook mensen die geen kennis van het onderwerp hebben). Er wordt informatie gegeven over de verschillen tussen de analyseresultaten van de twee verschillende laboratoria. Ook worden de resultaten van een statistische toetsing weergegeven: - In 2004 zijn door zowel het RIVM als TNO 70 grondwatermonsters geanalyseerd op 22 stoffen. Bij de vergelijking van de analyseresultaten blijken voor zes van de geanalyseerde stoffen de verschillen tussen de beide laboratoria binnen de marges van de meetonzekerheid te blijven. Voor vijf andere stoffen zijn de verschillen iets groter dan de marge; voor de overige elf stoffen kan onvoldoende overeenkomst worden aangetoond. Er wordt niet aangegeven wat bedoeld wordt met meetonzekerheid. De implicaties van dit resultaat worden zonder context gegeven; voor beleidsmakers is het echter relevant om in te kunnen schatten wat de implicaties zijn van bijv. het feit dat voor de helft van de geanalyseerde stoffen onvoldoende overeenkomst tussen de analyseresultaten van de beide laboratoria kan worden aangetoond. - De afwijkingen bij variërende concentraties zijn vervolgens statistisch getoetst. Voor een aantal stoffen bleken de statistische verschillen, afgezet tegen de meetonzekerheden, verwaarloosbaar klein. Ook hier wordt niet aangegeven wat bedoeld wordt met meetonzekerheid. - Aangegeven wordt dat door middel van een trendanalyse de consequenties van de gevonden verschillen dient te worden onderzocht. Er wordt in het Rapport in het kort echter niet aangegeven hoe deze verschillen verklaard kunnen worden, en wat de implicatie hiervan is met betrekking tot de methodieken van het RIVM en TNO. Dit is echter wel waarin bijv. een beleidsmaker geïnteresseerd kan zijn.

10

Samenvatting De samenvatting is uitgebreider en meer gespecificeerd dan het ‘Rapport in het kort’. Ook is de samenvatting meer georiënteerd op de verschillen in methodiek tussen het RIVM en TNO, en geeft een globaal overzicht van de wijze waarop de datasets van beide laboratoria zijn vergeleken. Dit is met name interessant voor een doelgroep die meer inhoudelijk met (grondwater)bemonstering en –analyse bezig is. De aanbeveling uit het ‘Rapport in het kort’ wordt in een kader geplaatst en enigszins uitgebreid. Twee bronnen van onzekerheid zijn toegevoegd aan die uit het ‘Rapport in het kort’. - Er wordt dieper ingegaan op de methode van bemonstering door zowel het RIVM als TNO. Aangegeven wordt dat er verschillende factoren zijn die de laboratoriumanalyse (mogelijk) beïnvloeden; RIVM en TNO hebben een op punten verschillende methodiek die van invloed kan zijn op het eindresultaat. (Methodologische onzekerheid) Het is goed dat deze uitbreiding in de samenvatting vermeldt is, omdat het inzicht geeft in vragen die na het lezen van het Rapport in het kort wellicht gerezen zijn. - Een van de onzekerheden uit het Rapport in het kort wordt nader toegelicht, nl. interlaboratoriumvariatie: de spreiding tussen analyseresultaten die bestaat wanneer eenzelfde monster door verschillende laboratoria wordt geanalyseerd. Deze variatie wordt uitgedrukt in een interlaboratoriumvariatiecoëfficiënt. De resultaten hiervan worden gegeven (kwantitatief). - Uitgelegd wordt op welke manier statistisch getoetst wordt of er systematische afwijkingen bestaan tussen de datasets van het RIVM en TNO. Ook hiervan worden de resultaten gegeven. Inleiding In de inleiding wordt kort de doelstelling van het Landelijk Meetnet Grondwaterkwaliteit, en de opzet van het vergelijkingsonderzoek geschetst. Voor de doelgroep is de opzet van dit vergelijkingsonderzoek interessant om een inschatting te kunnen maken van de representativiteit ervan. Aangegeven wordt dat het rapport geen uitspraken kan doen over welk laboratorium de meest juiste analyseresultaten oplevert. Het gemiddelde resultaat van alle laboratoria is de consensuswaarde. Dit is waarschijnlijk geen nieuw onderwerp voor lezers die langer met bemonstering en analyse bezig zijn, maar is voor andere geïnteresseerden (zoals beleidsmakers) wel van belang om kennis van te nemen. Deze verdere uitleg had waarschijnlijk ook in de samenvatting toegevoegd dienen te worden, om de toetsresultaten voor minder technische lezers duidelijker in een kader te kunnen plaatsen. Hoofdstukken Het rapport bevat vier hoofdstukken. Als eerste een hoofdstuk over de analysemethoden van het RIVM en TNO. Vervolgens een hoofdstuk met de resultaten van de chemische analyses. Vervolgens een hoofdstuk over interlaboratoriumvariatie, en tenslotte een hoofdstuk met de statistische toetsing. Deze laag in het rapport is bedoeld voor technische lezers die zich meer gedetailleerd willen verdiepen in de analyseresultaten. Verschillen in methodiek van beide laboratoria komen duidelijk aan het licht, de onzekerheden in eindresultaat van bijv. de statistische toetsing worden echter niet in de hoofdstukken weergegeven; hiervoor wordt doorverwezen naar de bijlage. - Het verschil in methodiek tussen de laboratoria van het RIVM en TNO is ook genoemd in de samenvatting. De conserveringsmethoden zijn in grote lijnen gelijk, met als uitzonderingen dat bij TNO de aanzuring van de monsters in de monsterflessen voorafgaande aan de bemonstering plaatsvindt, en bij het RIVM na monstername in het veld. Een ander verschil is dat bij de analyse van NO3 bij het RIVM-laboratorium wel aanzuring plaatsvindt, en bij het TNO-laboratorium niet. Dit is van belang voor lezers met een technische achtergrond die geïnteresseerd zijn in de

11

-

methodieken van beide laboratoria en dit kunnen duiden met betrekking tot het eindresultaat. Hoofdstuk 3 geeft de resultaten van de chemische analyse (in grafieken). Voor grotere grafieken, met ook de bijbehorende meetonzekerheid, en meer informatie over het lagere concentratiebereik, wordt verwezen naar een bijlage. In beide laboratoria zijn voor enkele monsters de maximale bewaartermijnen overschreden. Er wordt niet aangegeven wat hiervan de implicaties (kunnen) zijn op het eindresultaat van de analyse. Verschillende redenen waarom laboratoriumresultaten binnen eenzelfde laboratorium en tussen verschillende laboratoria kunnen verschillen, worden uitgelegd in hoofdstuk 4. De achtergrond van interlaboratoriumvariatie wordt uitgelegd. Op basis van gegevens van het analyselaboratorium van het RIVM is de meetonzekerheid berekend. Voor TNO zijn geen onzekerheden bekend, daarom wordt aangenomen dat deze gelijk zijn aan die van het RIVM. Er wordt echter niet aangegeven in hoeverre dit redelijk is om aan te nemen. Deze meetonzekerheid heeft alleen betrekking op de laboratoriumanalyse.

Discussie In de discussie worden de resultaten van de uitgevoerde toetsen op de RIVM- en TNOdatasets naast elkaar gezet, voor wat betreft de interlaboratoriumvariatie en de statistische toetsen. Nogmaals worden de vier oorzaken van eventuele verschillen tussen de beide laboratoria op een rij gezet (monster zelf, conservering, bewaartermijn en analysemethode). Conclusies en aanbevelingen In dit hoofdstuk worden geen nieuwe onzekerheden behandeld. Er worden enkele aanbevelingen gedaan betreffende de consequenties van de gevonden verschillen tussen de analyseresultaten van beide laboratoria voor verder gebruik van deze data (bv. trendanalyses). Bijlagen Het rapport bevat 5 bijlagen. Er worden geen nieuwe onzekerheden gepresenteerd. Wel wordt er ondermeer aandacht besteedt aan meetonzekerheid en de gebruikte statistische toets. Vorm Verbaal Voor het grootste gedeelte is de onzekerheidscommunicatie verbaal. Bronnen van onzekerheid betreffende de resultaten van de analyses door de beide laboratoria worden expliciet behandeld. Bovendien wordt uitgebreid uitgelegd door welke factoren verschillen in resultaat verklaard kunnen worden. Er wordt een aanbeveling gedaan betreffende de consequenties van deze verschillen voor het verder gebruik van deze data. Doordat begrippen als interlaboratoriumvariatie en meetonzekerheid duidelijk uitgelegd worden, kan hier in het rapport naar verwezen worden. De methode die voor de analyse van de verschillen gevolgd is, komt slechts gedeeltelijk terug in het Rapport in het kort. Hierdoor blijft hier het begrip ‘meetonzekerheid’ enigszins in de lucht hangen, en wordt de context en implicaties ervan niet direct duidelijk. Grafisch In verschillende figuren wordt onzekerheidsinformatie gegeven. In hoofdstuk 3 wordt de onzekerheidsinformatie in de figuren weggelaten, maar wordt hiervoor verwezen naar een bijlage, waar dezelfde figuren met bijbehorende meetonzekerheid weergegeven worden. Dit gebeurt waarschijnlijk omdat de resultaten van het RIVM uitgezet worden tegen de resultaten van TNO, en er door het weergeven van de meetonzekerheid niet direct een duidelijk beeld van de verschillen ontstaat (idealiter liggen de punten in de grafieken op een diagonale lijn). Wellicht kan ervoor gekozen worden om bij grafieken waar de meetonzekerheid een bepaalde grens overschrijdt, dit verbaal onder de grafiek in het hoofdstuk zelf weer te geven.

12

In een theoretisch gedeelte over interlaboratoriumvariatie wordt aan de hand van de zgn. Horowitz-curve duidelijk gemaakt hoe de variatiecoëfficiënt samenhangt met de concentratie van een bepaalde stof in een monster. Verder wordt met voorbeelden de statistische toetsing uitgelegd, ondermeer in enkele figuren. Dit verduidelijkt de methodiek voor niet-technisch publiek. Door het gebruik van verschillende kleuren wordt in de Discussie direct duidelijk wanneer er significante verschillen tussen de analyseresultaten van de beide laboratoria gevonden zijn in de statistische toetsen. Concluderende opmerkingen - Onzekerheidscommunicatie vindt door heel het rapport heen plaats. De opzet van het rapport is logisch, en vooraf aan het gebruik van een bepaalde methodiek wordt deze uitgebreid uitgelegd en voorzien van informatie over de onzekerheid die kan spelen door het gebruik van deze methodiek. De onzekerheden worden ook in het Rapport in het kort en de Samenvatting genoemd. In de Samenvatting gebeurt dit echter veel explicieter dan in het Rapport in het kort; wellicht kan op dit punt het Rapport in het kort wat uitgebreid worden. - Het gebruik van kleuren in de Discussie verduidelijkt de geplaatste figuur, met informatie over de resultaten van de statistische toetsing, en de laboratoriumvariatie, direct. Het kan worden overwogen om deze figuur een meer centrale plaats te geven in het rapport (bijvoorbeeld in de Samenvatting). - De verschillen in methodiek tussen de laboratoria van het RIVM en TNO komen duidelijk naar voren. Dit is waarschijnlijk informatie waar ‘technisch publiek’ in geïnteresseerd is. Er wordt echter geen reflectie op de methodiek gegeven, door het in relatie te brengen met de (verschillen in de) eindresultaten. Het geeft meerwaarde om hier meer aandacht aan te besteden in het rapport. Nu wordt slechts vermeldt dat er verschillen zijn, en voor welke monsters dit geldt, maar wordt de duiding hiervan aan de lezer overgelaten. - Het gebruik van voorbeelden bij de uitleg van de methodiek verduidelijkt deze. Hierdoor is het rapport niet alleen geschikt voor wetenschappers die bekend zijn met deze methodiek, maar ook voor adviseurs en beleidsmakers die niet in detail hiermee op de hoogte zijn. De resultaten worden goed in context geplaatst, door de uitkomsten van de meetonzekerheid te vergelijken met de natuurlijke variabiliteit van de monsters over meerdere jaren. - In het hoofdstuk over de statistische toetsing komen enkele begrippen voor die later in het hoofdstuk pas worden toegelicht (uitbijters, hefboompunten, pag. 33). Deze toelichting zou naar voren gehaald kunnen worden. Dit geldt ook voor het begrip ‘meetonzekerheid’ in het Rapport in het kort.

13

3.3. Van Pul et al. (2008): Ammoniakgat Relevantie van onzekerheden Het ammoniakgat (verschil tussen berekende en gemeten concentraties) liet zien dat de kennis over ammoniak beperkt is en de onzekerheden groot zijn. Ammoniakemissies vormen al geruime tijd een moeilijk terug te dringen milieuprobleem. Door het ammoniakgat bestond in 1998 de paradoxale situatie dat op papier de emissies gedaald waren maar in de metingen de concentraties gestegen waren. Aan de beleidskant is van belang dat momenteel de ruimte voor ammoniakemissies van de landbouw onder het NEC-plafond maximaal benut is. De kans dat in 2010 het ammoniakplafond wordt gehaald is ongeveer 50%. De onzekerheden in met name de emissie uit de landbouw kunnen het halen van dit doel dus in gevaar brengen (Milieubalans 2009). Deze beleidscontext waarin kennis over het ammoniakgat een belangrijke rol speelt laat zien dat de onzekerheden in de monitoring van ammoniakemissies en in het verspreidingsmodel die in het rapport centraal staan, uitermate beleidsrelevant zijn. De relevantie van onzekerheid in deze casus wordt verder versterkt doordat er maatschappelijke controversen zijn over het mest- en ammoniakbeleid en er stevige landbouwbelangen bij op het spel staan en de onzekerheden groot zijn doordat ammoniakemissies niet rechtstreeks meetbaar zijn maar noodgedwongen met een emissiemodel moeten worden becijferd, met alle beperkingen van dien. De aard van het rapport is een synthese van een aantal deels eerder gepubliceerde technische analyses rond aspecten die samenhangen met het ammoniakgat. Het rapport beoogt zo een overzicht geven van het onderzoek dat door het RIVM in samenwerking met PBL, ECN en WUR is uitgevoerd om het ammoniakgat te verklaren en beoogt conclusies te formuleren ten aanzien van de huidige status van zowel de onzekerheden in emissiemonitoring en verspreidingsmodellering als van het ammoniakgat. In het hele rapport staat onzekerheid dus centraal. De doelgroep wordt niet benoemd maar de opdrachtgever is het ministerie VROM waarmee het rapport zich wat betreft hoofdboodschap richt op beleidmakers. Echter, het rapport is technisch van aard en de aanbevelingen richten zich niet zozeer op beleid maar meer op verbetering van de kennisbasis voor de onderbouwing van het beleid. Daarmee lijkt het rapport zich meer nog te richten op betrokken specialisten bij de ammoniak emissiemonitoring en verspreidingsmodellering, beleidsadviseurs en algemeen geïnteresseerden. Plaats en inhoud In het rapport zijn vijf lagen te onderscheiden (in volgorde van detailniveau): (1) Rapport in het kort, (2) Samenvatting, (3) Inleiding, (4) Hoofdstukken, (5) Conclusies en aanbevelingen. De behandeling van onzekerheden in de lagen binnen het rapport wordt hieronder kort besproken. In het algemeen: onderdelen 1-3 en 5 behoren tot de zogenaamde ‘primaire laag’, waar lezers de meeste aandacht aan besteden en waarin alle voor de doelgroep essentiële onzekerheidsinformatie behandeld moet worden. Rapport in het kort Deze laag lijkt bedoeld als eerste instap in het rapport en voor algemeen geïnteresseerden; o.a. burgers, journalisten, beleidsmakers, etc. (ook mensen die geen kennis van het onderwerp hebben) om snel een indruk te krijgen waar het rapport over gaat. In deze laag van het rapport dient onzekerheidsinformatie niet te technisch van aard te zijn en vooral goed in context geplaatst te worden. Eventuele (beleids)implicaties ervan moeten expliciet en duidelijk benoemd worden. - Het vraagstuk van het ammoniakgat wordt goed uitgelegd en er wordt aangegeven dat de grote onzekerheid die er daardoor was over of ammoniakdoelen wel gehaald werden is afgenomen door het in het rapport gepresenteerde onderzoek. - Er wordt genoemd dat metingen van ammoniak in de buitenlucht “een onzekerheid van ca 7%” hebben. Hierbij wordt niet alleen verzuimd aan te geven wat precies

14

-

bedoeld wordt (mogelijk wordt bedoeld twee dat standaarddeviaties 7% van de gemiddelde meetwaarde bedragen; later in de samenvatting komt hetzelfde getal terug en wordt daar aangeduid als een systematische afwijking met onbekend teken) ook wordt het getal niet in context geplaatst en de (beleids)implicaties niet helder verwoord. Een lezer die niet al is ingevoerd in de problematiek zal het getal van 7% niet kunnen duiden en na lezing geen benul hebben of dat moet worden gezien als bijvoorbeeld groot, klein of normaal en of het dan erg is als het groot is en waarom. Pas in hoofdstuk 2 is deze duiding te vinden waar wordt uitgelegd dat 7% een acceptabele precisie is, die inherent is aan het soort meetnetten dat beschikbaar is. Die duiding had in het rapport in het kort er bij moeten staan en is voor de brede doelgroep van deze laag belangrijkere onzekerheidsinformatie dan het getal 7 zelf. De laatste zin stelt dat het resterende ammoniakgat door de onzekerheden in metingen en berekeningen niet significant meer is: met de gepresenteerde inzichten kan het ammoniakgat van de zelfde omvang zijn als de onzekerheidsranges in berekende en gemeten concentraties. Daarbij mist een heldere duiding over wat de implicaties van de resterende onzekerheden zijn.

Samenvatting De samenvatting gaat uitgebreid in op de resultaten van het onderzoek naar de onzekerheden in de concentratiemetingen en de modelberekeningen van de concentraties. Minder uitgebreid wordt ingegaan op de onzekerheden in de emissieinventarisatie, waarbij er gekozen is daarvan slechts enkele er uit te lichten. Binnen de doelstelling van het rapport is dat een legitieme inperking die ook expliciet is aangegeven en er zijn voldoende verwijzingen naar studies waar deze wel belicht worden. - De samenvatting zet helder uiteen wat het ammoniakgat is en hoe dit samen hangt met onzekerheden in zowel emissiemonitoring als verspreidingsmodellering als concentratiemetingen en maakt daarbij de aard van de onzekerheden inzichtelijk en zet dat ook goed in het perspectief van de beperkingen in de methoden waarmee elk van deze aspecten in kaart gebracht wordt. - In de samenvatting worden verschillende onzekerheden kwantitatief uitgedrukt als een percentage. Zo wordt gesteld dat de meetonzekerheid in jaargemiddelde concentraties 7% bedraagt. Net als in rapport in het kort wordt niet precies aangegeven wat deze 7% uitdrukt. Er staat als kwalificatie bij "Het teken van de onzekerheid is onbekend en kan leiden tot een systematische afwijking.". Onduidelijk blijft of de 7% bijvoorbeeld 1 dan wel 2 standaarddeviaties is, terwijl het ook gelezen kan worden als een systematische fout met onbekend teken. De vraag is ook of men de 7% wel moet aanduiden als "De onzekerheid van de LML-metingen...", beter lijkt het om te spreken in termen van precisie, bijvoorbeeld: "De precisie waarmee jaargemiddelde concentraties kunnen worden bepaald gegeven de meetmethode...". Daarnaast zijn er immers nog onzekerheden die samenhangen met de beperkingen van de meetmethode en aannamen waarop deze is gebaseerd, en die lijken niet allemaal met het 7% getal gedekt te zijn. - De onzekerheden in het verspreidingsmodel (OPS) worden in algemene termen beschreven. Duidelijk wordt dat er tal van onzekerheden zijn maar dat uit modelanalyse blijkt dat de enige factor die daarbij relevant is voor het te verklaren en te verkleinen ammoniak gat (lees het enige proces dat een substantiële systematische fout kan verklaren) het droge depositieproces blijkt te zijn. Over dat drogedepositieproces is bovendien relatief weinig bekend: de onzekerheden zijn groot. - Vervolgens worden onzekerheden besproken in de emissiemonitoring en dan vooral in het mest en ammoniak model waarmee deze worden becijferd. Er wordt aangegeven dat de onzekerheid in de emissies 17% bedraagt. Daarbij wordt verzuimd aan te geven dat hiermee het 95% betrouwbaarheidsinterval wordt aangeduid. Ook daar spitst de analyse zich toe op de systematische fouten die het gat kunnen helpen verklaren. Door aanpassing van enkele emissiecoëfficiënten in het model op basis van

15

-

-

voortschrijdend inzicht (ondermeer bij uitrijden van mest en bij afrijpen) is de omvang van het ammoniak gat reeds gedaald. Tenslotte wordt het algemene beeld van het ammoniakgat met de huidige kennis geschetst: dit is niet meer significant. Daarbij wordt helder aangegeven dat er evengoed wel substantiële onzekerheden zijn in de emissies en dat deze hooguit op 15kton nauwkeurig kunnen worden vastgesteld bij het huidige emissieniveau. Kort wordt ingegaan op de implicaties daarvan en op hoe het in het buitenland zit met het ammoniakgat. De gedachtegang dat voor het ammoniakgat systematische fouten relevanter zijn dan random fouten en dat daarom de analyse zich richt op systematische fouten wordt al lezend duidelijk, dit had wat explicieter vooraan in de tekst kunnen staan. Voor de doelgroep beleidmakers die vooral de samenvatting lezen had het onderscheid tussen random en systematische fouten beter geïntroduceerd en in context geplaatst kunnen worden.

Inleiding - In de inleiding wordt de problematiek van ammoniak en de onzekerheden en het ammoniakgat helder uiteengezet en goed ingekaderd in de relevante beleidscontext van Europese en Nationale NEC doelstellingen, de landbouwsector als hoofdrolspeler, en effecten op ecosystemen (verzuring en eutrofiering). Het drievoudig instrumentarium (concentratiemeetnet, emissiemodel en verspreidingsmodel) waaruit ammoniakcijfers volgen waartussen het ammoniakgat bestaat wordt kort ingeleid en mogelijke sleutelonzekerheden en andere factoren die het gat kunnen verklaren worden ingeleid. Hoofdstukken De hoofdstukken vormen een verslag van een speurtocht naar onzekerheden en andere factoren die kunnen hebben geleid tot systematische fouten in het drievoudig instrumentarium en daarmee het ammoniakgat kunnen verklaren - In hoofdstuk 2 wordt het landelijk meetnet luchtkwaliteit - waarbinnen ammoniakconcentratiemetingen plaatsvinden - tegen het licht gehouden. Ingegaan wordt op diverse beperkingen van het meetnet, op de representativiteit, en op vergelijking van verschillende meetmethodieken. Geconcludeerd wordt dat de representativiteit toereikend is en dat voor het ammoniakgat de meest relevante onzekerheid de resulterende onzekerheid in het jaargemiddelde is, die naar schatting 7% bedraagt. Men vindt dit een acceptabele precisie, die inherent is aan dit soort meetnetten. Gegeven het meetnet zou een andere meetmethode niet tot substantieel hogere precisie leiden - Hoofdstuk 3 verkent de onzekerheden in de modelberekeningen met het OPS model en zoekt mogelijke verklaringen voor het ammoniakgat in mogelijke systematische fouten in deze modelberekeningen. Emissie en droge depositie spelen de hoofdrol maar die worden apart behandeld in hoofdstuk 5. H3 behandelt de overige bronnen van onzekerheid in het OPS model. Hoewel daar veel onzekerheden aan de orde zijn die een random karakter hebben worden deze voor het ammoniakgat minder relevant geacht omdat deze niet tot systematische onder- of overschatting leiden. - De modelonzekerheden in OPS kunnen worden gesplitst in onzekerheden in het generieke modelconcept, onzekerheden in stofspecifieke parameters en onzekerheden in stofspecifieke emissies. Berekeningen en metingen worden vergeleken. - Geconcludeerd wordt dat er inherente modelonzekerheden zijn in het OPS model waardoor een verschil van 10% tussen model en meting acceptabel is gegeven de beperkingen van een modelbenadering. Men vind echter wel 25% verschil en schrijft deze toe aan een combinatie van twee hoofdfactoren: een systematische onderschatting van de emissie en een systematische overschatting van de droge depositie.

16

-

-

-

-

Hoofdstuk 4 verkent systematische onzekerheid in het emissiemodel. Inzichten uit het VELD project dat gedetailleerd emissies in kaart bracht worden gepresenteerd. Daaruit bleek dat aanwendingsemissies van dierlijke mest niet goed in het model zitten. Een meetcampagne naar deze factor wordt beschreven die heeft geleid tot bijstelling van de betreffende emissiecoëfficiënten in het model. Verder wordt ingegaan op een in het verleden niet goed meegenomen emissiebron: emissie uit vegetatie. Het gaat om twee processen: emissie uit de plant zelf en emissie vanaf het bladoppervlak. Men concludeert uit literatuurstudie dat (re-)emissies vanuit gras en akkerbouwgewassen aanzienlijk kunnen zijn maar deels al verdisconteerd zijn in de Emissieregistratie. Het deel dat er niet goed in zit is re-emissie bij akkergewassen door afrijping (het afsterven van landbouwgewassen), dat zou een omvang van 4% van de huidige ammoniak emissie kunnen hebben en daarmee zou het een deel van het gat kunnen verklaren. Dit is verder niet gevalideerd voor de Nederlandse situatie en heeft dus de status van een ongetoetste aanname. Dat wordt in het rapport niet overal helder gecommuniceerd. Hoofdstuk 5 gaat uitgebreid in op de sleutelonzekerheid die een groot deel van het vroegere ammoniakgat lijkt te verklaren: de droge depositie. Gevoeligheidsanalyse van het model liet zien dat deze parameter het meeste invloed had op de berekende emissie. Twee alternatieve verbeterde manieren voor aanpassing van de modellering van droge depositie worden verkend. Beide leiden tot een verkleining van het ammoniakgat. De nieuwe inzichten leiden tot een lagere totale droge depositie maar een iets hogere depositie op de natuur (enkele procenten). Het opnemen van deze nieuwe inzichten in het model vraagt ingrijpende aanpassingen en een aantal aspecten behoeft nog nadere validatie. Hoofdstuk 6 biedt een kort overzicht van de wetenschappelijke discussie en stand van zaken rond het ammoniakgat in het buitenland. Vlaanderen zocht de verklaring in onderschatting van stalemissies. Landen die emissies uit gewassen meenemen hebben geen ammoniakgat. Het conclusiehoofdstuk zet alle gevonden onzekerheden die tot een systematische fout kunnen leiden en zo het gat kunnen verklaren op een rij, waarbij in de presentatie vooral getallen (onzekerheid uitgedrukt in procenten) worden gegeven. Er wordt nauwelijks kritisch gereflecteerd op aannamen.

Vorm Verbaal - Het rapport kiest door zijn aard vooral voor een numerieke uitdrukking van onzekerheden om het eveneens numeriek uitgedrukt ammoniakgat te verklaren en verkleinen. Verbale uitdrukkingen spelen in dit rapport daardoor een beperkte rol, al wordt wel in verbale termen ingegaan op beperkingen van modellen en meetnetten. Numeriek - In het rapport worden onzekerheidsranges hoofdzakelijk uitgedrukt in percentages. Hoewel dit nergens wordt toegelicht lijkt het meestal te gaan om twee standaardafwijkingen van de gemiddelden. Om verkeerde interpretatie te voorkomen moet expliciet worden gemaakt wat met het elk gerapporteerd onzekerheidspercentage precies wordt uitgedrukt zodat daarover geen misverstand kan bestaan. Grafisch - In enkele figuren wordt met puntenwolken weergegeven in welke mate de ammoniakwaarden bepaald met verschillende methoden (fig 2.7) of metingen en modelresultaten (fig 3.3) met elkaar overeenkomen. Dit geeft een goed inzicht in dit aspect van onzekerheid.

17

-

In figuur 4.2 wordt met een grijze band rond een tijdreekslijn van concentratie en flux een 95% betrouwbaarheidsinterval gegeven. Dit geeft een goed inzicht in de verhouding van signaal en ruis en daarmee van de nauwkeurigheid. Figuren 5.1, 5.3, 5.5 en 5.7 geven met error-bars intervallen van plus of min 1 standaarddeviatie. In de figuuronderschrift of legenda ontbreekt de aanduiding dat de error-bars 1 standaarddeviatie weergeven. Dit staat wel in de hoofdstuktekst. Dit kan misverstanden opleveren omdat ook wel eens twee standaarddeviaties worden weergegeven met een error-bar.

Concluderende opmerkingen - Het rapport doet in zekere zin verslag van een speurtocht naar verklaringen voor het ammoniakgat met het doel dit te verkleinen. Naast verkleining van het gat door nieuwe inzichten over diverse parameters in de modellen kan binnen de diverse onzekerheidsranges en door het meenemen van tot voorheen buiten beschouwing gelaten factoren zodanig aan de knoppen gedraaid worden dat het nog resterende deel van het ammoniakgat verdwijnt. Het rapport lijkt daarmee vooral aan te tonen dat door een aantal -overigens redelijk onderbouwbare- aannamen te doen het ammoniakgat kan worden opgelost, maar presenteert dat teveel alsof het gat daarmee ook is opgelost. Kanttekening over de dat de validiteit van enkele van de aannamen over wat het gat verklaart nog nadere toetsing behoeven waren op zijn plaats geweest. Dit belangrijke aspect van onzekerheid had vooral een plek in samenvatting en conclusies moeten krijgen. - De filosofische vraag kan worden gesteld of als studies zouden zijn uitgezet om systematisch te zoeken naar mogelijke fouten in de modellen en metingen waardoor het ammoniakgat juist is onderschat, of dan niet ook een reeks goed te verdedigen modelwijzigingen te vinden zou zijn die bij implementatie in de drie instrumenten zouden leiden tot een groter ammoniakgat. Nu alleen is gezocht naar fouten die na aanpassing leiden tot een kleiner ammoniakgat moet opgemerkt worden dat er een bias (asymmetrie in de gezochte richting van de fouten) zit in de gevolgde aanpak. Kritische reflectie daarop in het conclusiehoofdstuk had op zijn plaats geweest. - In het algemeen lopen in het rapport drie categorieën van verklarende factoren voor het ammoniakgat door elkaar. De eerste is voortschrijdend inzicht zoals bijstelling van emissiecoëfficiënten dat laat zien dat er in het verleden systematische fouten in de gebruikte methodieken zaten. De tweede categorie zijn de mogelijk systematische onzekerheden die thans nog in de methodieken kan zitten die het ammoniakgat verklaart. Het rapport is zoals gesteld deels een speurtocht naar deze mogelijke fouten. Daarbij kan scherper onderscheiden worden waar het rapport deze feitelijk heeft vastgesteld en waar het rapport aannemelijk maakt dat deze kunnen bestaan maar nadere validatie daarvan nog moet plaats vinden. De derde categorie zijn mogelijke over het hoofd geziene emissiebronnen (bijvoorbeeld uit planten) die het gat kunnen verklaren.

18

3.4. Wattel-Koekoek et al. (2009): Representativiteit monitoring grondwater Relevantie van onzekerheden Dit rapport past binnen een reeks inspanningen die tot doel hebben tot een goede invulling te komen van de Europese Kaderrichtlijn Water (KRW). Onder andere is in Nederland een monitoringsprogramma opgesteld om te voldoen aan het voorschrift om het grondwater regelmatig te meten. Voorafgaand aan het rapport was het onzeker of het monitoringsprogramma voldeed aan de formele randvoorwaarden uit de KRW. Om inzicht te krijgen hierin is in dit rapport onderzoek gedaan naar de representativiteit ervan. Om hier een indruk van te krijgen is het noodzakelijk meer te weten van de onzekerheden die spelen bij het trekken van conclusies op basis van een beperkt aantal metingen wat betreft betrouwbaarheid en ruimtelijke representativiteit. Het rapport probeert hier een theoretisch antwoord op te formuleren, en confronteert dit met de gang van zaken in het Nederlandse montitoringsprogramma. Ook is het nodig helderheid te scheppen over de eisen die gesteld worden binnen de KRW; hiernaar wordt in het eerste gedeelte van het rapport onderzoek gedaan. Plaats en inhoud In het rapport zijn zes lagen te onderscheiden (in volgorde van detailniveau): (1) Rapport in het kort, (2) Samenvatting, (3) Inleiding, (4) Deel A (formele randvoorwaarden), (5) Deel B (nadere analyse betrouwbaarheid en ruimtelijke representativiteit huidige meetnet), (6) Bijlagen. De meeste aandacht van lezers zal uitgaan naar de onderdelen 1-3; hierin dient de meest essentiële onzekerheden behandeld te worden. De behandeling van onzekerheden hierin wordt hieronder kort besproken. Rapport in het kort Deze laag is de eerste instap in het rapport en door de opzet geschikt voor algemeen geïnteresseerden. De onzekerheidsinformatie moet daarom zoveel mogelijk in context geplaatst worden en de implicaties ervan moeten duidelijk aangegeven worden. Dit lijkt in dit hoofdstuk voldoende te gebeuren. Het Rapport in het kort is echter wel voornamelijk beschrijvend. Er worden geen harde uitspraken gedaan (in kwantitatief opzicht) over de bestaande situatie van de representativiteit van het Nederlandse monitoringsprogramma, of de situatie na het opvolgen van de aanbevelingen. Onzekerheden die genoemd worden zijn: - Er is nog geen conceptueel model wat de interactie weergeeft tussen oppervlakkige afspoeling, grondwater en ecosystemen (onwetendheid). De belangrijke rol van het conceptuele model in het geheel van het grondwatermonitoringsprogramma wordt echter niet aangegeven. - Aangegeven wordt dat de beoordeling van de waterkwaliteit betrouwbaarder kan worden door meer bestaande meetpunten in te zetten. Er wordt niet aangegeven hoe ‘betrouwbaar’ het bestaande monitoringsprogramma is, en hoe die betrouwbaarheid verbeterd wordt bij het volgen van dit advies. Dit is echter wel iets waar een beleidsmaker in geïnteresseerd zal zijn. Deze informatie is overigens wel beschikbaar in de samenvatting. - Er wordt geadviseerd om op locaties waar het bovenste grondwater de kwaliteit van het oppervlaktewater en ecosystemen beïnvloedt, de reeds bestaande surveillancemonitoring en operationele monitoring uit te breiden met grondwaterkwaliteitsgegevens uit de bovenste meters om trends eerder waar te kunnen nemen (onwetendheid). - De chemische toestand van grondwater wordt bepaald op basis van metingen op 10 en 25 m diepte. Surveillancemonitoring vindt plaats in gebieden waar het risico op vervuiling in 2015 klein is; operationele monitoring vindt plaats in gebieden waar het risico groter is. Dit laatste is bedoeld om effecten van milieumaatregelen eerder waar

19

te kunnen nemen. Ook hier wordt geadviseerd om grondwaterkwaliteitsgegevens uit de bovenste paar meters erbij te betrekken (scenario, onwetendheid). Samenvatting De samenvatting is uitgebreider en inhoudelijker dan ‘rapport in het kort’. De aanbevelingen uit het ‘rapport in het kort’ worden in een kader geplaatst en enigszins uitgebreid. Voor de formele eisen uit de KRW wordt verwezen naar Deel A. Het actuele Nederlandse monitoringsprogramma wordt wel toegelicht in de samenvatting. Twee bronnen van onzekerheid kunnen worden toegevoegd aan die uit het ‘rapport in het kort’. - Er wordt dieper ingegaan op surveillance- en operationele monitoring betreffende oppervlaktewater. Uit studies blijkt dat een aanzienlijk deel van de belasting van het oppervlaktewater afkomstig kan zijn van het bovenste grondwater. Bovendien is er een (onbekende) bijdrage van oppervlakkige afspoeling. Voor deze laatste wordt nader onderzoek geadviseerd (onwetendheid). - Er wordt ingegaan op de betrouwbaarheid van de toestandsbepaling van het grondwaterlichaam. Er wordt aangegeven dat op basis van het huidige aantal meetpunten in sommige grondwaterlichamen niet met voldoende zekerheid bepaald kan worden dat niet meer dan 20% van de meetpunten de drempelwaarde overschrijdt. Aanbevolen wordt het aantal meetpunten in het KRW Monitoringprogramma Grondwaterkwaliteit uit te breiden, om zodoende met 80%, 90% of 95% zekerheid aan te kunnen tonen dat de bovenste betrouwbaarheidsgrens van het overschrijdingspercentage kleiner of gelijk is aan 20%. Dit betreft een statistische onzekerheid in de uitkomsten van de toestandsbepaling. Aan beleidsmakers wordt ter overweging gegeven welke mate van betrouwbaarheid noodzakelijk geacht wordt; dit gebeurt op een heldere manier. Inleiding In de inleiding worden eerdere stappen in de implementatie van de KRW geschetst. Als hoofddoel is geformuleerd dat er gereflecteerd wordt op de grondwaterkwaliteitmonitoringsprogramma’s (surveillancemonitoring en operationele monitoring): sluiten deze meetstrategieën aan bij de formele randvoorwaarden zoals geschetst in de KRW. De onzekerheid over het Nederlandse grondwatermonitoringsprogramma wordt op deze manier in context geplaatst. - Onzeker is of het monitoringsprogramma zoals dat in Nederland wordt uitgevoerd, representatief genoeg is om te voldoen aan de randvoorwaarden die in de KRW geschetst worden. Dit is voor VROM de reden om dit onderzoek uit te laten voeren. - Inhoudelijk wordt verder verwezen naar de monitoringsprocedure. Aan het begin van een planperiode wordt voor een grondwaterlichaam een inschatting gemaakt van de toestand aan het einde van de planperiode. Grondwaterlichamen waarvan verwacht wordt dat vervuilende stoffen aan het eind van de planperiode in te hoge concentraties aanwezig zijn, worden als ‘at risk’ aangemerkt. Bij deze grondwaterlichamen vindt minimaal eenmaal per jaar operationele monitoring plaats, onder andere om te beoordelen of de beleidsmaatregelen het gewenste effect tot gevolg hebben. De overige grondwaterlichamen staan onder surveillancemonitoring, wat inhoudt dat er minimaal eens in de zes jaar gemonitord wordt. Deel A (formele randvoorwaarden) In deze hoofdstukken worden de formele randvoorwaarden aan grondwatermonitoring voor de KRW onderzocht. Het blijkt dat met name wat betreft het begrip ‘representativiteit’ de KRW niet concreet is. In het rapport wordt echter een keuze gemaakt voor een bepaalde betekenis, op basis van meerdere EU guidance documents, en het totaal van de KRW. - Er wordt aandacht besteedt aan conceptuele model. Deze modellen fungeren als uitgangspunt en hulpmiddel bij het meetontwerp (diepte, locatie en frequentie van monitoring). Met behulp van vrijkomende monitoringdata kunnen de modellen eventueel verder nog worden ontwikkeld en verbeterd. Bij het ontwikkelen van een

20

-

-

conceptueel model komt modelonzekerheid voor, maar hier wordt in het rapport geen aandacht besteedt. Het conceptuele model kan onjuistheden en/of tekortkomingen bevatten, die vervolgens weer doorwerken in het meetontwerp wat (ondermeer) op basis van het conceptuele model wordt opgesteld. Aangezien het gehanteerde conceptuele model cruciaal is voor het meetontwerp, is het opmerkelijk dat er voorbij gegaan wordt aan de onzekerheden die een dergelijk model met zich meebrengt. Het is ook de vraag of de lezer dit zich realiseert. Er wordt uitgebreid ingegaan op de tekortkomingen van de huidige praktijk van surveillancemonitoring en operationele monitoring, door het gebruik van slechts metingen afkomstig van putten op 10 en 25 m diepte. Twee factoren worden hierbij niet of slechts beperkt meegenomen: uitspoeling vanuit het bovenste grondwater en oppervlakkige afspoeling. Er zijn echter geen kwantitatieve gegevens voor de flux van deze bijdragen. In het rapport worden geen implicaties geschetst van het feit dat deze fluxen onbekend zijn. Uit de analyse van de huidige monitoringspraktijk blijkt dat het onduidelijk is in hoeverre er aan de eis van weerspiegeling van de ruimtelijke variatie in natuurlijke omstandigheden en verontreinigingsniveau’s in de locatiekeuze van monitoring wordt voldaan. Achtergrond van monitoring wordt zelden gedocumenteerd, zowel voor surveillancemonitoring als operationele monitoring. Dit betreft methodologische onbetrouwbaarheid in de monitoring waarnaar in het rapport onderzoek gedaan wordt. Verbeterde documentatie geldt als aanbeveling in het rapport.

Deel B Betrouwbaarheid en ruimtelijke representativiteit Dit hoofdstuk gaat vooral in op de betrouwbaarheid en ruimtelijke representativiteit van het huidige surveillancenetwerk. - Bij de bepaling van de algemene chemische toestand mag bij maximaal 20% van de meetpunten de norm overschreden worden. In het rapport is het benodigd aantal meetpunten onderzocht, om bij een bepaald percentage overschrijding met een betrouwbaarheid van 80%, 90% of 95% aan te tonen dat het werkelijke percentage kleiner of groter is dan 20%. In het rapport wordt veel aandacht besteedt aan de statistische onzekerheid van de conclusies op basis van een beperkt aantal meetpunten. Conclusies en aanbevelingen In deze hoofdstukken worden geen nieuwe onzekerheden behandeld. Er worden enkele aanbevelingen gedaan betreffende de betrouwbaarheid van het monitoringprogramma en de ruimtelijke representativiteit van de meetpunten. Door het maken van keuzes, geleid door het geheel van de KRW en de EU guidence documents, is de conclusie betreffende de formele randvoorwaarden van de KRW tamelijk robuust: in ieder geval wordt op alle punten aan de minimumvoorwaarden voldaan. Er worden veel aanbevelingen gedaan om het Nederlandse grondwatermonitoringsprogramma aan te passen op de KRW. Het geheel van Conclusies en Aanbevelingen lezende, krijgt het publiek vooral een indruk van de richting waarop veranderen zich moeten concentreren. Voor beleidsmakers worden opties gegeven voor verbeteringen, waarin een keuze gemaakt dient te worden naar de mate van gewenste betrouwbaarheid van de toestandsbepaling van het grondwaterlichaam. Dit wordt duidelijk beargumenteerd en gepresenteerd. Bijlagen Het rapport bevat 6 bijlagen. - In bijlage 2 wordt aandacht besteedt aan het begrip ‘heterogeniteit’, ofwel de statistische variabiliteit van parameters. Er is zowel variatie in ruimte, als in tijd: bij bemonstering verkrijgt men een bandbreedte wanneer men op dezelfde locatie varieert in ruimte en tijd (statistische onzekerheid). Geconcludeerd wordt dat de variatie op lokale schaal kleiner moet zijn dan de totale variatie in een geheel gebied, wil men uitspraken kunnen doen over ruimtelijke trends. Daarnaast is het

21

-

noodzakelijk om variatie op korte tijdschalen te begrijpen, om uitspraken te kunnen doen over veranderingen op een grotere tijdschaal. Dit leidt tot een bepaalde strategie wat betreft bemonstering. Als voorbeeld van een conceptueel model (gedeelte van een conceptueel model) is een model van de bijdrage van grondwater aan de oppervlaktewaterkwaliteit in NoodBrabant opgenomen. De stikstof- en nitraatbeslasting voor verschillende zandsoorten weergegeven, met bijbehorende bandbreedte.

Vorm Verbaal Het overgrote merendeel van de onzekerheidscommunicatie in het rapport is verbaal. De aanwezige bronnen van onzekerheid wordt echter niet heel expliciet gemaakt. Hoofddoel van het rapport is om de representativiteit van het KRW Monitoringprogramma Grondwaterkwaliteit te toetsen. Er worden wel een aantal aanbevelingen getrokken betreffende de huidige monitoringsstrategie, maar er wordt niet expliciet duidelijk gemaakt wat op het moment de onzekerheid is betreffende de representativiteit van het monitoringsprogramma en hoe deze in de toekomst gereduceerd wordt. Verbale informatie is wat dit onderwerp betreft de meest voor de hand liggende vorm. Overwogen dient echter of de onzekerheidsinformatie niet meer kwantitatief had gemoeten. Nu krijgt de lezer vooral een globale indruk van het probleem. Grafisch In twee van de drie inhoudelijk relevante figuren wordt onzekerheidsinformatie weergegeven. In figuur 6.1 wordt de invloed van het aantal meetpunten op de 80, 90 en 95%betrouwbaarheidsgrens grafisch weergegeven. In een figuur in de bijlage, figuur B3.3 wordt veel informatie gegeven over de spreiding van de oppervlaktewaterbelasting van zowel stikstof als nitraatstikstof. Gemiddelde, mediaan en 17.5-82.5%-waarden worden grafisch weergegeven. Concluderende opmerkingen - In het rapport wordt de representativiteit van het KRW Monitoringsprogramma Grondwaterkwaliteit getoetst. Er worden verschillende aanbevelingen gedaan om de monitoringsstrategie en ruimtelijke representativiteit te verbeteren. De monitoringsstrategie blijkt verschillende bronnen van vervuiling niet of beperkt mee te nemen bij bemonstering. De betrouwbaarheid van de ruimtelijke representativiteit blijkt statistisch niet (altijd) gewaarborgd. De implicaties van deze onzekerheden worden in het rapport duidelijk weergegeven, in verschillende lagen. De onzekerheidscommunicatie blijft echter voornamelijk kwalitatief. Het is voor de lezer moeilijk in te schatten hoe groot de onzekerheid betreffende de representativiteit op het moment is, en hoe deze onzekerheid in de toekomst wordt verminderd of kan verdwijnen door het opvolgen van de aanbevelingen. Voor met name beleidsmakers is deze informatie echter wel noodzakelijk om inzicht te krijgen in de ‘ernst’ van het probleem. - Een belangrijke aanbeveling betreft de methodologische betrouwbaarheid van de KMG’s van de verschillende stroomgebieden. Aanbevolen wordt deze op elkaar af te stemmen, en in de toekomst aan enkele randvoorwaarden te laten voldoen. Dit is een belangrijke aanbeveling als het gaat om het verkleinen van onzekerheid betreffende methodologische onbetrouwbaarheid. - Een belangrijk onderdeel van de monitoringsstrategie is het conceptuele model, wat als uitgangspunt voor de strategie geldt. Een aanvankelijk model kan worden verbeterd wanneer er monitoringsdata beschikbaar zijn. Er wordt in het rapport geen aandacht gegeven aan kwalitatieve modelonzekerheid van conceptuele modellen. Bovendien wordt hier ook kwantitatief geen inschatting van gemaakt. Dit is een

22

belangrijk punt voor de toekomst, om de methodologisch betrouwbaarheid van de monitoringsstrategie te waarborgen.

23

3.5. Wesseling en Sauter (2007): Kalibratie CAR II Relevantie van onzekerheden Dit rapport is een achtergrondrapport gericht op een ‘technisch’ publiek, waarschijnlijk vooral beleidsadviseurs/consultants, wetenschappers en specialisten bij gemeenten. Het onderwerp is een kalibratie van het CAR II model voor lokale luchtkwaliteit aan de hand van metingen uit het Landelijk Meetnetwerk Luchtkwaliteit (LML). Luchtkwaliteit is een onderwerp waar de laatste jaren veel om te doen is geweest en waarbij normen op veel plekken niet gehaald werden. Het CAR model wordt gebruikt voor het zoeken naar knelpunten (i.e. waar de normen overschreden worden en waar niet). Omdat dit een nieuwswaardig beleidsprobleem is, er op veel plekken normen mogelijk net wel of net niet overschreden worden (i.e. de onzekerheid kan net het verschil uitmaken), en een fout in de ene richting (bijv. overschatting / false positive) andere consequenties heeft dan in de andere (onderschatting / false negative), is het extra belangrijk om zorgvuldig in te gaan op de onzekerheden. Ook zal er naast de primaire doelgroep waarschijnlijk een grote secundaire doelgroep van geïnteresseerden zijn, zoals lokale beleidsmakers en politici die beleidsverantwoordelijk zijn voor de knelpunten, milieugroeperingen en ‘algemeen geïnteresseerden’. In de hoofdtekst mag vanwege de technische primaire doelgroep de nadruk gelegd worden op gedetailleerde technische informatie, aparte behandeling van onzekerheden en nadruk op de typen, bronnen en omvang van de onzekerheden. De belangrijkste vragen waar de hoofddoelgroep mee zit, zullen vooral de te gebruiken kalibratiefactor en de onzekerheid daaromtrent betreffen, en mogelijk ook de onzekerheden en ‘haken en ogen’ in zowel metingen als modellering. In de ‘bovenste lagen’, vooral in ‘rapport in het kort’, staan mogelijk andere vragen centraal; voor de secundaire doelgroepen. Vermoedelijk zal een belangrijke vraag voor hen zijn: hoe nauwkeurig zijn de resultaten van CAR II (na kalibratie)? Deze informatie is relevant voor het vertrouwen in deze resultaten wanneer de berekende luchtkwaliteit zeer dicht in de buurt van de norm ligt. Plaats en inhoud In het rapport zijn zes lagen te onderscheiden (in volgorde van detailniveau): (1) Rapport in het kort, (2) Samenvatting, (3) Conclusies en aanbevelingen, (4) Inleiding, (5) Hoofdstukken, (6) Appendix. Verder wordt verwezen naar enkele achtergrondrapporten. De behandeling van onzekerheden in de lagen binnen het rapport wordt hieronder kort besproken. In het algemeen: onderdelen 1-4 behoren tot de zogenaamde ‘primaire laag’, waar lezers de meeste aandacht aan besteden en waarin alle essentiële onzekerheidsinformatie naar behandeld moet worden. Rapport in het kort Deze laag lijkt bedoeld als eerste instap in het rapport en voor algemeen geïnteresseerden; o.a. burgers, journalisten, beleidsmakers, etc. (ook mensen die geen kennis van het onderwerp hebben). De onzekerheidsinformatie moet daarom zoveel mogelijk in context geplaatst worden en de implicaties ervan moeten duidelijk aangegeven worden. - Het valt op dat dit onderdeel vrijwel geen onzekerheidsinformatie bevat. Er wordt slechts aangegeven dat de door CAR II berekende concentraties systematisch te hoog zijn, dat er nieuwe, hogere emissiefactoren gebruikt worden en dat kalibratie de overeenkomst ervan met metingen sterk verbetert. Dit geeft in ieder geval aan dat er onzekerheden zijn in de modellering. - Omdat dit onderdeel vooral van belang is voor de bovengenoemde (zie ‘relevantie van onzekerheden’) secundaire doelgroep, zou het nuttig zijn geweest om hier in te gaan op de nauwkeurigheid van de berekeningen van CAR II. In de Appendix wordt bijvoorbeeld aangegeven dat de overeenstemming met de metingen nu een 2σ onzekerheid heeft van 10% (N.B. ook de LML metingen hebben een onzekerheid van 10%). Samenvatting

24

De samenvatting lijkt in dit rapport uitgebreider en inhoudelijker bedoeld te zijn dan ‘rapport in het kort’. De doelgroep is inhoudelijk met dit onderwerp en met modellering met CAR bezig. Er wordt aan het bovenstaande toegevoegd: - Er moet een kalibratiefactor van 0,62 ±0,06 worden gehanteerd om een goede overeenkomst met metingen te bereiken. - Er wordt aangegeven dat de systematische overschatting van concentraties door CAR nu pas prominent opvalt (al was deze in eerdere onderzoeken ook opgemerkt) omdat dat deze in het verleden deels gecompenseerd werd door een te lage waarde voor de fractie directe uitstoot van NO2. Dit suggereert dat er enige onzekerheid is in aannamen van dergelijke modelparameters. - Toepassing van kalibratie leidt tot een ‘redelijke overeenkomst’ voor CO en een ‘goede overeenkomst’ voor NOx, NO2 en PM10. Dit suggereert als implicatie voor de interpretatie van modelberekeningen dat deze voor de laatste drie zekerder zijn dan voor CO. De implicatie hiervan voor de kalibratie wordt expliciet aangegeven (wat wenselijk is voor onzekerheidscommunicatie in deze ‘laag’ van het rapport): “de kalibratie lijkt daarmee robuust”. Dit wordt verder gespecificeerd: de berekende waarden vallen “op een enkele uitzondering na, allemaal binnen 30% van de gemeten waarden” en voldoen daarmee “(ruimschoots)” aan de wettelijke eisen van nauwkeurigheid (implicatie gezien de wettelijke context). - Een andere consequentie van het bovenstaande is dat de signaleringsfunctie (bewuste, gewenste overschatting) van CAR minder sterk wordt. VROM kan ervoor kiezen een veiligheidsmarge in te bouwen (strategie voor omgaan met onzekerheden). - Gebruik van de nieuwe inzichten (nieuwe emissiefactoren plus kalibratie) levert geen trendbreuk op in de resultaten voor NO2 en PM10 (geeft consequentie van onzekerheden aan). Voor de overige stoffen was er “wel een beperkte trendbreuk”, maar omdat de concentraties van deze stoffen ver onder de normen liggen, heeft dit geen bestuurlijke consequenties. - Tot slot wordt aangegeven dat het wenselijk is om de uitgevoerde ijking jaarlijks uit te breiden met de nieuwste meet- en rekengegevens (i.e. continu updaten aan de laatste stand van kennis als manier van omgaan met onzekerheden). Conclusies en aanbevelingen In de conclusies worden de onzekerheden die ook in de samenvatting staan wederom genoemd. Ook worden een aantal dingen verder gespecificeerd: - De verhouding tussen de CAR II berekeningen en de LML metingen is na kalibratie een factor 1,01 ±0,10. - De kalibratiefactor voor het hele model is gebaseerd op NOx omdat hiervoor de verkeersbijdrage nauwkeurig bepaald kan worden en de verdeling van de grootschalige concentraties goed bekend is (i.e. de gegevens hiervoor zijn zekerder dan voor andere stoffen). - Het NOx/NO2 conversieschema is expliciet getest en er wordt geconcludeerd dat deze “voor de onderzochte situaties en jaren, goed aansluit bij de metingen” (dit punt heeft te maken met onzekerheid in de modelstructuur). Wel wordt geadviseerd parameter B nader aan de praktijk te testen (parameter onzekerheid). - Toepassing van CAR II wordt door de kalibratie nauwkeuriger, wat consequenties heeft voor de signaleringsfunctie ervan. Inleiding De inleiding behandelt de achtergrond van het CAR model. - Er wordt informatie gegeven over de opzet en oorsprong van CAR. Het is “een simpel model dat met een minimum aan invoergegevens een redelijk beeld geeft van de luchtkwaliteit”. Het is een vereenvoudigd model, afgeleid van het TNO Verkeersmodel. Diverse aannamen en ‘haken en ogen’ (vooral onzekerheden rond methodologische onbetrouwbaarheid; context, modelstructuur en parameters) worden

25

-

-

besproken. Ook wordt aandacht besteedt aan nieuwe inzichten. Hiermee wordt de noodzaak tot (regelmatige) kalibratie aangegeven. Diverse evaluaties en testen van CAR in vergelijking met metingen worden besproken. De modelresultaten wijken enige procenten af van de metingen; met soms sterke lokale verschillen (bijv. op p.16 wordt voor NOx een verschil tussen CAR en metingen gevonden van 8 ±19 procent). Hierin komen onzekerheden naar voren die te maken hebben met o.a. modellering en metingen, maar ook onzekerheden die intrinsiek zijn aan het systeem (‘ontische onzekerheid’; variabiliteit-gerelateerd). De belangrijkheid van continuïteit (geen trendbreuken na updates en heranalyses) en het gebruik van CAR als signaleringsinstrument en eventueel invoeren van een veiligheidsmarge worden besproken. Dit heeft o.a. te maken met beleidsimplicaties van onzekerheden en omgaan met onzekerheden in beleid.

Hoofdstukken De overige hoofdstukken gaan dieper in op het CAR model en aanpassing en kalibratie ervan. - In hoofdstuk 2 worden tussen de regels door enkele problemen en onzekerheden besproken die te maken hebben met het feit dat het model een sterk versimpelde weergave van de werkelijkheid is. Hierbij komen zaken aan de orde als de verdunningsfuncties, berekeningen, inputdata, en correcties op de berekeningen voor bijvoorbeeld dubbeltellingen en verschillen in de hoogte (vanaf de grond) van de CAR berekening en die van de LML meting. - In hoofdstuk 3 wordt de toepassing van nieuwe inzichten en aanpassing van het model besproken. Diverse methodologische onzekerheden worden genoemd. Ook komt variabiliteit in o.a. verkeer, meteorologie en inrichting (‘ontische onzekerheid’) aan de orde. - In hoofdstuk 4 wordt de kalibratie besproken. Bovenstaande onzekerheden worden aangevuld met aannamen en extrapolaties die nodig waren voor de analyse. Een kalibratiefactor plus onzekerheid daarvan wordt gegenereerd. Er worden verschillende ‘tests’ gedaan die neerkomen op een soort gevoeligheidsanalyses. Afwijkende resultaten worden besproken. In een slotparagraaf worden de resultaten samengevat en wordt nogmaals aangegeven dat een periodieke herijking wenselijk is (beleidsimplicatie van de onzekerheden). - In hoofdstuk 5 wordt het geijkte model met de metingen vergeleken. Er zijn nog verschillen en dus een mate van onzekerheid in de berekening. De resultaten vallen echter “(ruimschoots)” binnen de wettelijke eisen aan de nauwkeurigheid (beleidsimplicatie). Voor enkele specifieke locaties zijn nog wel grote verschillen. Hiervoor worden enkele aanbevelingen gedaan (beleids- en onderzoeksimplicaties). Resterende verschillen worden besproken. Het overzicht geeft de verschillen tussen de oude modellering en de nieuwe gekalibreerde. Standaarddeviaties voor verschillende stoffen worden gegeven. Tot slot wordt er weer iets gezegd over de signaleringsfunctie en het verschil tussen vals positieve en vals negatieve berekeningen. - Hoofdstuk zes gaat in op mogelijke trendbreuken. Voor PM10 en NO2 zijn die er niet. Voor enkele andere stoffen wel, maar dit heeft geen beleidsconsequenties (zoals boven al genoemd). Appendix De appendix (Appendix A, p. 63) is gewijd aan “onzekerheid in de ijking”. Het betreft echter vooral een (vrij summiere) samenvatting van de gemiddelde grootte van de onzekerheden, op niet-technisch tot licht-technisch detailniveau. Dit sluit niet aan bij het soort lezers dat doorgaans daadwerkelijk naar appendices kijkt (technisch publiek). - Voor vier onderdelen van de berekening van de kalibratiefactor wordt de gemiddelde onzekerheid aangegeven: 10% voor de LML metingen, 20% voor de grootschalige concentratiekaarten (GCN), 20% wordt aangenomen voor het verschil tussen LML en GCN (i.e. de lokale bijdrage aan de totale concentratie), en 30% voor de CAR

26

-

berekeningen. Omdat die laatste inclusief GCN onzekerheden is, wordt een berekeningsonzekerheid van 20% aangenomen, bestaand uit onzekerheden in (a) verkeersgegevens (aantallen en afwikkelingsniveau), en (b) de gehanteerde emissiefactoren. Er wordt niet aangegeven wat deze percentages precies voorstellen; bijv. σ of 2σ. Er worden eveneens nauwelijks details gegeven over de achtergronden van deze onzekerheden. Dit was voor de lezers vermoedelijk wel interessante achtergrondinformatie geweest. Voor de onzekerheden in LML metingen, GCN kaarten, en CAR berekeningen wordt verwezen naar enkele rapporten van KEMA, MNP en TNO. Mogelijk zijn daar meer details te vinden. Er wordt aangegeven dat op basis van het bovenstaande een onzekerheid van 18 μg/m3 (i.e. circa 20%) is aangenomen voor de NOx concentratiebijdragen. Na kalibratie is een Monte Carlo analyse uitgevoerd naar het effect van de onzekerheden in de concentratiebijdragen. Hieruit kwam naar voren dat de overeenkomst tussen de (gekalibreerde) modelresultaten en metingen een factor 1.01 is, met een 2σ onzekerheid van 10%. Deze Monte Carlo analyse is een onderzoeksresultaat binnen het ijkingsonderzoek, maar naast deze samenvatting worden geen verdere details gegeven en ook niet verwezen naar een achtergrondrapport over de analyse. Deze kwantitatieve onzekerheidsinformatie zou juist iets zijn wat voor technisch publiek erg interessant zou zijn.

Vorm Verbaal Het merendeel van de onzekerheidscommunicatie in dit rapport is verbaal. Diverse aannamen en onzekerheden in het CAR model worden besproken. De keuze voor verbale behandeling hiervan lijkt terecht. Er wordt gebruik gemaakt van: - Kanttekeningen en aannamen: ‘moet worden aangetekend dat’, ‘CAR is een schematische weergave van de realiteit’. Implicaties worden hierbij regelmatig ook aangegeven (bijv. voor de verwachting van de lezer): ‘door de structuur van deze achtergronden, met name het feit dat ze op een betrekkelijk grove ruimtelijke structuur zijn bepaald, mag niet verwacht worden dat ze op elk punt overeenkomen met de feitelijk optredende concentratieniveaus’. - Kwalificerende opmerkingen: ‘globaal is er een redelijk goede overeenkomst’, ‘is ronduit goed te noemen’, ‘is goed’ versus ‘is iets minder goed’, ‘kan nauwkeurig bepaald worden’, ‘is goed bekend’, ‘de kalibratie lijkt daarmee robuust’, etc. - Verklarende factoren: ‘mogelijke redenen voor de resterende verschillen’. - Formuleringen rond de kennisbasis: “op basis van metingen… wordt vermoed dat”. - Suggesties voor nader onderzoek: ‘het verdient aanbeveling om de omstandigheden op deze stations nader te onderzoeken’. Numeriek Er wordt op een aantal plekken numerieke onzekerheidsinformatie weergegeven. Hier had mogelijk meer mee gedaan kunnen worden (bijv. rond onzekerheden in metingen). - Meestal betreft dit een onzekerheidsmarge. Bijvoorbeeld: de kalibratiefactor is 0,62 ±0,06; de overeenkomst (factor) na kalibratie is 1,01 ±0,10. Merk op dat het juiste aantal significante cijfers hangt af van de onzekerheidsmarge: het laatste significante cijfer in een getal is doorgaans van dezelfde ordegrootte (zelfde decimaalpositie) als de onzekerheid. Voor de kalibratiefactor is dit goed, maar de overeenkomst na kalibratie had beter kunnen zijn: 1,0 ±0,10 (1,01 is erg precies, gezien een onzekerheid van 0,10). - Ook wordt soms aangegeven dat iets een onzekerheid heeft van x%. Bijvoorbeeld in de Appendix: LML metingen hebben een onzekerheid van 10%, GCN kaarten 20%, etc. Merk op dat bij deze getallen niet aangegeven wordt wat dit precies voorstelt (σ?, 2σ?, etc.) terwijl dit de meest gedetailleerde laag van het rapport is. Voor de

27

-

onzekerheid in de overeenkomst van CAR met metingen na kalibratie wordt wel aangegeven dat het om 2σ gaat. Tabel 5 (p. 54) geeft de standaarddeviatie van de gevonden verschillen tussen CAR en de LML metingen voor een aantal stoffen weer.

Grafisch In de figuren wordt weinig onzekerheidsinformatie weergegeven. - In de meeste figuren, waarin berekeningen en metingen vergeleken worden, wordt wel een range van ±30% aangegeven rond de ideale 1:1 relatie (N.B. in figuur 2: ±50% en in figuur 3 geen legenda). Dit lijkt bedoeld te zijn als een range van ‘acceptabele onzekerheid’. In de tekst wordt aangegeven dat dit ook een wettelijke basis heeft in het Besluit Luchtkwaliteit. Merk wel op dat bij de figuren niet expliciet vermeld wordt wat deze range voorstelt. De tekst rond de wettelijke basis staat ook niet in de buurt van de eerste keer dat een dergelijke figuur gebruikt wordt. Bekende meet- en modelleeronzekerheden worden niet weergegeven in de figuren (N.B. waarschijnlijk waren de figuren door de grote hoeveelheid datapunten ook tamelijk onoverzichtelijk geworden als dit wel gebeurd wat). Wel impliceert dit type figuur op zich, door het feit dat de meet- en modelleergegevens niet precies overeenkomen en dat CAR soms overschat, soms onderschat, dat er onzekerheden zijn. - In veel van de overige figuren is onzekerheidsinformatie vermoedelijk niet altijd nodig. - In figuur 25 en evt. 24 was dit mogelijk nog wel nuttig geweest. Deze figuren geven over een aantal jaren, meetpunten en berekeningsmethoden de discrepanties tussen berekeningen en metingen weer. Hierbij doemt de vraag op of de verschillen (door verschillende berekeningsmethoden, of op verschillende meetpunten) al dan niet groot zijn, ten opzichte van de ‘vaste’ modelleer- en meetonzekerheden. Concluderende opmerkingen - De hoofdtekst gaat in op diverse aannamen en onzekerheden. Dit is een sterk punt van dit rapport. Het betreft vooral aannamen en onzekerheden in het CAR model en berekeningen daarmee. Deze nadruk lijkt terecht, omdat deze de aanleiding en noodzaak tot de uitgevoerde kalibratie vormen. Ook de onzekerheden in de kalibratie zelf worden besproken. - In de samenvatting en conclusies worden deze onzekerheden goed in hun (juridische/beleidsmatige) context geplaatst. Beleidsimplicaties worden aangegeven. Omdat deze onderdelen mogelijk niet-technische lezers hebben, is dit belangrijk. - Een zwak punt van het rapport is dat de onzekerheden in de LML metingen, grootschalige concentratiekaarten (GCN), combinatie van LML en GCN, en in de kalibratie zelf slechts zeer kort aangestipt worden, in een korte appendix. Dit is echter wel relevante onzekerheidsinformatie. Immers, het model wordt (omdat het intrinsiek onzekerheden en aannamen bevat) gefit op deze onzekere informatie. Een appendix wordt doorgaans alleen gelezen door specialisten. De informatie die er nu in staat lijkt echter meer geschikt voor algemeen (niet- of licht-technisch) publiek. Het had beter in de hoofdtekst verwerkt kunnen worden. Voor specialisten was meer informatie interessant geweest. Met name de Monte Carlo analyse die in het kader van de kalibratie gedaan is, had verder uitgewerkt kunnen worden. Uit de bijlage lijkt opgemaakt te kunnen worden dat de 2σ onzekerheid na kalibratie ca. 10% is en daarmee (implicatie) vergelijkbaar met de onzekerheid in de metingen. - Het hoofdstuk ‘rapport in het kort’ bevat geen/nauwelijks onzekerheidsinformatie. Beleidsrelevante onzekerheidsinformatie voor de mogelijke doelgroepen van dit onderdeel (verantwoordelijke beleidsmakers, algemeen publiek, etc.) betreft o.a. de onzekerheidsmarge in de uiteindelijke, gekalibreerde berekening. - Het valt op dat het merendeel van de onzekerheidscommunicatie in dit rapport verbaal is. In mindere mate wordt numerieke onzekerheidsinformatie gegeven. Technisch publiek heeft doorgaans veel interesse in de numerieke informatie. De

28

-

huidige balans tussen verbaal en numeriek hoeft niet noodzakelijk een probleem te zijn. De verbale informatie is eveneens van technisch detailniveau en een voor specialisten erg interessante uiteenzetting. Gezien het bovenstaande, is het nuttig om voor het schrijven van een dergelijk rapport eens uiteen te zetten welke doelgroepen in welke onderdelen van het rapport geïnteresseerd zijn, met welke vragen zij zitten en welke onzekerheidsinformatie relevant is gezien die doelgroep en vragen.

29

3.6. Wesseling et al. (2008): Groen en luchtkwaliteit Relevantie van onzekerheden Dit rapport is een overzichtsrapport gericht op ‘niet-technisch’ publiek. Het onderwerp is het toepassen van groen (planten) als optie voor het verbeteren van de (lokale) luchtkwaliteit. Luchtkwaliteit is een onderwerp waar de laatste jaren veel om te doen is geweest en waarbij normen op veel plekken niet gehaald werden. Ook lijkt rond het nut van groen enige controverse te bestaan. In één groep literatuur wordt hoopvol gesproken over het potentieel van groen, terwijl in een andere groep literatuur uit metingen en modellering weinig effect blijft. Ook roept groen veel positieve associaties op bij het publiek. Bij dergelijke nieuwswaardige beleidsproblemen, controversen rond oplossingen en publieke percepties die tegengesteld zijn aan de conclusies van het rapport, is het doorgaans extra belangrijk om zorgvuldig in te gaan op de onzekerheden. Echter, het rapport geeft aan dat groenmaatregelen in het huidige juridische kader nog niet meetellen als maatregel om de luchtkwaliteit te verbeteren. Vooralsnog zal het dus niet nodig zijn zeer gedetailleerd in te gaan op specifieke onzekerheden. Wel wordt in het juridisch kader (appendix) aangegeven het effect van een lokale maatregel groter moet zijn dan tweemaal de standaarddeviatie (2σ) in dit effect. Deze onzekerheidsrange is daarmee wel van belang om maatregelen op waarde te schatten. Het rapport tracht de mogelijkheden van groen als maatregel in kaart te brengen, gebaseerd op een relatief beperkte hoeveelheid literatuur. Het lijkt daarom vooral belangrijk om de (spreiding in de) orde van grootte van maatregelen aan te geven en de onzekerheden die hierop van invloed zijn. Ook het in context plaatsen van de onzekerheden en aannamen in verschillende literatuurbronnen is gezien de controversen en doelgroep belangrijk. Plaats en inhoud In het rapport zijn zes lagen te onderscheiden (in volgorde van detailniveau): (1) Rapport in het kort, (2) Samenvatting, (3) Voorlopige conclusies, (4) Inleiding, (5) Hoofdstukken, (6) Appendix. De behandeling van onzekerheden hierin wordt hieronder kort besproken. In het algemeen: onderdelen 1-4 behoren tot de zogenaamde ‘primaire laag’, waar lezers de meeste aandacht aan besteden en waarin alle essentiële onzekerheidsinformatie naar behandeld moet worden. Rapport in het kort Deze laag lijkt bedoeld als eerste instap in het rapport en voor algemeen geïnteresseerden; o.a. burgers, journalisten, beleidsmakers, etc. (ook mensen die geen kennis van het onderwerp hebben). De onzekerheidsinformatie moet daarom zoveel mogelijk in context geplaatst worden en de implicaties ervan moeten duidelijk aangegeven worden. Dit lijkt in dit hoofdstuk voldoende te gebeuren. Onzekerheden die genoemd worden zijn: - Invloed van groen kan zowel positief als negatief zijn (eigenschap van het bestudeerde systeem). Er wordt aangegeven dat het netto-effect beperkt blijkt te zijn (implicatie). - De conclusies worden gedaan op basis van momenteel beschikbare informatie, welke relatief beperkt is (onwetendheid; nog onvolledige kennis). Ook lopen er nog verschillende onderzoeken. Er wordt aangegeven dat, door de grootschalige opzet van de lopende onderzoeken (in tegenstelling tot veel van de huidige studies), het mogelijk is dat de inzichten “nog iets zullen veranderen” (implicatie). - Er wordt aangegeven: “de weinige metingen die beschikbaar zijn op het gebied van stikstofoxide (NO2) laten geen effecten van groen op de NO2-concentraties zien”. Dit lijkt echter in tegenspraak met Tabel 1 (conclusies), waar de effecten niet ‘0%’ zijn. - Groen vangt vooral grotere deeltjes af, terwijl juist de kleine deeltjes ‘naar verwachting’ veel gezondheidsschade veroorzaken. Dit houdt verband met onzekerheid rond de causale fractie van fijn stof (onwetendheid). Samenvatting

30

De samenvatting lijkt iets uitgebreider en inhoudelijker bedoeld te zijn dan ‘rapport in het kort’. De doelgroep is waarschijnlijk inhoudelijk met dit onderwerp werkzaam of in ieder geval bekend. Er wordt aan het bovenstaande toegevoegd: - De ‘beperkte effecten’ worden verder gespecificeerd: op PM10-concentraties zijn de effecten “gemiddeld minder dan 1%”. Echter, het opvullen van de beschikbare plantbare ruimte kan het effect vergroten tot 2,5-7%. Dit betreft impliciet een onzekerheid rond hoe de maatregel wordt toegepast. Ook zit er impliciet een handelingsperspectief (i.e. implicatie van de onzekerheid) voor de beleidsmaker in: hij/zij kan kiezen voor een relatief beperkte standaard toepassing van de maatregel of een veel uitgebreidere aanpak. - Verder wordt ingegaan op de mogelijke negatieve effecten van groen op de luchtkwaliteit, bijv. doordat (i) een groenstrook in het midden de rijbanen dichter bij de huizen kan plaatsen of (ii) door het afsluiten van de weg voor schone lucht. Er wordt aangegeven dat een verhoogde blootstelling niet kan worden uitgesloten. Punt (i) bevat een impliciet handelingsperspectief (implicatie) voor de lokale beleidsmaker, maar (ii) niet. De beleidsmaker heeft waarschijnlijk de vraag hoe hij groen kan toepassen zonder dat dit dergelijke problemen oplevert (of bestaand groen kan aanpassen om dergelijke effecten te voorkomen). - Er wordt gesteld dat er weinig concreet bekend is over het effect van groen in of nabij steden op de totale NO2-concentraties. Het is opvallend dat hier geen schatting van het effect gegeven wordt, terwijl dit in ‘rapport in het kort’ wel gebeurd (de weinige metingen laten geen effect zien). Deze uitspraak is daarmee minder precies geformuleerd dan de eerdere uitspraak. - Er wordt opgemerkt: “uit de nu beschikbare informatie kan voorzichtig geconcludeerd worden dat groen direct langs een weg slechts een beperkt effect op de totale PM10-concentraties heeft”. Dit is veel voorzichtiger geformuleerd dan ‘rapport in het kort’. - Er wordt aangegeven dat verschillende studies erop wijzen dat bomen vooral een effect hebben op grotere deeltjes. In ‘rapport in het kort’, waar stond dat groen ‘niet of minder’ effect heeft op kleinere deeltjes. De uitspraak hier is iets zwakker, maar de kennisbasis waarop de sterkere uitspraak in ‘rapport in het kort’ gedaan wordt lijkt voldoende om deze onzekerheid daar niet specifiek te noemen. Voorlopige conclusies Ook in de conclusies moet gewerkt worden met ‘robuuste hoofdboodschappen’ en worden de onzekerheden in context geplaatst en hun implicaties aangegeven. De gekozen titel geeft al duidelijk aan dat er onzekerheden zijn; de conclusies zijn ‘voorlopig’. - Er wordt een tabel weergegeven met de effecten van groen zoals gevonden in diverse studies, soms aangegeven als getal, soms als range. Het zou nuttig zijn om hier iets te zeggen over de vergelijkbaarheid van de studies. - In par. 5.2 wordt voor het effect van groen op lokale bronnen als wegen gesteld dat “op de bijdragen hiervan heeft het aanplanten van groen in de wijde omgeving geen effect”. Dit is wel erg stellig geformuleerd en lijkt in tegenspraak met tabel 1 (en voetnoot b daarin) en de daaropvolgende paragraaf (5.3). Mocht dit niet daadwerkelijk tegenstrijdig zijn, dan is het verstandig om verder uit te wijden over wat hier precies bedoeld wordt (zonder uitleg roept het vragen op). - In par. 5.3 wordt opgemerkt dat er nog een aantal onderzoeken lopen en dat niet kan worden uitgesloten dat de inzichten “nog zullen veranderen”. Merk op dat de kwalificatie ‘iets’, die wel in de samenvatting en ‘rapport in het kort’ gebruikt wordt, hier niet staat. - In par. 5.4 wordt vermeld dat in een aantal situaties (qua inrichting van de weg) “een verhoogde blootstelling niet kan worden uitgesloten”. Dit lijkt minder sterk geformuleerd dan de onderliggende tekst (par. 4.3). Inleiding

31

De inleiding geeft vooral contextuele onzekerheden aan. - De onzekerheid rond de causale fractie van fijn stof en de implicaties daarvan voor het effect van groen worden verder besproken: is groen een maatregel om de PM10 normen te halen of om gezondheidswinst te maken (i.e. onzekerheid in de doelstelling van de maatregel). De betreffende paragraaf stelt dat verschillende fracties PM10 volgens de huidige inzichten verschillende effecten op de gezondheid hebben en dat in het bijzonder de kleinere deeltjes zeer schadelijk zijn. Merk op dat dit aanmerkelijk sterker geformuleerd is dan in de samenvatting, waar gesproken wordt van ‘aanwijzingen dat’. De formuleringen lijken niet consistent met elkaar. - Verder wordt gewezen op een controverse in de literatuur: sommige publicaties zien nauwelijks effecten, terwijl anderen wijzen op enorme potentie. De twee groepen worden geduid en in methodologische context geplaatst. De groep die wijst op enorme potenties lijkt te maken te hebben met aanzienlijke methodologische onbetrouwbaarheid. Ook wordt verwezen naar publieke perceptie: groen heeft veel positieve associaties (geeft ook risico op ‘bevestigings-bias’: mensen interpreteren nieuwe informatie vaak zo dat hun bestaande visie bevestigd wordt). Hoofdstukken In de hoofdstukken worden diverse studies beschouwd, die gebruik maken van verschillende methoden en cases. - De conclusies van deze studies worden aangegeven. Soms worden kwalitatieve conclusies weergegeven, soms ruwe getallen (bijv. ‘in de orde van honderdsten procenten’), soms wordt een range aan gegeven, en soms preciezere getallen (zonder onzekerheidsmarge). - Bij de meeste studies worden methodologische en praktische kanttekeningen geplaatst. Het betreft diverse typen onzekerheden, aannamen en methodologische keuzes. Overigens wordt dit niet voor elke studie gedaan. Regelmatig worden de implicaties van de aannamen en methodologische keuzes genoemd, maar ook dit gebeurt niet overal. Met name de (gevolgen voor de) generaliseerbaarheid (NL cases) en toepasbaarheid voor de Nederlandse situatie (buitenlandse cases) zouden interessant zijn om te bespreken. Dit gebeurt op een aantal plaatsen prima, maar wellicht had hier nog iets meer mee gedaan kunnen worden. - Op een aantal plaatsen worden uitspraken wederom voorzichtiger of juist stelliger geformuleerd dan elders in het rapport. Appendix In dit hoofdstuk worden geen onzekerheden behandeld. Wanneer van toepassing en relevant, zou hier iets gezegd kunnen worden over bijvoorbeeld beleidsmatige onzekerheden (bijv. worden er in de toekomst nog veranderingen voorzien in het juridisch kader?). Vorm Verbaal Het merendeel van de onzekerheidscommunicatie in het rapport is verbaal. Omdat het belangrijkste doel van de studie een kritische analyse van diverse studies is, lijkt dit terecht. - Er wordt aangegeven wat de status van de onderliggende kennis en de conclusies van het rapport is: eerste resultaten en voorlopige conclusies gebaseerd op een nog relatief beperkte hoeveelheid studies. Ook wordt aangegeven dat er nog studies lopen en dat dit mogelijk (beperkte) gevolgen kan hebben voor de conclusies van het rapport. - Veel uitspraken zijn verwijzend: ‘deze studie concludeert dat’, ‘volgens de huidige inzichten’, ‘uit de nu beschikbare informatie kan voorzichtig geconcludeerd worden dat’, ‘er zijn aanwijzingen dat’. - Soms wordt aangegeven dat, gezien lopend onderzoek of gebrek aan informatie over/in bepaalde bronnen, bepaalde zaken ‘niet kunnen worden uitgesloten’.

32

-

Er worden regelmatig kwalitatieve beschrijvingen gedaan van onzekerheden: Aannamen in de studies die in het rapport behandeld worden, worden regelmatig besproken. Ook worden regelmatig kritische kanttekeningen geplaatst bij deze studies, bijvoorbeeld over de generaliseerbaarheid ervan.

Numeriek In het rapport wordt weinig numerieke onzekerheidsinformatie gegeven. - In de samenvatting wordt aangegeven dat hoewel het effect van stedelijk groen op de jaargemiddelde PM10 concentraties ‘gemiddeld minder dan 1%’ is, dit te vergroten is tot 2,5-7% door het opvullen van de beschikbare plantbare ruimte met groen. Op pagina 12 wordt aangegeven dat een experiment een onzekerheid van 10-20% heeft. In tabel 1 in de conclusies worden ook verschillende ranges genoemd: kleiner dan 1520%, 10-20%, +10 tot -20%, 20-60%, et cetera. Er wordt niet aangegeven wat deze onzekerheid precies voorstelt (bijv. 95% betrouwbaarheidsinterval, 25-75% interval, etc.). Echter, de ranges lijken bedoeld om ruwweg de ‘orde van grootte’ van effecten in diverse studies aan te geven. Gezien de mogelijke relevantie van onzekerheden voor de doelgroep (zie boven), lijkt dit niet problematisch. Merk wel op dat de range 2,5-7% vrij nauwkeurig is in vergelijking met de andere getallen. Waarschijnlijk zou 2,5 afgerond moeten worden (opmerking: wordt in tabel 1 wel gedaan); de andere getallen in deze studie lijken ook 1 significant cijfer te hebben. - Het getal voor de vroegtijdige sterfte vanwege de effecten van fijn stof in Nederland, 12.000-24.000 is specifieker dan een ‘orde van grootte’. Informatie over wat de range precies voorstelt, wordt niet gegeven (en is hier belangrijker dan bij de bovenstaande situaties). Ook wordt verder geen context gegeven rond dit getal. Gezien de controversen die gespeeld heeft rond de ‘fijnstofdoden’ (het opstellen van dergelijke getallen en de betekenis ervan), was enige context wellicht wel nuttig geweest. - In tabel 1 (conclusies) wordt een overzicht gegeven van de effectschattingen in diverse studies. Er wordt verder geen uitleg gegeven over wat deze vergelijking voorstelt en hoe deze precies gemaakt moet worden (expliciete uitleg over de te volgen redenering kan van belang zijn voor niet-experts). Wel wordt er in de erop volgende paragraaf expliciet een conclusie uit getrokken. - In de conclusies wordt aangegeven dat het effect van stedelijk groen op fijn stof ‘gemiddeld minder dan 1%’ is. Het is echter niet duidelijk of het hier daadwerkelijk gaat om een berekend gemiddelde (van de onderliggende studies). Het lijkt eerder te gaan om een inschatting (door de auteurs) van de orde van grootte. Het zou in dat geval beter zijn geweest dit ook expliciet zo te formuleren. De huidige formulering suggereert mogelijkerwijs meer precisie dan verantwoord. Grafisch In de helft van de inhoudelijk relevante figuren wordt onzekerheidsinformatie weergegeven. - Fig. 1 bevat geen onzekerheidsinformatie. In de tekst wordt wel aangegeven dat de onzekerheid 10-20% bedraagt. De onzekerheid lijkt hier echter niet direct van belang voor de conclusies die uit de figuur te trekken zijn. - Fig. 3 bevat geen onzekerheidsinformatie. Wel worden er in de tekst enkele kanttekeningen geplaatst bij de generaliseerbaarheid van de studie en wordt de figuur gepresenteerd als ‘voorbeeld’. - Fig. 4. bevat ‘error bars’. Er wordt niet aangegeven wat deze voorstellen; bijvoorbeeld eenmaal of tweemaal de standaarddeviatie. Dit verschil is belangrijk gezien (a) de vergelijking die gemaakt wordt tussen de metingen (met error bars) en de modelresultaten en (b) de eis in het juridisch kader dat een maatregeleffect groter moet zijn dan tweemaal de standaarddeviatie. Daarnaast bevat de y-as een ‘offset’ (begint niet bij 0,0 maar bij 0,2). Dit geeft een vertekend beeld, zeker in een figuur waarin verhoudingen van belang zijn. De figuur bevat verder teveel informatie (en is daardoor niet meer behapbaar voor de lezer), staan er geen eenheden bij de assen, en wordt niet uitgelegd wat de barchart (die ook in de figuur staat) voorstelt.

33

-

Fig. 5 bevat geen onzekerheidsinformatie, maar de conclusies zijn net als bij fig. 1 dermate duidelijk dat dit waarschijnlijk ook niet nodig was. Fig. 6 en 7 bevatten ‘error bars’. Er wordt niet aangegeven wat deze voorstellen; bijvoorbeeld eenmaal of tweemaal de standaarddeviatie. Omdat de verhoudingen in barcharts belangrijk zijn, is deze informatie weldegelijk van belang. Ook de eis in het juridisch kader, dat een maatregeleffect groter moet zijn dan tweemaal de standaarddeviatie maakt deze informatie relevant: om te bepalen of de weergegeven effecten juridisch beleidsrelevant zijn, maakt het voor sommige bars uit of deze σ of 2σ weergeven.

Concluderende opmerkingen - Er lijkt in dit rapport zorgvuldig aandacht besteed te zijn aan onzekerheidscommunicatie. De hoofdboodschappen zijn in alle lagen van het rapport van informatie over de robuustheid ervan voorzien. Ook worden regelmatig de implicaties van onzekerheden aangegeven. Dit is een sterke kant van dit rapport. Bij enkele bovengenoemde punten kon nog wel meer informatie gegeven worden om de beleidsmaker een handelingsperspectief te geven. Ook had meer gedaan kunnen worden met de eis rond onzekerheid in het juridisch kader (effect van de maatregel moet groter zijn dan 2σ). - Regelmatig leken er tussen verschillende lagen verschillen te zijn in de hardheid waarmee uitspraken geformuleerd waren: soms voorzichtig, soms erg stellig. Dit is een zwakker punt in dit rapport. Het is verstandig om de consistentie van uitspraken, zowel feitelijk als qua (stelligheid van) formulering, in de eindredactie goed te controleren. - Zorg ervoor dat wanneer onzekerheidsmarges en ranges worden gegeven, duidelijk wordt wat deze precies voorstellen (bijv. standaarddeviatie, tweemaal standaarddeviatie, etc.). Dit was nu met name in de figuren problematisch. - Let er bij figuren op dat deze duidelijk zijn en van goede uitleg voorzien worden (zeker wanneer ze uit andere bronnen worden overgenomen). Let er ook op dat wanneer de figuur om verhoudingen draait, deze niet vertekend worden door het gebruik van een offset.

34

4. Conclusies en algemene aanbevelingen We evalueerden de huidige praktijk van onzekerheidscommunicatie in rapporten van het CMM aan de hand van een steekproef van zes rapporten, waarvan drie rond het thema ‘lucht’ en drie rond het thema ‘bodem & grondwater’. Het merendeel van de geanalyseerde rapporten besteedt aandacht aan onzekerheden en communiceert deze met wisselende kwaliteit naar de lezers. Er zijn opvallend grote verschillen in het soort onzekerheden waarover wel en waarover niet gesproken wordt. Waar het ene rapport uitgebreid ingaat op bijvoorbeeld methodologische keuzes en beperkingen, of op representativiteit, variabiliteit of aannamen, krijgt dit in een ander rapport geheel niet of veel minder de aandacht. Ook zijn er verschillen in hoe expliciet onzekerheden behandeld worden. Deels zijn deze verschillen terecht, omdat er uiteraard verschillen zijn in de focus/onderwerpen en doelgroep van rapporten. Deels echter blijven ook beleidsrelevante onzekerheden soms buiten beschouwing of onderbelicht. De geboden onzekerheidsinformatie in de bekeken rapporten leek niet altijd goed aan te sluiten bij de doelgroepen (van het rapport en specifieke onderdelen daarvan) en de vragen/taken en informatiebehoeften waar zij mee zitten. Er wordt mogelijk teveel uitgegaan van de onzekerheidsinformatie die beschikbaar is gekomen vanuit het onderzoek (aanbodgestuurde communicatie) en te weinig systematisch gekeken naar de onzekerheidsinformatie waar behoefte aan is (vraagkant-gestuurde communicatie) en welk deel daarvan nog niet beschikbaar is. Het gebruik van een onzekerheidsmatrix of -typologie (bijv. die in Van der Sluijs et al., 2003) zou hierbij kunnen helpen omdat zo'n typologie inzichtelijk kan maken over welke soorten en typen onzekerheid nog geen informatie beschikbaar is gekomen vanuit het onderzoek. Vervolgens kan men zich de vraag stellen of die missende onzekerheidsinformatie wel van belang zou kunnen zijn voor de doelgroep van het rapport. Die stap is lastig omdat er mogelijk niet altijd een goed beeld is van de doelgroepen en hun informatiebehoeften. Geen van de rapporten geeft er blijk van dat voorafgaand aan het schrijven een goede analyse is gemaakt van de behoefte aan typen en soorten en vormen van onzekerheidsinformatie bij de doelgroepen van het rapport. Een ander, gerelateerd punt dat opvalt, is dat er verschillen zijn in hoe expliciet onzekerheden in context worden geplaatst en of (dan wel hoe expliciet) er aandacht besteed wordt aan de implicaties ervan. Over de hele linie is een fikse verbeterslag mogelijk voor het goed in context plaatsen en duiden van de onzekerheid voor niet ingewijden, vooral in rapport in het kort en samenvatting. In sommige rapporten worden bijvoorbeeld diverse studies of onderzoeksmethoden besproken, waar onzekerheden of aannamen aangegeven worden, maar wordt verzuimd om expliciet aan te geven (en/of samen te vatten) wat de gevolgen hiervan zijn voor de conclusies van het rapport. Het wordt dan aan de lezer overgelaten om deze verwerking te doen. Voor niet-technisch publiek, dat wellicht minder goed bekend is met alle details van een onderwerp, kan dit teveel gevraagd zijn. Andere rapporten zijn sterker in het expliciet aangeven van de context (beleidsontwikkelingen, juridische achtergrond en eisen aan de nauwkeurigheid, etc.) en de implicaties van de genoemde onzekerheden. Als bijvoorbeeld in ‘rapport in het kort’ onzekerheid als getal wordt uitgedrukt zullen veel lezers geen idee hebben of dat getal als groot klein of normaal moet worden beschouwd en of het erg is als het groot is. Zo'n duiding mist veelal en dat is een tekortkoming in de onzekerheidscommunicatie. Meestal valt ook hier ook een flinke slag te maken in het relateren van de onzekerheden aan de precieze beleidsopgaven die spelen. Ook dit punt is gerelateerd aan het hebben van een goed beeld van de doelgroep en de (gebruiks)context waarin de informatie uit het rapport gaat of kan worden gebruikt. De gemaakte keuzes voor het gebruik van verschillende vormen van onzekerheidscommunicatie (verbaal, grafisch, numeriek) lijken doorgaans verantwoord, gezien het type onzekerheidsinformatie dat in de rapporten gepresenteerd wordt. Veel van de onzekerheidscommunicatie was verbaal. In meer technisch-georiënteerde rapporten kan ook overwogen worden meer numerieke en (relatief complexe) grafische informatie op te nemen. In de rapporten werd wel regelmatig in bekende valkuilen van de verschillende communicatievormen gestapt. Bijvoorbeeld: het gebruik van een offset in een figuur waar

35

verhoudingen belangrijk zijn, teveel zaken in één figuur, niet weergeven wat een onzekerheidsmarge precies voorstelt (bijv. eenmaal of tweemaal de standaarddeviatie?). Ook was er weinig consistentie in de verbale onzekerheidscommunicatie (terminologie, hardheid van formulering, etc.), zowel tussen rapporten als binnenin een rapport. Hierdoor kwam het in enkele rapporten voor dat de formulering in bijvoorbeeld de samenvatting of ‘rapport in het kort’ harder (of juist zachter) leek dan de formulering van hetzelfde punt op een andere plek in het rapport. Samenvattende aanbevelingen:  Zet voorafgaand aan het schrijven van een rapport goed op een rij welke mogelijke doelgroepen het heeft, met welke vragen en beleidskwesties zij zitten en welke onzekerheden voor hen relevant zijn. Verschillende doelgroepen leiden tot verschillende ‘do’s en don’ts’. Zie Tabel 2 voor een aanzet hiervoor.  Bedenk wat voor rol een rapport heeft voor de doelgroep en welke (gebruiks)context het in belandt. Bijvoorbeeld: een rapport kan voor beleidsmakers een formele of praktische rol hebben. Een formele rol heeft het bijvoorbeeld als het rapport geproduceerd wordt om aan een rapportageplicht te voldoen. Een praktische rol heeft het als men echt iets met de resultaten moet doen, bijvoorbeeld aanpassing van het beleid of evaluatie/ontwikkeling van beleidsopties of sturing van onderzoek. Ook kan een rapport een praktische rol toegedicht krijgen wanneer het onderwerp of de resultaten politiek gevoelig liggen. Deze rollen hebben consequenties voor onzekerheidscommunicatie: in hoeverre zijn details noodzakelijk, in hoeverre moet over de praktische implicaties van onzekerheden uitgeweid worden, et cetera?  Omdat het CMM voor een relatief beperkt aantal doelgroepen schrijft, lijkt nuttig om binnen het CMM een soort typologie van doelgroepen en rollen/contexten op te stellen. Hierin kan dan kort aangegeven worden wat het soort informatiebehoeften, ‘do’s en don’ts’ bij onzekerheidscommunicatie, en dergelijke doorgaans zijn. Hoewel iedere situatie anders is, kan dit de schrijvers enig houvast bieden.  Geef, zeker voor beleidsgerichte rapporten, een heldere duiding van de onzekerheid in met name rapport in het kort en samenvatting (geef niet alleen het getal maar zeg ook of dat bijvoorbeeld wel of niet een acceptabele precisie is vanuit de rol die deze informatie speelt in bijvoorbeeld het beleid). Plaats de onzekerheden veel beter in hun context (beleids, juridisch, etc.) en geef expliciet de implicaties van de onzekerheden aan (voor de context, voor de vragen/beleidskwesties van de doelgroep, voor de conclusies van het rapport, etc.). Geef ook helder aan hoe robuust de conclusies zijn in het licht van de onzekerheden.  Denk na over de verdeling van informatie over een rapport: denk voor elke ‘laag’ (‘rapport in het kort’, samenvatting, inleiding, conclusies, hoofdstukken, bijlagen, etc.) goed na over welke doelgroepen deze laag zullen lezen, met welke vragen zij zitten, welk detailniveau nodig/mogelijk is, en of de onzekerheden gedetailleerd aangegeven moet worden of dat er beter gewerkt kan worden met ‘robuuste hoofdboodschappen’ en het zoveel mogelijk in de context en conclusies integreren van de onzekerheden. Zie de stukken over ‘Progressive Disclosure of Information’ (PDI) in Kloprogge et al. (2007).  Denk van te voren na over, en controleer, de consistentie van onzekerheidscommunicatie tussen rapporten en binnenin een rapport. Zorg ervoor dat de hardheid van formulering hetzelfde is in de samenvatting als in de hoofdstuktekst. Gebruik consistente terminologie, let op de helderheid van figuren en voorkom misinterpretatie ervan, en geef duidelijk aan wat onzekerheden en onzekerheidsmarges voorstellen. In bijlage A zijn deze aanbevelingen uitgewerkt in een eerste schets van een mogelijk stappenplan onzekerheidscommunicatie.

36

Tabel 2. Schets van type rapporten en de plaats van onzekerheden hierin. Achtergrond Insteek rapport: Overzicht Gericht op: Beleidsmakers (of ander Plaats onzekerheden zoveel Relatief veel details over niet-technisch publiek) mogelijk in context en geef de onzekerheden, maar plaats ze in implicaties duidelijk en expliciet context, geef implicaties weer en let aan. Licht de meest op vaktermen e.d. beleidsrelevante onzekerheden uit. Wetenschappers (of ander Relatief veel details over Veel details over onzekerheden, technisch publiek) onzekerheden, maar licht de vaktermen en complexe numerieke meest interessante (vanuit en grafische informatie geen beleids- of wetenschappelijk probleem. oogpunt) eruit. Let op:

Wanneer een rapport mogelijk extra maatschappelijk relevant is om bijv. beleids- or juridische redenen, ook al is het een achtergrondrapport voor wetenschappers, besteedt extra aandacht aan de meest beleidsrelevante onzekerheden en geef duidelijk de implicaties aan (in het kader van deze maatschappelijke context). Zorg ervoor dat niettechnisch publiek het punt goed kan begrijpen (met name in de samenvatting, conclusies en ‘rapport in het kort’).

37

Referenties Kloprogge, P., J.P. van der Sluijs, J.A. Wardekker (2007). “Uncertainty Communication: Issues and good practice”. Rapport NWS-E-2007-199. Department of Science, Technology and Society, Copernicus Institute, Utrecht University, Utrecht. http://www.nusap.net/downloads/reports/uncertainty_communication.pdf Swen, H.M., J.W. Reijs, T.C. van Leeuwen, G.J. Doornewaard, B. Fraters, E.J.W. Wattel-Koekkoek, L.J.M. Boumans (2009). “Landelijk Meetnet effecten Mestbeleid: LMM-jaarrapport 2004”. Rapport 680717006/2009. Rijksinstituut voor Volksgezondheid en Milieu (RIVM), Bilthoven. Van der Hoek, K.W., B.G. van Elzakker, A.L.M. Dekkers, Th.L. Hafkenscheid (2009). “Landelijk Meetnet Grondwaterkwaliteit: Vergelijking analyseresultaten van RIVM en TNO in 2004”. Rapport 680721001/2009. Rijksinstituut voor Volksgezondheid en Milieu (RIVM), Bilthoven. Van der Sluijs, J.P. J.S. Risbey, P. Kloprogge, J.R. Ravetz, S.O. Funtowicz, S. Corral Quintana, Â. Guimarães Pereira, B. De Marchi, A.C. Petersen, P.H.M. Janssen, R. Hoppe, S.W.F. Huijs (2003). “Guidance on Uncertainty Assessment and Communication: Detailed Guidance”. Universiteit Utrecht en RIVM/MNP, Utrecht/Bilthoven. http://www.nusap.net/download.php?op=getit&lid=32 Van Pul, W.A.J., M.M.P. van den Broek, H. Volten, A. van der Meulen, A.J.C. Berkhout, K.W. van der Hoek, R.J. Wichink Kruit, J.F.M. Huijsmans, J.A. van Jaarsveld, B.J. de Haan, R.B.A. Koelemeijer (2008). “Het ammoniakgat: onderzoek en duiding”. Rapport 680150002/2008. Rijksinstituut voor Volksgezondheid en Milieu (RIVM), Bilthoven. Wardekker, J.A., J.P. van der Sluijs, P.H.M. Janssen, P. Kloprogge, A.C. Petersen (2008). “Uncertainty Communication in Environmental Assessments: Views from the Dutch Science-Policy Interface”. Environmental Science & Policy, 11 (7), pp. 627-641. Wardekker, J.A., P. Kloprogge, A.C. Petersen, P.H.M. Janssen, J.P. van der Sluijs (in press). “Leidraad voor Omgaan met Onzekerheden: Stijlgids Onzekerheidscommunicatie”. Planbureau voor de Leefomgeving, Bilthoven. Wattel-Koekkoek, E.J.W., A.C.M. de Nijs, M.C. Zijp, H.P. Broers, L.J.M. Boumans (2009). “Representativiteit KRW Monitoringprogramma Grondwaterkwaliteit”. Rapport 680721003/2009. Rijksinstituut voor Volksgezondheid en Milieu (RIVM), Bilthoven Wesseling, J.P., F.J. Sauter (2007). “Kalibratie van het programma CAR II aan de hand van metingen van het Landelijk Meetnet Luchtkwaliteit van het RIVM”. Rapport 680705004/2007. Rijksinstituut voor Volksgezondheid en Milieu (RIVM), Bilthoven. Wesseling, J., R. Beijk, N. van Kuijeren (2008). “Effecten van groen op de luchtkwaliteit: Status 2008”. Rapport 680705012/2008. Rijksinstituut voor Volksgezondheid en Milieu (RIVM), Bilthoven.

38

Bijlage A. Schets stappenplan onzekerheidscommunicatie Deze bijlage geeft een eerste aanzet voor een stappenplan dat gevolgd kan worden voor het nadenken en opzetten van onzekerheidscommunicatie in rapporten van het CMM. Voor het onderzoek: 1. Bedenk wat de insteek van het rapport is: is het een technisch achtergrondrapport, een overzicht van recente ontwikkelingen of belangrijke (nieuwe) bevindingen, et cetera. 2. Zet op een rij welke doelgroepen het rapport heeft. Dit kan gaan om de formele doelgroepen (o.a. opdrachtgever), maar ook om andere groepen die men met het rapport van informatie wil voorzien en groepen die mogelijk gebruik zullen maken van de informatie (ook al zijn ze geen hoofddoelgroep gezien vanuit CMM). 3. Zet op een rij welke onzekerheden mogelijk relevant zijn voor de doelgroep. Tijdens het onderzoek: 4. Zet op een rij welke onzekerheden bekend zijn en hoe zich dat verhoudt tot de behoeften aan onzekerheidsinformatie bij de doelgroep (stap 3). Gebruik hiervoor bijvoorbeeld een onzekerheidsmatrix of –typologie (bijv. Van der Sluijs et al., 2003). Voor het schrijven: 5. Bedenk wat de context is waarin het rapport belandt. Dient het een formele rapportageplicht, wordt het gebruikt om concreet mee aan het werk te gaan (bijv. beleidsopties te bedenken of evalueren, onderzoeksprogrammering op te stellen), is het mogelijk politiek gevoelig, et cetera? 6. Zet op een rij welke eisen de doelgroepen stellen aan de communicatie van onzekerheden. Dit gaat om zowel formele (juridische of contractuele) eisen als om gebruikseisen (welk detailniveau, gebruik en uitleg van vaktermen, etc.). 7. Denk na over wat de mogelijke betekenis/implicaties van de onzekerheden zijn voor zowel de conclusies van het rapport als voor de werkrealiteit van de doelgroep. 8. Zet op een rij welke ‘lagen’ er te onderscheiden zijn in het rapport. Bijvoorbeeld: ‘rapport in het kort’, samenvatting, conclusies, inleiding, hoofdstukteksten, appendices. Denk na over hoe de onzekerheidsinformatie het beste over de lagen verdeeld kan worden, kijkend naar de doelgroep van elke laag en hoe gedetailleerd de informatie in die laag mag zijn. Tijdens en na het schrijven: 9. Spreek binnen het schijfteam af hoe om te gaan met onzekerheden en hoe hierover te communiceren. Zorg voor een consistente aanpak. Controleer of de formuleringen in diverse onderdelen van het rapport consistent zijn met elkaar (qua hardheid e.d.). 10. Denk na over hoe verschillende formuleringen, aanpakken, etc. over zouden kunnen komen bij de doelgroepen (en overige lezers). Een extra check door iemand die niet bij het schrijfproces is betrokken, kan hier nuttig zijn. 11. Houdt bij diverse communicatievormen (verbaal, numeriek, grafisch, of een combinaties hiervan) rekening met bijbehorende valkuilen en passendheid bij de doelgroep. Controleer op mogelijke misinterpretaties.

39