definitie kwaliteit
het geheel van eigenschappen van een methode
Hoe garandeer ik kwaliteit ?
dat van belang is voor het voldoen aan vastgestelde vereisten
gewijzigd naar ISO 8402
The Netherlands
inhoud
hoe meet Alterra kwaliteit?
kwaliteit
mechanismen om te voldoen aan de vereisten
hoe meet Alterra kwaliteit?
kwaliteit
voorbeelden van gebruik methoden
•
methode
kwaliteitsborging >>> methoden alleen hoe bereiken we vereiste kwaliteit?
wetenschappelijke analyse 9
statistische analyse
9
bepalen onbetrouwbaarheid
•
publicatie in internationale gerefereerde literatuur
•
visitatie (1x 5 jaar)
•
kwaliteitsprocedures (zelfcontrole, ISO certificering) er is verschil tussen veronderstellen en aantonen
wat zien we (te) vaak in Nederland?! water methode soort a soort b soort c
I x 4 3 0
I y 0 0 0
II x 0 0 0
II y 4 0 0
kwaliteit
datum: dd-mm-yyyy
kwaliteit in het onderzoek?
kwaliteit
onderzoekers worden afgerekend op publicaties in internationaal gerefereerde tijdschriften
naar: xxxx, yyyy i.o.v. xxxx
conclusies: • soort a wordt met methode y beter gevangen • soort a komt op meer plaatsen voor dan verwacht • soorten b en c worden met methode y minder gevangen • het tijdstip van verzamelen in van groot belang
hoe hoger de impact factor van het tijdschrift des te strenger zijn de kwaliteitseisen
1
de wetenschappelijke publicatie opbouw
=>
eisen
intro
=>
gerefereerde onderbouwing van bestaande kennis en probleemstelling
materiaal & methoden => resultaten discussie
=> =>
conclusies
=>
de wetenschappelijke publicatie
kwaliteit
JNABS – manuscript over effect ja/nee conserveren monsters materiaal & methoden personen uitgezocht’
=>
‘er is door verschillende
commentaar editor => ‘Another problem is that, as noted by referee 1, it is not clear whether quality control measures were applied to ensure specimens were not missed when the samples were sorted. Since different people sorted different samples, it seems possible that apparent effects of preservation were confounded or masked by differences among personnel.’
gerefereerde of zelf beschreven reproduceerbare methoden statistische toets (kern en onzekerheden) gerefereerde reflectie van bevindingen versus bestaande kennis alleen onderbouwde feiten
wat heeft de waterbeheerder aan deze praktijk?
methoden cyclus sampling
t.b.v. het kwaliteitaspect drie componenten:
objective
sorting
3. conclusies voorzien van (on)zekerheden
moderate
% of individuals
2. conclusies baseren op statistische toets
high
metric calculation
4
2
good
0 2 3 4 Ecological quality class
Bd
typology
nlp
Odstrnlp Gf nut Oc
•
orgstr
data analyses
voorbeeld: het macrofauna monster
methode
abundance 1 15 352 2 1 1 11 33 13 3 4 1 1 4 1 77 1 8 1 14
nut org
str nut strnut Ge nut org Gc nlp str org str str org nut nlp nlp str org nlp dim
veel methoden om macrofauna te bemonsteren ’70-’80 veelal bakken, kunstsubstraat, cylinders, net, combinaties geen wetenschappelijke vergelijkingen, andere vergelijkingen niet altijd in voordeel net pogingen om net te standaardiseren bv Goris 1982, Beltman 1983 IAWM gestandaardiseerd bemonsteringsprotocol (vd Hammen et al. 1984)
5
species Albohete anisvoex Aselaqua Bathcont Bithtent Caenluct Chalviri Cricsylv Dugelugu Erpoocto Erpotest Gammpule Gloscomp GrappiAd haliimad Helostag Hemimarg hytilasp Ischeleg Phaepssp
data preparation Ob org
assessment system
•
sa mple N1300021 N1300021 N1300021 N1300021 N1300021 N1300021 N1300021 N1300021 N1300021 N1300021 N1300021 N1300021 N1300021 N1300021 N1300021 N1300021 N1300021 N1300021 N1300021 N1300021
6
poor bad
•
identification
Hypopotamal
8
1
• •
methode
site/ habitat selection
1. het gebruik van vereiste, gerefereerde methoden
voorbeeld: het macrofauna monster
kwaliteit
methode
maar wat gebeurde er met het standaardmonster • • • • • •
net opening -> varieert netmaaswijdte -> varieert monsterlengte -> varieert monstername naar oppervlak of tijd wijze van monstername -> varieert beschikbare onbetrouwbaarheidsanalyses (2 x vb)? 9 ruimte 9 tijd
2
voorbeeld: het macrofauna monster CV individuals
meer
0.6
Coefficient of Variation
0.5 0.4 0.3 0.2 0.1 0 April
July
September
December
Year
(naar Verdonschot 1990)
• 5 m standaard IAWM netmonster • genormaliseerde middenloop • 10 replica’s • alles uitgezocht • determinatie tot soort • 4 seizoenen
aantal taxa
CV taxa
voorbeeld: het macrofauna monster
methode
meer
sloot+plant
natuur
180 160 140 120 100 80 60 40 20 0
R2 = 0.98
EQC
2
R = 0.99 R2 = 0.95 R2 = 0.92
0
5
?
(naar Goris 1982)
10
methode
sloot-plant
15
• 1, 2, 4, 8, 16 m IAWM netmonster • 4 watertypen • alles uitgezocht • determinatie tot soort • eenmalig
20
meter
conclusie: variatie is het kleinst als steeds in december wordt bemonsterd, CV = 0.2 over het gehele jaar bezien
conclusie: moeten we wel één methode voor alle watertypen en alle doelen hanteren?
voorbeeld: het macrofauna monster
voorbeeld: het uitzoeken
box net
box net
box net gebruiken we wel de ‘beste’ methode?
• vergelijk box – netmonster • ondiepe meren • toenemend monsteroppervlak • alles uitgezocht • determinatie tot soort • monsterinspanning vergelijkbaar
voorbeeld: het beoordelen •
er bestaan veel beoordelingsmethoden
•
saprobie-index, K12345, regionale systemen, EBEOsystemen, KRW maatlatten naast veel internationale methoden (bv BMWP, RIVPACS, ASTERICS)
•
absolute oordelen bestaan niet, onderlinge verschillen tussen methoden wel
•
weinig wetenschappelijke vergelijkingen, vaak geen onzekerheden, geen validaties, e.d.
uitgezocht, waarna alles is uitgezocht uitzoekmethode
A
B
%-afwijking tov totaal aantal taxa
-16.0 ± 3.5
-19.4 ± 1.1
aantal individuen
-13.6 ± 1.0
+1.7 ± 8.4
(naar Vlek et al. 2004)
conclusie:
methode
methode
voor 3 monsters is volgens twee methoden een deel
slechts delen van een monster uitzoeken geeft groot verlies aan taxa
voorbeeld: EBEOSWA versus KRW
methode
5 4.5 EBEOSWA totaal score
(naar O’Connor et al. 2004)
methode
4 3.5 3 2.5 2 1.5
y = 2.8736x + 1.7132 R2 = 0.6224
1 0
0.1
0.2
0.3
0.4
0.5 EQR score
0.6
0.7
0.8
0.9
1
KRW maatlat
conclusie: relatie is significant positief (helling), maar de getalswaarden kunnen aanzienlijk verschillen (spreiding 2-3 klassen)!
3
EBEOSWA, KRW, ASTERICS, PERLODES methode KRW
NL
60
EBE
AST
OEC
SI
AD
NL
NL
D
D
D
conclusies methoden
methode
huidige situatie:
50
1. er zijn veel methoden en variaties daarop in gebruik (zie
% monsters
40
o.a. 1ste kwaliteitsdag) ((te) grote vrijblijvendheid)
30
2. veel methoden zijn momenteel (vaak) niet
20
wetenschappelijk onderbouwd (onbewust van
10 0 1
2
3
4
5
kwaliteitsklasse conclusies: • P<0.001 tussen alle beoordelingen behalve OEC en AD • 60% verschil EBEO vs. KRW (1 klasse of meer) • 66% van KRW 1 klasse hoger dan PERLODES
(on)zekerheden) 3. de geschiktheid van methoden verschilt per doel en per watertype (onbewust van (on)mogelijkheden)
kerndoelen waterbeheerders
methoden cyclus sampling
•
• •
vaststellen kwaliteitstoestand (monitoren, beoordelen) oorzaak/‘ingreep’ analyse (achterhalen oorzaak ongewenste toestand/te herstellen factoren) volgen en evalueren ingrepen/herstel (monitoren, evalueren) bepalen van de natuurwaarde (zeldzame, doel-, indicatorsoorten)
objective
sorting
Invulling is doelafhankelijk! Hypopotamal
8
sa mple N1300021 N1300021 N1300021 N1300021 N1300021 N1300021 N1300021 N1300021 N1300021 N1300021 N1300021 N1300021 N1300021 N1300021 N1300021 N1300021 N1300021 N1300021 N1300021 N1300021
6
high
metric calculation
4
2
good
0 1
moderate
2 3 4 Ecological quality class
poor bad
5
species Albohete anisvoex Aselaqua Bathcont Bithtent Caenluct Chalviri Cricsylv Dugelugu Erpoocto Erpotest Gammpule Gloscomp GrappiAd haliimad Helostag Hemimarg hytilasp Ischeleg Phaepssp
abundance 1 15 352 2 1 1 11 33 13 3 4 1 1 4 1 77 1 8 1 14
data preparation Ob org
assessment system Bd
typology
nlp
nut org
str nut strnut Ge nut org Gc nlp str org str str org nut nlp nlp str org nlp
Odstrnlp Gf nut Oc dim
kwaliteitsborging
identification
site/ habitat selection
% of individuals
•
orgstr
data analyses
hoe bereiken we vereiste kwaliteit?
methoden
randvoorwaarde: methoden moeten wetenschappelijk onderbouwd zijn
DOEL
1=te veel variatie
(waar relevant: statistisch getoetst, gevalideerd en voorzien van een onzekerheidsmaat)
kwaliteitsmanagement 2=onderbouwing
uitvoerder voordeel:
(essentiële) bijdrage in het kwaliteitsproces
nadeel:
meer aanloopinspanning
3=doel/type specifiek
4
hoe bereiken we vereiste kwaliteit? doelen:
methode(n):
1. splitsen 9 per doel en methode bv herstel meten ≠ beoordelen voordeel: kosten en doeleffectief aanloop lang en kostbaar nadeel: 2. verenigen 9 brede methode sneller te ontwikkelen daarna steeds voordeel: kostbaar minder toegesneden nadeel:
hoe bereiken we vereiste kwaliteit? methode(n), alternatieve opties: 1.
hoe bereiken we vereiste kwaliteit?
LCS’s (pas eenvoudige, snelle technieken toe) voordeel: goedkoop, eenvoudig, snel te ontwikkelen en implementeren nadeel: minder gevoelig, sterk doelafhankelijk
2. centralisatie (beperk het aantal labs/landelijk) voordeel: effectief, eenvoudigere kwaliteitsimplementatie, 3-5 jaarcycli over heel Nederland, doelgericht, gestandaardiseerd, enz.. uitvoerders zien geen wateren meer!! nadeel:
hoe bereiken we vereiste kwaliteit? experts
beginners
¾ minder individuen (uitzoeken) ¾ minder taxa (uitzoeken + determinatie) ¾ meer foute identificaties (determinatie)
voor alle methodische onderdelen uit cyclus geldt: 9 maak expliciete keuzes tav een methode 9 valideer maar wel per doel en type 9 bepaal onbetrouwbaarheid per doel/type 9 stel strikte protocollen op voordeel: nadeel:
hoe bereiken we vereiste kwaliteit? uitvoerder: 1. opleidingen 9 cursussen (bv determinatie per orde/groep) 9 workshops (bv monstername, ringonderzoek) 9 examineer onderdelen uit methodencyclus en per niveau (bv uit UK: familie, genus+soort) 9 mbo/hbo specialisaties tbv micro- en macro-fyten/fauna 9 universitair specialisatie aquatische ecologie, water/natuurmanagement voordeel: nadeel:
standaardisatie, kennisdoorgifte, begrip kosten
hoe bereiken we vereiste kwaliteit? kwaliteitsmanagement: 1. vragen om onderbouwing, validatie, betrouwbaarheid 2. rendabel investeren in de aanloopfase (alles slechts 1 keer ontwikkelen) 3. opleidingen stimuleren 4. aansturen en controleren uitvoering methodencyclus voordeel: nadeel:
(naar Metzeling et al. 2003)
bouwt voort op huidige praktijk er ligt nog veel werk!!!
bouwt voort op huidige praktijk vraagt veel aandacht, investering en overleg
5
het drieluik methode
conclusies zelf-controle ISO RvA
DOEL kwaliteitsmanagement wetenschappelijke instellingen
er is nog een lange weg te gaan! eerst eigen processen (kwaliteitsverbetering
uitvoerder
en –zorg) op orde brengen pas daarna nut en noodzaak accreditatie
opleidingen ringonderzoeken
beoordelen
6
