Top en Flop in Ringonderzoeken Eurachem Symposium 2004 Bilthoven 11 november 2004 Bram Eijgenraam
Top en Flop in Ringonderzoeken
! ! ! !
De Ringonderzoeken Wat mis kan gaan . . . Kan het beter ? Werkt het ?
Het Begin ! ! ! !
Start in 1956 Plantmateriaal Uitwisselonderzoek Doel: " " "
Vergelijkbaarheid van resultaten Houvast voor laboratoria Overdracht van kennis
WEPAL Ringonderzoeken startjaar
programma
deelnemers
landen
1956
IPE
220
59
1988
ISE
270
64
1992
SETOC
100
24
1994
MARSEP
45
13
Karakteristiek WEPAL programma’s !
Regelmaat: " "
!
Uitgebreid pakket bepalingen "
!
4 x per jaar 4 verschillende monsters
Deelname optioneel
1 “standaard” monster " " "
ontwikkelingen op lange termijn stabiliteit kwaliteit
Karakteristiek WEPAL programma’s !
Veel deelnemers = Veel resultaten " "
!
betrouwbaarder statistiek minder invloed toevallige storingen
Resultaten in database " "
vanaf 1981 meer dan 2,000,000 toename jaarlijks 120,000
Wat mis kan gaan . . . . Veel resultaten # Meer missers ! ! ! ! ! !
Foute invoer Rekenfouten Monsterverwisseling Verkeerde bepaling Onleesbaar resultaat .....
Wat mis kan gaan . . . . Verworpen resultaten (outliers)
!
Analyse fouten Afwijkende methode Rekenfouten .....
!
Verworpen resultaten (als %) relatief constant
! ! !
2003
2002
2001
2000
1999
1998
1997
1996
1995
1994
1993
1992
1991
1990
1989
1988
1987
1986
1985
1984
1983
1982
1981
Blunders (outliers) % van totaal aantal resultaten
30%
25%
20%
15% IPE ISE SETOC MARSEP
10%
5%
0%
Wat mis kan gaan . . . .
Gemakkelijk te voorkomen blunders !
Herkenbare Rekenfouten " "
Factor 10, 100, 1000, etc Mediaan * Factor (± 10 %)
Herkenbare rekenfouten % van verworpen resultaten 10% 9% 8% 7% 6%
IPE ISE SETOC MARSEP
5% 4% 3% 2% 1% 2003
2002
2001
2000
1999
1998
1997
1996
1995
1994
1993
1992
1991
1990
0%
Faxvloed ?
Inzending resultaten Ontvangen formulieren (gem per dag) 100 90 80 70 60 50 40 30 20 10 0
22-4
29-4
6-5
13-5
20-5
27-5
3-6
10-6
17-6
24-6
1-7
Leesbaar formulier
Leesbaar formulier ?
Leesbaar formulier ?
Groepsvorming Standaarmonster ISE 921 25
350
300 20
15
200
Aantal
concentratie
250
150
10
100 5 50
0
0 1998.3
1998.4
1999.1
1999.2
1999.3
1999.4
Periode
2000.2
2000.4
2001.1
2001.2
Aantal P-CAL Aantal P-DL P-CAL P-DL
Groepsvorming Standaarmonster ISE 921 25
350
300 20
15
200
Aantal
concentratie
250
150
10
100 5 50
0
0 1998.3 1998.4 1999.1 1999.2 1999.3 1999.4 2000.2 2000.4 2001.1 2001.2 2001.3 2001.4 2002.1
Periode
Aantal P-CAL Aantal P-DL P-CAL P-DL
Groepsvorming Standaarmonster ISE 921 25
350
300 20
15
200
Aantal
concentratie
250
150
10
100 5 50
0
0 1998 1998 1999 1999 1999 1999 2000 2000 2001 2001 2001 2001 2002 2002 2002 2002 2003
Periode
Aantal P-CAL Aantal P-DL P-CAL P-DL
Groepsvorming Standaarmonster ISE 921 25
350
300 20
15
200
Aantal
concentratie
250
150
10
100 5 50
0
0 1998.3
1999.1
1999.3
2000.2
2001.1
Periode
2001.3
2002.1
2002.3
2003.1
Aantal P-CAL Aantal P-DL P-CAL P-DL
Wat kun je er tegen doen !
Robuuste statistiek "
!
Informatie over analyses "
!
Ongevoelig voor groepsvorming MIC: Method Indicating Code
Scheiding tussen methode varianten " "
Statistisch significant Duidelijk verschillend
Robuuste statistiek Voorbeeld invloed groep uitbijters 800
700
600
concentratie
500
Results Outliers Median
400
300
200
100
0 0
20
40
60
80
100
120
De ware waarde ? Aluminum in White Cabbage 90
80
70
mg/kg Al
60
50
40
30
20
10
0
Results Outliers Median Certified Value
De ware waarde ? Aluminum in White Cabbage
CRM ( 69.0 mg/kg ± 14 )
90
80
70
mg/kg Al
60
50
40
30
20
10
0
Results Outliers Median Certified Value
Wat is juist ? !
CRM en Mediaan zijn beiden goed " "
Afhankelijk van doel / definitie In dit geval: • CRM: Real total • Mediaan: Acid extractable
" "
Methoden scheiden Documenteren
Gaat er nog wat goed ?
! ! ! ! !
Kwaliteitsbewaking Ringonderzoek Werkwijze vastgelegd in procedures Accreditatie sinds April 2000 Aantal fouten is gering (< 0.5 ‰) Leren van fouten
Kan het beter ?
!
Kwaliteit van de deelnemers
!
Meetbaar ?
Variatie coëfficient in de tijd
mg P / kg
Standaardmonster ISE 921 1500
12%
1250
10%
1000
8%
750
6%
500
4%
250
2%
0
0%
1992 1993 1994
1995 1996 1997 1998 1999 2000
2001 2002 2003
concentratie variatie coëfficient
Variatie coëfficient in de tijd Standaardmonster IPE 883 25%
10 9
20%
8
mg Cu / kg
7 15%
6
concentratie variatie coëfficient
5 10%
4 3
5%
2 1 0 1988
0% 1990
1992
1994
1996
1998
2000
2002
2004
Concentratie vs Variatie coëfficient MARSEP 60%
variatie coëfficient
50%
40%
1994
30%
20%
10%
0% 0
0.2
0.4
0.6
concentratie
0.8
1
1.2
Concentratie vs Variatie coëfficient (log/%) MARSEP 60%
variatie coëfficient
50%
40%
1994
30%
20%
10%
0% 1.E-07
1.E-06
1.E-05
1.E-04
1.E-03
concentratie
1.E-02
1.E-01
1.E+00
Concentratie vs Variatie coëfficient (log/log)
Horwitz -1
log(standaard deviatie)
-2 -3 -4
Horwitz
-5 -6 -7 -8 -9 -8
-7
-6
-5
-4
-3
log(concentratie)
-2
-1
0
Concentratie vs Variatie coëfficient (log/log)
MARSEP -1
log(standaard deviatie)
-2
-3
-4
1994 Horwitz
-5
-6
-7
-8
-9 -8
-7
-6
-5
-4
-3
log(concentratie)
-2
-1
0
Concentratie vs Variatie coëfficient (log/log)
MARSEP -1
log(standaard deviatie)
-2 -3 -4
Horwitz 1994
-5 -6 -7 -8 -9 -8
-7
-6
-5
-4
-3
log(concentratie)
-2
-1
0
Concentratie vs Variatie coëfficient (log/log)
MARSEP -1
log(standaard deviatie)
-2 -3 -4
1994 1997
-5 -6 -7 -8 -9 -8
-7
-6
-5
-4
-3
log(concentratie)
-2
-1
0
Concentratie vs Variatie coëfficient (log/log)
MARSEP -1
log(standaard deviatie)
-2 -3 -4
1994 1997 2000 2003
-5 -6 -7 -8 -9 -8
-7
-6
-5
-4
-3
log(concentratie)
-2
-1
0
Concentratie vs Variatie coëfficient (log/log)
MARSEP -4.6 -4.7
log(standaard deviatie)
-4.8 -4.9
1994 1997 2000 2003
-5 -5.1 -5.2 -5.3 -5.4 -5.5 -5.6 -4.5
-4.3
-4.1
-3.9
log(concentratie)
-3.7
-3.5
MARSEP verbetering kwaliteit Jaar
Relatief
helling
afsnijding
1994
100 %
0.8948
-1.4636
1997
77 %
0.8807
-1.6323
2000
74 %
0.8867
-1.6273
2003
69 %
0.8876
-1.6506
Top of Flop ? Voorbeelden zijn extremen Er gaat meer goed dan fout en . . . De kwaliteit neemt toe
Top of Flop ?
Ringonderzoeken verbeteren de kwaliteit Deelname is een noodzaak
Of Voelt u zich al te veel bekeken ?
