Statistische verwerking van ringtestresultaten

25/02/2013

Statistische verwerking van ringtestresultaten Siegfried Hofman

Statistische verwerking van ringtestresultaten

. . . In that Empire, the Art of Cartography attained such Perfection that the map of a single Province occupied the entirety of a City, and the map of the Empire, the entirety of a Province. In time, those Unconscionable Maps no longer satisfied, and the Cartographers Guilds struck a Map of the Empire whose size was that of the Empire, and which coincided point for point with it. The following Generations, who were not so fond of the Study of Cartography as their Forebears had been, saw that that vast Map was Useless, and not without some Pitilessness was it, that they delivered it up to the Inclemencies of Sun and Winters. In the Deserts of the West, still today, there are Tattered Ruins of that Map, inhabited by Animals and Beggars; in all the Land there is no other Relic of the Disciplines of Geography. “Collected Fictions” Jorge Louis Borges - 1946

25/02/2013 © 2011, VITO NV

2


ISO 17043-1 • “Development and operation of proficiency testing schemes” • Algemene organisatie

ISO 13528 • Statistical methods for use in proficiency testing… • … complementory to ISO 17043 on the use of statistical methods …

Concullega’s

25/02/2013 © 2011, VITO NV

3


• Stalen (monsters) • Rapportering • Dataverwerking • Evaluatie - eindrapport

25/02/2013 © 2011, VITO NV

4



25/02/2013 © 2011, VITO NV

5

Keuze van stalen volgens ISO : bepaling referentiewaarde

CRM Analyse vs CRM µ uit aanmaak Expert labs Consensus deelnemers

25/02/2013 © 2011, VITO NV

6


CRM

Zeer beperkt – gekend – WAC/BAM/BOC ???

Analyse vs CRM

Conformiteit WAC/BAM/BOC ?

µ uit aanmaak

Geen rekening met methode bias

Expert labs

Minstens 11 experts nodig

Consensus deelnemers

25/02/2013 © 2011, VITO NV

7

Zeer beperkt – gekend – WAC/BAM/BOC ???

Analyse vs CRM

Conformiteit WAC/BAM/BOC ?

µ uit aanmaak

Geen rekening met methode bias

Expert labs

Minstens 11 experts nodig

Metrologische waarde

CRM

Toegevoegde waarde


Consensus deelnemers

25/02/2013 © 2011, VITO NV

8

Nadelen

• Reële stalen • Soms + spike

Voordelen

Keuze VITO/OVAM

Keuze van stalen

25/02/2013 © 2011, VITO NV

9

• Normale routine • S meerwaarde • « normale » hoeveelheden • Bewaring volgens compendia

25/02/2013 © 2011, VITO NV

Nadelen


Voordelen

Keuze VITO/OVAM

Keuze van stalen

10

•Normale routine • S meerwaarde • « normale » hoeveelheden •Bewaring CMA

25/02/2013 © 2011, VITO NV

Nadelen


Voordelen

Keuze VITO/OVAM

Keuze van stalen

• Conc niet gekend (bias ?) • Beperkt aantal componenten • Conc vs RG • S vs staal • “kwaliteit” ~ bepaling µ

11



25/02/2013 © 2011, VITO NV

12

Rapportering : invullen rapportageformulier ISO 17043 §5.1.5 The proficiency testing provider shall: … have policies and procedures to avoid involvement in any activities that might diminish confidence in its competence, impartiality, judgement or operational integrity … …

Alle deelnemers moeten identiek behandeld worden (« wat voor één kan, kan en moet voor allen »)

25/02/2013 © 2011, VITO NV

13

Rapportering : invullen rapportageformulier

• Alle deelnemers moeten identiek behandeld worden (« wat voor één kan kan voor allen ») • Gerapporteerde resultaten mogen niet « geïnterpreteerd » worden maar moeten « as such » overgenomen worden • Gevolg voor foutjes bij rapporteren : hier kan NIET MEER ingegrepen worden aangezien we niet kunnen garanderen dat de operator ALLE vergissingen opmerkt. (waar trek je de grens ?) • Rapportageformulier correct invullen, alle afwijkingen geven aanleiding tot een « slechte » evaluatie • AARDE 2012 bodem 50% vd « slechte « scores (9/1822) agv rapportage (« <« niet meegerekend)

25/02/2013 © 2011, VITO NV

14



25/02/2013 © 2011, VITO NV

15


Samenstelling dataset

Berekenen van kengetallen

25/02/2013 © 2011, VITO NV

16

Statistische verwerking van ringtestresultaten: dataset

Samenstelling dataset • • • •

Verwijderen van nonsens “niet erkende labo’s” Beduidende cijfers Behandeling van “<“

Berekenen van kengetallen • Algorithme A vs outliers test

25/02/2013 © 2011, VITO NV

17


Samenstelling dataset •Verwijderen van nonsens • pH > 14 of < 1 • waarde < 0 of = 0 of > x • eenheidsfouten (vb NO3 vs N) • verhouding met mediaan > of < 10 • niet erkende labo’s : • enkel indien gebruik v. CMA zeker en onder controle

25/02/2013 © 2011, VITO NV

18

Rapportering van resultaten : Significante cijfers (beduidende, kenmerkende)

Beduidende (significante) cijfers

“Het aantal significante cijfers van een meetwaarde is het aantal cijfers zonder op de komma te letten. Nullen aan het begin van machten van 10 tellen niet mee” • • • • •

25/02/2013 © 2011, VITO NV

87, 636 : 5 bc 56,33 : 4 bc 12400 = 124 102: 3 bc 12000 = 12 103: 2 bc 7 : 1 bc

19

Rapportering van resultaten : Significante cijfers (beduidende, kenmerkende) ISO 13528 §4.6 : For the purposes of the calculations required in proficiency testing, it is recommended that individual measurement results should not be rounded by more than σr / 2 ISO 17043 § 4.4.4.3 In designing a statistical analysis, the proficiency testing provider shall give careful consideration to the following: ... ...the relevance of significant figures to the reported result, including the number of decimal places; ISO 17043 § 4.6.1.2 (instructions for participants) specific and detailed instructions on the manner of recording and reporting test or measurement results NOTE : This instruction usually includes parameters such as the units of measurement, the number of significant figures or decimal places and reporting basis (e.g. on dry weight, or “as received”).

• « De behandeling van het aantal beduidende cijfers bij rapportering en verwerking moet zo zijn dat de invloed er van op de statistische verwerking minimaal is » • Typisch cfr σr / 2

25/02/2013 © 2011, VITO NV

20

Rapportering van resultaten : Significante cijfers (beduidende, kenmerkende)

•

Analysen moeten in « routine » uitgevoerd worden, dus ook rapportering

•

Rapportering moet rekening houden met de meetonzekerheid

•

Als PT-provider kunnen we niet opleggen om hier van af te wijken (wel vragen ☺ )

•

Min σ voor evaluatie = 5% •

σ/2 = 2,5% of 0,025 voor 1 → 1,##

•

We « vragen » 3 beduidende cijfers, indien meer gegeven wordt afgerond voorafgaand aan de verwerking.

25/02/2013 © 2011, VITO NV

21


Samenstelling dataset : behandeling van “<“ • Niet uit te sluiten bij reële stalen • Meerwaarde = blanco controle

• indien ≤ 1/3 van de deelnemers “<“ : waarde vervangen door ½ van de RG • indien > 1/3 maar minder dan 2/3 : dataset wordt niet gebruikt • indien ≥ 2/3 : component is niet aanwezig : controle op “vals positief”

25/02/2013 © 2011, VITO NV

22

Statistische verwerking van ringtestresultaten 0,018

• drie mogelijkheden: • “
RG

0,016

Verschuiven van RG naar gemiddelde

0,014

0,012

0,01

0,008

0,006

0,004

Hoe meer laboratoria “<“ rapporteren hoe lager de consensuswaarde en hoe groter de onzekerheid hierop : dit moet gereflecteerd worden door de dataverwerking

0,002

0 0

50

100

150

200

250

300

alle data

25/02/2013 © 2011, VITO NV

23

Statistische verwerking van ringtestresultaten 0,03 0,025 0,02 0,025 0,015 0,02

0,01 0,005

0,015

0 0

50

100

150

0,01 200

250

300

0,018

-0,005 alle data

4%

10%

18%

30%

38%

0,016

0,005

14%

0,014

0 0

50

100

0,012 200 250 0,01

150

-0,005 alle data

4%

10%

18%

30%

38%

300

0,008 14% 0,006 0,004 0,002 0 0

25/02/2013 © 2011, VITO NV

50

100

150

200

alle data

4%

10%

18%

30%

38%

250

300

14%

24


Samenstelling dataset • • • •

Verwijderen van nonsens “niet erkende labo’s” Beduidende cijfers Behandeling van “<“

Berekenen van kengetallen • Algorithme A vs outliers test

25/02/2013 © 2011, VITO NV

25


Data Data Data

µ (referentiewaarde) σ (spreiding)

Data

z=

xi −µ

σ

Data

25/02/2013 © 2011, VITO NV

26


ISO 17043 §4.7.1.4 The influence of outliers on summary statistics shall be minimized by the use of robust statistical methods or appropriate tests to detect statistical outliers. ISO 13528 : this international standard recommends the use of robust statistical methods…

a robust statistic is resistant to errors in the results, produced by deviations from assumptions e.g.: • lack of normality • aberrant datapoints •…

the identification of aberrant datapoints is the goal of Proficiency Testing !!! 25/02/2013 © 2011, VITO NV

27


µ

µ = gemiddelde σ = standaardafwijking

σ

25/02/2013 © 2011, VITO NV

28


µ

µ = gemiddelde σ = standaardafwijking

σ

“gewoon” gemiddelde heeft een breakdown point = 0, één aberrante waarde is voldoende om het gemiddelde “oneindig” te verplaatsen.

25/02/2013 © 2011, VITO NV

29

labo1

10,7

labo2

11,8

labo3

11,5

labo4

10,9

labo5

11,4

labo6

11,2

labo7

11,6

labo9

10,9

labo10

11,4

labo11

11,2

labo12

11,8

labo13

11,1

labo14

12,0

labo15

11,8

labo16

12,0

labo17

11,1

labo18

11,7

labo19

12,0

labo20

11,5

labo21

11,6

labo "X"

11,4

11,2

11

10,8

10,6

10,4

10,2

10

9,8

9,6

9,4

9,2

9

8,8

8,6

8,4

µ

11,46

11,45

11,44

11,43

11,42

11,41

11,40

11,39

11,38

11,37

11,36

11,35

11,34

11,33

11,32

11,32

σ

0,38

0,39

0,39

0,41

0,42

0,45

0,47

0,50

0,53

0,56

0,59

0,62

0,66

0,69

0,73

0,77

25/02/2013 © 2011, VITO NV

30

25/02/2013 © 2011, VITO NV

31

Data Data Data Data

Outlier test


Data Data Data Data

µ σ

z=

xi −µ

σ

Data

• Dataset testen op normaliteit (Anderson Darling, Shapiro Wilks, Kolmogorov, Liliefors, …) • Onbetrouwbaar bij n<< én met outliers • Wat indien niet normaal ? • vb orka 2012 VOCl : 15/85 niet normaal (Liliefors 95%) • Outlier testen niet altijd effectief : gevaar voor onder- of overschatten van σ

25/02/2013 © 2011, VITO NV

32

Data Data Data Data

Outlier test


Data Data Data Data

µ σ

z=

xi −µ

σ

Data

• outlier test is niet altijd effectief • wat met niet normaal verdeelde data ?

25/02/2013 © 2011, VITO NV

33


Algoritme A • • • •

Berekenen van µ en σ “Ongevoelig” aan outliers Geen veronderstelling van normaliteit Afwijkende resultaten worden niet verwijderd, blijven dus een beperkte invloed uitoefenen

25/02/2013 © 2011, VITO NV

34


25/02/2013 © 2011, VITO NV

35


Stap 1 : berekenen van : x* = mediaan s* = 1.483 * mediaan |xi-x*| δ = 1.5 * s*

δ Mediaan

δ

25/02/2013 © 2011, VITO NV

36


Stap 2 : tranformeren van de data, data verder verwijderd van de mediaan dan δ worden verplaatst tot op δ

δ Mediaan

δ

25/02/2013 © 2011, VITO NV

37


Stap 3 : herberekenen van x*, s* en δ

δ X*

δ

25/02/2013 © 2011, VITO NV

38


Stap 4 : tranformeren van de dataset

δ X*

δ

Stap 5 tot … (op basis van SD en gemiddelde): Procedure wordt herhaald tot convergentie (< 0.1% verschil tussen 2 stappen voor µ en σ) 25/02/2013 © 2011, VITO NV

39


σ is grosso modo vergelijkbaar

Bij aanwezigheid van (door Grubbs erkende) outliers geeft Alg A een iets grotere spreiding

Veel lagere spreiding bij falen van de Grubbs test.

25/02/2013 © 2011, VITO NV

40


Statistische kengetallen • berekening via Alg. A • “uitschieters” worden niet verwijderd • data hoeven niet normaal verdeeld te zijn • µ en σ steeds uit dataset • σ valt meestal iets groter uit, kleiner in specifieke gevallen • bij RSD > 50% wordt de parameter meestal niet weerhouden

25/02/2013 © 2011, VITO NV

41



25/02/2013 © 2011, VITO NV

42


µ = consensuswaarde (uit groep) • reële stalen • (methode bias) -3

-2

z= -3

+2

+3

+2

+3

xi −µ

σ

-2

σ = groepsspreiding • “fit for purpose” • kleine datasets 25/02/2013 © 2011, VITO NV

43


Kleine datasets Probleem bij kleine datasets: • ISO 13528: “The statistical design for a proficiency testing scheme must consider the minimum number of participants that are needed to meet the objectives of the ISO 13528 design, and alternative approaches that will be used if the minimum number is not achieved” • Kleine datasets worden stiefmoederlijk behandeld in de norm.

25/02/2013 © 2011, VITO NV

44


z=

xi −µ

σ

Gebaseerd op normale verdeling Z=2 : 95% kans dat de waarde niet meer tot de groep behoort (dus 5% kans op onrechtmatige vlag) µ en ơ worden verondersteld « gekend » te zijn maar aangezien deze bepaald werden uit een steekproef is er een onzekerheid op beide waarden. Eigenlijk moet met een t-student verdeling gewerkt worden 25/02/2013 © 2011, VITO NV

45


T-student verdeling

• Vorm is afhankelijk van het aantal vrijheidsgraden ( # deelnemers), breder bij n< • komt bij n >> overeen met normale verdeling • Bij evaluatie wordt de steekproef (=groep) vergeleken met de waarde van een labo • Vrijheidsgraden ~aantal delnemers • Hier wordt het crietrium z>2 « strenger » bij een kleiner aantal deelnemers. 25/02/2013

• Bij 5 deelnemers is de kans dat een tekortkoming onterecht is = 10% © 2011, VITO NV

46


df (N) 60 50 40 30 25 20 15 12 10 9 8 7 6 5

25/02/2013 © 2011, VITO NV

% conf 95 95 95 94 94 94 93 93 93 92 92 91 91 90

47


z=

xi −µ

fnσ

Vanaf < 10 deelnemers wordt het criterium aangepast aan het aantal deelnemers zodat de gestrengheid van de test identiek is aan deze voor n=10 (internationaal wordt niet gecompenseerd vanaf n=10). F stijgt met dalend aantal deelnemers, max = 1.15 bij 5 deelnemers (< 5 deelnemrs = geen verwerking) Vlarel laat enerzijds enkel het gebruik van z-scores toe maar laat de keuze voor de gebruikte spreiding wel vrij. Interpretatie van z-scores blijft identiek

25/02/2013 © 2011, VITO NV

48


Pakket 3.3

N

σ-voor

σ-na

z-voor

z-na

Labo 2

1,1,2-trichloorethaan

6

0,091

0,100

-19,81

-19,14

Labo 3

hexaan

5

0,117

0,135

69,14

59,92

Labo 3

octaan

7

0,447

0,474

11,42

10,76

Labo 3

som tetrachloorbenzenen

9

0,781

0,793

2,06

1,99

Labo 3

pentachloorbenzeen

8

0,136

0,141

4,39

4,24

Labo 3

benzo(b)fluorantheen

8

0,823

0,852

4,06

3,92

Labo 5

naftaleen

7

0,190

0,202

-3,07

-2,89

Labo 5

minerale olie (GC-FID)

8

46,900

48,537

6,08

5,88

Labo 6

naftaleen

7

0,190

0,202

5,15

4,85

Labo 1

benzeen

8

0,256

0,265

-4,08

-3,94

Labo 1

tolueen

9

0,832

0,845

-2,06

-2,03

Labo 1

hexaan

5

0,117

0,135

-23,92

-20,73

Labo 1

octaan

7

0,447

0,474

-4,23

-3,99

Labo 1


6

0,091

0,100

-19,67

-17,91

Labo 1

tetrachlooretheen

9

0,206

0,209

2,05

2,02

Labo 7


6

0,091

0,100

4,52

4,11

Labo 8

benzo(a)anthraceen

9

2,120

2,152

2,09

2,05

25/02/2013 © 2011, VITO NV

49


Fitness for purpose Probleem bij kleine datasets: • Altijd gebruiken van σgroep uit groep kan aanleiding geven tot bestraffen van zeer kleine afwijkingen • Vroeger : “deliberatie” (*) (X) • Nu : overstappen op vaste σp • Typisch 5% voor anorganische en 10% voor organische parameters, kan nog veranderen.

25/02/2013 © 2011, VITO NV

50


Dataset

ơ*, µ*

ơ < ơmin?

N< 10 ?

Ơp =fnƠ*

Berekenen van z-scores

Ơp =Ơmin

Indien nodig kan nog een modifier ingevoerd om te compenseren voor inhomogeniteit van de monsters (indien van toepassing)

25/02/2013 © 2011, VITO NV

51


x = gerapporteerde waarde (3 BC) • bij “< x” wordt x gebruikt • “VP” bij > 2*RGCMA -3

-2

z= -3

+2

+3

+2

+3

xi −µ

σ

-2

σ = spreiding • compensatie indien n <10 • σ min bij lage spreidingen • niet weerhouden bij RSD > 50% 25/02/2013 © 2011, VITO NV

52


• Stalen (monsters) • Rapportering • Dataverwerking • Evaluatie – eindrapport • Vragen ?

25/02/2013 © 2011, VITO NV

53

Statistische verwerking van ringtestresultaten

Recommend Documents