Bepaling van de meetonzekerheid voor testen op voedingsmiddelen en veevoeders

Bepaling van de meetonzekerheid voor testen op voedingsmiddelen en veevoeders Peter Vermaercke

5 & 7 september 2007

© Peter Vermaercke

1

Federaal Agentschap voor de Veiligheid van de Voedselketen All copy rights obtained by FAVV/AFSCA

Alle rechten voorbehouden. Niets uit deze presentatie mag worden vermenigvuldigd en/of openbaar gemaakt door middel van druk, fotokopie, microfilm of op welke andere wijze ook zonder voorafgaande schriftelijke toestemming van het Federaal Agentschap voor de Veiligheid van de Voedselketen.

Federaal Agentschap voor de Veiligheid van de Voedselketen 5 & 7 september 2007

© Peter Vermaercke

2


© Peter Vermaercke

3

Kan men nog een resultaat interpreteren zonder meetonzekerheid? ????

±1.8?

±0.2 4?

±9.6? ±0 .0 0 67 ?

Pas dan kunnen we vergelijken ...

Enkel wanneer het resultaat gegeven wordt met een meetonzekerheid berekend op basis van de belangrijkste bronnen van onzekerheid kunnen we resultaten vergelijken

Federaal Agentschap voor de Veiligheid van de Voedselketen

Meetonzekerheid: Iets waarover men zeer onzeker is … tot vandaag ☺

σ


© Peter Vermaercke

5

Cursus inhoud Wat? Waarom? Enkele belangrijke definities Link met ISO 17025:2005 Bottom-up benadering: GUM guide Top-down benadering: ISO/TS 21748:2004 Voorbeelden Rapportering van meetonzekerheid Federaal Agentschap voor de Veiligheid van de Voedselketen 5 & 7 september 2007

© Peter Vermaercke

6

Dankwoord Deze cursus gaat over kwantitatieve data, andere cursussen voor kwalitatieve data zullen volgen Met dank aan Gauthier Eppe, Joris Van Loco, Dirk Courtheyn en Rudi Vermeylen voor de constructieve commentaar op de eerste versie van de cursus Met dank aan Dumont Nancy, Pochet Brigitte, Rabahie Helene en Naccarato Marina voor de grondige review van de franstalige tekst En ten slotte met dank aan Geert de Poorter om het initiatief te nemen voor deze cursus Federaal Agentschap voor de Veiligheid van de Voedselketen 5 & 7 september 2007

© Peter Vermaercke

7

Introductie Eigenlijk wordt er sinds de norm ISO/IEC 17025 meer belang gehecht aan het begrip meetonzekerheid (onzekerheid komt 30 keer voor in de norm). Een aparte paragraaf is zelfs aan dit item gewijd (§ 5.4.6) en dit is verder vertaald in EA-4/16 en EA-4/02

www.europeanaccreditation.org


© Peter Vermaercke

8

De “GUM” Het basisdocument van toepassing voor alle types van laboratoria is de « GUM » -guide (Guide for the Uncertainty of Measurement) (°ISO 1995). De GUM wordt beschouwd als het referentiedocument door de accreditatieorganisaties, in elk geval voor kwantitatieve analyses Dit document en deze cursus beschrijft niet de validatie van meetmethoden. Men beschouwt een methode als gevalideerd alvorens de onzekerheid te berekenen.


© Peter Vermaercke

9

Andere referenties

www.eurachem.org

www.eurlab.org

www.measurementuncertainty.org


© Peter Vermaercke

10


© Peter Vermaercke

11

Een resultaat is pas volledig met meetonzekerheid

Hoe nauwkeurig is de snelheid gemeten door de onbemande camera? Of hoe nauwkeurig is de snelheidsmeter in je auto? Om met de huidige technologie rekening te houden word je vaak niet beboet tot 10 % van de limiet. De resultaten van labo’s zijn niet perfect en iets moet de imperfectie beschrijven: de meetonzekerheid beschrijft dit op een kwantitatieve manier. Meer en meer is een resultaat niet het resultaat zelf, maar is een resultaat pas een resultaat indien deze opgegeven wordt met een meetonzekerheid


© Peter Vermaercke

12

E.g. Codex Alimentarius 15th ed.

“Een resultaat is de finale gerapporteerde waarde van een gemeten of berekende hoeveelheid, nadat een meetprocedure is doorlopen, inclusief alle subprocedures en evaluaties Opmerking:

Waneer een resultaat doorgegeven wordt, moet het duidelijk zijn of het gaat over : de indicatie (de waarde); een ongecorrigeerd resultaat; een gecorrigeerd resultaat; of waardes uitgemiddeld werden. Een volledige verklaring van een resultaat of een meting houdt informatie over de meetonzekerheid in.” Federaal Agentschap voor de Veiligheid van de Voedselketen


© Peter Vermaercke

13

Waarom wint dit nu pas aan belang? Labo’s geven niet graag meetonzekerheden op, maar beslissingen worden wel genomen op basis van een meetonzekerheid


© Peter Vermaercke

14

Nood aan training van de klanten en rechters limiet

limiet

c A-Lab

c±U c

B-Lab

c±U

c

c±U c c

c±U c±U Waarom maakt lab B het mij zo moeilijk? Federaal Agentschap voor de Veiligheid van de Voedselketen


© Peter Vermaercke

15

Meetonzekerheid is meer dan spreiding van herhalingen Het berekenen van de spreiding op basis van een aantal herhalingsmetingen is volledig achterhaald

“It is better to be roughly right than precisely wrong.” Alan Greenspan Federaal Agentschap voor de Veiligheid van de Voedselketen 5 & 7 september 2007

© Peter Vermaercke

16

Onzekerheid: nieuw concept? Niet echt < 1980: Toevallige/Systematische fouten en de foutenpropagatie theorie 1980: BIPM INC-1 Type A / Type B meetonzekerheid - Combineer als varianties ISO 5725:1986 (Collaborative trial) 1993: ISO Gids ISO 5725:1994 (Adds trueness) Vanaf 1997: meerdere toelichtingen, gidsen Vanaf 2005: ISO/TS normen voor het gebruik van validatiegegevens en voor microbiologie Federaal Agentschap voor de Veiligheid van de Voedselketen 5 & 7 september 2007

© Peter Vermaercke

17

Wat? Meetonzekerheid (MU) “Een parameter, geassocieerd met een

testresultaat, die de spreiding van de waarden die kunnen toegekend worden aan de meetgrootheid weergeeft, gebaseerd op de bekomen informatie. “

Reference: VIM, International vocabulary for basic and general terms in metrology, Draft Standards, 3rd Edition, 2004, ISO, Geneva Federaal Agentschap voor de Veiligheid van de Voedselketen 5 & 7 september 2007

© Peter Vermaercke

18

Hoe uitleggen Het getal na de ± Het gehalte aan Hg in een stuk zalm is: (0,54 ± 0,04) μg/g, k=2 Dit betekent dat de “echte” waarde van Hg in dat stuk zalm 95 % kans heeft om in het bereik 0,50 tot 0,58 μg/g te liggen, maar ook dat er 5 % kans is dat de echte waarde buiten dit bereik valt …


© Peter Vermaercke

19

Afbakening van het begrip: link met inhomogeniteit

Meetonzekerheid slaat dus op een resultaat voor een welbepaald monster. In de meeste analyses worden onderzoeken verricht op materialen die qua aard echter nagenoeg nooit homogeen zijn. Dit betekent dat er altijd een zekere spreiding is tussen de monsters zelf. Deze factor van inhomogeniteit wordt dikwijls bepaald aan de hand van typische monsters (controle-, referentiemateriaal, herhalingsmetingen, …) Voor het lab betekent dit dat de meetonzekerheid betrekking heeft op de monsters zoals deze worden aangeleverd, tenzij het lab zelf de monsterneming doet (dan moet deze component meebepaald worden) Daar waar het monster nog behandeld wordt naar homogeniseren, het nemen van deelmonsters, ... kan het aspect van inhomogeniteit een additioneel te bepalen onzekerheidsbron zijn Federaal Agentschap voor de Veiligheid van de Voedselketen 5 & 7 september 2007

© Peter Vermaercke

20


© Peter Vermaercke

21

Je cholesterol niveau Datum

29/01 28/07 14/01 02/07 07/01 190

198

210

180

195

Sommige dokters (en patiënten) geloven dat de resultaten van laboratorium testen geen of weinig meetonzekerheid hebben


© Peter Vermaercke

22

Lees de GUM “Wanneer je een resultaat van een meting of een fysische grootheid rapporteert, ben je verplicht om een kwantitatieve indicatie van de kwaliteit van je resultaat te geven opdat diegenen die je resultaat gebruiken er de betrouwbaarheid van kunnen bepalen.” (GUM 0.1) Federaal Agentschap voor de Veiligheid van de Voedselketen 5 & 7 september 2007

© Peter Vermaercke

23

Waarom? 1. Voor de klant Voor de klant: 1. Om de betrouwbaarheid van een resultaat in te schatten (bvb. voor monitoring, voor het bepalen van een referentie-interval, …); 2. Om de geschikte methode te kiezen 3. Basis voor criteria en conformiteitsuitspraken 4. Resultaten vergelijken 5. Het aantal beduidende cijfers op een rapport


© Peter Vermaercke

24

2. Kies een methode met de juiste onzekerheid Actieniveau

Meer nauwkeurigheid of meer herhalingen zijn vereist Slechte keuze methode Voldoende keuze methode LOD Federaal Agentschap voor de Veiligheid van de Voedselketen 5 & 7 september 2007

© Peter Vermaercke

25

3. Conformiteitsuitspraken Wanneer is de limiet overschreden?

(a) OK +U OK –U OK

(b)

(c)

(d)

(e)

(f)

(g)

OK

OK

OK

NOK

NOK

NOK

“shared risk”

NOK OK

NOK OK

NOK OK

NOK OK

NOK OK

NOK NOK

“full risk” “no risk”


© Peter Vermaercke

26

Overeenstemming van partij of subpartij met eisen Voorbeeld van EU-directieven bevestigd in KB: 25

JANUARI 2006- KB tot vaststelling van voorschriften voor de gehaltebepaling van dioxinen en dioxineachtige PCB’s in diervoeders De partij wordt aanvaard als het resultaat van één analyse het desbetreffende maximumgehalte niet overschrijdt, rekening houdend met de meetonzekerheid en de partij is niet in overeenstemming met het in het ministerieel besluit van 12 februari 1999 vastgelegde maximumgehalte als het door een duplobepaling bevestigde en als gemiddelde van minstens twee afzonderlijke bepalingen berekende analyseresultaat het maximumgehalte buiten redelijke twijfel overschrijdt, rekening houdend met de meetonzekerheid. Federaal Agentschap voor de Veiligheid van de Voedselketen 5 & 7 september 2007

© Peter Vermaercke

27

Conclusie De EU en de Belgische staat nemen dus een standpunt in dat een labo moet bewijzen dat een limiet buiten elke redelijke twijfel overschreven werd en dat dit stand houdt in een rechtbank d.w.z. dat bij tegenanalyses met dezelfde meetonzekerheid de kans groot is dat een staal opnieuw niet-conform gemeten wordt Een andere politiek is het invoeren van een limiet die berekend wordt op basis van het maximum niveau + de meetonzekerheid of een minimum niveau – de meetonzekerheid


© Peter Vermaercke

28

Meetonzekerheid en kost

Altijd bestaat de kans dat een verkeerde beoordeling gemaakt wordt. Deze kan vals positief zijn waarbij de bekomen waarde boven de actielimiet is, terwijl de echte waarde eronder zou liggen, of vals negatief waarbij de gemeten waarde beneden de actielimiet valt en dit terwijl de echte waarde erboven zou liggen. Dit alles heeft financiële gevolgen: bij vals positief dient een conforme partij vernietigd te worden, bij vals negatief wordt voedsel met een contaminatie boven de toegelaten limiet op de markt gebracht wat dus een gezondheidsgevaar betekent of bij detectie later door een andere onafhankelijke partij tot imagoverlies, schadeclaims, … voor de fabrikant Kunst is dus een optimum te vinden tussen nauwkeurigere analyses, meer herhalingen, meer stalen, en de potentiële financiële verliezen door een verkeerde classificatie van het voedsel. Federaal Agentschap voor de Veiligheid van de Voedselketen 5 & 7 september 2007

© Peter Vermaercke

29

Kies een methode met de juiste onzekerheid


© Peter Vermaercke

30

4. Meetonzekerheid – Resultaten vergelijken

Is 12 gelijk aan 10 ??

Doping in sport 20

19-norandrosterone (ng/mL)

18 16 14

Sanction

12 10 8

Control sample

Control sample

6 4 2

Treshold

0 Lab 1

Lab 2

Nee, 12 ± 0,5 is verschillend van 10 ± 0,7

Lab 1

Lab 2

Ja, 12 ± 6 is gelijk aan 10 ± 3


© Peter Vermaercke

31

4. Meetonzekerheid – Resultaten vergelijken Of statistisch gesproken:

Labo A: resultaat: yA ± UA Labo B: resultaat: yB ± UB Beide resultaten zijn gelijk op een 95% betrouwbaarheidsniveau als y A−yB UA + UB 2

2

<1


© Peter Vermaercke

32

5. Resultaten juist voorstellen § 5.4.6.2 van ISO/IEC 17025: “… moet het lab erop toezien dat de vorm waarin de meetresultaten worden voorgesteld geen onjuiste indruk geven van de onzekerheid”


© Peter Vermaercke

33

5. Resultaten juist voorstellen Voorstelling van resultaten: meestal een ±, bvb. (502 ± 24)ng/g, maar ook niet symmetrisch kan bvb. 502 [490,526]


© Peter Vermaercke

34

5. Meetonzekerheid – Afronden

Afronden: indien de norm of de wetgever eisen oplegt (bvb. EG-bepalingen: “de resultaten worden in dezelfde eenheden en met hetzelfde aantal significante cijfers weergegeven als de in Verordening (EG) nr. 1881/2006 vastgestelde maximumgehalten”) moet je dit uiteraard respecteren, anders moet je zelf een juiste statistische regel voorstellen EA-4/02 par. 6.3 stelt “Een resultaat moet afgerond worden in de finale voorstelling van het resultaat afgerond tot het minst beduidende cijfer in de meetonzekerheid” (dus dezelfde decimale plaats) De regels zijn beschreven in ISO 31-0:1992, Annex B.


© Peter Vermaercke

35

5. Meetonzekerheid – Afronden

EA-4/02 stelt in §6.3: “Meetonzekerheid zou met maximaal twee beduidende cijfers opgegeven moeten worden” Bvb. Excel berekent ons een resultaat van 30,6666667 Regel: 1. De onzekerheid wordt eerst afgerond ofwel op 2 beduidende cijfers (indien eerste beduidende cijfer een 1,2 of 3 is), ofwel op 1 beduidend cijfer (indien eerste cijfer een 4, …, 9 is) 2. Dan wordt het resultaat afgerond op hetzelfde aantal beduidende cijfers Met U = 0,01667 wordt dit 30,667 ± 0,017 Met U = 4,667 wordt dit 31 ± 5 Federaal Agentschap voor de Veiligheid van de Voedselketen 5 & 7 september 2007

© Peter Vermaercke

36

Voorbeelden (6050 ± 40) m/s (10.6 ± 1.3) m/s (- 16 ± 4) °C (1.61 ± 0.05) × 1019 C (6051.78 ± 32.21) m/s (- 16.597 ± 2.1) °C Federaal Agentschap voor de Veiligheid van de Voedselketen 5 & 7 september 2007

© Peter Vermaercke

37

Waarom? 2. Voor het lab zelf Als je de belangrijkste bronnen kent kan je de impact ervan, indien nodig, reduceren. Dus het verhoogt enorm je kennis van je methode en het vormt een basis voor verbeteracties; Omdat het moet voor accreditatie; Maar voornamelijk: als je de belangrijkste bronnen van onzekerheid kent weet je veel beter wat belangrijk is qua borging conform met § 5.1 van ISO/IEC 17025, maar ook wat niet belangrijk is. Federaal Agentschap voor de Veiligheid van de Voedselketen 5 & 7 september 2007

© Peter Vermaercke

38

Waarom dan nu meer aandacht? Vereiste voor accreditatie Meer en meer hulpdocumenten De klant en de regelgever beginnen er meer en meer om te vragen De meeste labo’s onderschatten STERK hun meetonzekerheid en meer en meer klanten en regelgevers stellen zich hier vragen bij


© Peter Vermaercke

39

Meetonzekerheid zit in de lift! Voorbeeld 1 Bron: VERORDENING (EG) 401/2006 tot vaststelling van bemonsteringswijzen en analysemethoden voor de officiële controle op het mycotoxinegehalte in levensmiddelen

Aanvaarding van een partij of een subpartij: Aanvaarding als het verzamelmonster of het gemiddelde van de deelmonsters het maximumgehalte niet overschrijdt, met inachtneming van de meetonzekerheid en de correctie voor terugvinding, Weigering als het verzamelmonster of het gemiddelde van de deelmonsters het maximumgehalte buiten redelijke twijfel overschrijdt, met inachtneming van de meetonzekerheid en de correctie voor terugvinding. Federaal Agentschap voor de Veiligheid van de Voedselketen 5 & 7 september 2007

© Peter Vermaercke

40

Meetonzekerheid zit in de lift! Voorbeeld 1 Bron: VERORDENING (EG) Nr. 401/2006:

Berekening van het terugvindingspercentage en registratie van de resultaten: Het analyseresultaat wordt al dan niet met een correctie op basis van de terugvinding geregistreerd. De registratiewijze en het terugvindingspercentage moeten worden vermeld. Het voor de terugvinding gecorrigeerde analyseresultaat wordt gebruikt om te bepalen of aan de eisen is voldaan Het analyseresultaat wordt gerapporteerd als x +/- U, waarbij x het analyseresultaat en U de uitgebreide meetonzekerheid is, met een dekkingsfactor 2, die een betrouwbaarheidsniveau van ongeveer 95 % oplevert.” Federaal Agentschap voor de Veiligheid van de Voedselketen 5 & 7 september 2007

© Peter Vermaercke

41

Nota aan de erkende laboratoria dd. 15/09/2006 “Daarom wordt aan de erkende laboratoria gevraagd om

bij de analyse van mycotoxines in levensmiddelen en producten bestemd voor het voederen van dieren vanaf 1 september 2006 steeds resultaten te rapporteren die gecorrigeerd zijn voor terugvinding”


© Peter Vermaercke

42

Meetonzekerheid zit in de lift! Voorbeeld 2 Bron: Richtlijn 2005/6/EG wat betreft de weergave en interpretatie van analyseresultaten inzake ongewenste stoffen in diervoeding

Het analyseresultaat wordt als volgt weergegeven : a) al dan niet gecorrigeerd voor de terugvinding, waarbij de wijze van weergeven en het terugvindingspercentage moeten worden vermeld; b) als „x ± U”, waarbij x het analyseresultaat is en U de uitgebreide meetonzekerheid, met een dekkingsfactor 2, zodat een betrouwbaarheidsniveau van ongeveer 95 % wordt verkregen.”.


© Peter Vermaercke

43

Meetonzekerheid zit in de lift! Voorbeeld 2 Bron: richtlijn 2005/6/EG wat betreft de weergave en interpretatie van analyseresultaten inzake ongewenste stoffen in diervoeding

“Voor ongewenste stoffen …, met inbegrip van dioxinen en dioxineachtige PCB's, wordt een product dat bedoeld is voor het voederen van dieren als niet in overeenstemming met het vastgestelde maximumgehalte beschouwd als het resultaat dat maximumgehalte overschrijdt, met inachtneming van de uitgebreide meetonzekerheid en de correctie voor de terugvinding”. Aan de hand van de gemeten concentratie, gecorrigeerd voor de terugvinding en na aftrek van de uitgebreide meetonzekerheid, wordt nagegaan of aan het maximumgehalte wordt voldaan.


© Peter Vermaercke

44

Meetonzekerheid zit in de lift! Voorbeeld 3 Bron: Richtlĳn 2004/16/EG tot vaststelling van bemonsteringswĳzen en analysemethoden voor de officiële controle op het tingehalte in levensmiddelen in blik (zie verder ook voorbeeld 4)

Het controlelaboratorium voert op het laboratoriummonster voor controledoeleinden minimaal twee onafhankelijke bepalingen uit en berekent het gemiddelde van de resultaten daarvan. De partij wordt aanvaard als het gemiddelde niet hoger is dan het desbetreffende maximumgehalte zoals vastgelegd in Verordening (EG) nr. 466/2001, met inachtneming van de meetonzekerheid en de correctie voor terugvinding. De partij is niet in overeenstemming met het in Verordening (EG) nr. 466/2001 vastgelegde maximumgehalte als het voor terugvinding gecorrigeerde gemiddelde buiten redelijke twijfel groter is dan dat maximumgehalte, met inachtneming van de meetonzekerheid en de correctie voor terugvinding.


© Peter Vermaercke

45

Meetonzekerheid zit in de lift! Voorbeeld 3 Bron: richtlĳn 2004/16/EG tot vaststelling van bemonsteringswĳzen en analysemethoden voor de officiële controle op het tingehalte in levensmiddelen in blik

Het analytische resultaat wordt geregistreerd al dan niet met een correctie op basis van de terugvinding. De registratiewijze en het terugvindingspercentage moeten worden vermeld. Het voor de terugvinding gecorrigeerde analyseresultaat wordt gebruikt om te bepalen of aan de eisen is voldaan Het analyseresultaat wordt gerapporteerd als x ± U, waarbij x het analyseresultaat en U de meetonzekerheid is.


© Peter Vermaercke

46

Voorbeeld 4 VERORDENING (EG) Nr. 333/2007 VAN DE COMMISSIE van 28 maart 2007 tot vaststelling van bemonsteringswijzen en analysemethoden voor de officiële controle op de gehalten aan lood, cadmium, kwik, anorganisch tin, 3-MCPD en benzo(a)pyreen in levensmiddelen

Wanneer in de analysemethode een extractiestap wordt toegepast, wordt het analyseresultaat gecorrigeerd voor terugvinding. In dit geval moet het terugvindingspercentage worden gerapporteerd. Wanneer in de analysemethode geen extractiestap wordt toegepast (bv. bij metalen), mag het resultaat zonder correctie voor terugvinding worden gerapporteerd indien het bewijs wordt geleverd, idealiter door gebruik te maken van geschikt gecertificeerd referentiemateriaal, dat, rekening houdend met de meetonzekerheid, de gecertificeerde concentratie wordt bereikt (d.w.z. grote meetnauwkeurigheid). Federaal Agentschap voor de Veiligheid van de Voedselketen 5 & 7 september 2007

© Peter Vermaercke

47

Andere voorbeelden waar MU is vereist: bijna dezelfde tekst als voorheen Richtlĳn 2004/43/EG van de Commissie van 13 april 2004 tot wĳziging van Richtlĳn 98/53/EG en Richtlĳn 2002/26/EG wat de bemonsteringswĳzen en analysemethoden betreft voor de officiële controle op de gehalten aan aflatoxine en ochratoxine A in levensmiddelen voor zuigelingen en peuters Richtlĳn 2003/78/EG van de Commissie van 11 augustus 2003 tot vaststelling van bemonsteringswĳzen en analysemethoden voor de officiële controle op het patulinegehalte in levensmiddelen …. Federaal Agentschap voor de Veiligheid van de Voedselketen 5 & 7 september 2007

© Peter Vermaercke

48

Wat met recovery informatie samen met meetonzekerheid?

Stap 1: in een eerste stap had de EU algemeen beslist in 1998 dat de terugvinding dient berekend te worden en dat de resultaten dienen weergegeven te worden ofwel met correctie ofwel zonder correctie maar dan wel met de vermelding van de terugvinding op het rapport Stap 2: de laatste jaren is men verder gegaan en is beslist dat het voor de terugvinding gecorrigeerde analyseresultaat dient gebruikt te worden om te bepalen of aan het maximumgehalte is voldaan Dit heeft uiteraard zijn impact op de meetonzekerheid


© Peter Vermaercke

49

Of Voor levensmiddelen van dierlijke oorsprong kan de meetonzekerheid ook in acht genomen worden door de beslissingsgrens (CCα) te bepalen overeenkomstig Beschikking 2002/657/EG van de Commissie


© Peter Vermaercke

50


© Peter Vermaercke

51

Definities Precisie vs. Nauwkeurigheid Herhaalbaarheid Reproduceerbaarheid Juistheid Standaard onzekerheid Uitgebreide onzekerheid Dekkingsfactor Pro memory: LOD, LOQ, … MRL, CCα, … Federaal Agentschap voor de Veiligheid van de Voedselketen 5 & 7 september 2007

© Peter Vermaercke

52


© Peter Vermaercke

53

Gemiddelde

_ 1_ q = n

n

Σ

qk

k=1


© Peter Vermaercke

54

Variantie n

1 ___ 2 s (qk)= n-1 k=1

Σ

_ 2 (qk-q)


© Peter Vermaercke

55

Standaard afwijking n

1 ___ n-1 k=1

Σ

s (qk) =

_ 2 (qk-q)


© Peter Vermaercke

56

Precisie en nauwkeurigheid


© Peter Vermaercke

57

Nauwkeurigheid en precisie

Source: ISO Standard 3534-2: Vocabulary and Symbols Part 2: Applied Statistics, ISO, Geneva, 2006ed. 15

Precisie: de mate van

Nauwkeurigheid: de mate

overeenstemming tussen de onder (van tevoren) vastgelegde omstandigheden verkregen resultaten onafhankelĳk van elkaar verrichte analyses

waarin een met een bepaalde methode verkregen meetresultaat de ware waarde benadert – is een combinatie van juistheid en precisie. Nauwkeurigheid is een kwalitatief concept – het kan hoog of laag zijn, maar het is niet kwantitatief. 5 & 7 september 2007

© Peter Vermaercke


58

Nauwkeurigheid en precisie Source: ISO Standard 3534-2: Vocabulary and Symbols Part 2: Applied Statistics, ISO, Geneva, 2006ed. 15

Precisie:

Precisie hangt enkel af van de distributie van de toevallige fouten en Nauwkeurigheid: In is niet gerelateerd met de echte waarde. praktijk wordt een referentie De mate van precisie wordt doorgaans waarde aanvaard als de echte uitgedrukt als imprecisie en berekend als waarde. Nauwkeurigheid is aldus standaardafwĳking van het resultaat. een combinatie van toevallige Hoe groter de standaardafwĳking, hoe componenten en een geringer de precisie. De meting is systematisch effect of een bias afhankelijk van de meetcondities (bvb. effect, voorgesteld door herhaalbaarheids- of juistheid. reproduceerbaarheidscondities) Federaal Agentschap voor de Veiligheid van de Voedselketen 5 & 7 september 2007

© Peter Vermaercke

59

Nauwkeurigheid en Precisie Precies en juist, Dus nauwkeurig Precies, maar niet juist dus onnauwkeurig Niet juist, noch precies, dus onnauwkeurig Precies genoeg en juist, Dus nauwkeurig μT Federaal Agentschap voor de Veiligheid van de Voedselketen 5 & 7 september 2007

© Peter Vermaercke

60

Type Fouten Toevallige fouten (GUM 3.2.2)

Kunnen niet geëlimineerd worden, enkel gereduceerd Te wijten aan onvoorspelbare variaties tijdens het analyseproces

Systematische fouten (GUM 3.2.3)

Kunnen niet geëlimineerd worden, enkel gereduceerd Kunnen gekwantificeerd worden

Indien significant ten opzichte van de vereiste nauwkeurigheid, kan een correctiefactor worden toegepast om ervoor te compenseren, en dan wordt verondersteld dat de systematische fout nul is

Men veronderstelt dat het resultaat van een meting gecorrigeerd is voor alle significante systematische effecten (GUM 3.2.4)


© Peter Vermaercke

61

“Toevallige Fout”

“Systematische Fout”Federaal Agentschap voor de Veiligheid van de Voedselketen 5 & 7 september 2007

© Peter Vermaercke

62

Toevallige en systematische fouten Toevallige “fouten” komen van variaties in parameters die buiten de controle van het labo zijn, maar wel het resultaat beïnvloeden. Omdat deze “fouten” toevallig zijn zou het gemiddelde hiervan NUL moeten zijn indien voldoende metingen uitgevoerd worden. Ze kunnen niet geëlimineerd worden, maar wel verkleind bvb. door training, procedures, periodieke kalibraties, controles, … ≈ precisie

Systematische fouten blijven constant en variëren aldus vrij “voorspelbaar” bij voldoende metingen. Ze kunnen niet geëlimineerd worden door herhalingen uit te voeren. Voor systematische fouten, indien goed gekend, kan men en moet men volgens GUM corrigeren. ≈ juistheid


© Peter Vermaercke

63

Maar, een MU is geen FOUT Definitie fout: “Fout = Resultaat – Echte waarde” Dit is niet gekend omdat de echte waarde voor het staal niet gekend is (GUM 2.2.4) Bvb. Na = 134 135 136 137 138 mmol/L

Het resultaat is enkel een schatting van de echte waarde en enkel compleet wanneer het vergezeld is van een verklaring van de meetonzekerheid. GUM 3.2.1 Geaccrediteerde labo’s hebben een onzekerheid, zij maken geen fouten, indien ze fouten maken dienen ze er corrigerende acties voor te nemen. Federaal Agentschap voor de Veiligheid van de Voedselketen 5 & 7 september 2007

© Peter Vermaercke

64

Fout en onzekerheid Fout Δ = y-yT y-U

Onzekerheidsbereik [y-U, y+U] yT

y

y+U

“Echte Resultaat Waarde”


© Peter Vermaercke

65

Fout vs. Onzekerheid SYSTEMATISCHE FOUT

Metingen

Echte waarde

Correctie

TOEVALLIGE FOUT

ONZEKERHEID


© Peter Vermaercke

66

Verschil met de klassieke foutentheorie Klassiek: onderscheid tussen: echte fout (blunder, rekenfouten, …) – moeten vermeden worden bvb. door een QA-systeem (getraind personeel, duidelijke procedures, …) Blunders toevallige fout 8.6557 ml 6.8588 ml systematische fout 8.6593 ml 8.6409 ml 8.6323 ml 8.6555 ml 8.6731 ml 8.6367 ml 8657.0 ml 8.6746 ml


© Peter Vermaercke

67

GUM 3.4.7 - Blunders “Blunders tijdens een analyse kunnen significante fouten in het resultaat van een meting introduceren Grote blunders kunnen meestal geïdentificeerd worden door een goede review van de data Kleine blunders kunnen gemaskeerd worden, of komen vaak voor als toevallige variaties Een onzekerheid is niet bedoeld om de impact van deze blunders in rekening te brengen”


© Peter Vermaercke

68

Bepaling van fouten doe je tijdens je validatie, daarna bereken je de onzekerheid


© Peter Vermaercke

69


© Peter Vermaercke

70

Enkele belangrijke cijfers f (x )

(0.14%)

4s 6s

(2,5 %)

Metingen Metingen

t 5 & 7 september 2007

Federaal Agentschap voor de Veiligheid van de Voedselketen © Peter Vermaercke

71

Wat kies je? Veronderstel allemaal dezelfde prijs 1.

DD

2. 3. 4.

D

Beslissingsinterval Federaal Agentschap voor de Veiligheid van de Voedselketen 5 & 7 september 2007

© Peter Vermaercke

72

En wat als je de bias goed kent? 1.

DD

2. 3.

DDD

4.

D

Beslissingsinterval Federaal Agentschap voor de Veiligheid van de Voedselketen 5 & 7 september 2007

© Peter Vermaercke

73

Herhaalbaarheid Bron: NEN 7777 (2003) - Prestatiekenmerken van meetmethoden

Mate van overeenstemming uitdrukt tussen opeenvolgende resultaten die worden verkregen onder herhaalbaarheidcondities: met dezelfde methode/procedure bij een identiek materiaal onder dezelfde omstandigheden, op hetzelfde tijdstip (of korte tussentijd). door dezelfde persoon met dezelfde apparatuur in hetzelfde labo Herhaalbaarheid is een vorm van precisie. Federaal Agentschap voor de Veiligheid van de Voedselketen 5 & 7 september 2007

© Peter Vermaercke

74

Herhaalbaarheid

Frequentiedistributie

GEMIDDELDE x (of m) Enkele meetwaarde

s (of σ) Observaties xi Werkelijke waarde µT

Herhaalbaarheid Federaal Agentschap voor de Veiligheid van de Voedselketen


© Peter Vermaercke

75

Herhaalbaarheid Bron: NEN 7777 (2003) - Prestatiekenmerken van meetmethoden

Herhaalbaarheid standaard afwijking - sr

standaardafwijking, berekend op basis van resultaten die onder herhaalbaarheidsomstandigheden zijn verkregen. De herhaalbaarheidslimiet - r (bepaald als r ≈ 2,8 sr (2√2 sr )), geeft dus aan dat twee waardes onder herhaalbaarheidscondities met een waarschijnlijkheid van 95 % binnen dit interval liggen De relatieve standaardafwijking RSDr = relatieve standaardafwijking = sr/m soms ook CVr of Variantiecoëfficiënt genoemd Voor de berekening van meetonzekerheid op een resultaat heeft herhaalbaarheid eigenlijk weinig zin, tenzij voor bvb. homogeniteitsstudies of om resultaten binnen dezelfde run te vergelijken Federaal Agentschap voor de Veiligheid van de Voedselketen 5 & 7 september 2007

© Peter Vermaercke

76

Herhaalbaarheidslimiet Statistisch:

Lab A: resultaat: yA ± UA (U = uitgebreide onzekerheid) Lab B: resultaat: yB ± UB de resultaten zijn vergelijkbaar op een 95% betrouwbaarheidsniveau y A−yB <1 2 2 UA + UB y1 − y2 < 2sr 2 + 2sr 2 = 2 2sr Federaal Agentschap voor de Veiligheid van de Voedselketen 5 & 7 september 2007

© Peter Vermaercke

77

Let op bij je berekening als je werkt met duplo’s 1. ten minste 20 metingen 2. bereken de range R (dit is de absolute waarde van het verschil tussen de twee gepaarde waardes) 3. bereken gemiddelde range Raverage Bereken sr vanuit (voorbeelden: zie later) 1. sr = Raverage/d2 = Raverage/1,128 (bij duplo’s) 2. of sr = RMS(R)/√2 met RMS = Root Mean Square = wortel uit de gemiddelde kwadratische afwijking PS: dit is analoog voor reproduceerbaarheid R2 s =

∑

2n

i

* Federaal Agentschap voor de Veiligheid van de Voedselketen 5 & 7 september 2007

© Peter Vermaercke

78

Wat bij triplicates, …


© Peter Vermaercke

79

Dooddoener bij audits: het delen door n Je kan dit enkel doen als je je analyses ook altijd in meervoud uitvoert of als je het betrouwbaarheidsinterval van een gemiddelde schat St. dev. op GEMIDDELDE!! met n herhalingen

Bepaal je een herhaalbaarheid op basis van 100 metingen en je bekomt bvb. CVr = 6 % dan kan je niet 0,6 % (=6/√100) propageren naar je onzekerheidsbudget maar wel 6 %, tenzij je bvb. altijd 4 herhalingen uitvoert dan mag je 3 % (=6/√4) propageren. Federaal Agentschap voor de Veiligheid van de Voedselketen 5 & 7 september 2007

© Peter Vermaercke

80

In realiteit hebben # factoren invloed Verschillen in T en vochtigheid Operatoren met verschillende ervaring, orde, respect voor de procedures, … Uitrusting met verschillende karakteristieken of drift van het toestel Verschillen in reagentia, controlemateriaal, kalibratiefactoren, … Daarom een onderscheid tussen herhaalbaarheid en reproduceerbaarheid


© Peter Vermaercke

81

Reproduceerbaarheid Bron: NEN 7777 (2003) - Prestatiekenmerken van meetmethoden

Mate van overeenstemming uitdrukt tussen resultaten die worden verkregen met dezelfde methode bij een identiek materiaal onder verschillende omstandigheden. Verschillende omstandigheden hebben betrekking op operator, laboratorium (apparatuur, chemicaliën, kalibratiecurves, verbruiksgoederen, …), omgevingscondities en tijd

Bron: NEN 7777 Federaal Agentschap voor de Veiligheid van de Voedselketen 5 & 7 september 2007

© Peter Vermaercke

82

Reproduceerbaarheid Bron: NEN 7777 (2003) - Prestatiekenmerken van meetmethoden

Reproduceerbaarheid standaard afwijking - sR

standaardafwijking, berekend op basis van resultaten die onder reproduceerbaarheidsomstandigheden zijn verkregen. De reproduceerbaarheidslimiet - R (bepaald als R ≈ 2,8 sR (2√2 sR )), geeft dus aan dat twee waardes onder reproduceerbaarheidscondities met een waarschijnlijkheid van 95 % binnen dit interval liggen De relatieve standaardafwijking RSDR = relatieve standaardafwijking = sR/m soms ook CVR of Variantiecoëfficiënt genoemd


© Peter Vermaercke

83

Voorbeeld: bepalen van sR BOD in water

B ia s (% ) 4 ,2 9 % 5 & 7 september 2007 © Peter Vermaercke

02 rt m

8 ,8 4

02

B ia s

n-

2 ,6 0 %

ja

RSD

B O D (m g/L)

01

5 ,5 8

19 5,00 v-

s

20 0,00

no

2 1 4 ,8 4

20 5,00

01

a v e ra g e

21 0,00

p-

206

21 5,00

se

2 2 0 ,7 0

22 0,00

1

2 0 0 2 -0 3 -0 6

22 5,00

l -0

19

23 0,00

ju

206 206 206 206 206 206 206 206 206 206 206 206 206 206 206 206 206

1

2 1 3 ,6 5 2 1 5 ,6 8 2 1 0 ,7 5 2 0 6 ,5 0 2 1 7 ,6 0 2 1 8 ,0 3 2 1 4 ,3 0 2 0 5 ,6 0 2 0 8 ,8 9 2 2 5 ,5 7 2 1 7 ,8 8 2 0 7 ,7 4 2 1 9 ,0 8 2 0 7 ,5 8 2 2 0 ,9 8 2 1 7 ,4 6 2 1 7 ,1 6

-0

2 0 0 0 -1 0 -1 2 2 0 0 0 -1 1 -1 1 2 0 0 0 -1 2 -1 1 2 0 0 1 -0 1 -1 0 2 0 0 1 -0 2 -0 9 2 0 0 1 -0 3 -1 1 2 0 0 1 -0 4 -1 0 2 0 0 1 -0 5 -1 0 2 0 0 1 -0 6 -0 9 2 0 0 1 -0 7 -0 9 2 0 0 1 -0 8 -0 8 2 0 0 1 -0 9 -0 7 2 0 0 1 -1 0 -0 7 2 0 0 1 -1 1 -0 6 2 0 0 1 -1 2 -0 6 2 0 0 2 -0 1 -0 5 2 0 0 2 -0 2 -0 4

ei

2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18

m

206

01

2 1 6 ,8 4

rt -

2 0 0 0 -0 9 -1 2

m

1

01

R ef (m g /L )

n-

BOD (m g /L )

ja

D a te

00

Nr

v-

5

no

206

00

= 2 06 ± 5 m g /L

p-

CRM

se

µ

R ef (m g/L)


84

Nuttig onderscheid Verschillende omstandigheden tussen verschillende labs = interlaboratoriumreproduceerbaarheid RSDR of sR binnen het laboratorium = intralaboratoriumreproduceerbaarheid RSDRw of sRW Draft VIM: “Intermediate precision”: waarbij dezelfde procedure, dezelfde locatie, en herhalingsmetingen over een lange tijd uitgevoerd worden Nota: veranderingen in de kalibratie, operator en meetsysteem zijn toegelaten” (dus eerder een Rw).


© Peter Vermaercke

85

Berekening en een goede proefopzet Ten minste 15 herhalingen zoals gevraagd in ISO 5725-3

(xi − m)2 σ ≈s = ∑ n −1 i Meestal bij verschillende concentratieniveau’s (typisch 3: onder, op en boven de actielimiet) en 4 tot 6 herhalingen per niveau Een slimme proefzet geeft je beide RSDr & RSDRW Vergelijk dan met: Horwitz vergelijking: zie verder Criterium voor herhaalbaarheid: RSDr = 1/2 tot 2/3 RSDR Criterium voor intralaboratorium-reproduceerbaarheid: RSDRW = 2/3 tot 1 RSDR Federaal Agentschap voor de Veiligheid van de Voedselketen 5 & 7 september 2007

© Peter Vermaercke

86

Interlaboratoriumreproduceerbaarheid en Horwitz

Dr William Horwitz (NIST) was een groot voorstander van wat hij noemde ‘collaborative trials’ of volgens de IUPAC terminologie, “methode evaluerende ringonderzoeken” waarbij een staal blind geanalyseerd wordt door alle deelnemende laboratoria volgens een strikt opgelegde methode. Hij heeft dan een statistische verwerking gemaakt van meerdere resultaten van ongeveer een 50-tal “collaborative trials”. Federaal Agentschap voor de Veiligheid van de Voedselketen 5 & 7 september 2007

© Peter Vermaercke

87

De Horwitz trompet - 1σ interval


© Peter Vermaercke

88

Mathematisch

1−0,5log c ) ( CV (%) = 2 (g / g)

Horwitz: RSDR < 2(1 - 0.5 log C) Gewijzigde Horwitz: RSDr < 2(1 - 0.5 log C) x 0.67.

waar C = concentratie van het analyt in het staal uitgedrukt als een decimale fractie Federaal Agentschap voor de Veiligheid van de Voedselketen 5 & 7 september 2007

© Peter Vermaercke

89

Horwitz curve Het grote voordeel van de curve is dat ze ZO eenvoudig is en dit over negen ordes, en dit is tegelijkertijd dan ook het grote nadeel. De curve is uiteraard maar een model en een fit door een aantal punten – de onzekerheid op de curve is dan ook groot. De curve middelt uit over een pak verschillende methodes: het is algemeen geweten dat bepaalde methodes op ppb, ppm niveau het veel beter doen dan deze curve, terwijl andere het veel minder goed doen De curve houdt geen rekening met de complexiteit van een matrix en bvb. interferentieverschijnselen Met een zelfde methode op eenzelfde matrix zullen bepaalde elementen een veel betere precisie hebben, andere elementen zullen een veel slechtere precisie hebben. Als berekening voor meetonzekerheid te mijden, indien het echt niet anders kan … Federaal Agentschap voor de Veiligheid van de Voedselketen 5 & 7 september 2007

© Peter Vermaercke

90

Bij lage concentraties Recent uitgevoerde intervergelijkingen in het gebied beneden 120 ppb tonen een lagere interlaboratorium reproduceerbaarheid aan dan deze bekomen via de Horwitz vergelijking in dit gebied. Men komt tot een nieuw model waarbij de RSDR afgetopt wordt op 22% bij dergelijke lage concentraties. Dit is bijvoorbeeld al het geval in Verordening 333/2007, waar dit werd doorgevoerd door middel van een eenvoudige verwijzing naar de gerelateerde wetenschappelijke publicatie Bron: M. Thompson, Analyst, 2000, 125, 385-386


© Peter Vermaercke

91

De HORRAT-ratio „HORRATr” = de waargenomen RSDr gedeeld door de met behulp van de vergelijking van Horwitz (1) geschatte RSDr, onder de aanname r = 0,66R. „HORRATR” = de waargenomen RSDR gedeeld door de met behulp van de vergelijking van Horwitz berekende RSDR. Als Horrat > 2 is verbetering aan de methode nodig.


© Peter Vermaercke

92

Wel nuttig als het als prestatiekenmerk is gedefinieerd


© Peter Vermaercke

93

Prestatiekenmerken


© Peter Vermaercke

94


© Peter Vermaercke

95

Outliers In dit stadium mogen uitbijters verworpen worden als je een verklaring hebt ervoor

Je kan verschillende testen gebruiken, bepaalde zijn gevoeliger voor precisie, anderen voor juistheid (Grubbs, Dixon, ...) Federaal Agentschap voor de Veiligheid van de Voedselketen 5 & 7 september 2007

© Peter Vermaercke

96

LOD en MU

‘LOD’ = aantoonbaarheidsgrens, laagste gemeten gehalte waarvan de aanwezigheid van de analyt met redelijke statistische zekerheid kan worden afgeleid. De aantoonbaarheidsgrens is numeriek gelijk aan driemaal de standaardafwijking van het gemiddelde van blancobepalingen (n > 20) (bron: EG-bepalingen, eg Verordening (EG) No 333/2007, alsook IUPAC definitie). Alternatief: concentratie waar de RSDR buiten controle gaat (dit is waar 3 σR = 100%; σR = 33%, afgerond tot 50% omwille van de hoge variabiliteit). Deze waarde is direct gerelateerd met het analyt en met het meetsysteem en is niet gebaseerd op een lokaal meetsysteem. Rond LOD wordt in principe niet gerapporteerd, dus in eerste instantie zou je kunnen zeggen dat MU hier niet relevant is … (zie evenwel verder: sommigen nemen U = LOD op dit niveau) Source: Procedural Manual of the Codex Alimentarius Commission ed. 15 Federaal Agentschap voor de Veiligheid van de Voedselketen 5 & 7 september 2007

© Peter Vermaercke

97

LOQ en MU „LOQ” = bepaalbaarheidsgrens, laagste analytgehalte dat met redelijke statistische zekerheid kan worden gemeten. Indien zowel de nauwkeurigheid als de precisie constant zijn over een concentratiebereik rond de aantoonbaarheidsgrens, is de bepaalbaarheidsgrens numeriek gelijk aan zes- of tienmaal de standaardafwijking van het gemiddelde van blancobepalingen (n > 20). (EGbepalingen, eg Verordening (EG) No 333/2007, alsook IUPAC). Rond LOQ wordt in principe niet gerapporteerd, dus in eerste instantie zou je kunnen zeggen dat MU hier niet relevant is … (zie evenwel verder) Source: Procedural Manual of the Codex Alimentarius Commission ed. 15 Federaal Agentschap voor de Veiligheid van de Voedselketen 5 & 7 september 2007

© Peter Vermaercke

98

MRL en MRPL Maximumresidugehalte (MRL) : het hoogste wettelijk toegestane

concentratieniveau van een bestrijdingsmiddelenresidu in of op een levensmiddel of diervoeder, vastgesteld op basis van goede landbouwpraktijken en de laagste blootstelling van consumenten die noodzakelijk is met het oog op de bescherming van kwetsbare consumenten (Verordening (EG) Nr. 396/2005).

MRPL: Minimum Required Performance Level : Minimaal vereiste

prestatielimiet (MRPL): het minimale gehalte van een analyt in een monster dat aangetoond en bevestigd moet worden. Dit is bedoeld om de analytische prestaties voor stoffen waarvoor geen toelaatbaar gehalte is vastgesteld, te harmoniseren. (bron: Beschikking 2002/657/EG ter uitvoering van de Richtlijn 96/23/EG van de Raad wat de prestaties van analysemethoden en de interpretatie van resultaten betreft)


© Peter Vermaercke

99

Andere benadering: CCα α-fout: de kans dat het onderzochte monster conform is, ook al is een niet-conform meetresultaat verkregen („fout-niet-conforme uitslag”). (“vals positief”) Beslissingsgrens (CCα): de minimale waarde van waaraf met een foutkans van α kan worden besloten dat het monster niet-conform is.

Bron: EG Beschikking 2002/657/EG Federaal Agentschap voor de Veiligheid van de Voedselketen 5 & 7 september 2007

© Peter Vermaercke

100

CCβ β-fout: de kans dat het onderzochte monster in werkelĳkheid nietconform is, ook al is een conform meetresultaat verkregen („foutconforme uitslag”). (vals negatief) Detectievermogen (CCβ): de kleinste hoeveelheid van de stof die met een foutkans van β in een monster kan worden aangetoond, geïdentificeerd en/of gekwantificeerd. Wanneer het gaat om stoffen waarvoor geen toelaatbaar gehalte is vastgesteld, is het detectievermogen de laagste concentratie waarbĳ een methode met een statistische zekerheid van 1 – β kan aantonen dat een monster werkelĳk verontreinigd is. Wanneer het gaat om stoffen waarvoor wel een toelaatbaar gehalte is vastgesteld, is het detectievermogen de laagste concentratie waarbĳ een methode concentraties rond het toelaatbare gehalte met een statistische zekerheid van 1 – β kan aantonen. Bron: EG Beschikking 2002/657/EG Federaal Agentschap voor de Veiligheid van de Voedselketen 5 & 7 september 2007

© Peter Vermaercke

101

Beslissingsniveau bij toegelaten niveau (MRL-substanties) Blanco

MRL

CCα

+1.64σMRL

a = 5% 5% kans op vals positief 5% fout niet-conform

CCα = MRL+ 1,64 σMRL

Conc.


© Peter Vermaercke

102

Beslissingsniveau bij toegelaten niveau (MRL-substanties) MRL

Blank

CCα

+1.64σMRL

50 % vals negatief 50 % vals conform

Conc.


© Peter Vermaercke

103

Detectievermogen bij toegelaten niveau (MRL-substanties) Blanco

MRL

CCα CCβ

+1.64σMRL +1.64σRW

β = 5% 5% vals negatief

CCβ = CCα + 1,64 σRW

Conc.


© Peter Vermaercke

104

Detectievermogen wanneer geen toegelaten gehalte (verboden stoffen) Blank

+2.33σB

CCα

CCβ

+1.64σRW

β = 5% 5% vals negatief

α = 1%

1% vals positief

Conc.


© Peter Vermaercke

105

Conformiteit voor MRLsubstanties Blank

MRL

CCα CCβ

-1.64σMRL+1.64σMRL +1.64σRW

CONFORM

?

Conc. NIET-CONFORM


© Peter Vermaercke

106

LOD/LOQ Blank

LOD +3σB

β = 0,13%

LOQ +3σB

α = 0,13%

Conc.


© Peter Vermaercke

107

Link met MU Meetonzekerheid werd niet expliciet vermeld in de Beschikking 2002/657/EC. En zoals meetonzekerheden variëren van lab tot lab, zo ook verandert CCα ook van lab tot lab. Maar, CCα is een limiet terwijl MU een interval. Bij het concept MU wordt dan voor de berekening dubbelzijdige testen gebruikt, terwijl voor het concept CCα enkelzijdige testen worden gebruikt. Voor het nagaan van de conformiteit is in feite de meetonzekerheid reeds in rekening gebracht door het in acht nemen van CCα als beslissingsgrens. Wanneer men CCα berekent, werd een factor 2.33 voor 99% betrouwbaarheid voor groep A substanties en 1.64 voor 95% betrouwbaarheid voor groep B substanties in rekening genomen. Federaal Agentschap voor de Veiligheid van de Voedselketen 5 & 7 september 2007

© Peter Vermaercke

108

Link met MU Wanneer CCα bepaald werd op de juiste manier, ttz. door alle relevante factoren van invloed in rekening te nemen bij de opzet van het experiment, kan men de intra laboratorium reproduceerbaarheid op MRL niveau beschouwen als een eerste goede indicator voor de gecombineerde meetonzekerheid (dit is echter een eerste orde approximatie omdat men eigenlijk zou moeten aantonen dat de onzekerheid ten gevolgde van bvb. de systematische fout verwaarloosbaar is t.o.v. de σMRL (bvb. de onzekerheid op de spike) EN omdat voor terugvinding gecorrigeerde resultaten gebruikt werden. Voor de berekening van de uitgebreide meetonzekerheid is een zekere factor nodig (de dekkingsfacgtor – typisch k = 2 op een 95 % betrouwbaarheidsniveau). Dus onder de veronderstelling hierboven beschreven is U = 2. σMRL op MRL niveau Federaal Agentschap voor de Veiligheid van de Voedselketen 5 & 7 september 2007

© Peter Vermaercke

109

Juistheid Bron: NEN 7777 (2003) - Prestatiekenmerken van meetmethoden

Juistheid: vermogen van een meetmethode om aanwijzingen zonder systematische afwijking weer te wegen. De systematische afwijking is het gemiddelde dat het resultaat is van een oneindig aantal metingen van dezelfde meetgrootheid, uitgevoerd onder herhaalbaarheidsomstandigheden, verminderd met een ware waarde van de meetgrootheid.

Toelichting : juistheid is feitelijk gedefinieerd en wordt in praktijk gekwantificeerd als onjuistheid (bias) Doel: De bias, of beter de afwezigheid van bias, aantonen waardoor de methode het vermogen heeft om aanwijzingen zonder systematische afwijking weer te geven.


© Peter Vermaercke

110

Volgens GUM: ofwel is de juistheid verwaarloosbaar, ofwel hoort men te corrigeren! Juistheid

Meestal herhaalbaarheids condities

µ ≈ m(x) = ∑ i

Werkelijke waarde µT

xi n

Gemeten gemiddelde x-

Indien je niet corrigeert, straf je dus jezelf, want je meetonzekerheid wordt groter



© Peter Vermaercke

111

Is een methode biased? a - unbiased b - (more measurements) biased c - unbiased

UCRM

d - unbiased b

c

a

ubias (expressed as a standard uncertainty, see further)


© Peter Vermaercke

u < 2: method is unbiased d


112

(1) Bepalen van juistheid met CRM’s

Het analyseren van een geschikt gecertificeerd referentiemateriaal (CRM: bvb. BCR - Community Bureau of Reference of EU) met bewezen homogeniteit, stabiliteit en referentiewaarde - het is van belang dat zowel de concentratie(s) van de te bepalen component(en) als de matrix van het referentiemateriaal zo goed mogelijk overeenkomen met het toepassingsgebied van de methode. Meestal zijn 6 tot 10 metingen onder herhaalbaarheidscondities voldoende. Indien geen CRM beschikbaar is kan materiaal gebruikt voor een intervergelijking ook wel gebruikt worden.


© Peter Vermaercke

113

Leveranciers van CRM’s EU: IRMM (Institute for Reference Materials en Measurements) http://www.irmm.jrc.be/ US: NIST (National Institute of Standards en Technology) http://www.nist.gov Database van CRM’s http://www.comar.bam.de/


© Peter Vermaercke

114

(1) Bepalen van juistheid

met CRM’s

Als je maar één bepaling hebt is je onzekerheid hierop zeer groot

B ia s ( % ) =

x − μ CRM

μ CRM

Ubias = 2*sbias/√n


© Peter Vermaercke

115

(1) Bepalen van juistheid met CRM’s - voorbeeld µ CRM = 206 ± 5 mg/L

230,00

206

5

Nr

Date

BOD (mg/L)

Ref (mg/L)

1

2000-09-12

216,84

206

2 3 4 5 6

2000-10-12 2000-11-11 2000-12-11 2001-01-10 2001-02-09

213,65 215,68 210,75 206,50 217,60

206 206 206 206 206

7

2001-03-11

218,03

206

200,00

8

2001-04-10

214,30

206

195,00

9

2001-05-10

205,60

206

10 11 12 13 14 15 16 17 18

2001-06-09 2001-07-09 2001-08-08 2001-09-07 2001-10-07 2001-11-06 2001-12-06 2002-01-05 2002-02-04

208,89 225,57 217,88 207,74 219,08 207,58 220,98 217,46 217,16

206 206 206 206 206 206 206 206 206

2002-03-06

220,70

206

average

214,84

s

5,58

RSD

2,60%

Bias

8,84

Bias (%)

4,29%

U(Cref) Uscore

2,5 3,1

225,00 220,00 215,00 210,00

BOD (mg/L)

uscore =

ja n02 m rt 02

no v01

se p01

1 ju l -0

m ei -0 1

ja n01 m rt 01

no v00

se p00

205,00

Ref (mg/L)

x lab −μCRM

Biased 19

uCRM + ubias 2

2

Ubiais = 2*sbiais/√n 5 & 7 september 2007

© Peter Vermaercke

Ubias van de 1,28 0,6% Federaal Agentschap voor de Veiligheid Voedselketen

116

1,2%

(2) Bepalen van juistheid aan

de hand van intervergelijkingen

Het deelnemen aan een intervergelijking: een studie waarbij verschillende laboratoria een hoeveelheid bepalen in één of meer identieke porties van homogeen, stabiel materiaal onder gedocumenteerde condities en waarvan de resultaten gecompileerd worden in één enkel document Nadeel: in de praktijk is het niet altijd gemakkelijk voldoende instellingen bereid te vinden de te valideren methode letterlijk toe te passen op de rondgezonden monsters; Federaal Agentschap voor de Veiligheid van de Voedselketen 5 & 7 september 2007

© Peter Vermaercke

117

(2) Bepalen van juistheid aan de

hand van intervergelijkingen Bias (%)

sR (%)

Nr

Nomin. value (mg/L)

Labresult (mg/L)

# labs

1

154

161

4,5%

7,2

23

2

219

222

1,4%

6,6

25

3

176

180

2,3%

9,8

19

4

220

230

4,5%

8,8

20

5

154

157

1,9%

7,6

19

6

206

218

5,8%

4,5

21

x

3,4%

7,4

21

RMSbias

3,04%

-

-


© Peter Vermaercke

118

(3) Bepalen van juistheid Terugvindingsexperimenten. De terugvinding (vaak genoemd recovery R) is de fractie van de meetcomponent die bij de analyse wordt teruggevonden, na toevoegen onder gedefinieerde omstandigheden van een bekende hoeveelheid meetcomponent aan het monster. Opmerking: Levert vaak te optimistische resultaten op omdat het moeilijk of onmogelijk is het toegevoegde deel van de meetcomponent op dezelfde wijze in het monster op te nemen als het oorspronkelijke deel en dat de recovery ook varieert van matrix tot matrix. Bij het ontbreken van een referentiemateriaal wordt deze methode vaak gebruikt als indicator van juistheid Door herhaling (liefst 10 x) berekent men dan het gemiddelde Bron: NEN 7777 (2003) - Prestatiekenmerken van meetmethoden Federaal Agentschap voor de Veiligheid van de Voedselketen 5 & 7 september 2007

© Peter Vermaercke

119

(3) Bepalen van juistheid Terugvindingsexperimenten. Staal Component c Staal + ∆c spike

Meting 1

Meting 2

Resultaat X1 (Xc+∆c – Xc) Resultaat X2

RΔc , i =

x c + Δc , i − x c , i Δc

Bias = 1 - R Federaal Agentschap voor de Veiligheid van de Voedselketen 5 & 7 september 2007

© Peter Vermaercke

120

(3) Bepalen van juistheid Terugvindingsexperimenten.

1 2 3 4 5 6 7 8 9 10

R e c o v e ry (% ) 95 98 97 96 99 96 94 99 97 96

B ia s (% ) 5 2 3 4 1 4 6 1 3 4

R

9 6 ,7

3 ,3

R e c o v e r y e x p e r im e n t

3 ,6 5

RMS


© Peter Vermaercke

121

Referentie: IUPACdocument IUPAC: “Harmonised Guidelines for the Use of Recovery Information in Analytical Measurement’ (Pure Appl. Chem., 1999, 71, 337-348), samen met ISO en AOAC: Het doel van chemische analyses is het bekomen van een schatting van een echte waarde – deze kan enkel bekomen worden indien significant lage recoveries gecorrigeerd worden Een ongecorrigeerde bias ten gevolge van een significant lage recovery betekent dat resultaten niet universeel vergelijkbaar zullen zijn en dus niet geschikt voor wederzijdse erkenning. De onzekerheid op een recovery correctie kan geschat worden en geïncorporeerde worden in het totale meetonzekerheidsbudget Federaal Agentschap voor de Veiligheid van de Voedselketen 5 & 7 september 2007

© Peter Vermaercke

122

Referentie: IUPAC-document Bvb. mycotoxine met een limiet van 4 mg/kg voor totaal aflatoxine in noten: Labo in land A vindt 3.5 mg/kg met een methode met een recovery van 70 %. Er wordt niet gecorrigeerd, waardoor het resultaat conform is (veronderstelling zeer kleine meetonzekerheid) Labo in land B corrigeert de 3,5 mg tot 5 mg/kg, waardoor het resultaat niet conform is (veronderstelling zeer kleine meetonzekerheid) Federaal Agentschap voor de Veiligheid van de Voedselketen 5 & 7 september 2007

© Peter Vermaercke

123

IUPAC-document, alsook ISO GUM Wat betreft kwantitatieve analytische resultaten (behalve empirische methodes waar resultaten herleidbaar zijn naar de methode en niet de stof zelf): Recovery moet bepaald worden als deel van de validatie en moeten regelmatig via interne controle bewaakt worden – controlekaarten voor recovery moeten opgemaakt worden Als er gecorrigeerd wordt voor recovery moet dit duidelijk in een procedure beschreven worden Het analytische resultaat moet doorgegeven worden al dan niet met een correctie op basis van de recovery. De rapporteringswijze en de recovery (indien niet gecorrigeerd) moeten worden vermeld” Federaal Agentschap voor de Veiligheid van de Voedselketen 5 & 7 september 2007

© Peter Vermaercke

124

Wat betreft de onzekerheid op recovery: Maar of je nu corrigeert of niet, een recovery heeft altijd een onzekerheid en deze onzekerheid dient gepropageerd te worden in het totale onzekerheidsbudget. Meer nog, indien men niet corrigeert dient men de absolute bias te propageren in het onzekerheidsbudget (zie verder)


© Peter Vermaercke

125

Nemen we als voorbeeld

Formules: zie later


© Peter Vermaercke

126

Nemen we als voorbeeld

U op basis van BIPEA-

U op basis van bias en

resultaten (ng/g)

2*Horwitz (ng/g)

2

3,2

3,3

4

5,3

5,9

5

6,2

7,2

8

8,6

10,7

10

10

13,0

15

13,3

18,3

Gehalte aan Aflatoxine (ng/g)


© Peter Vermaercke

127

(4) Bepalen van juistheid Vergelijking met andere methodes De resultaten vergelijken met een tweede, reeds gevalideerde methode (referentiemethode met een bekende, meestal geringe meetonzekerheid) Kan bvb. worden toegepast indien een bestaande methode wordt gewijzigd en je wil de oude met de nieuwe vergelijken;


© Peter Vermaercke

128

(4) Voorbeeld

Regression Analysis 10,00

y = 0,9962x + 0,0291 R2 = 0,9994

9,00 8,00 7,00 6,00 5,00 4,00 4,00

5,00

6,00

Res 2 (mg/L)

7,00

8,00

9,00

10,00

Linear (Res 2 (mg/L))

Oxygen in Seawater 0,150

Deviation (mg/L)

0,100 0,050 0,000 -0,050 -0,100 -0,150

4,00

5,00

6,00

7,00

8,00

Average conc. (mg/L)

9,00

10,00


© Peter Vermaercke

129

Deviation (mg/L)

Definities onzekerheid (1) Standaard Onzekerheid - u (xi): de onzekerheid van een factor (xi) die de meting beïnvloedt, uitgedrukt als een standaardafwijking

Gecombineerde Standaard Onzekerheid – uc (y): de

onzekerheid van het resultaat van een meting y waarbij de bijdragen van alle relevante bronnen van onzekerheid zijn gecombineerd volgens een toepasselijk statistisch model Bron: NEN 7779 (2007) - Meetonzekerheid


© Peter Vermaercke

130

Definities onzekerheid (2) Uitgebreide meetonzekerheid - U: grootheid die een

interval definieert voor het resultaat van een meting dat naar verwachting een groot deel van de verdeling van waarden bevat die redelijkerwijs kunnen worden toegeschreven aan de meetgrootheid Dekkingsfactor - k: getalsfactor die door vermenigvuldiging met de gecombineerde standaardzekerheid een uitgebreide onzekerheid oplevert PS: Vaak wordt gerekend op een 95 % betrouwbaarheid wat overeenkomt met een factor k van ongeveer 2 Bron: NEN 7779 (2007) - Meetonzekerheid Federaal Agentschap voor de Veiligheid van de Voedselketen 5 & 7 september 2007

© Peter Vermaercke

131

Uitgebreide onzekerheid Daar is het om te doen! U = k uc Betrouwbaarheidsinterval: 99,73 % : 3σ : k=3 (indien voldoende vrijheidsgraden) 95,45 % : 2σ : k=2 (indien voldoende vrijheidsgraden)


© Peter Vermaercke

132


© Peter Vermaercke

133

§ 5.1 ziet er zo eenvoudig en logisch uit …

5.1.1 De juistheid en betrouwbaarheid van de beproevingen en/of kalibraties die door een laboratorium worden uitgevoerd, worden beïnvloed door een groot aantal factoren. Hiertoe behoren: menselijke factoren (5.2); technische voorzieningen en omgevingsomstandigheden (5.3); beproevings- en/of kalibratiemethoden en validatie van methoden (5.4); apparatuur (5.5); herleidbaarheid van metingen (5.6); monsterneming (5.7); behandeling van beproevings- en/of kalibratieobjecten (5.8).

5.1.2 De mate waarin de factoren bijdragen tot de totale meetonzekerheid verschilt aanzienlijk per (type) beproeving en per (type) kalibratie. Het laboratorium moet rekening houden met deze factoren bij het ontwikkelen van methoden en procedures voor beproevingen en kalibraties, training en kwalificatie van personeel, en selectie en kalibratie van de gebruikte uitrusting. Federaal Agentschap voor de Veiligheid van de Voedselketen 5 & 7 september 2007

© Peter Vermaercke

134

5.4.6 Bepaling van de meetonzekerheid 5.4.6.1 Een kalibratielaboratorium, of een beproevingslaboratorium dat zijn eigen kalibraties uitvoert, moet een procedure vaststellen en toepassen om de meetonzekerheid in te schatten voor alle kalibraties en typen kalibraties.


© Peter Vermaercke

135

Link met ISO 17025 (§ 5.4.6.2) - Principe

“Testlaboratoria moeten procedures vaststellen en

toepassen voor het bepalen van de meetonzekerheid. In bepaalde gevallen kan de aard van de methode een strikte, methodologische en statistische valide berekening uitsluiten. In dergelijke gevallen moet het lab ten minste proberen alle componenten van de onzekerheid vast te stellen en een redelijke schatting maken en moet het lab erop toezien dat de vorm waarin de meetresultaten worden voorgesteld geen onjuiste indruk geven van de onzekerheid. Een redelijke schatting moet zijn gebaseerd op kennis van de prestaties van de methode en het toepassingsgebied van de meting; er moet bijvoorbeeld gebruik worden gemaakt van eerdere ervaring en gegevens uit de validatie. Federaal Agentschap voor de Veiligheid van de Voedselketen 5 & 7 september 2007

© Peter Vermaercke

136

ISO 17025 (5.4.6.2) “Loopholes”

“Opm. 1 – De benodigde mate van striktheid is afhankelijk van: Eisen van de methode, eisen van de klant, het risico (veiligheid, volksgezondheid, enorme financiële consequenties, …) Bestaan van krappe limieten waarop beslissingen tot het voldoen aan een specificatie worden gebaseerd. Opm. 2 – In gevallen waarbij een erkende methode limieten aangeeft voor waarden van de voornaamste bronnen van de meetonzekerheid en specificeert hoe de berekende resultaten moeten worden gepresenteerd, wordt aangenomen dat voldaan wordt door de instructies te volgen. “ Federaal Agentschap voor de Veiligheid van de Voedselketen 5 & 7 september 2007

© Peter Vermaercke

137

Link met GUM 5.4.6.3 In gevallen dat een schatting wordt gemaakt van de meetonzekerheid, moet rekening worden gehouden met alle componenten van de onzekerheid die in die situatie van belang zijn en moeten geschikte analysemethoden worden gebruikt. OPMERKING 1 Bronnen die aan de meetonzekerheid bijdragen zijn onder meer de gebruikte referentiestandaarden en referentiematerialen, gebruikte methoden en uitrusting, omgevingsomstandigheden, eigenschappen en conditie van het te beproeven of te kalibreren object, en degene die de meting uitvoert. OPMERKING 2 In gevallen waarbij een schatting wordt gemaakt van de meetonzekerheid, wordt doorgaans geen rekening gehouden met het verwachte gedrag op lange termijn van het beproefde of gekalibreerde object. OPMERKING 3 Voor nadere informatie, zie ISO 5725 en de Guide to the Expression of Uncertainty in Measurement


© Peter Vermaercke

138

Nota 2 1.

Een erkende methode: gepubliceerd in internationale, regionale of nationale standaarden zoals ISO, EN of NBN, door gereputeerde technische organisaties zoals AOAC of zelfs in relevante wetenschappelijke tijdschriften. Aantoonplicht: het is echter de verantwoordelijkheid van het laboratorium aan te tonen dat het inderdaad over een "erkende" methode gaat.


© Peter Vermaercke

139

Nota 2 2.

De methode beschrijft de performantiecriteria (zoals herhaalbaarheid r en reproduceerbaarheid R) en legt limieten op voor de voornaamste bronnen van meetonzekerheid. Dergelijke bronnen van meetonzekerheid kunnen betrekking hebben op de testapparatuur (bvb. balansen) of op de verbruiksgoederen, op de omgevingsomstandigheden (temperatuur, vochtigheid, opstelling, ...) en de uitvoering (bvb. tijden, de extractiemethode)


© Peter Vermaercke

140

Nota 2 3.

De methode beschrijft hoe de resultaten moeten gerapporteerd/gepresenteerd worden (bvb. meer specifiek het aantal beduidende cijfers of de nauwkeurigheid van de methode)


© Peter Vermaercke

141

Nota 2 4.

Het labo moet de methode rigoureus volgen of de afwijkingen ervan voldoende valideren en indien nodig propageren naar het onzekerheidsbudget


© Peter Vermaercke

142

Nota 2 Nota 2 zegt dus NIET dat men de meetonzekerheid voor dergelijke proeven niet moet kennen en zegt ook NIET dat men de methode niet moet valideren ttz. men moet nog steeds aantonen dat men de opgegeven performantiecriteria kan halen Accuracy plot

Required Accuracy (%)

70 60 50 40 30 20 10 0 -10 -20 -30 -40 -50 -60 -70 1,E+00


© Peter Vermaercke

143

Federaal Agentschap voor de Veiligheid van de Voedselketen Concentration (g/g) 1,E-03

1,E-06

1,E-09

1,E-12

En nu wordt het interessant 5.6.2.2.1 Voor beproevingslaboratoria gelden de eisen van 5.6.2.1 voor de gebruikte meetfuncties van de meet- en beproevingsuitrusting, tenzij is vastgesteld dat de daarmee samenhangende bijdrage van de kalibratie weinig bijdraagt aan de totale onzekerheid van het beproevingsresultaat. In gevallen dat die situatie zich voordoet moet het laboratorium bewerkstelligen dat de vereiste meetonzekerheid kan worden verkregen met de gebruikte uitrusting. OPMERKING De mate waarin aan de eisen van 5.6.2.1 moet worden voldaan is afhankelijk van de relatieve bijdrage van de kalibratieonzekerheid tot de totale onzekerheid. Als de kalibratie de dominante factor is, moeten de eisen strikt worden nageleefd. Federaal Agentschap voor de Veiligheid van de Voedselketen 5 & 7 september 2007

© Peter Vermaercke

144

ISO 17025 Rapportering 5.10.3.1 c) waar van toepassing, een verklaring over de geschatte meetonzekerheid; informatie over onzekerheid moet in het beproevingsrapport worden opgenomen in gevallen dat het relevant is voor de validiteit of toepassing van de beproevingsresultaten, in gevallen dat in de instructies van de klant dit vereist of in gevallen dat de onzekerheid invloed heeft op het voldoen aan een specificatielimiet;


© Peter Vermaercke

145


© Peter Vermaercke

146

Berekening: 2 belangrijke methodes “Bottom-up” = meer een “Guide Uncertainty of Measurement”- benadering – ook wel “component by component”- benadering of “budget” benadering “Top-down” = op basis van validatiegegevens, maar is het is fout te zeggen dat dit niet “GUM-compliant” zou zijn


© Peter Vermaercke

147


© Peter Vermaercke

148

Er zijn veel bronnen van onzekerheid in dit proces

Transport

Biological Variation


© Peter Vermaercke

149

Bronnen meetonzekerheid

Monsterneming Staalvoorbereiding Staal inhomogeniteit Homogenisatie Onvolledige extractie Volatiliteit Adsorptie Contaminatie Transport Stockage Gebruikte chemicaliën en reagentia Volumetrisch glaswerk Wegen Pipetvolume … 5 & 7 september 2007

© Peter Vermaercke

150

Uitrusting Gebruik, drift Afleesnauwkeurigheid, resolutie Ruis Kalibratiemethode Standaarden Methode Omgevingscondities Gebruikte methode Afronding Menselijke impact Gebruikt algoritme Berekeningen Spreiding op de extractie Fysische constanten Interferenties Herhaalbaarheid


Methode 1: BOTTOM-UP Alle componenten worden apart bepaald; Zeker toe te passen bij deze methodes waar het resultaat in een mooie formulevorm kan beschreven worden of waar men te weinig referentiematerialen of intervergelijkingen ter beschikking heeft De individuele onzekerheden worden gecombineerd gebruik makend van de wet van de propagatie van onzekerheid


© Peter Vermaercke

151

Er zijn geen zekerheden meer … Vergeet Systematisch fout & Toevallige fout Hier is type A of B meetonzekerheid Voordeel: elk met zijn eigen berekeningsmethode Federaal Agentschap voor de Veiligheid van de Voedselketen 5 & 7 september 2007

© Peter Vermaercke

152

Type A of B meetonzekerheid Type A: Statistische evaluatie op basis van een serie observaties (meestal door herhalingen) – geeft wel een idee van toevallige effecten zoals fluctuaties in temperatuur, …), maar is GEEN toevallige fout. Type B: wetenschappelijke review van de componenten gebaseerd op alle mogelijke informatie over de spreiding gebaseerd op probabiliteitsdistributies – of anders elke evaluatie welke niet type A is, is een type B – GEEN systematische fout Federaal Agentschap voor de Veiligheid van de Voedselketen 5 & 7 september 2007

© Peter Vermaercke

153

Type B Voorbeelden Kalibratiecertificaten van apparatuur of referentiematerialen; Vorige meetgegevens met een apparaat: bv. drift; Aflezen van een analoge schaal (parallax, bias, …); Specificaties van een fabrikant; Afronding door apparaten (minst beduidende cijfer); Fysische Constanten; Gegevens uit de literatuur of uit normen; Gegevens van interlaboratorium intervergelijkingen; “Professional Judgment”: eigen ervaring (liefst overschatten en liefst niet voor kritische delen, indien mogelijk).


© Peter Vermaercke

154

Welke is beter: type A of B? Velen denken dat een type A veel beter is dan een type B omdat het basis van echte eigen metingen is, maar een type B kan even nauwkeurig of zelfs nauwkeuriger zijn indien de type A slechts een beperkt aantal bronnen omvat of slechts gebaseerd is op een statistisch klein aantal observaties (bvb. minder dan zes) ...


© Peter Vermaercke

155

Hoeveel data punten? Onzekerheid op de onzekerheid 50.0% 40.0%

CVCV CV CV

30.0% 20.0% 10.0% 0.0% 1

4

10

20 30 50 100 200

500 1000

n Federaal Agentschap voor de Veiligheid van de Voedselketen 5 & 7 september 2007

© Peter Vermaercke

156

Aantal data punten vs CV%geschat echt resultaat: CV% = 5% 300 200 100

0.0% 0.5% 1.0% 1.5% 2.0% 2.5% 3.0% 3.5% 4.0% 4.5% 5.0% 5.5% 6.0% 6.5% 7.0% 7.5% 8.0% 8.5% 9.0% 9.5% 10.0%

0

3 4 5 10 20 30 40 50 100 200 300

Sample Size

# of CV's (1000)

400

CVestimate Federaal Agentschap voor de Veiligheid van de Voedselketen 5 & 7 september 2007

© Peter Vermaercke

157

Referentie Interval Betrouwbaarheid Per Hyltoft Petersen et al,

Upsala Med J 1993;98:241-256


© Peter Vermaercke

158

Effectief aantal vrijheidsgraden We kunnen rekening houden met een beperkt aantal datapunten door gebruik te maken van: Een extra weging door een Student’s t factor als je op voorhand weet welke factor domineert De Welch-Satterthwaite vergelijking Opm. 1: Het aantal effectief aantal vrijheidsgraden νeff voor de berekening van een standaard afwijking voor n datapunten is n-1 Opm. 2: Het aantal effectief aantal vrijheidsgraden νeff voor de berekening van een worst-case benadering voor de onzekerheid is oneindig (∞) (is minder intuïtief) Federaal Agentschap voor de Veiligheid van de Voedselketen 5 & 7 september 2007

© Peter Vermaercke

159

Als je bvb. maar één type A hebt die de belangrijkste is


© Peter Vermaercke

160

Effectief aantal vrijheidsgraden Welch-Satterthwaite:

uc (y ) ν eff = N ui4(y ) ∑ νi i =1 4


© Peter Vermaercke

161

Bottom-up Flowchart

Definieer je meetgrootheid ID bronnen onzekerheid Kwantificeer ui Bereken Uc Bereken U Analyseer Bronnen Onzekerheid


© Peter Vermaercke

162

(1) Definieer je meetgrootheid 1a. Definieer de meetgrootheid Y en de eenheden waarin je het gaat uitdrukken. 1b. Bepaal het mathematisch model van de meetgrootheid Y, in functie van de input parameters x1,x2,…xi,...xN (dit zijn de schattingen van X). De output van het mathematisch model is y, een schatting van Y

Definieer je meetgrootheid ID bronnen onzekerheid Kwantificeer ui Bereken Uc Bereken U

y = f (x1; x2; ….. ;xm)

Analyseer Bronnen Onzekerheid


© Peter Vermaercke

163

Voorbeeld (1)

Definieer je meetgrootheid ID bronnen onzekerheid Kwantifieer ui Bereken Uc Bereken U

Voorbeeld “Measurement Uncertainty Website” – Met dank aan de auteur L. Spack



© Peter Vermaercke

164

(2) Identificeer bronnen onzekerheid Stel je proces voor in een flowchart of bekijk je SOP Identificeer de bronnen van meetonzekerheid Zet dit alles in een lijstje bvb. in Excel of stel dit voor in een visgraatof oorzaak/gevolg of Ishikawadiagramma



© Peter Vermaercke

165

Voorbeeld



© Peter Vermaercke

166

Voorbeeld



© Peter Vermaercke

167

Verzamel gegevens

Definieer je meetgrootheid ID bronnen onzekerheid

Voorbeelden: • gegevens van fabrikanten van instrumenten • volumetrisch glaswerk, reagentia, ... • methode validatie gegevens • literatuurgegevens of vorige experimenten • accuraatheid van een apparaat • balans nauwkeurig tot + 0.1 mg met 95% betrouwbaarheid • pipet nauwkeurig op 25 + 0.2 mL

Kwantificeer ui Bereken Uc Bereken U Analyseer Bronnen Onzekerheid


© Peter Vermaercke

168

(3) – Kwantificeer elke component Druk elke bron van meetonzekerheid uit als een standaard onzekerheid. Dit is als een geschatte standaard deviatie op niveau éénsigma, genoteerd als u (xi). Schat voornamelijk de bijdrages welke je potentieel significant vindt (deze die ongeveer 1/10 zijn van de intralaboratorium reproduceerbaarheid zijn te verwaarlozen) Kijk na welke je via type A kan bepalen en welke via type B



© Peter Vermaercke

169

(3) – Kwantificeer elke component Groepeer bronnen indien ze meermaals voorkomen of indien je een type B via bvb. een type A reeds bepaald is – let op voor het dubbel tellen – neem in dit geval worst case, Voor type B is het in de beginfase beter te overschatten of worst case te werken en nadien te verfijnen, indien nodig, indien blijkt dat dit een belangrijke component is.



© Peter Vermaercke

170

Voorbeeld

Definieer je meetgrootheid

B

ID bronnen onzekerheid B

A

Kwantificeer ui Bereken Uc Bereken U

B

A

B 5 & 7 september 2007

© Peter Vermaercke



171

Voorbeeld



© Peter Vermaercke

172

Zet alles om naar Definieer je meetgrootheid standaardonzekerheid ID bronnen onzekerheid Kwantificeer ui Bereken Uc

2a

Bereken U 2a



© Peter Vermaercke

173

Normale verdeling Normale distributie: = berekende standaard deviatie u (xi) = σ Ander voorbeeld: kalibratiecertificaat met dekkingsfactor k=2 of ca. 95% betrouwbaarheidsinterval: u (xi)= U(xi,certificaat)/2

σ = standaard deviatie

Gemiddelde 5 & 7 september 2007

© Peter Vermaercke

174



Voorbeeld 1 Een certificaat van een CRM (bron xi) van BCR vermeldt een onzekerheid van ±8,6 mg/kg en duidt aan dat dit de uitgebreide meetonzekerheid is, bekomen door de gecombineerde meetonzekerheid te vermenigvuldigen met een dekkingsfactor van 2 wat een 95 % betrouwbaarheidsinterval oplevert. De standaard onzekerheid u (xi) welke in het totale onzekerheidsbudget kan overgenomen worden is 8,6/2 mg/kg of dus u (xi) = 4,3 mg/kg



© Peter Vermaercke

175

Voorbeeld 2 Een norm geeft de reproduceerbaarheidslimiet R. Dus R = 2√2 sR of u (xi) = R/2√2 ≈ R/2.77



© Peter Vermaercke

176

Voorbeeld 3


Controlekaart alarmgrens UCL: u (xi)= (UCL-μ)/3 UCL

ID bronnen onzekerheid

Voorbeeld controlekaart 10,0

Bovenste Alarm Grens

9,0

Bovenste Waarschuwings Grens

8,0

Kwantificeer ui Bereken Uc

7,0 6,0 5,0

Datum

2005-07-26

2005-06-26

2005-05-26

2005-04-26

2005-03-26

2005-02-26

2005-01-26

2004-12-26

2004-11-26

2004-10-26

2004-09-26

2004-08-26

4,0

Bereken U Analyseer Bronnen Onzekerheid


© Peter Vermaercke

177

Rechthoekige verdeling Rechthoekig: fabrikantspecificaties via beneden en boven grens (± a of tussen a- en a+ of een bereik b = 2a), Meest gebruikt indien je in het geheel niets weet en waarbij je wel de maximum range kent a a u (xi) = a/√3


a- x-a/√3 x x+a/√3 a+



© Peter Vermaercke

178

Voorbeelden Meetonzekerheid wordt niet gegeven in de spec sheet, maar een certificaat vermeldt wel dat de micrometer voldoet aan de fabrieksspecificaties. Vanuit de manual van de fabrikant vinden we terug dat de tolerantie ± 50 µm is. De standaard onzekerheid welke kan overgenomen worden is 50 µm /√3 of dus u (xi) ≈ 29 µm Afkeurcriterium kalibratie/verificatie van balans, bvb. criterium op 0,05 mg: u (xi) = 0,05/√3 = 0,029 mg De resolutie van een digitale thermometer is 1 °C. De standaard onzekerheid ten gevolge van de beperkte resolutie van de display is dan u (xi)= 1/2√3 of 0,3 °C.



© Peter Vermaercke

179

Voorbeeld (2) Zuiverheid/concentratie van een standaard: Zuiverheid: 99,99% (geen betrouwbaarheid opgegeven) u (xi) = 0,01/√3 = 0,0058 % Fabrikant standaard: (3000 ± 6) mg/L (geen betrouwbaarheid opgegeven) u (xi) = 6/√3 mg/L = 3,464 mg/L



© Peter Vermaercke

180

Driehoeksverdeling Driehoekig: waarschijnlijkheid laag op eindpunten (bv. een betrouwbare serieproductie van glaswerk of pipetten, … ); u (xi) = a/√6

a

a


a-

x-a/√6 x x+a/√6 a+



© Peter Vermaercke

181

Voorbeeld


Bv. maatkolf 100,0 ± 0,1 mL bij 20°C levert u (xi) = 0,1 mL/√6 ≈ 0,04 mL

ID bronnen onzekerheid Kwantificeer ui Bereken Uc Bereken U Analyseer Bronnen Onzekerheid


© Peter Vermaercke

182

(4) Bereken uc Bereken de gecombineerde meetonzekerheid: de standaard onzekerheid van de output schatting y wordt de gecombineerde standaard onzekerheid genoemd en genoteerd als uc (y). Deze wordt berekend volgens het principe van de “wet van de propagatie van onzekerheid” van de standaard onzekerheden. In de meeste gevallen komt dit neer op wat men noemt de RSS (“root sum of squares” of de wortel uit de som der kwadraten)

Definieer je meetgrootheid ID bronnen onzekerheid Kwantificeer ui Bereken uc Bereken U Analyseer Bronnen Onzekerheid


© Peter Vermaercke

183

Onzekerheidspropagatie


y = f(xi,

xj,

Kwantificeer ui

xk, ...)

• Xi: Omgevingsfactoren

• Xj:Onzekerheid standaard

uc (y)

• Xk: Onzekerheid afwegen

Deze grafiek verklaart waarom uc geen som is van absolute of relatieve fouten

Bereken uc Bereken U Analyseer Bronnen Onzekerheid


© Peter Vermaercke

184

Propagatie volgens kwadratisch model



© Peter Vermaercke

185

Wet van de propagatie Definieer je meetgrootheid van onzekerheid 2

n −1 n ⎡ ∂y ⎤ 2 uc ( y ) = ∑ ⎢ ⎥ u ( xi ) + 2 ∑ ∑ ci c j u ( xi )u ( x j )r ( xi , x j ) i =1 ⎣ ∂xi ⎦ i =1 j =1+1 n

∂y = ci : gevoeligheidscomponenten ∂xi

ID bronnen onzekerheid Kwantificeer ui Bereken uc Bereken U

r : correlatiecoëfficiënten

(tussen 0 en 1)



© Peter Vermaercke

186

Of herschreven … uc (y(x1 , x2 ,..)) =

⎛ ∂y ⎜ ⎜ ∂x ⎝ 1

2

⎞ ⎛ ∂y ⎟ × u(x ) 2 + ⎜ ⎟ ⎜ ∂x 1 2 ⎠ ⎝

2

⎞ ⎟ × u(x ) 2 + ... ⎟ 2 ⎠

Definieer je meetgrootheid ID bronnen onzekerheid Kwantificeer ui

Gesimplificeerd tot niet gecorreleerde onzekerheden



© Peter Vermaercke

187

Wat voor een som of een verschil betekent:

ID bronnen onzekerheid

Y = x1 + x2- x3 ...+ xn

uc ( y ) =


2 u x1

2 2 + u x 2 ... + u xn

Of de RSS van de absolute standaard

onzekerheden (geen RSD’s, CV’s, …)

Voorbeeld: Bepaling van een tarragewicht

Kwantificeer ui Bereken uc Bereken U Analyseer Bronnen Onzekerheid


© Peter Vermaercke

188

En voor een product of een quotiënt


Komt het meest voor in chemische analyses omdat dit vaak relatief t.o.v. een standaard is x ×x

y=

2

1

Kwantificeer ui

2

x3 × ... × xn 2

⎛ u x1 ⎞ ⎛ u x 2 ⎞ ⎛ u xn ⎞ uc ( y ) = y ⎜ +⎜ + ... + ⎜ ⎟ ⎟ ⎟ ⎝ xn ⎠ ⎝ x1 ⎠ ⎝ x2 ⎠ Of dus de RSS van de relatieve

standaard onzekerheden

2



© Peter Vermaercke

189

En voor functies met één variabele 1-Variabele Functies, bvb. q = ln(x) δq = |dq/dx| δx → |1/x| δx

Definieer je meetgrootheid ID bronnen onzekerheid Kwantificeer ui

d(ln(x))/dx = 1/x



© Peter Vermaercke

190

Alles samenvatten in een Definieer je meetgrootheid “Onzekerheidsbudget” ID bronnen onzekerheid Kwantificeer ui Bereken uc Bereken U Analyseer Bronnen Onzekerheid


© Peter Vermaercke

191

Voorbeeld “Onzekerheidsbudget”



© Peter Vermaercke

192

(5) Bereken U Bereken de uitgebreide meetonzekerheid: vermenigvuldig de gecombineerde standaard onzekerheid, uc(y), met de dekkingsfactor k om de uitgebreide meetonzekerheid U te bekomen. Een betrouwbaarheidsniveau van 95 % voor U komt overeen met een k factor van ongeveer 2 indien je voldoende vrijheidsgraden hebt.

Definieer je meetgrootheid ID bronnen onzekerheid Kwantifieer ui Bereken uc Bereken U Analyseer Bronnen Onzekerheid


© Peter Vermaercke

193

(6) Analyseer je data Bekijk de meest significante bijdragen Herevaluatie nodig?

Definieer je meetgrootheid ID bronnen onzekerheid Kwantifieer ui Bereken Uc

Bekijk impact op het kwaliteitssysteem

Bereken U Analyseer Bronnen Onzekerheid


© Peter Vermaercke

194

(6) Analyseer je data

Definieer je meetgrootheid ID bronnen onzekerheid Kwantifieer ui Bereken Uc Bereken U Analyseer Bronnen Onzekerheid


© Peter Vermaercke

195

Elaborated example Preparation of a working solution 0.1 g of a pure analytical standard is weighed on an analytical balance. The stock solution is then prepared by dissolving the standard in 25 mL isooctane. 1 mL of stock solution is diluted to 25 mL in a volumetric flask in order to obtain the intermediate solution.

Definieer je meetgrootheid ID bronnen onzekerheid Kwantifieer ui Bereken Uc Bereken U Analyseer Bronnen Onzekerheid


© Peter Vermaercke

196

Step 1

Define your measurand

0.1 g of analytical standard (P) is weighed (W) with an analytical balance. The stock solution is prepared by dissolving the standard in 25 mL isooctane (V25mL). After pipetting 1 mL of the stock solution (V1mL), the stock solution is then diluted to 25 mL (V25mL) in a volumetric flask in order to obtain the intermediate solution

C =

W * P *V V

1mL

*V 25mL 25mL

ID sources uncertainty

Quantify ui Calculate uc Calculate U Analyse Sources Uncertainty


© Peter Vermaercke

197

Step 2: Fishbone

Calibration

Linearity

Trueness

Purity standard

Resolution

Weighing Gross

Tare

Reprod. Impulse Conc

Dilution 25 mL

Dilution 25 mL

Pipette 1mL

⎛u(V mL) ⎞

⎛u(V mL) ⎞

⎛u(P ) ⎞ ⎛u(W ) ⎞ uc (y ) = y * ⎜⎜ ⎟⎟ + ⎜⎜ ⎟⎟ + 2 ⋅ ⎜⎜ 25 ⎟⎟ + ⎜⎜ 1 ⎟⎟ ⎝ P ⎠ ⎝W ⎠ ⎝ V25mL ⎠ ⎝ V1mL ⎠ 2

2

2

Define your measurand ID sources uncertainty

Quantify ui Calculate uc Calculate U

2

Analyse Sources Uncertainty


© Peter Vermaercke

198

Step 3: P - purity The standard is a commercial standard. In the manufacturers information it is indicated that the purity is 99,9%. The manufacturer gives no further information on the uncertainty. Thus, a rectangular distribution must be taken. u(p) = 0,001/√3= 0,00057735




© Peter Vermaercke

199

W – Weighing - the usefulness of limits Linearity


Trueness Gross

Tare Drift

Calculate uc

We can start calculating each source of uncertainty or we use limits e.g. for every calibration or verification set at 0.2 mg this takes into account all long term variations and drift. If it turns out that Weighing is a very important factor we still can refine afterwards.

Quantify ui

Calculate U Analyse Sources Uncertainty


© Peter Vermaercke

200


© Peter Vermaercke

201

Conclusion on W The limit was set at 0,2 mg Therefore for a single weighing u(w) = 0,2/√3 mg Since a tare weight is used: u(w) = √2*0,2/√3 mg ≈ 0,163 mg




© Peter Vermaercke

202

DILUTION to 25 mL 1.The uncertainty in the stated internal volume of the flask is indicated by a renowned manufacturer as ± 0,04 mL for a 25 mL A grade volumetric flask. A triangular distribution is assumed, u is therefore: u = 0,04/√6 mL ≈ 0,016 mL 2. Variation in filling the flask to the mark: the uncertainty can be estimated from a repeatability experiment on the flask in question. A series of ten fill and weigh experiments gave a standard deviation of 0,01 ml. u is therefore u = 0,01 mL. 3. The effect of temperature difference from the flask calibration temperature. The flask had been calibrated at 20°C, while the average temperature in the laboratory is 20°C with a temperature variation of ± 7°C. Taking into account a volume coef. of water of 2,1*10-4 and a rectangular distribution, u = ∆T*α/2√3 = 14*2,1*10-4/2√3 ≈ 0,021 mL .




© Peter Vermaercke

203

Accuracy data from Merck


© Peter Vermaercke

204

Pipetting of 1 mL 1.The uncertainty related to the trueness of the pipette is indicated by a renowned manufacturer as ± 0,007 mL for a 1 mL A grade pipette. A triangular distribution is assumed, u is therefore: u = 0.007/√6 ≈ 0,0029 mL 2. Reproducibility in pipetting: the uncertainty was estimated from the reproducibility data over a long period and gave a standard deviation of 0,01 mL. u is therefore u = 0,01 mL. Any other effects such as temperature are included in the reproducibility data.




© Peter Vermaercke

205

Accuracy data


© Peter Vermaercke

206

Conclusion on V u (V25mL) = √ (0,016)^2+(0,01)^2+(0,021)^2 ≈ 0,028 mL


u (V1mL) = √ (0,00286)^2+(0,01)^2 ≈ 0,01 mL Quantify ui Calculate uc Calculate U Analyse Sources Uncertainty


© Peter Vermaercke

207

Step 4


2

⎛ u(V

2

2

2

⎛ u(V mL ) ⎞

⎞ ⎛ u(P ) ⎞ ⎛ u(W ) ⎞ 25 mL ) ⎜ ⎟ +⎜ 1 ⎟ uc (y ) = y ⎜⎜ ⎟⎟ + ⎜⎜ ⎟⎟ + 2 ⋅ ⎜ ⎟ ⎜V ⎟ V ⎝ P ⎠ ⎝W ⎠ mL mL 25 1 ⎝ ⎠ ⎝ ⎠



© Peter Vermaercke

208

Step 4 & 5




© Peter Vermaercke

209

Step 6


Vol flask - Volume effect Vol flask Repeatability Vol flask - Trueness Stock Solution 25mL

Quantify ui

Pip Reproducibility Pip - Trueness Pipetting 1mL

Calculate uc

Weighing Purity

0%

10%

20%

30%

40%

50%

Relative Contr.

60%

70%

80%

90%

100%

Calculate U Analyse Sources Uncertainty


© Peter Vermaercke

210

Pro en contra “Bottom-up approach”

(-) Vraagt veel werk om tot de slotsom te komen dat meerdere factoren niets bijdragen (-) Misschien heb je belangrijke invloedsfactoren vergeten en geeft deze berekeningswijze dus een onderschatting van de echte meetonzekerheid (+) Verhoogt enorm je kennis van je analytisch proces (+) Indien je niet zeker bent, beter te overschatten en later als je meer gegevens hebt te verfijnen (+) Is gebaseerd op gekende principes (GUM) en referentiedocumenten (+) Je hebt de principes nodig als je voor de andere methode nl. de top-down methode de impact van bvb. een weging, spiking, … nodig hebt en deze gegevens statistisch niet aanwezig zijn via de top-down methode Federaal Agentschap voor de Veiligheid van de Voedselketen 5 & 7 september 2007

© Peter Vermaercke

211

“The reward of a thing well done is to have done it” (+) eens gedaan krijgen we een zicht op die enkele factoren (zijn er meestal maar een paar) die het MUbudget domineren wat berekeningen in de toekomst enorm vermakkelijkt (++) voor die factoren die veel bijdragen dient een gepaste strenge kwaliteitsborging (herleidbaarheid, regelmatige kalibratie, gedetailleerde procedures, training, strikte kwaliteitscontrole, validatie, …) te gebeuren, maar evenzeer voor die factoren die weinig of niet bijdragen dient ook een gereduceerde kwaliteitsborging te gebeuren (herleidbaarheid?, 2 tot 3jaarlijkse kalibratie of enkele verificaties, procedures?, training?, kwaliteitscontrole?, beperkte validatie, …) . Federaal Agentschap voor de Veiligheid van de Voedselketen 5 & 7 september 2007

© Peter Vermaercke

212

Cursus inhoud Wat? Waarom? Enkele belangrijke definities Link met ISO 17025:2005 Bottom-up benadering: GUM guide Top-down benadering Voorbeelden Rapportering van meetonzekerheid Federaal Agentschap voor de Veiligheid van de Voedselketen 5 & 7 september 2007

© Peter Vermaercke

213

Methode 2: TOP-DOWN


© Peter Vermaercke

214

Top-down - principe

In domeinen waar een zuivere fysische breakdown van de onzekerheidsparameters niet voor handen is (geen gedetailleerd model, de methode is puur empirisch, …) kan vaak de meetonzekerheid enkel op basis van wat men noemt QA data (zoals een intra(inter)laboratorium reproduceerbaarheid) worden vastgesteld met meestal een minimale bijdrage van de systematische afwijkingen.


© Peter Vermaercke

215

Top-down Waarschuwing Een zeer groot voordeel is zeker dat veel effecten, ook de lange termijn effecten (zowel verschillende laboranten, verschillende kalibratiecurves, verschillende voorbereidingsstappen, ....) reeds in de data verwerkt zijn Is enkel van toepassing indien de methode constant blijft, dus eerst moet de methode gevalideerd zijn De QA data dienen vergelijkbaar te zijn met het probleem: bvb. monsterbehandeling, bereik van de waarden, uitvoeringscondities, representativiteit van het staal (matrix, interferenties, …) Federaal Agentschap voor de Veiligheid van de Voedselketen 5 & 7 september 2007

© Peter Vermaercke

216

Top-down - principe Outliers eruit gooien! (Grubbs, Cochran, Dixon) indien je ze kan verklaren De gemaakte simplificaties dienen wel aanvaardbaar zijn, ttz. men dient te identificeren welke bronnen van onzekerheid door de QA-data gedekt zijn – de andere bronnen dienen dan op de bottom-up manier geschat te worden; Vergt ook veel werk, maar vaak heb je deze gegevens ter beschikking van je validatiestudie en van kwaliteitscontrolegegevens


© Peter Vermaercke

217

Sommigen zeggen dit is niet GUM, maar … GUM 3.4.2: “Because the mathematical model

may be incomplete, all relevant quantities should be varied to the fullest practical extent so that the evaluation on uncertainty can be based as much as possible on observed data.” GUM 3.4.2 “Whenever feasible the use of empirical models of measurement founded on long term quantitative data, and the use of check standards and control charts that can indicate if a measurement is under statistical control, should be part of the effort to obtain reliable evaluations of uncertainty.” Federaal Agentschap voor de Veiligheid van de Voedselketen 5 & 7 september 2007

© Peter Vermaercke

218

Externe QC vs Interne QC EQC

IQC

Matrix

Kan sterk # zijn

Eigen keuze

Concentratiebereik

Uitgebreider

Vrij beperkt

Analytisch interval

Uitgebreider

Referentie-interval

# Data punten

Beperkt

Honderd/Duizend

Periode

Beperkt

Jaren

Bias

Geschat

Is geweten …

Outliers

Inclusief

Uitgesloten


© Peter Vermaercke

219

CV%EQC

CVIQC versus CVEQC

CV%IQC Federaal Agentschap voor de Veiligheid van de Voedselketen 5 & 7 september 2007

© Peter Vermaercke

220

Top-down Twee belangrijke methodes

1 2

Gebruik van externe validatiegegevens van “collaborative trials” via ISO 5725 (“AOAC approach”) Gebruik van validatiegegevens qua reproduceerbaarheid en juistheid via ISO/TS 21748

Guidance for the use of repeatability, reproducibility and trueness estimates in measurement uncertainty estimation (ISO/TS 21748: 2004) Federaal Agentschap voor de Veiligheid van de Voedselketen 5 & 7 september 2007

© Peter Vermaercke

221

1 Methode 1: Gebruik van “collaborative trials” In een “collaborative trial” wordt opgezet om de performantie van een methode voor een specifieke test of matrix te bepalen bijvoorbeeld volgens een AOAC/IUPAC protocol or een ISO 5725 aanpak. In zo’n methode vergelijkende studie type AOAC worden een aantal (typisch 5) materialen welke de scope van de studie bepalen door tenminste 8 laboratoria uitgevoerd met dezelfde methode en ten minste in duplo. Dit leidt dan tot gegevens van herhaalbaarheid en reproduceerbaarheid.


© Peter Vermaercke

222

Collaborative trials en MU

1

Het uitgangspunt is dat de meeste potentiële bronnen van onzekerheid in de verschillende laboratoria dan zullen voorkomen en aldus zal RSDR (de bekomen interlaboratorium reproduceerbaarheid) een maat zijn voor de gecombineerde onzekerheid op de methode en dus zowel de herhaalbaarheid, de intralaboratorium reproduceerbaarheid en de interlaboriumvariantie schat, waardoor eigenlijk ook de bias component verwerkt is. Of deze gegevens volledig kunnen gebruikt worden hangt af hoe de studie werd opgezet en elke bron die niet in aanmerking werd genomen dan via de bottom-up approach dient meegenomen te worden. Merk wel op dat in zo’n studie vaak de criteria worden opgelegd aan wegingen, volumetrisch glaswerk, temperatuurscontrole, tijden, pH, … waardoor deze methode dan valt onder Nota 2 van ISO 17025


© Peter Vermaercke

223

Collaborative trials Let op!

1

Aldus kan de bekomen RSDR (met het resultaat in dezelfde eenheden en met het daaruit bekomen aantal significante cijfers, meestal 2) gebruikt worden als de gecombineerde meetonzekerheid, als het labo kan aantonen in zijn validatie dat het binnen de performatiecriteria van die methode valt. Dit houdt in Is de methode zoals het lab ze gebruikt volledig identiek, ttz. er wordt niet afgeweken, voor dezelfde parameter met dezelfde concentratie, dezelfde matrix, … Is de bias in het lab ook verwaarloosbaar Toont de lange termijn statistiek van een controlekaart aan dat dit valt BINNEN de RSDR Alle bronnen van meetonzekerheid, zoals vermeld in de methode (bvb. omgevingscondities), vallen binnen de gestelde criteria Federaal Agentschap voor de Veiligheid van de Voedselketen 5 & 7 september 2007

© Peter Vermaercke

224

1

Voorbeeld

AOAC methode 2000.02 voor de bepaling van patuline in appelsap en appelcompote Publicatie: S.McDonald, M.Long, J.Gilbert and I.Felgueiras, “Liquid Chromatographic Method for Determination of patulin in clear and cloudy apple juices and apple puree: Collaborative Study” Journal of AOAC International, 83, 1387-1394 (2000)


© Peter Vermaercke

225

1

Voorbeeld AOAC collaborative trial

Palutine (ng/g)

RSDR (%)

RSDRHor (%)

HORRAT

U (ng/g)

26

33

28

1,19

17

54

25

25

1,01

27

67

23

24

0,96

31

128

11

22

0,50

28

Uitgebreide Meetonzekerheid Federaal Agentschap voor de Veiligheid van de Voedselketen 5 & 7 september 2007

© Peter Vermaercke

226

Top-down Twee belangrijke methodes

1 2

Gebruik van externe validatiegegevens van “collaborative trials” via ISO 5725 (“AOAC approach”) Gebruik van validatiegegevens qua reproduceerbaarheid en juistheid via ISO/TS 21748

Guidance for the use of repeatability, reproducibility and trueness estimates in measurement uncertainty estimation (ISO/TS 21748: 2004) Federaal Agentschap voor de Veiligheid van de Voedselketen 5 & 7 september 2007

© Peter Vermaercke

227

Methode 2 = bronnen 2 zijn juistheid en precisie Precisie data

Juistheid

U Andere effecten


© Peter Vermaercke

228

Statistische analyse heeft aangetoond dat U >< 2 RSDR

2


© Peter Vermaercke

229

2

Normen: NEN 7779, ISO/TS 21748 Precisie R

U Juistheid Bias b Guidance for the use of repeatability, reproducibility and trueness estimates in measurement uncertainty estimation (ISO/TS 21748: 2004) Federaal Agentschap voor de Veiligheid van de Voedselketen 5 & 7 september 2007

© Peter Vermaercke

230

Welke formules? Start vanuit bias/precisie

2

Frequentiedistributie

GEMIDDELDE x Enkele meetwaarde

sRw

µ

Rw

Van nu af aan werken we zo goed altijd met relatieve standaard onzekerheden Federaal Agentschap voor de Veiligheid van de Voedselketen 5 & 7 september 2007

© Peter Vermaercke

231

2

NEN 7779: bias < 2sRw

sRw

sRw

µ

of uc =

of 2

ubias + u(Rw )2

Rw Federaal Agentschap voor de Veiligheid van de Voedselketen


© Peter Vermaercke

232


© Peter Vermaercke

233

NEN 7779: bias > 2sRw

µ

Er is dan zeker een significante bias en dan zijn er 3 mogelijkheden: Corrigeren voor de bias Apart vermelden van bias en de andere onzekerheidscomponenten op het rapport Ofwel de bias volledig lineair bijtellen als U =|b|+2* sRw of anderen stellen een andere formule voor nl.: 2 2

sRw

sRw

2

Rw

U = 2 * (ubias / 2) + u (Rw )


© Peter Vermaercke

234

Flowchart methode 2 NORDTEST-document 1

Specificeer Meetgrootheid

2

Kwantificeer Rw

2

A controlestaal B andere stappen niet gedekt door QC-staal

3

Kwantificeer bias component

4

Converteer naar u (xi)

5

Bereken uc

6

Bereken U

Source: NORDTEST Technical Report 537 (2003), Handbook for calculation of uncertainty Federaal Agentschap voor de Veiligheid van de Voedselketen



© Peter Vermaercke

235

Voorbeeld 1

2

Ammonium in water ISO 11732

2 Kwantificeer Rw

A controlestaal: B andere: controlestaal volgt volledige analyse

3 Kwantificeer bias component Intervergelijkingen:

4 Converteer naar u 5 Bereken uc 6 Bereken U = 2.uc


© Peter Vermaercke

236

2

Voorbeeld Component

Symbol

u(x i )

u(x i )/x

sRw

1,34

0,7%

Comments

Within-lab reproducibility Rw Control Sample @ 200 µg/L Other components

Warning level at 1,34 %

0,0%

Methods and laboratory bias Reference material

sbias

Interlaboratory comparison RMS

RMS

2,3%

Cref

Cref

0,5%

sbias

Recovery test Combined Uncertainty

uc

2,4%

Expanded Uncertainty

U

4,8% Federaal Agentschap voor de Veiligheid van de Voedselketen


© Peter Vermaercke

237

2

Flowchart Precisie Rw

2 - Rw U

a. Via intervergelijkingen

b. Via CRM’s

c. Via recoverystudies Juistheid Bias b 5 & 7 september 2007

© Peter Vermaercke

238

2 - bias Federaal Agentschap voor de Veiligheid van de Voedselketen

Formules

2

uc = ubias 2 + u (Rw )2

U = 2*uc


© Peter Vermaercke

239

2 - bias

Bepaling ubias Via intervergelijkingen Via CRM’s Valt weg bij ten minste 36 metingen

sbias

Via recoverystudies U

bias u (Cref)

b

Juistheid u (Cref)

sbias= s/√n

µ

x


© Peter Vermaercke

240

Overzicht formules 2 - bias 1. Interlaboratory comparisons

Determination of the bias Determine the bias from at least 6 intercomparisons and calculate the RMSbias (Root Mean Square) and the uncertainty on the reference value (if not given by the PT-organiser)

∑ bias

RMS(bias ) =

2 i

n

u(Cref ) = s R / n ubi as = RMSbi as 2 + u (Cref )2

2. CRM’s

Determine the bias from at least 6 values and calculate the bias and sbias Calculate u(Cref) from the certificate of the CRM ubias = (bias)² + (sbias / n)2 + u(Cref )2

3. Recoveryexperiments

Calculate from a spike the recovery, the bias and the RMSbias , the uncertainty on the reference value of the spike and the uncertainty due to the spiking procedure

ubias =

2

RMSbias + u(spiking)2 + u(Cref , spike)2


© Peter Vermaercke

241

2a - bias


2 - Rw U


b. Via CRM’s


© Peter Vermaercke

242

2a - bias Federaal Agentschap voor de Veiligheid van de Voedselketen

2a .Bepaling ubias – 2a - bias intervergelijkingen Bekijk je monster in de intervergelijking als een CRM en kijk dus niet naar de andere deelnemers aan de intervergelijking Vereist meerdere resultaten > 6: één meting is geen meting - als je slechts één punt hebt qua juistheid moet je een heel grote onzekerheid op je bias bijschatten


© Peter Vermaercke

243

2a - bias

2a Intervergelijkingen 12 10 8 6 4 2 0 0

5

10

15

20

25

30

Vanuit ISO 5725: Zowel bias als precisie Federaal Agentschap voor de Veiligheid van de Voedselketen 5 & 7 september 2007

© Peter Vermaercke

244

2a Bepaling ubias – 2a - bias Intervergelijkingen

1. Interlaboratory comparisons

Determine the bias from at least 6 intercomparisons and calculate the RMSbias (Root Mean Square) and the uncertainty on the reference value (if not given by the PT-organiser) RMS (bias ) =

∑ bias

2 i

n

u (Cref ) = sR / m ubias = RMSbias 2 + u (Cref )2


© Peter Vermaercke

245

2a Voorbeeld - moisture 2a - bias

sR is ook constant in het getoonde bereik!


© Peter Vermaercke

246

2


2 - Rw U


b. Via CRM’s


© Peter Vermaercke

247

2b - bias Federaal Agentschap voor de Veiligheid van de Voedselketen

2b. Bepaling ubias – 2b - bias CRM’s 2. CRM’s

Determine the bias from at least 6 values and calculate the bias and sbias Calculate u(Cref) from the certificate of the CRM ubias = (bias)² + (sbias / n)2 + u(Cref )2


© Peter Vermaercke

248

2b: CRM’s

2b - bias

ubias = (bias)² + (sbias / n)2 + u(Cref )2 U (Cref): vanuit certificaat gedeeld door k bias: gemiddelde juistheid via herhalingen sbias: via herhalingsmetingen of vanuit een controlekaart van CRM’s


© Peter Vermaercke

249

2b - bias

2b: Voorbeeld - CRM’s

02

4 ,2 9 %

rt -

B ia s ( % )

m

8 ,8 4

02

B ia s

n-

2 ,6 0 %

ja

RSD

B O D (m g /L )

01

5 ,5 8

1 9 5 ,0 0 v-

s

2 0 0 ,0 0

no

2 1 4 ,8 4

2 0 5 ,0 0

01

a v e ra g e

2 1 0 ,0 0

p-

206

2 1 5 ,0 0

se

2 2 0 ,7 0

2 2 0 ,0 0

1

2 0 0 2 -0 3 -0 6

2 2 5 ,0 0

l -0

19

2 3 0 ,0 0

ju

206 206 206 206 206 206 206 206 206 206 206 206 206 206 206 206 206

1

2 1 3 ,6 5 2 1 5 ,6 8 2 1 0 ,7 5 2 0 6 ,5 0 2 1 7 ,6 0 2 1 8 ,0 3 2 1 4 ,3 0 2 0 5 ,6 0 2 0 8 ,8 9 2 2 5 ,5 7 2 1 7 ,8 8 2 0 7 ,7 4 2 1 9 ,0 8 2 0 7 ,5 8 2 2 0 ,9 8 2 1 7 ,4 6 2 1 7 ,1 6

-0

2 0 0 0 -1 0 -1 2 2 0 0 0 -1 1 -1 1 2 0 0 0 -1 2 -1 1 2 0 0 1 -0 1 -1 0 2 0 0 1 -0 2 -0 9 2 0 0 1 -0 3 -1 1 2 0 0 1 -0 4 -1 0 2 0 0 1 -0 5 -1 0 2 0 0 1 -0 6 -0 9 2 0 0 1 -0 7 -0 9 2 0 0 1 -0 8 -0 8 2 0 0 1 -0 9 -0 7 2 0 0 1 -1 0 -0 7 2 0 0 1 -1 1 -0 6 2 0 0 1 -1 2 -0 6 2 0 0 2 -0 1 -0 5 2 0 0 2 -0 2 -0 4

ei

2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18

m

206

01

2 1 6 ,8 4

rt -

2 0 0 0 -0 9 -1 2

m

1

01

R ef ( m g /L )

n-

BOD ( m g /L )

ja

D a te

00

Nr

v-

5

no

206

00

= 2 0 6 ± 5 m g /L

p-

CRM

se

µ

R e f (m g /L )

Methods and laboratory bias Reference material CRM

sbias u(Cref)

Accuracy of bias

sbias

Bias

bias

from certificate: 206 ± 5 mg/L (k=2) from control chart of CRM; 0,60% n =19

1,21%

4,3%

from control chart CRM


© Peter Vermaercke

250

2


2 - Rw U


b. Via CRM’s


© Peter Vermaercke

251

2c - bias Federaal Agentschap voor de Veiligheid van de Voedselketen

2c. Bepaling ubias recovery 3. Recoveryexperiments

2c - bias

Calculate from a spike the recovery, the bias and the RMSbias , the uncertainty on the reference value of the spike and the uncertainty due to the spiking procedure

ubias =

2

RMSbias + u(spiking)2 + u(Cref , spike)2


© Peter Vermaercke

252

2c - bias

2c: Recovery Recovery

Symbol

Value

Method and laboratory bias RMSbias Recovery test RMS Uncertainty of spiking concentration conc volume Uncertainty on bias

0,60%

spike of 0,5 ml (certificate: 1,2%) micropipette with accuracy of 1 %, repeatability of 0,5 %

u(bias)

3,8%

1 2 3 4 5 6 7 8 9 10 R

96,7

3,3

RMS

Comments from bias calculation

0,76%

Bias (%) 5 2 3 4 1 4 6 1 3 4

u(x)

3,65%

vol

Recovery (%) 95 98 97 96 99 96 94 99 97 96

Recovery experiment

Relative u(x)

3,65


© Peter Vermaercke

253

Normen: NEN 7779, ISO/TS 21748

2

Precisie Rw

U


© Peter Vermaercke

254

2

Flowchart 2 - Rw

Precisie Rw c’. Geen controlestaal Intervergelijkingen

d’. Geen controlestaal, Geen intervergelijkingen b’. Deel niet gedekt door controlestaal

a’. Controlestaal

Juistheid Bias b 5 & 7 september 2007

© Peter Vermaercke

255

2 - bias

U


Rw

2 - Rw

a’: Controlemateriaal dat het ganse proces omvat: stabiel controlestaal, ongeveer zelfde matrix, dat het volledige analytische proces omvat (vaak één op een hoge en een lage concentratie) welke de lange termijn variatie (meerdere maanden) zoals verschillende stock-oplossingen, nieuwe batches van kritische reagentia, herkalibraties, … omvat b’: Controlestaal voor verschillende matrices of dat het volledige proces niet omvat: bepaal de variatie van het controlestaal (vaak een synthetisch materiaal) EN duplo analyses van reële stalen op verschillende concentratieniveau’s of voor de stappen niet gedekt door het controlemateriaal Federaal Agentschap voor de Veiligheid van de Voedselketen 5 & 7 september 2007

© Peter Vermaercke

256

Rw

2 - Rw

c’: Geen controlestaal – wel regelmatige deelname aan intervergelijkingen die representatief zijn voor je matrix: haal je data uit de statistische gegevens d’: Geen controlestaal – geen intervergelijkingen: gebruik data uit gegevens van je stalen, bvb. uit een ruime batch van stalen gebruik data uit duplo’s onder reproduceerbaarheidscondities gebruik data uit duplo’s onder herhaalbaarheidscondities en schat de extra lange termijnseffecten via ervaring of berekeningen of via een controlemateriaal Federaal Agentschap voor de Veiligheid van de Voedselketen 5 & 7 september 2007

© Peter Vermaercke

257

Bepaling u(Rw)

2 - Rw

Determination of the intra laboratory reproducibility Rw a'. Control sample on the same matrix that covers the same process

Determine s R (%) under reproducibility conditions (n > 10) u(Rw) = s R

b'. Control material that does not cover the entire process or a control material used for different matrices

Determine s R for a specific matrix control sample Determine s r from duplicate analyses for the other matrices or for the steps not covered by the controlmaterial −

c'. No control material, but interlaboratory comparisons do exist that are representative for the test d'. No control samples, no intercomparisons

Determine s R from the interlaboratory comparisons u(Rw) = s R

u(Rw) = √(s r²+s R ²)

sr =

r

1,128

Determine s r from duplicate analyses under repeatability conditions and determine s R using your experience, calculations or other control samples (u(Rw) = √(s r²+s R ²)) Determine s R from a large set of a sample that you analyse under reproducibility conditions (u(Rw) = s R ) Determine s R from duplicate analyses under reproducibility − conditions r sR = 1,128 Federaal Agentschap voor de Veiligheid van de Voedselketen


© Peter Vermaercke

258

2a’. Controlemateriaal 2a’ – Rw = gehele proces Kan in principe met CRM of set stabiel controlemateriaal of set van een groot productielot, indien dit alles maar representatief is voor de matrix van de stalen Liefst via de controlekaart de intralabreproduceerbaarheid Rw bepalen op het concentratieniveau van het controlestaal Nadeel: indien echte stalen buiten dit bereik gaan is QC materiaal op andere niveaus nodig of is een worst-case benadering nodig a'. Control sample on the same matrix that covers the same process

Determine s R (%) under reproducibility conditions (n > 10) u(Rw) = s R


© Peter Vermaercke

259

2a’: Voorbeeld

2a’ – Rw

Old

Deze nemen

New

Mean

425

Mean

426

Stdev

18,0

Stdev

17,2

Shewart Chart - Acrylamide (ng/g)

500

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 2 0 2 12 22 32 4 2 52 6 2 72 82 93 0 3 13 23 33 4 3 53 6 3 73 83 94 04 14 24 34 4 4 54 6 4 74 84 950 5152 53 54 55 56 57 58596 0 6 16 26 3

480 460 440 420 400 380 360 340

QC

CL

WL


© Peter Vermaercke

260

2b’ Controlestaal « » proces

2b’ – Rw

Indien je bvb. synthetisch materiaal gebruikt voor je QC of indien je QC materiaal niet zo stabiel is, kan je geval 2a’ niet toepassen Gebruik duplo analyse voor de herhaalbaarheid te bepalen met een Range%-chart voor die delen niet gedekt door je controlemateriaal of voor andere matrices Gebruik reproduceerbaarheid van je controlemateriaal Let op: zal overschatting zijn omdat bepaalde componenten dubbel geteld worden (op te lossen via MANOVA). b'. Control material that does not cover the entire process or a control material used for different matrices

Determine s R for a specific matrix control sample Determine s r from duplicate analyses for the other matrices or for the steps not covered by the controlmaterial − u(Rw) = √(s r²+s R ²)

sr =

r

1,128


© Peter Vermaercke

261

2b’ - Rw Voorbeeld Organofosforpesticiden in brood 1. Controlemateriaal: reproduceerbaarheidsanalyse

Gebaseerd op een om didactische redenen gemodificeerd voorbeeld uit de Eurachem gids Federaal Agentschap voor de Veiligheid van de Voedselketen 5 & 7 september 2007

© Peter Vermaercke

262

Voorbeeld: Organofosforpesticiden

2b’ - Rw

2. Andere matrices: herhaalbaarheidsanalyse

Gebaseerd op een om didactische redenen gemodificeerd voorbeeld uit de Eurachem gids


© Peter Vermaercke

263

2c’: Intervergelijkingen

2c’ – Rw

Indien je regelmatig deelneemt aan intervergelijkingen (bvb. BIPEA, …) kan je de variatie van je eigen resultaten t.o.v. de referentie gebruiken - de standaard inter-lab reproduceerbaarheid kan aldus als indicatie genomen worden. c'. No control material, but interlaboratory comparisons do exist that are representative for the test

Determine s R from the interlaboratory comparisons u(Rw) = s R


© Peter Vermaercke

264

PTprovider

Lab Parameter X -1

[mg kg

]

-1

[mg kg

]

Deviation -1

[mg kg

Bias %

MAX

MIN

sR 50 labs

]

September

12,77

13,27

-0,5

-3,8%

13,47

13,07

0,6%

Oktober

13,38

13,57

-0,19

-1,4%

13,77

13,37

0,6%

November

13,6

13,92

-0,32

-2,3%

14,12

13,72

0,6%

December

12,79

13,1

-0,31

-2,4%

13,30

12,90

0,6%

Januari

11,95

11,95

0

0,0%

12,15

11,75

0,7%

Februari

13,31

13,46

-0,15

-1,1%

13,66

13,26

0,6%

Maart

14,13

14,16

-0,03

-0,2%

14,36

13,96

0,6%

April

13,77

14,14

-0,37

-2,6%

14,34

13,94

0,6%

September

12,77

13,17

-0,4

-3,0%

13,37

12,97

0,6%

Oktober

13,43

13,59

-0,16

-1,2%

13,79

13,39

0,6%

November

13,56

13,69

-0,13

-0,9%

13,89

13,49

0,6%

December

13,46

13,47

-0,01

-0,1%

13,67

13,27

0,6%

Januari

13,67

13,87

-0,2

-1,4%

14,07

13,67

0,6%

Februari

13,19

13,41

-0,22

-1,6%

13,61

13,21

0,6%

Maart

14,39

14,42

-0,03

-0,2%

14,62

14,22

0,6%

April

13,24

13,53

-0,29

-2,1%

13,73

13,33

0,6%

Mei

14,58

14,79

-0,21

-1,4%

14,99

14,59

0,5%

Juni

15,75

16

-0,25

-1,6%

16,50

15,50

1,3%

September

13,21

13,46

-0,25

-1,9%

13,66

13,26

0,6%

Oktober

13,7

13,77

-0,07

-0,5%

13,97

13,57

0,6%

November

13,29

13,56

-0,27

-2,0%

13,76

13,36

0,6%

December

13,12

13,19

-0,07

-0,5%

13,39

12,99

0,6%

Januari

14,4

14,59

-0,19

-1,3%

14,79

14,39

0,5%

Februari

13,71

13,94

-0,23

-1,6%

14,14

13,71

0,6%

Maart

14,36

14,59

-0,23

-1,6%

14,79

14,39

0,5%

April

14,34

14,31

0,03

0,2%

14,51

14,11

0,6%

Mei

14,5

14,53

-0,03

-0,2%

14,73

14,33

0,6%

Juni*

14,93

13,68

1,25

9,1%

13,88

13,48

0,6%

Mean

13,8261

Stdev

Rw

-1,0%

2c’ – Rw

Voorbeeld

0,6%

2,2%

Mean

without outlier

-1,4%

Stdev

without outlier

1,0%

RMS

without outlier

1,7%

© Peteroutlier Vermaercke u(Cref)2007 without 5 & 7 september

265

0,6%

Federaal Agentschap voor de Veiligheid van de Voedselketen 0,1%

2c’ – Rw

2c’ Voorbeeld Controlchart Bias % - PT 10,0% 8,0%

Deviation

6,0% 4,0% 2,0% 0,0% -2,0%

0

5

10

15

20

25

30

-4,0% -6,0% Maandcode


© Peter Vermaercke

266

2d’: Geen QC-staal, 2d’ geen intervergelijkingen

– Rw

Voor instabiel materiaal: bepaal sr via duplo's en schat door een bottom-up of door analyse van een controlemateriaal, je ervaring, … de extra lange termijn effecten sR : u(Rw) = √(sr²+sR²) Bepaal sR via een analyse van een ruime batch van je stalen (u(Rw) = sR) Voor duplo-analyses voor je type staal onder − r sR = reproduceerbaarheidscondities: dit levert sR 1,128 Via gepubliceerde data zoals bvb. de reproduceerbaarheidslimiet u(Rw) = R/2,77


© Peter Vermaercke

267

Wat met verschillende concentratieranges Neem gegevens uit studie van lineariteit en reproduceerbaarheid Definieer een meetonzekerheid bij lage, middel en hoge waardes Bij lage concentraties (tot twee à drie keer de LOD): vaste Rw (men zou U = LOD kunnen nemen) Daarboven Rw, relatief (dus voor middel en hoge waardes) met slechts twee waardes: één relatieve voor middel en één voor hoge waardes (of neem worst case) Alternatief: beschrijf vergelijking in functie van bereik u = (ulow )2 + (uhigh / yhigh )2 y 2 Within Lab reproducibility Range (µg/L) 0,01 -0,09 0,1 - 10 > 10

Rw (50%) 10% 2%

Rw 0,01 (µg/L)


© Peter Vermaercke

268

Conclusie top-down +: Indien goed gekozen, alle onzekerheden inbegrepen -: Eerst moet de methode gevalideerd zijn -: De experimenten hiervoor moeten op de zelfde manier uitgevoerd worden als je dagdagelijkse analyses: zelfde matrix, niveau van je controlestaal, … +: Vrij vlug en makkelijk toe te passen, indien je veronderstellingen juist zijn en aantal metingen voldoende is ++? of --?: Makkelijk auditeerbaar (zie later) --: Je weet niet direct wat je criteria voor afkeur/kwalificatie voor toestellen/personeel moeten zijn: zeker kleiner dan r/R Federaal Agentschap voor de Veiligheid van de Voedselketen 5 & 7 september 2007

© Peter Vermaercke

269


© Peter Vermaercke

270

Volledig uitgewerkte voorbeelden 1 Cafeïne bepaling 2 Acrylamide 3 Bepaling asrest 4 Ochratoxine A in wijn


© Peter Vermaercke

271

Vb. 1 Cafeïne met HPLC

Component

u(x i )

u(x i )/x

Comments

0,04

0,0071

17,7%

R = 0,02

2,81

0,0354

1,3%

R= 0,1

u(Cref)

2,50%

from certificate NIST SRM 2384 0,1 ± 0,05 g/100g

Accuracy of bias

sbias

8,16%

From 6 repeats, rsd = 20 %

Bias

bias

3,0%

Bias = 3 %, not corrected for

u(Cref)

5,31%

from manufacturers certificate: 2,50 ± 0,23 g/100g

Accuracy of bias

sbias

2,00%

From 4 repeats, rsd = 4 %

Bias

bias

0,1%

Bias = 0,1 %

Within-lab reproducibility Rw From Reprodubility Limit From Reprodubility Limit Methods and laboratory bias Reference material

Symbol

Unit

decaffeinated sample

sRw

g/100g

non decaffeinated sample

sRw

g/100g


Reference test sample

Reference material

Value



Combined Uncertainty


uc

19,9%

mainly Rw



uc

5,8%

mainly reference material



U

g/100g

0,04

0,0159

39,7%



U

g/100g

2,81

0,3268

11,6%

Juistheid via CRM’s en aangekocht materiaal en gebruik van reproduceerbaarheidsdata Federaal Agentschap voor de Veiligheid van de Voedselketen 5 & 7 september 2007

© Peter Vermaercke

272

Voorbeeld 2: Acrylamide toasted bread


© Peter Vermaercke

273

Voorbeeld: Acrylamide in toasted bread Old

New

Mean

32

Mean

31,7

Stdev

2,5

Stdev

3,1

Shewart Chart - Acrylamide (ng/g) 45

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21 22

23

24

25

26

27 28

29

30

31 32

33 34

35

36

40

35

30

25

20

QC

CL

WL


© Peter Vermaercke

274

Vb. 2: Acrylamide toasted bread Component

Symbol

Unit

Value

u(xi)

u(xi)/x

18 3,1

4,2% 9,8%

Comments

Within-lab reproducibility Rw From Shewart Chart - high From Shewart Chart - low

ERM®- BD273 Spiked sample

sRw sRw

ng/g ng/g

426 31,7


Acrylamide High u(Cref)

Accuracy of bias

sbias

0,53% From 63 repeats,

Bias

bias

0,2%

u(Cref)ref

1,73%

u(Cref)spike

1,32%

sbias

1,24%

Reference material

3,41%

from certificate ERM- BD273


425 ±

29 ng/g rsd = 4,2 %

Bias = (425,9-425)/425

Acrylamide Low


Accuracy of bias Bias

bias

-5,8% 5,5% 11,7%

Combined Uncertainty Combined Uncertainty

High Low

uc uc

Expanded Uncertainty Expanded Uncertainty

Acrylamide High Acrylamide Low

U U

ng/g ng/g

430 32

50 7

bread spiked Acrylamide (Sigma Aldrich) - 3 % accuracy micropipette with accuracy of 1 %, repeatability of 0,5 %, dilution 1 % From 63 repeats, rsd = 9,6 % Bias = (30-31,7)/30

not

corrected

Rw and u(Cref) Rw

10,9% 23,3%

Juistheid via CRM en recovery en precisie via controlekaart Federaal Agentschap voor de Veiligheid van de Voedselketen


© Peter Vermaercke

275

Voorbeeld 3 – bepaling asrest Wordt 2 maal geteld! Component

Symbol

u(xi)

u(xi)/x

sRw

0,05%

0,83%

Comments

Within-lab reproducibility Rw Control Sample @ 6 % Other components

Warning level at 0,05 %

0,0%


sbias

Interlaboratory comparison RMS

RMS

3,2%

Cref

Cref

0,4%

Recovery test

sbias


uc

3,4%


U

6,7%

Juistheid via intervergelijkingen en reproduceerbaarheid via CRM (is lichte overschatting waarschijnlijk)


© Peter Vermaercke

276

Vb. 4 Ochratoxine A in wijn Bias bepaald door spiking


© Peter Vermaercke

277

Vb. 4 Ochratoxine A in wijn

Omdat bias significant is en er niet gecorrigeerd wordt: integreren Federaal Agentschap voor de Veiligheid van de Voedselketen 5 & 7 september 2007

© Peter Vermaercke

278

Vb. 4 Ochratoxine A in wijn


© Peter Vermaercke

279

Vb. 4 Ochratoxine A in wijn Samenvatting

Opm: bij deze niveaus van RSD’s vervalt meestal de onzekerheid van het spiking proces zelf



© Peter Vermaercke

280


© Peter Vermaercke

281

Onzekerheid op de rapporten Als je rapporteert rapporteer enkel de uitgebreide meetonzekerheid (geen 1s of geen gecombineerde), tenzij andere vereisten bestaan Verduidelijk wat je meetonzekerheid is (dekkingsfactor, …): “De opgegeven meetonzekerheid is de uitgebreide

meetonzekerheid, bekomen door de gecombineerde meetonzekerheid te vermenigvuldigen met een dekkingsfactor van 2 wat een 95 % betrouwbaarheidsinterval oplevert. “

Rond af, maar pas op het einde, anders heb je nog een bijkomende bron van onzekerheid Federaal Agentschap voor de Veiligheid van de Voedselketen 5 & 7 september 2007

© Peter Vermaercke

282

Enkele conventies 1000 (30) mL

Het resultaat en de gecombineerde standaard onzekerheid (dus op 1s)

(1000 ± 60) mL

Het resultaat en de uitgebreide meetonzekerheid (k=2)


© Peter Vermaercke

283

FAVV dienstnota 09/08/2007 Onverminderd de geldende nationale en Europese regelgeving, verduidelijkt het Bestuur Laboratoria met de nota op welke aspecten met betrekking tot de rapportering van de uitgebreide meetonzekerheid nauwgezet zal toegezien worden. De nota is van toepassing voor (semi-) kwantitatieve analyses, maar ze is niet van toepassing voor microbiologische en microscopische methoden. Evenmin geldt ze voor de bepaling van GGO’s en pesticiden. De meetonzekerheid wordt in rekening gebracht door te rapporteren als «X ± U», waarbij X het analyseresultaat is en U de uitgebreide meetonzekerheid, met een dekkingsfactor 2, zodat een betrouwbaarheidsniveau van ongeveer 95 % wordt verkregen. Uiteraard ook onverminderd de eisen van ISO 17025 … Federaal Agentschap voor de Veiligheid van de Voedselketen 5 & 7 september 2007

© Peter Vermaercke

284

FAVV dienstnota 09/08/2007

De uitgebreide meetonzekerheid bij normen en actielimieten Behoudens voor de monsters in het kader van bepaalde stoffen en residuen in levende dieren en in producten daarvan, en waarbij de meetonzekerheid in rekening gebracht wordt door het bepalen van de beslissingsgrens (CCα) of het detectievermogen (CCβ), Behoudens de gevallen waarvoor het Bestuur Laboratoria expliciet per dienstnota gevraagd heeft steeds de uitgebreide meetonzekerheid te rapporteren (Dioxinen en Mycotoxines), Zal het Bestuur Laboratoria er op toezien dat de laboratoria de uitgebreide meetonzekerheid op de beproevingverslagen vermelden

Wanneer (a) het analytisch resultaat de norm of actielimiet overschrijdt, waarbij de norm of actielimiet een maximum waarde is, Wanneer (b) het analytisch resultaat lager ligt dan de norm, waarbij de norm een minimum vereiste waarde is.

Wanneer de analyse wordt uitgevoerd in het kader van een tegenanalyse naar aanleiding van een officiële controle, dan zal de uitgebreide meetonzekerheid altijd op het beproevingsverslag vermeld worden. Wanneer de uitgebreide meetonzekerheid niet op het beproevingsverslag vermeld wordt, dan houden de laboratoria deze in overeenstemming met ISO 17025 beschikbaar.


© Peter Vermaercke

285

FAVV dienstnota 09/08/2007 De uitgebreide meetonzekerheid bij waarborgen

Als de analyses worden uitgevoerd met het oog op de controle van de door de producent/operator geëtiketteerde of gewaarborgde gehalten voor wat betreft (a) nutriënten (waaronder vitaminen, mineralen en sporenelementen) in voedingssupplementen, dan moet de uitgebreide meetonzekerheid vermeld worden op het beproevingsverslag indien het analytisch resultaat niet 90-120% van de geëtiketteerde of gewaarborgde waarde is. (b) coccidiostatica die als toevoegingmiddel aan diervoeders worden toegevoegd en (c) geneesmiddelen voor diergeneeskundig gebruik in gemedicineerde voeders,, dan moet de uitgebreide meetonzekerheid steeds op het beproevingsverslag vermeld worden, tenzij het laboratorium en het Bestuur Laboratoria, in onderling overleg, hieromtrent een andere regeling uitwerken. Bij tegenanalyse altijd Federaal Agentschap voor de Veiligheid van de Voedselketen 5 & 7 september 2007

© Peter Vermaercke

286

FAVV dienstnota 09/08/2007 De uitgebreide meetonzekerheid bij waarborgen

Als de analyses worden uitgevoerd met het oog op de controle van (d) gewaarborgde gehalten van vitaminen en sporenelementen die als toevoegingmiddel aan diervoeders worden toegevoegd en (e) de gewaarborgde gehalten van de substantiële hoedanigheden in diervoeders, dan is de rapportering van de uitgebreide meetonzekerheid onnodig, omdat het FAVV toleranties / afwijkingen hanteert die geacht worden alle mogelijke bronnen van onzekerheid (inhomogeniteit tijdens de productie, analytische onzekerheid, …) in rekening te nemen.

Om dezelfde reden is de rapportering van de uitgebreide meetonzekerheid eveneens onnodig als de analyses worden uitgevoerd met het oog op de controle van (f) waarborgen in meststoffen, teeltsubstraten, en bodemverbeterende middelen, tenzij bij de bewuste analyses het analytische resultaat een norm overschrijdt. In dat geval gelden de bepalingen die beschreven zijn in paragraaf 2 van de nota. Federaal Agentschap voor de Veiligheid van de Voedselketen 5 & 7 september 2007

© Peter Vermaercke

287

Wat bij lage concentraties? Liefst rapporteren met meetonzekerheid (persoonlijk standpunt) Maar wat met waardes kleiner dan LOQ? Maar vergelijken we volgende resultaten eens: “Niet gedetecteerd” “< LOQ” (of “< LOD”) Het resultaat met een onzekerheid Welke verkies je?


© Peter Vermaercke

288

Rapportering beneden LOQ Niet gedetecteerd: te vermijden – geeft geen informatie. Bvb. bij vergelijk met een andere labo B kan men niets zeggen. Zelfs nog erger als labo A een veel hogere LOD heeft dan labo B dan zal het resultaat bij de labo A misschien conform zijn en bij het andere labo niet-conform (bvb. waar een waarde gevonden wordt van 2,7 mg/kg terwijl maar 2 mg/kg getolereerd wordt). En, het kan zijn dat de definitie van LOD of LOQ in de twee labo’s volledig anders is. < LOQ (< 9 mg/kg): te gebruiken, heeft evenwel geen numerieke informatie om een verdere statistische verwerking mogelijk te maken zoals bvb. gemiddeldes maken, wat is de α-β-fout?. Zal ons wel wat duidelijker maken over de vergelijking van de resultaten tussen de twee labs en over de reden van het conformiteitsprobleem Federaal Agentschap voor de Veiligheid van de Voedselketen 5 & 7 september 2007

© Peter Vermaercke

289

Rapportering beneden LOQ Een duidelijke trend is de rapportering van resultaat en meetonzekerheid beneden de LOQ omdat dit de meeste informatie geeft (eigenlijk zijn de twee vorige methodes eigenlijk maar een afleiding van deze methode) Een nadeel is dat we grote onzekerheden kunnen krijgen met zelfs negatieve waardes rond de LOD, per definitie. En hier komt dan een filosofische discussie welke in ISO staat:

“though negative observations are quite possible, and even common in this region, an implied dispersion including values below zero cannot be reasonably ascribed to the value of the measurand when the measurand is a concentration, because concentrations themselves cannot be negative”.


© Peter Vermaercke

290

Rapportering beneden LOQ Merk op dat onze waarde maar een schatting is, aldus kan men kunnen zeggen dat een resultaat van 4 mg/kg met een onzekerheid van 5 mg/kg, het resultaat ligt tussen 0 en 9 mg/kg of 4 mg/kg met een 95% betrouwbaarheidsinterval van [0 , 9] mg/kg. Aldus kunnen we resultaten middelen indien nodig of kunnen we dit resultaat vergelijken met (2,9 ± 0,4) mg/kg Dit alles is ook een persoonlijk standpunt en geen officieel standpunt!


© Peter Vermaercke

291

Rapportering (1) De meetwaarde Het gehalte aan Pb is 5,41 µg/g

Neen! So what? Federaal Agentschap voor de Veiligheid van de Voedselketen 5 & 7 september 2007

© Peter Vermaercke

292

Rapportering (2) De onzekerheid Het gehalte aan Pb is (5,41 ± 0,43) µg/g

Neen! Federaal Agentschap voor de Veiligheid van de Voedselketen 5 & 7 september 2007

© Peter Vermaercke

293

Rapportering (3) Het betrouwbaarheidsinterval Het gehalte aan Pb is (5,41 ± 0,43) µg/g

Neen! De opgegeven meetonzekerheid is de uitgebreide meetonzekerheid, bekomen door de gecombineerde meetonzekerheid te vermenigvuldigen met een dekkingsfactor van 2 wat een 95 % betrouwbaarheidsinterval oplevert. Federaal Agentschap voor de Veiligheid van de Voedselketen 5 & 7 september 2007

© Peter Vermaercke

294

Rapportering (4) Afronden Het gehalte aan Pb is (5,4 ± 0,4) µg/g

JA De opgegeven meetonzekerheid is de uitgebreide meetonzekerheid, bekomen door de gecombineerde meetonzekerheid te vermenigvuldigen met een dekkingsfactor van 2 wat een 95 % betrouwbaarheidsinterval oplevert. Federaal Agentschap voor de Veiligheid van de Voedselketen 5 & 7 september 2007

© Peter Vermaercke

295

Moneytime

De volgende zeven TIPS zijn tips van goudwaarde voor auditors en laboratoria … Federaal Agentschap voor de Veiligheid van de Voedselketen 5 & 7 september 2007

© Peter Vermaercke

296

Op het einde: is mijn berekening realistisch? 1. Check met gegevens vanuit de performantiecriteria opgelegd. Je meetonzekerheid dient uiteraard kleiner te zijn dan U < |1-max. recovery| + 2*CVR,max 2. Check met gegevens van methode vergelijkende studies of laboratorium-vergelijkende studies waarbij je enkel de gegevens van labo’s met dezelfde methodes bekijkt. Het zou uitzonderlijk zijn indien je berekening (U) kleiner is dan 2 keer de bekomen interlaboratoriumreproduceerbaarheid voor die methode 3. Check met gegevens van een willekeurige laboratoriumvergelijkende studie. Het zou uitzonderlijk zijn indien je berekening (U) kleiner is dan de bekomen interlaboratorium-reproduceerbaarheid Maar, uitzonderingen bestaan want alles is gebaseerd op empirische formules en Gaussiaanse statistiek … Federaal Agentschap voor de Veiligheid van de Voedselketen 5 & 7 september 2007

© Peter Vermaercke

297

Op het einde: is mijn berekening realistisch? 4. Check met je herhaalbaarheidsgegevens of duplogegevens. Het zou uitzonderlijk zijn indien je meetonzekerheid U kleiner is dan 4,5 sr 5. Check met je reproduceerbaarheidsgegevens of je controlekaarten. Het zou uitzonderlijk zijn indien je meetonzekerheid U kleiner is 3 sRw of dus de ALARMgrenzen van een controlekaart 6. Bekijk je z-scores bij intervergelijkingen: indien het gemiddelde van je z-scores gemiddeld 0 is en nooit > 2-3 dan zal je meetonzekerheid U grootte-orde deze zijn van 2 maal de target RSD van de organisator Indien je gemiddelde z-score significant van 0 verschilt(en regelmatig > 1 of 2 is dan kan je meetonzekerheid U nooit kleiner zijn dan 2 maal de target RSD van de organisator Federaal Agentschap voor de Veiligheid van de Voedselketen 5 & 7 september 2007

© Peter Vermaercke

298

Op het einde: is mijn berekening realistisch? 7. Bij de initiële kwalificatie dient kritische apparatuur, of operatoren ruim binnen de gestelde herhaalbaarheids/reproduceerbaarheidscriteria gebruikt voor het MU vallen.


© Peter Vermaercke

299

Conclusies

Dit alles kan een technisch verantwoordelijke niet zomaar delegeren: het dienen mensen te zijn met goede kennis van de methode en toch iets kennen van statistiek. De benadering in deze cursus laat toe om voor elk labo voor kwantitatieve resultaten een benadering te vinden ofwel via een benadering van collaborative trials (met beperkingen), ofwel via het gebruik van juistheids/reproduceerbaarheidsgegevens en zelfs als deze niet voorhanden zijn via een GUM-benadering. Dus, IEDEREEN moet nu kunnen een onzekerheid te schatten. De eerste berekening neemt meestal vrij veel tijd in beslag. Dit alles is een iteratief proces want na de oefening zal je verder optimaliseren naarmate je meer rekening gaat houden met de informatie die je over je methode verzamelt. Het is altijd toegelaten de meetonzekerheid te overschatten, nooit om ze te onderschatten Federaal Agentschap voor de Veiligheid van de Voedselketen 5 & 7 september 2007

© Peter Vermaercke

300

Conclusies Meetonzekerheid wordt meer en meer belangrijk en zal na verloop van een gewoon essentieel deel vormen van een validatierapport. Onzekerheidsberekening doe je éénmalig en enkel nadat je essentiële veranderingen maakt welke een impact hebben op je validatiedata of als je eerste, tweede of derdelijnscontrole alarm geven zonder dat je de oorzaak kan elimineren zal je aanpassen. Zaken zoals operatoren, apparatuur worden normaal bewaakt via de initiële kwalificatie welke aan de performantiecriteria (reeds gebruikt in je berekeningen) moeten voldoen Een volledige verklaring van een resultaat of een meting houdt informatie over de meetonzekerheid in. Federaal Agentschap voor de Veiligheid van de Voedselketen 5 & 7 september 2007

© Peter Vermaercke

301

Link met BELAC Er is een duidelijke taak voor BELAC om zijn auditoren te trainen om ervoor te zorgen dat MU-budgetten op een consistente manier geauditeerd worden Dit document kan gebruikt worden als een hulpmiddel ter voorbereiding van BELAC-audits, maar het is geen BELAC-document en het kan daarom niet gebruikt worden als een referentie door de auditors. De eisen van FAVV zijn van toepassing voor dit testen uitgevoerd binnen het kader FAVV, andere klanten of regelgevers kunnen andere eisen hebben en, in elk geval moet de meetonzekerheid voor ELK resultaat onder ISO 17025 gekend zijn … Federaal Agentschap voor de Veiligheid van de Voedselketen 5 & 7 september 2007

© Peter Vermaercke

302

Pas op!!! Stop tijdig wanneer je berekeningen van je meetonzekerheid niet meer overzichtelijk zijn!


© Peter Vermaercke

303

“Confused”? EINDE


© Peter Vermaercke

304

Zijn er nog vragen?


© Peter Vermaercke

305

Bepaling van de meetonzekerheid voor testen op voedingsmiddelen en veevoeders

Recommend Documents