Kwaliteitsbewaking. Wat is kwaliteitsbewaking?

Kwaliteitsbewaking Nico Vandepoele Bio-Rad Laboratories.

Wat is kwaliteitsbewaking?

• Kwaliteitsbewaking is een statistisch proces opgezet om het analytisch proces dat patiëntenresultaten voortbrengt te controleren en te evalueren.

NVML De Juiste Zet Amersfoort 23 maart 2010

1

Wat is kwaliteitsbewaking? • Het statistisch proces vereist: * regelmatige analyse van controlematerialen tussen de patiëntenstalen in. * vergelijking van de resultaten van de controles ten opzichte van specifieke statistische regels of grenzen. NVML De Juiste Zet Amersfoort 23 maart 2010

Wat is kwaliteitsbewaking? • Deze resultaten worden gebruikt om te beslissen of een instrument of procedure werkzaam is binnen de vooropgestelde specificaties. En dus of de geproduceerde resultaten betrouwbaar zijn of niet.


2

Waarom kwaliteitsbewaking?

Patië Patiëntenntenzorg

Betrouwbaarheid

Reglementatie

Q.C. NVML De Juiste Zet Amersfoort 23 maart 2010

Controlematerialen. • Een controle is een product dat zo dicht mogelijk de patiëntenmatrix moet benaderen om ook op eenzelfde manier te reageren als het patiëntenstaal. • De controle kan gelyophiliseerd (gevriesdroogd) of vloeibaar zijn en bevat één tot meerdere analyten.


3

Soorten controlematerialen. • Interne controlematerialen • Externe controlematerialen • Patiëntenpools • In-kit controles • Onafhankelijke controles


Welke controle kiezen? • Dit hangt af van meerder factoren die allemaal kunnen verschillen van lab tot lab: - Gelyophiliseerd of vloeibaar - Multiple of single analyt - 1 niveau of meerdere niveau’s - Shelf-life - Bewaring en houdbaarheid na openen flesje. NVML De Juiste Zet Amersfoort 23 maart 2010

4

Vraag 1 Hoeveel analyten zijn er officieel aanwezig in een Bio-Rad Lyphocheck Immunoassay controle? 1. 23 2. 73 3. 93 4. 103


1 of meerder niveau’s

Afwijkend Normaal

• 1 enkel niveau kan meestal niet het volledige meetbereik controleren. • zelfs met een correct resultaat kan er een afwijking aanwezig zijn NVML De Juiste Zet Amersfoort 23 maart 2010

5

1 of meerder niveau’s

Afwijkend Normaal

• 2 niveau’s kunnen meestal het volledige meetbereik controleren. Bij niet lineaire curves zijn soms meer niveau’s nodig. • Is meest aangeraden manier van contoleren. NVML De Juiste Zet Amersfoort 23 maart 2010

Shelf-life

• Cross-over studies Lot 003 Lot 002 Lot 001

tijd •

Wanneer men overschakelt naar een nieuw lot controles moet men een periode beide controles evalueren om zo de nieuwe controle te valideren en een gemiddelde te berekenen. ► Hoe langer houdbaar een controle is hoe minder vaak men deze procedure moet herhalen.


6

Normaalverdeling • Alle resultaten worden in een grafiek uitgezet. De Y-as toont ons hoe vaak ze voorkomen en de X-as toont de resultaten.


Vraag 2 •

De normaalverdeling heeft nog een bekendere naam gekregen:

1. 2. 3. 4.

Levey-Jennings chart Gauss curve Youden Plot Yundt curve


7

Normaalverdeling

-3s

-2s

-1s

M

+1s

+2s

+3s

X 68,5 % 95,5 % 99,7% NVML De Juiste Zet Amersfoort 23 maart 2010

Kwaliteit van een analytische methode BIAS (systematische fout) TOTALE

WERKELIJKE waarde

JUISTHEID

FOUT

x ACCURAATHEID

PRECISIE IMPRECISIE (toevallige Fout) NVML De Juiste Zet Amersfoort 23 maart 2010

8

Precisie of imprecisie • Overeenkomst tussen de verschillende opeenvolgende metingen van een methode onder dezelfde condities. - wordt meestal uitgedrukt als standaarddeviatie of variatiecoëfficient. - Maat voor de reproduceerbaarheid van de methode


De juistheid • De overeenkomst tussen het gemiddelde van een oneindig aantal bepalingen van de controle en de werkelijke waarde ervan. - Juistheid is een maat voor systematische fout. - Werkelijke waarde is vaak niet gekend. - Juistheid hangt niet af van de toevallige fout NVML De Juiste Zet Amersfoort 23 maart 2010

9

Accuraatheid • Accuraatheid is de overeenkomst tussen één meetwaarde en de werkelijke waarde. - is dus bijvoorbeeld een patiëntenmeting, deze gebeurt maar één keer. - accuraatheid hangt af van juistheid en precisie.


Voorbeeld Dit voorbeeld toont onze meetpunten op de schietschijf. * Het gemiddelde van de meetpunten is op doel… dus juist * Onze meetpunten zitten dicht bij elkaar… dus precies


10

Vraag 3 Wat denkt U van dit voorbeeld: 1. Niet precies en niet juist 2. Niet precies maar wel juist 3. Precies maar niet juist 4. Precies en juist NVML De Juiste Zet Amersfoort 23 maart 2010

Vraag 4 Wat denkt U van dit voorbeeld: 1. Niet precies en niet juist 2. Niet precies maar wel juist 3. Precies maar niet juist 4. Precies en juist NVML De Juiste Zet Amersfoort 23 maart 2010

11

Hoe berekenen we deze waardes? • We starten met het berekenen van het gemiddelde:

n

x =

∑ x i =1

i

n

• Som van alle waarden gedeeld door het aantal waarden. NVML De Juiste Zet Amersfoort 23 maart 2010

Verder… • De belangrijkste maat voor onze precisie is de standaarddeviatie:

∑ (xi − x) n

s=

i =1

2

n −1

• Is een uitdrukking van de spreiding van de resultaten. NVML De Juiste Zet Amersfoort 23 maart 2010

12

Of algemener als Variatie Coëfficient

• Om de precisie gemakkelijk over verschillende eenheden of groottes te beoordelen drukken we deze in procent uit:

s CV = .100 x NVML De Juiste Zet Amersfoort 23 maart 2010

Afbeelden van controles • Wanneer we nu de controle op regelmatige tijdstippen uitvoeren bekomen we een lijst met resultaten. • Deze lijst moet nu door ons geëvalueerd en opgevolgd worden om de eventuele aanwezige fouten op te sporen. • Hoe gaan we hiermee aan de slag? NVML De Juiste Zet Amersfoort 23 maart 2010

13

Onze resulaten Série 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25

Résultat

Série 4,11 4,18 4,10 4,14 4,23 4,16 4,22 4,07 4,17 4,29 4,00 4,18 4,20 4,12 4,20 4,13 4,21 4,08 4,31 4,21 4,09 4,23 4,36 4,27 4,40

Résultat 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50

4,14 4,29 4,10 4,00 4,10 4,22 4,26 4,19 4,14 4,22 4,18 4,22 4,30 4,25 4,17 4,08 4,20 4,16 4,27 4,17 4,16 4,10 4,26 4,20 4,24

•Maar wat is er nu goed? •Wanneer moeten we een aktie ondernemen?


Normaalverdeling • De normaalverdeling wordt bepaald door onze precisie of standaard deviatie of variatie coëfficient. • Uit de normaalverdeling kunnen we de betrouwbaarheid van onze resulaten berekenen. • Aan de hand van deze betrouwbaarheid kunnen we nu verder regels gaan opstellen om onze kwaliteit op te volgen.


14

Vraag 5 Welke verdeling is betrouwbaarder of precieser? 2

1


QC Grafieken

Run

15

Waarde

1

8

2

10

12

3

5

9

4

14

5

6

6

12

3

7

3

0

8

7

9

12

10

11

6

Run

1

2

3

4

5

6

7

8

9

10

30


15

Levey-Jennings grafiek • We kunnen onze QC resultaten ook uitzetten in een grafiek, maar drukken deze nu uit ten opzichte van het gemiddelde en gebruiken als schaal de standaard deviatie. • Dit wordt de traditionele Levey-Jennings grafiek.


Levey-Jennings voor 1 niveau


16

Meerdere niveau’s op Levey-Jennings


Westgard Regels • Nu kunnen we met onze berekende waardes aan de slag. • Dr James Westgard stelde een aantal regels voor die we vandaag nog steeds dagelijks toepassen in de praktijk. • Laten we deze nu eens opnieuw bekijken.


17

Westgard Regels

• 12s regel

+3s 12S

+2s +1s M -1s -2s -3s

Série 1 2 3 4 5 6 7 8 9 10 ► De waarde van de controle is +/- 2 SD ► Wijst op aanwezigheid van toevallige of systematische fout ► Alarm regel


Westgard Regels

• 12s regel

-3S

-2S

-1S

M

+1S +2S +3S


18

Westgard Regels • Binnen een normale verdeling vallen ongeveer 4% van alle resulaten tussen 2 en 3 SD. • Hoe meer niveau’s en analyten per run hoe meer kans dat waardes tussen 2 en 3 SD voorkomen die volledig normaal zijn in de normale populatie. • Vandaar deze ALARM regel. NVML De Juiste Zet Amersfoort 23 maart 2010

Westgard Regels

• 22s regel (Intra-niveau)

Spoort systematische fouten op ► 2 opeenvolgende 2SD overtredingen aan dezelfde kant van het gemiddelde voor eenzelfde niveau ► Verwerpingsregel


19

Westgard Regels

• 22s regel

-3S

-2S

-1S

M

+1S +2S +3S


Westgard Regels

• 22s regel (Inter-niveau)

► 2 verschillende niveau’s vertonen beide een 2SD afwijking aan dezelfde zijde van het gemiddelde binnen dezelfde run. ► Verwerpingsregel


20

Westgard Regels.

• 22s regel

-3S

-2S

-1S

M

+1S +2S +3S


Westgard Regels.

• R4s Regel

+3s +2s +1s

niveau 1

M

niveau 2

-1s

R4S

-2s -3s

Run

1

2

3 4

5

6

7

8

9

► Deze regel spoort toevallige fouten op wanneer er meer als 4SD verschil is tussen 2 niveau’s binnen eenzelfde run.

►Verwerpingsregel. NVML De Juiste Zet Amersfoort 23 maart 2010

21

Westgard Regels.

• R4s Regel

-3S

-2S

-1S

M

+1S +2S +3S


Westgard Regels.

• 13s Regel

+3s 13S

+2s +1s M -1s -2s -3s

Run 1 2 3 4

5

6

7

8

9

10

► Spoort waardes op die +/- 3 SD zijn. ► Spoort toevallige fouten op of beginnende systematische fouten. ► Verwerpingsregel NVML De Juiste Zet Amersfoort 23 maart 2010

22

Westgard Regels

• 13s Regel -3S

-2S

-1S

M

+1S +2S +3S


Westgard Regels

• 41s Regel (Intra-niveau)

+3s +2s +1s M

41S

-1s -2s -3s Run 1

2

3

4

5

6

7

8

9

10

► Spoort systematische fouten op. ► Spoort fouten op wanneer er 4 opeenvolgende maal binnen één niveau eenzelfde 1SD overtreding optreedt. ► Kan als alarm of verwerpingsregel gebruikt worden. NVML De Juiste Zet Amersfoort 23 maart 2010

23

Westgard Regels

• 41s Regel -3S

-2S

-1S

M

+1S +2S +3S


Westgard regels

• 41s Regel (Inter-niveau)

+3s +2s +1s 41S

niveau 1 niveau 2

M -1s -2s -3s Série 1

2

3 4

5

6

7

8

9

- Regel wordt ook toegepast op verschillende niveau’s NVML De Juiste Zet Amersfoort 23 maart 2010

24

Westgard Regels

• 41s Regel -3S

-2S

-1S

M

+1S +2S +3S


Westgard Regels

• 10x Regel (intra niveau)

+3s +2s

10X

+1s M -1s -2s -3s Run 1

2

3

4

5

6

7

8

9

10

► Regel spoort 10 opeenvolgende resultaten aan dezelfde kant van het gemiddelde op binnen één niveau. ► Spoort systematische fouten op ► Alarm regel. NVML De Juiste Zet Amersfoort 23 maart 2010

25

Westgard Regels

• 10X Regel +3s

(Inter-niveaux)

+2s +1s 10X

M*

niveau 1

-1s

niveau 2

-2s -3s

Run 1

2

3

4

5

6

7

8

9

► Deze regel is ook toepasbaar bij twee niveau’s. ► Deze regel kan ook aangepast worden voor meerdere niveau’s en ook aan gevoeligheid, daarom bestaan ook 7x, 8x, 9x en 12x.


Westgard multi-regel toepassing QC Resultaten

12s

NEE

Analytisch proces onder controle Resulaten kunnen gerapporteerd worden

JA

NEE

13s JA

NEE

22s JA

NEE

R4s

JA

NEE JA

41s

NEE

10x

JA

Analytisch proces toont problemen NVML De Juiste Zet gerapporteerd worden Resultaten kunnen niet Amersfoort 23 maart 2010

26

Vraag 6

Evalueer deze Levey-Jennings grafiek. 1. 2. 3. 4.

Normaal proces 2-2s 1-3s R4s

5. 4-1s 6. 10x


Vraag 7



5. 4-1s 6. 10x


27

Vraag 8



5. 4-1s 6. 10x


Vraag 9



5. 4-1s 6. 10x


28

Vraag 10



5. 4-1s 6. 10x


Vraag 11



5. 4-1s 6. 10x


29

Westgard Regels : Besluit • Westgard regels laten toe om het statistisch proces op te volgen. • Zijn ontworpen om toevallige en systematische fouten op te sporen. • Zijn afhankelijk van aantal controlematerialen en aantal controles uitgevoerd door het lab. NVML De Juiste Zet Amersfoort 23 maart 2010

Opsporen van toevallige fouten • Wat kan de oorzaak zijn van een toevallige fout: - Toestelgebonden: * luchtbellen in het staal of reactief * foutieve staalopname (pipeteervariatie) * temperatuurschommelingen * vervuilde meetcuvet * electrische schommelingen in detector

- Gebruikersgebonden: * foutieve bewaring van de controle en/of reactief * verkeerde voorbehandeling van het staal * niet gecalibreerde pipet * meetfout


30

Opsporen van systematische fouten • Wat kan de oorzaak zijn van een systematische fout: -

Toestelgebonden: * verkeerde temperatuurinstelling * problemen met de lamp * waterkwaliteit * vervuilde meetcel * foutieve calibratie

-

Gebruikersgebonden: * verkeerd oplossen reactief * foutief onderhoud van het toestel * wisselen lot reactief zonder calibratie * calibratie met foutieve waardes of materialen


Nog enkele begrippen • De meeste van deze statistische begrippen worden vooral toegepast op quantitatieve methodes, dus we denken vooral aan de chemie analyses. • Bij serologische analyses komen andere begrippen vaak voor zoals cut-off, sensitiviteit, specificiteit,…


31

• Maar eigenlijk hebben deze begrippen niets te maken met kwaliteitsbewaking, het zijn begrippen die eigenschappen van de methode of analyse beschrijven.


Cut-off • De cut-off is de waarde die gebruikt of berekend wordt om de qualitatieve grens van een methode aan te geven.


32

Specificiteit


Positief voorspellende waarde


33

Wat na de statistiek • Alle beproken statistische begrippen zijn identiek voor alle gebruikte analyses. • De verwerpingen of regelovertredingen zullen er ons dus op wijzen dat het meetproces ‘out of control’ is en dat het lab corrigerende akties zal moeten nemen.


Vraag 12 • Wat is geen correctieve aktie 1. herhaal de analyse van de controle 2. voer een calibratie uit 3. vervang de reagentia van de analyse 4. reining de meetcel 5. vervang de aspiratienaald van het toestel


34

• Maar de belangrijkste aktie… alle patiëntenresultaten die na de laatste correcte controle zijn bekomen moeten in twijfel gebracht worden en eventueel herhaald worden na de correctie van de ‘out of control’ staat.


Biologische variatie • Maar is het nu ook noodzakelijk om bij deze ‘out of control’ alle patiënten in twijfel te plaatsen? • Hiervoor kunnen we een beroep doen op de Biologische variatie


35

Wat is biologische variatie? • Dr Ricos en Dr Fraser publiceerden in 1999 een artikel over dit fenomeen. • Iedere persoon heeft voor elke parameter een eigen Within Subject variatie (CVi) en ook tussen alle verschillende personen bestaat een Between Subject variatie (CVg) • Deze variatie wordt gebruikt als referentie om onze biologische kwaliteit te definiëren. NVML De Juiste Zet Amersfoort 23 maart 2010


36

Within Subject variatie (CVi) • Als we bij een patient 4 willekeurige afnames doen en een analyse van de parameter uitvoeren bekomen we verschillenden waardes: Sodium Potassium Urea Creatinine Bilirubins

137 4.3 4.0 88 19

139 4.6 4.4 97 21

136 4.5 4.1 89 16

138 4.4 3.9 92 20

[135 -147 mmol/L] [3.5 - 5.0 mmol/L] [3.3 - 6.6 mmol/L] [64 - 120 µmol/L] [up to 17 µmol/L]


Within Subject variatie (CVi) • Ricos en Fraser voerden een uitvoerige studie uit en bekwamen zo een gemiddelde variatie per analyt. Dit wordt met CVi beschreven in de tabel van Ricos en Fraser.


37

Between Subject variatie (CVg) • Ricos en Fraser evalueerden ook de variatie tussen verschillende personen: sodium [mmol/L]. Individual 1 Individual 2 Individual 3 Individual 4

137 144 141 136

139 146 143 138

136 145 142 137

138 144 140 135


Between Subject variatie (CVg) • Ricos en Fraser voerden een uitvoerige studie uit en bekwamen zo een gemiddelde variatie per analyt. Dit wordt met CVg beschreven in de tabel van Ricos en Fraser.


38

Biologische variatie • Ricos en Fraser stelden drie verschillende principes voor, namelijk:

Imprecisie Bias Total Error


Biologische variatie • Maar ze stelden nu ook drie mogelijke kwaliteitscriteria voor:

Minimal Desirable Optimal


39

Imprecisie • Deze is gebaseerd op de CVi. • Een minimale imprecisie moet voldoen aan volgende formule: CV = 0.75 x CVi • Een desirable imprecisie moet voldoen aan volgende formule: CV = 0.50 x CVi • En een optimale imprecisie moet voldoen aan: CV = 0.25 x CVi NVML De Juiste Zet Amersfoort 23 maart 2010

Bias • Deze is gebaseerd op de CVi en de CVg. • Een minimale bias moet voldoen aan volgende formule: Bias = 0.375 (CVi²+CVg²) ½ • Een desirable bias moet voldoen aan de volgende formule: Bias = 0.250 (CVi²+CVg²) ½ • En een optimal bias moet voldoen aan de volgende formule: Bias = 0.125 (CVi²+CVg²) ½ NVML De Juiste Zet Amersfoort 23 maart 2010

40

Total Error • En uiteindelijk zullen beiden samen instaan voor de totale fout van de analyt of de TE. • Deze wordt berekend met de volgende formule: TE = bias + (z-score x imprecisie) Waar de z-score gelijk staat met de betrouwbaarheid of confidence interval. 68% staat gelijk met 1 (of 1SD of CV) 95% staat gelijk met 1,65 99% staat gelijk met 2,33 NVML De Juiste Zet Amersfoort 23 maart 2010

Vraag 13 Welke groep van analyten heeft een zeer strenge of dus kleine Totaalfout volgens Ricos en Fraser ? 1. 2. 3. 4. 5.

Enzymes Ionen Proteïnes Medicijnen Vitamines


41

Volledige tabel (Desirable)


• Uiteindelijk bekomen we nu individuele kwaliteitsvoorwaarden per analyt door Ricos en Fraser berekend. • Met deze voorwaarden kunnen we de kwaliteitsbewaking kunnen bijspringen.


42



43


• De ‘out of state’ moet gecorrigeerd worden, maar de patiëntenresulaten zijn betrouwbaar volgens Fraser en Ricos. • Hun variatie valt binnen de totaalfout. • Zo hebben we nu een individuele kwaliteitsbewaking per analyse die niet louter op de statistiek bewaking steunt. NVML De Juiste Zet Amersfoort 23 maart 2010

44

Voor meer informatie…


45

Kwaliteitsbewaking. Wat is kwaliteitsbewaking?

Recommend Documents