The Final Program
Sigma metrics wordt de norm De praktijk is de vorm
1
Wat vooraf ging
2
De ontwikkelingen binnen de klinische chemie
3
De basis van het model
4
De toepassingsgebieden (en beperkingen)
5
Wat nu speelt
Controle van het industriële proces werd geïntroduceerd in de jaren 30 door Walter A. Shewart (18-3-1891 11-03-1967) Statisticus bij Bell Laboratories. Shewhart WA. Economic Control of Quality of Manufactured Product. New York: D Van Nostrand Company, 1931
Op steekproef gebaseerd Statistische Kwaliteitscontrole (SQC): Gemiddelde Spreiding
W. Edwards Deming (14-10-1900 20-12-1993) doceerde SQC Deming WE. Quality, Productivity, and Competitive Position. Boston: MIT Center for Advanced Engineering Study, 1982
“When people and organizations focus primarily on quality as defined by Quality = (Results of work efforts)/(Total costs), quality tends to increase and costs fall over time” “When people and organizations focus primarily on costs, costs tend to rise and quality decline over time” Plan-Do-Check-Act
De 1ste generatie QC S. Levey en E.R. Jennings introduceerden het gebruik van de controle kaart in het medische laboratorium (1950) Levey S, Jennings ER. The use of control charts in the clinical laboratory. J Clin Pathol 1950;20:1059-66
Effectiviteit van het proces Verbeteren van de productiviteit Continue bewaken van de variatie Voorkomen van onnodige correctie Voorziet in proces informatie Metingen in tweevoud Handmatige procedures Spreiding tussen personen
De 1ste generatie QC Henry RJ, Segalove M. The running of standards in clinical chemistry and the use of the control chart. J Clin Pathol 1952;27:493-501
Aanbevelingen: Gebruik van een gepoold materiaal met stabiliteit over langere periode Enkelvoudige metingen (“single value” QC) Gebruik van 2 sd limieten
De 2de generatie QC De komst van de automatisering betekende de ontwikkeling van autoanalyzers (vanaf 1960) Consolidatie van analytische processen (SMA serie van Technicon) Het gebruik van de 2 SD limieten gaf teveel afkeuringen (Pfr) bij twee controle niveaus Gebruik van de Westgard regels Waarschuwingsregels Overtredingsregels
De 2de generatie QC De QC gebaseerd op de Westgard Multiregel werd toegepast op geautomatiseerde analyzers. In de praktijk werd een enkele set van regels toegepast op elke analytische procedure in aansluiting met de uniforme toepassing van limieten in de Levey-Jennings grafieken. De economische overwegingen welke regels werden toegepast waren op de achtergrond geraakt Kans op onterecht afkeuren (Pfr) Kans op foutdetectie (Ped)
3de generatie QC Analytische systemen werden sterk verbeterd in de tachtiger jaren. Met de komst van de DuPont ACA systemen werd de stabiliteit sterk verbeterd. Frequentie van controle metingen werd lager Verschillende QC procedures Begin van het ontwerpen van QC per analytische procedure .
4de generatie QC (Total Quality Management) Deming and Juran ; Inbreng van management verantwoordelijkheden en commitment. Kwaliteit: “totality of features and characteristics of a product or service that bear on its ability to satisfy given needs”], “fitness for use” [Juran], “conformance to requirements” [Crosby], “satisfying the needs of customers” [Deming]. Kwaliteit op basis van verwachting en behoefte van de klant Nadruk in het begin: Methode validatie / prestaties Bewaking van de prestaties Prestaties van de analytische procedures moeten aan eisen voldoen in relatie tot het toepassingsgebied in de vorm van een maximale tolerantie (allowable Total Error; TEa)
4de generatie QC (Total Quality Management) Westgard JO, Barry PL. Cost-Effective Quality Control: Managing the quality and productivity of analytical processes. Washington DC:AACC Press, 1986
Ontwerp van IQC voor de verschillende analytische procedures op een analyzer in termen van aantal QC metingen, aantal levels, bewakingsregels, minimale kans op onterecht afkeuren van controle resultaten IQC procedures op basis van het toepassingsgebied, methode afhankelijke precisie en bias
De 5de generatie QC (Six Sigma) Toegepast eind jaren negentig in de medische laboratoria Gebaseerd op het definiëren van tolerantie limieten Uniforme beschrijving van de kwaliteit in termen van aantal defecten (DPM) en Sigma metrics Westgard JO. Six Sigma Quality Design & Control: Desirable precision and requisite QC for laboratory measurement processes. Madison WI:Westgard QC, 2001. CLSI C24A3. Statistical Quality Control for Quantitative Measurements, 3rd ed. Clinical Laboratory Standards Institute, Wayne PA, 2006
Hulpmiddelen Start-up procedure met hoge Ped Monitor functie met lage Pfr Patient gemiddelden Gebruik van OpSpec Chart
Over kwaliteitsdoelen wordt al meer dan 40 jaar gesproken en gepubliceerd.
• • • • • •
Tonks (1963), Barnett (1969), Cotlove (1970) 1976 - Aspen Conference on Analytical Goals 1980 - Nordkem Project on Quality Requirements 1990 - 3rd Nordkem Project on Quality Specifications 1992 - CLIA criteria for acceptable PT performance 1999 - Stockholm Conference on Strategies to Set Global Quality Specifications
1999 Stockholm Conference Global Analytical Quality Specifications De hierarchie in de specificaties van de gewenste analytische kwaliteit (Analytical Quality Specifications)
–prioritering conform Stockholm conferentie
• • • • • •
Wet- en regelgeving Specifieke klinische toepassing Biologische variatie Gepubliceerde aanbevelingen experts Uitkomsten ringonderzoek State of the art gegevens
Rilibäk, CLIA ADA Ricos NCEP, NACB EQAS, CLIA
Criteria acceptabele performance 1 De totale analytische variatie 2 De binnendag spreiding 3 De totale analytische variatie 4 De bias 5 De aanvaardbare analytische fout
Beschrijving van de performance (stabiliteit) van een proces op product niveau Sigma waarde
1,00 1,65 2,00 2,50 3,00 3,50 4,00 4,50 5,00 5,50 6,00
Aantal fouten per miljoen absoluut
percentage
317400 98400 45400 12419 2700 465 63 6,8 0,57 0,038 0,002
31,7 9,8 4,5 1,2 0,3 0,0465 0,0063 0,00068 0,000057 0,0000038 0,0000002
Weergave van een 6-Sigma proces
Tolerantie (TEa = 1,65 VCa + biasa)
1,65 VCa
biasa
Kans op onterecht afkeuren
bias
Foutdetectie Kans op terechte fouten
foutdetectie
4,35 sd
Sigma score 1.65
2.65
3.65
4.65
5.65
6.65
7.65
1 0,9
Kans foutdetectie
0,8 0,7 0,6
13s 13s 13s/22s/R4s 13s/22s/R4s/41s 13s/22s/R4s/31s/6x
0,5 0,4 0,3
N
R
1 2 2 4 6
1 1 1 1 1
0,2 0,1 0 0
1
2
3
4
5
∆SEcrit = Sigma score – 1,65 in sd-eenheden
6
De OPSpecs chart : de Operational Specification Chart 20
Sigma Score = (TEa – Bias) / VCa
18
Sigma Score * VCa = TEa - Bias
16
Bias (y) = - Sigma Score (m) * VCa (x) + TEa (a)
14
Y = m* X + a
Bias (%)
12 10 8 6
10-Sigma
4
5-Sigma
2
4-Sigma
0 0
1
2
3
4
5
6
VC (%)
Internal and External SQC Interne kwaliteitscontrole (IQC). Omvat alle handelingen (SQC hulpmiddelen) welke elke dag worden uitgevoerd door analytisch personeel op de analytische systemen en de gebruikte middelen Hoofdzakelijk gericht op de precisie van de analytische procedure(s).
Externe kwaliteitscontrole (EQC). Omvat alle handelingen (SQC hulpmiddelen) welke periodiek (iedere maand, tweemaandelijks,..) worden uitgevoerd door analytisch personeel in samenwerking met een derde partij (referentielaboratorium, wetenschappelijke vereniging, organisator van EQAS) Hoofdzakelijk gericht op de juistheid van de analytische procedure(s) eventueel in combinatie met de IQC gegevens (precisie)
Sigma metrics als Evaluatie van analysesystemen Schifting in potentiele prestaties van de analytische procedures Sigma < 3 ; 3-6 ; >6 Voorkomen van onnodig veel vergelijk Ontwerp van IQC Schifting in prestaties en ontwerp op basis lage Pfr en hoge Ped Sigma < 3 ; 3-4 ; 4-6 ; >6 Gericht op de interen fout van het analytische proces Beoordeling EQC (score systeem) Gericht op de juistheid (calibratiestatus en herleiding) herkenning van bias en imprecisie Sigma <2 ; 2 – 4,5 ; > 4,5
Beschrijving van de tolerantie in het antwoord CVa < 0.5 * CVw
B(%) < 0.25 * (CVw2 + CVg2)0.5 TEa = 1.65 CVa + B
Testcode
CVw
CVg
I(%)
B(%)
TE(%)
Trig
20,9
37,2
10,5
10,7
27,9
AF
6,4
24,8
3,2
6,4
11,7
Lipase
23,1
33,1
11,6
10,1
29,1
Beschrijving van de performance van het proces
Sigma score = (TEa – bias)/VC Voor de bias wordt altijd de absolute waarde genomen! ∆SEcrit = Sigma score – 1,65 ∆SEcrit = [(TEa – bias)/VC] – 1,65 Cpk = (Tolerance specification - bias)/3SD ∆REcrit = [(TEa – bias)/1.96 VC
Interpretatie van de Sigma-score voor analytisch proces
Sigma score
>6 4–6 <4 en >3 <3
Interpretatie
“wereldklasse” ; 1 controleregel Geschikt voor beoogde doel Geschikt voor beoogde doel ; Meer controleregels/ frequenter Probleem test (max QC analytisch)
Evalueren van analysesysteem
Zoek de TEa op
Opgegeven referentie interval
Zoek Impr op
Bepaal Imprecisie
Stel Bias = 0
Stel Bias = 0 Controle regels frequentie Bereken Sigma
Bereken Sigma Westgard advisor Kwaliteitsdoel
>6
4-6
Bepaal bias
3-4
Kwaliteitsdoelen
<3
EP9
regr
Bereken Sigma
Referent
“Peer”-groep
Het evaluatie plan: Gegevens verzamelen: Per analytische procedure : VCinterne QC; VCleverancier Biologische spreiding : VCwithin en VCbetween Bereken op basis van TEa en VCleverancier de Sigma score (2-levels) Deel in op basis van Sigma-score EP15 procedure alleen in het geval dat Sigma score <3 Alle analytische procedures methode vergelijk (4 pools in 5-voud) Stel kwaliteitsdoelen vast Ontwerp IQC procedures met behulp van Westgard advisor
MUSE Multi Sample Evaluation SKML Scoresysteem
De SKML kwantitatieve rondzendingen zijn gebaseerd op:
• commuteerbare monsters die het klinisch relevante concentratiegebied bestrijken en toegekende waarden hebben gebaseerd op referentiemethodes
• een scoresysteem met tolerantie gebieden gebaseerd op het biologische variatie concept
• Het Kalibratie 2000 project is onverminderd van belang voor het bereiken van deze kwaliteit
Tolerantiegebieden Scores toegekend op basis van het Total Error allowable (TEa) tolerantiegebied en het State of the Art (SA) tolerantiegebied (gebied waarbinnen 90% van de deelnemersresultaten lagen in een gefixeerde periode van drie jaar).
Het tolerantiegebied is een functie van de concentratie en wordt geëxtrapoleerd van het concentratieniveau waarop de biologische variatie is vastgesteld (gezonde populatie) naar andere (pathologische) concentratieniveaus via het analytische precisieprofiel.
MUSE Scoresysteem voor kwantitatieve bepalingen Performance score en Six Sigma TE-sigma= abs(X – TEaL) / SDbl X TEaL SDbl
= gemeten waarde voor het betreffende monster, = dichtstbij zijnde tolerantielimiet = binnen-laboratorium SD (op het concentratieniveau van de doelwaarde berekend op basis van het binnen-laboratorium precisieprofiel)
De minimum waarde voor TE-sigma is -3 en de maximum waarde is 6. SAL = dichtstbij zijnde tolerantielimiet. SA-sigma=
MUSE Scoresysteem voor kwantitatieve bepalingen Performance score en Six Sigma
C = is een correctiefactor ter grootte van 2/√2π
De sectie stelt per bepaling vast of TE-sigma of SA-sigma wordt gebruikt.
De Performance scores zijn standaard: score 2 bij TE-sigma > = 4.5 score 1 bij TE-sigma > = 2 en < 4.5 score 0 bij TE-sigma < 2
Minimale Acceptabele Performance (Prestatie) (MAP) Als prestatienorm wordt de MAP gebruikt. De MAP wordt berekend per ronde over alle bepalingen van een meetomgeving (cluster), waarbij geldt dat voor kwantitatieve bepalingen de gemiddelde minimale Performance score 1.0 moet zijn, overeenkomend met een TE-sigma tussen 2 en 4.5. De MAP is dus standaard: MAP = aantal bepalingen in meetomgeving * P-score [1] De Cumulatieve MAP wordt berekend door de MAP’s over het tijdsvenster van de rondzending te sommeren voor de betreffende meetomgeving (cluster).
Goed analytische procedures
Slope
Matige tot slechte analytische procedures
The Final Program
Sigma metrics wordt de norm De praktijk is de vorm
