In een notendop Trending van microbiologische monitoringsgegevens Dr. Ir. Sander Rijnders, Improvendi BV/PharmSupport BV
• Trending van environmental monitoring data: een verwachting vanuit diverse regelgeving en richtlijnen • Kritiek op huidige alert en actielimieten • Een alternatief: USP 1116 • Weinig tot geen houvast hoe te trenden • Ideeën voor trending: Statistical Process control
In een eerdere versie gepresenteerd op het GMP congres voor de (ziekenhuis)apotheek, distributeurs en kleine (farma) bedrijven 2014 Vianen
EU GMP Annex 1 Manufacture of sterile medicinal product • Trending wordt niet genoemd • Limieten zijn aanbeveling en gemiddelde waarden • Zelf alert en actielimieten vaststellen
• Niet middelen, elke meetwaarde evalueren • Zowel korte als lange termijn trends bekijken • Verschillende doorsnedes van de data
FDA Guidance for Industry Sterile Drug Products Produced by Aseptic Processing (2004)
• Realistische kijk: beperkingen aan methoden • Nadruk op trends, meerdere die elkaar aanvullen
GMP‐Z3 Aseptische handelingen(ziekenhuisapotheken)
• Zelf alert‐ en actielimieten vaststellen, plaatsgebonden • Trending wordt genoemd en mogelijke trendkaart. In LNA procedures verder uitgewerkt
VCCN Richtlijn 7 Testen en classificeren van OK’s en opdekruimten in rust • Geen microbiologische testen/eisen tijdens validatie • Microbiologische monitoring tijdens gebruik wordt aangeraden • Geen standaard methoden voorgeschreven • Geen formele eisen maar verbeterinstrument • Monitoring i.c.m. observaties aanbevolen • VCCN Richtlijn 8 in ontwikkeling over dit onderwerp
Kritiek op huidige praktijk
Kritiek
“…current EM criteria in the aseptic core is completely arbitrary and contrary to good science. Making critical decisions on the state of control of a facility based on numbers well into the noise range of the assay is unwise” (Sutton)
“…current EM criteria in the aseptic core is completely arbitrary and contrary to good science. Making critical decisions on the state of control of a facility based on numbers well into the noise range of the assay is unwise” (Sutton)
“…colonies have a lower limit of quantification of approximately 25 colonies per plate. (…) EM alert and action levels in the 1‐10 CFU range are therefore of questionable accuracy” (Sutton)
“…colonies have a lower limit of quantification of approximately 25 colonies per plate. (…) EM alert and action levels in the 1‐10 CFU range are therefore of questionable accuracy” (Sutton)
“Microbiological monitoring of a clean room is technically a semi‐ quantitative exercise. (…) Treating differences that are within expected, and therefore, normal ranges as numerically different is not scientifically valid…” (USP 1116)
“Microbiological monitoring of a clean room is technically a semi‐ quantitative exercise. (…) Treating differences that are within expected, and therefore, normal ranges as numerically different is not scientifically valid…” (USP 1116)
Argumenten
Gebrek aan accuraatheid en precisie
• Recovery: in lab <50%, praktijk nog minder • Je telt alleen die cellen die onder de testcondities een kolonie kunnen vormen • Je telt cellen die goed gescheiden zijn op de plaat: één kolonie kan groeien uit 1 cel of uit duizenden cellen • Je telt alleen cellen die onbeschadigd zijn gebleven bij monstername (m.n. active air, contactafdrukken) • Omstandigheden van monstername, groeimedia en incubatie variëren
• Mogelijkheid van vals positieven • Verschillende sampling devices: gemeten aantal kan factor 10 verschillen • Limit of quantification vanaf 25‐ 30 KVE (Sutton) • Veel nulwaarden: aanname van statistisch normale verdeling klopt niet • Hoe lager de KVE waarde, des te minder betrouwbaar • Bij lage KVE waarden zeer groot aantal monsters nodig om verschillen aan te tonen
USP 1116 Microbiological control and monitoring of aseptic processing environments
Aanbevolen actieniveaus USP 1116
• Belangrijke verandering in het denken naar meer kwalitatieve trending • Contamination recovery rate: frequentie waarmee contaminatie aangetroffen wordt (plaat bevat KVE of niet) • Analyseer veranderingen in de contaminatiegraad om te detecteren of er een aanwijzing is voor veranderingen in de ‘state of control’ • In het midden gelaten hoe en over hoeveel metingen gemiddelde te bepalen (jammer!) • Onderzoek significante excursies >15 KVE in klasse A
Trending: pragmatische benadering
Control charts (Shewhart charts)
Enkele ‘rules of thumb’ die gebruikt worden: • Meerdere samples met hetzelfde organisme op diverse lokaties op dezelfde dag of gedurende meerdere dagen • Alert of action level overschrijdingen bij hermonstername • Drie of meer action level overschrijdingen voor een test type op dezelfde dag • Drie of meer action level overschrijdingen in een ruimte op verschillende dagen, ongeacht meetlokatie
• Afkomstig uit SPC (Statistical Process Control) • Wijdverbreide toepassing in industrie om kwaliteit en performance te monitoren • Gericht op vaststellen van limieten op basis van historische procesgegevens • Onderzoekt of proces statistisch ‘onder controle’ is • Limieten zijn alleen betrouwbaar als het proces onder controle is • Bevat al allerlei testen om trends te ontdekken • Nog weinig tot geen toepassing in microbiologische monitoring en trending. FDA Food heeft onderzoeksrapport over SPC in microbiologische monitoring. • Ook toegepast en nuttig in monitoren van bijv. medicatiefouten
• Charts voor variable data (meetgegevens, bijv. aantal KVE) • Charts voor attribute data (tellingen, bijv. plaat gecontamineerd ja/nee) • Time‐weighted charts (zowel voor variable als attribute data) – Moving Average – CUSUM – EWMA
• Rare event charts (attribute data)
Run chart sedimentatie klasse D Run Chart of sed D 35 30 25
sed D
Diverse beschikbare control charts
20 15 10 5 0
Veel verschillende control charts voor verschillende gegevens Je moet weten/analyseren welke statistische verdeling jouw dataset heeft, anders trek je mogelijk foute conclusies
1
5
10
15
20
25
30
35
Observation Number of runs about median: Expected number of runs: Longest run about median: Approx P-Value for Clustering: Approx P-Value for Mixtures:
24 27,0 9 0,192 0,808
Number of runs up or down: 37 Expected number of runs: 37,7 Longest run up or down: 3 Approx P-Value for Trends: 0,416 Approx P-Value for Oscillation: 0,584
40
45
50
55
Bij P waarden < 0.05 is er sprake van ‘special cause variation’. In dit geval dus niet, ook al denk je visueel misschien wel een patroon te zien
I-MR Chart of sed D
8&/
TEST 1. One point more than 3,00 standard deviations from center line. Test Failed at points: 11; 13; 14; 17
B ;
TEST 2. 9 points in a row on same side of center line. Test Failed at points: 39
30
20
10
0
1
7
13
19
25
31
37
/%
43
49
55
Observation
24
0,14
8&/
0,12 0,10
Data zijn gefingeerd
0,08 0,06
B 3
0,04
8&/
18 12
BB 0 5
6 0
/% 1
7
13
19
25
31
37
43
49
TEST 6. 4 out of 5 points more than 1 standard deviation from center line (on one side of CL). Test Failed at points: 17; 46
55
0,02 0,00
/&/ 1
2
3
4
5
6
7
8
Sample Tests performed with unequal sample sizes
Observation
Moving Average chart sedimentatie klasse D
EWMA chart van sedimentatie klasse D EWMA Chart of sed D
Moving Average Chart of sed D
20
30
15
Moving Average
20
8&/ B B ;
10
Alarm bij meting 17 I‐MR gaf alarm bij meting 11
8&/
10
B B ;
Signaal bij meting 13, Sneller dan MA chart
/&/ 0
5 /&/
-10 1
7
13
19
25
31
37
43
49
1
55
7
50
25
8&/
0
-25
/&/
-50 13
19
25
31
Sample
37
25
31
37
43
49
55
• G chart
CUSUM Chart of sed D 75
7
19
Rare event charts
CUSUM chart sedimentatie klasse D
1
13
Sample
Sample
Cumulative Sum
Moving Range
TEST 5. 2 out of 3 points more than 2 standard deviations from center line (on one side of CL). Test Failed at points: 13; 14; 16; 17
P Chart of contaminated plates 0,16
EWMA
Individual Value
P chart van contamination recovery rate
Proportion
I‐MR chart sedimentatie klasse D
43
49
55
Signaal bij 13e resultaat Zelfde als EWMA Reageert ‘heftiger’ Detecteert ook een kleinere dalende trend.
– Om gebeurtenissen te monitoren die niet vaak voorkomen – Aantal dagen of aantal mogelijkheden tussen twee ‘events’ meten i.p.v. proportie gebeurtenissen – Is beter in tijdig detecteren van veranderingen in ‘event rates’ dan bijv. P chart
• Goed toepasbaar in monitoring klasse A: event is het vinden van een waarde meer dan 0 KVE (een ‘contaminatie’) • Alternatief voor de contamination recovery rate • Vereist wel berekening van aantal monsters tussen twee contaminaties. Datums van contaminated plates kan ook.
G chart van handschoenafdrukken G Chart of Hand contaminated Event Probability = 0,039
180 8&/
Number Between Events
160 140 120
Als contaminatie weinig voorkomt dan heb je weinig datapunten
Trending met control charts • Control charts verschillen in de gevoeligheid en snelheid waarmee ze veranderingen detecteren • Control charts bieden interessante mogelijkheden voor trending van microbiologische data. EWMA en CUSUM zijn interessant voor snelle detectie. • Valkuil: statistische assumpties moeten kloppen, anders kun je verkeerde conclusies trekken. – Type I fout: concluderen dat proces ‘out of control’ is terwijl het ‘in control’ is – Type II fout: concluderen dat proces ‘in control’ is terwijl het ‘out of control is’
100 80 60 40 20
&/
0
/&/ 1
2
3
4
5
Observation
6
7
8
9
• Run chart en I‐MR chart zijn het ‘veiligst’ wat dat betreft. • Verdere ontwikkeling voor toepassing microbiologische monitoring is nodig • Trending is een wetenschap en goede trending vereist gedegen statistische kennis
