Verificatie van analysemethodes (et al.)

Validatie/Verificatie van analysemethodes (et al.) Toetsing aan (de nieuwe versie van) de norm ISO-15189 Peter Declercq, 24-1-2013

ISO-15189: 3de editie van de norm is verschenen op 1-11-2012 Wat zijn de belangrijkste wijzigingen ? • Meer logische en overzichtelijke opbouw • Uitgebreid: van 25 naar 37 blz (zonder bijlagen) • Concretisering via veelvuldige opmerkingen en voorbeelden • § 4.1.1.3 : « Ethical conduct » • § 4.1.1.4 : « Contingency plan » • § 4.2.1 : nadruk op proces-matige aanpak P. Declercq, 24/1/2013

ISO-15189: 3de editie • § 4.14 (« Internal audits » in versie 2) is nu getiteld « Evaluation and audits » : EXTRA ELEMENTEN, zoals « user feedback », « staff suggestions », « risk management » en « quality indicators » • § 4.5 « Examination by referral laboratories » : resultaten moeten worden « gemerkt » op het rapport • § 5.1 « Personnel »: meer aandacht voor opleiding en « competence (re)assessment » P. Declercq, 24/1/2013

ISO-15189: 3de editie • § 5.2 « Accommodation and environmental conditions »: meer aandacht voor veiligheid en comfort van de medewerkers • § 5.3 (« Laboratory equipment » in versie 2) is nu getiteld « Laboratory equipment, reagents, and consumables » • § 5.3.1.2 « Equipment acceptance testing » : zie verder • § 5.3.1.4 « Equipment calibration and metrological traceability » • § 5.3.1.6 « Equipment adverse incident reporting » P. Declercq, 24/1/2013

ISO-15189: 3de editie • § 5.3.2 « Reagents and consumables » met o.a. « acceptance testing », « adverse incident reporting » en « records » • § 5.4 « Pre-examination processes » vereist meer uitgebreide instructies dan versie 2 • § 5.5 « Examination processes » maakt een onderscheid tussen « validation » and « verification » : zie verder • § 5.5.1.4 « Measurement uncertainty » was niet verplicht in de vorige versie, nu dus wel… P. Declercq, 24/1/2013

ISO-15189: 3de editie • § 5.6 « Assuring quality of examination results » is beter uitgeschreven • § 5.9 « Release of results » : nieuwe paragraaf, met expliciete aandacht voor « Automated selection and reporting of results » (§ 5.9.2) • § 5.10 « Laboratory information management » was een annex in versie 2, en behelst o.a. validatie en verificatie van informatica, inclusief data transfer naar externe systemen P. Declercq, 24/1/2013

2

Validatie…?

HEEFT GEEN BETREKKING op « review » (confirmatie, autorisatie) van individuele resultaten BETREFT procedures, methodes, systemen, toestellen, bepalingen,…

P. Declercq, 24/1/2013

Wat zegt ISO-15189 (versie 3) over validatie ? • § 3 « Terms and definitions » § 3.26 Validation = confirmation, through the provision of objective evidence, that the requirements for a specific intended use or application have been fulfilled

§ 3.27 Verification = confirmation, through the provision of objective evidence, that specified requirements have been fulfilled


ISO-15189 (versie 3) en validatie • § 5.3.1.2 « Equipment acceptance testing » « The laboratory shall verify upon installation and before use that the equipment is capable of achieving the necessary performance and that it complies with requirements relevant to any examinations concerned (see also 5.5.1). » Installation Qualification, Operational Qualification, Performance Qualification P. Declercq, 24/1/2013

ISO-15189 (versie 3) en validatie • § 5.5.1 « Selection, verification and validation of examination procedures » « The laboratory shall select examination procedures which have been validated for their intended use…» (§ 5.5.1.1) « Validated examination procedures used without modification shall be subject to independent verification by the laboratory before being introduced into routine use… » (§ 5.5.1.2)

Het laboratorium moet elke methode verifiëren vóór gebruik, maar moet niet elke methode valideren. P. Declercq, 24/1/2013

ISO-15189 (versie 3) en validatie § 5.5.1.3 « The laboratory shall validate examination procedures derived from the following sources: a) Non-standard methods ; b) Laboratory designed or developed methods ; c) Standard methods used outside their intended scope ; d) Validated methods subsequently modified. …» Een « echte » validatie is in het klinisch laboratorium niet nodig, voor zover een extern gevalideerde methode onveranderd wordt gebruikt. P. Declercq, 24/1/2013

ISO-15189 (versie 3) en validatie § 5.5.1.4 « The laboratory shall determine measurement uncertainty for each measurement procedure in the examination phase used to report measured quantity values on patients’ samples. The laboratory shall define the performance requirements for the measurement uncertainty…» De meetonzekerheid moet worden afgeleid uit de actuele reproduceerbaarheid. De meerwaarde van de meetonzekerheid is beperkt. P. Declercq, 24/1/2013

ISO-15189 (versie 3) en validatie § 5.9.2 « …The criteria [for automated selection and reporting of results] are validated for proper functioning before use and verified after changes to the system that might affect their functioning ; …»


ISO-15189 (versie 3) en validatie § 5.10.3 « The system used for the collection, processing, recording, reporting, storage or retrieval of examination data and information shall be: a) validated by the supplier and verified for functioning by the laboratory before introduction, with any changes to the system authorized, documented and verified before implementation …» De validatie van de informatica is wellicht de grootste uitdaging van de nieuwe versie van ISO-15189. P. Declercq, 24/1/2013

Wat staat NIET in ISO-15189 ? •

Hoe moet « Equipment acceptance testing » worden uitgevoerd ?

•

Hoe moet een informatica toepassing worden (gevalideerd en) geverifieerd ?

•

Welke performantie-karakteristieken van een (gevalideerde) analysemethode moeten worden onderworpen aan verificatie ?

•

Hoe moet een verificatie van een analysemethode worden uitgevoerd ?

•

Welke criteria moeten worden gehanteerd voor de toetsing van de resultaten van de verificatie ?


Equipment acceptance testing • •

• •

•

Moet minstens ten dele gebeuren door de fabrikant/leverancier, doch onder toezicht van het laboratorium. De methodes en criteria kunnen best in het aankoopcontract worden vastgelegd !! Installation qualification: o.a. CE label, beschikbaarheid van handleidingen, elektrische veiligheid, software versies en compatibiliteit, installatie conform fabrikant Operational qualification: toestel « uitdagen », bv. wat gebeurt er bij een clot, vervallen reagens, onvoldoende reagens, leeg staal, slecht leesbare barcodes, risico op carry over, extreme LHI indices, paswoord functionaliteit, etc. Performance qualification = validatie/verificatie


Validatie en verificatie van software • Excel toepassingen (zelf ontwikkeld):    

Formules uitschrijven Manueel narekenen Formules beveiligen en rekenblad afsluiten ! Limieten zetten op data input (« gegevensvalidatie »)

• Commerciële software    

Informeer bij de fabrikant wat zijn validatie-policy is Is de fabrikant ISO-9001 gecertifieerd ? Verifieer output bij meerdere « challenging » inputs Korte validatie voor elke eigen aanpassing


3

Verificatie van analysemethodes •

Wanneer moet het laboratorium een analysemethode verifiëren ? Vooraleer een gevalideerde methode (ongewijzigd) in routine te nemen.

•

Welke performantiekarakteristieken verifiëren, en aan de hand van welke criteria ? Onbepaald in de ISO-norm (« …those [performance claims] relevant to the intended use… »)

•

Continue opvolging/update van de performantie in routine


Verificatie (kwantitatieve test) Wat en hoe? • Repeteerbaarheid (within run, within day) • Reproduceerbaarheid (intermediate precision)

• Juistheid (bias) • Correlatie met vorige methode

• Verificatie van referentiewaarden


Verificatie (kwantitatieve test) Criteria ? • Repeteerbaarheid (within run, within day) Fabrikant, of « beter dan reproduceerbaarheid »

• Reproduceerbaarheid (intermediate precision) Ricos, fabrikant , state of the art , intnl. guidelines • Juistheid (bias) Ricos, eQC criteria, intnl. guidelines • Correlatie met vorige methode Eventueel criterium afhankelijk van de bedoeling.

• Verificatie van referentiewaarden (19/20 « juist ») P. Declercq, 24/1/2013

Verificatie (kwalitatieve test) • Diagnostische accuraatheid: vergelijking van het resultaat met, indien mogelijk, een « gouden standaard ». • Maak een onderscheid tussen « aanvaardbare afwijking » en « onaanvaardbare afwijking » (niet-binaire resultaten)


Verificatie (semikwantitatieve test) • Als het aantal categorieën heel groot is (bv. aantal baseparen van een PCR product) kan de benadering worden gebruikt van een kwantitatieve test. • Als het aantal categorieën klein is, dient de aanpak van een kwalitatieve test te worden gebruikt.


Opbouw van een verificatiedossier •

Onderwerp en aanleiding

•

Welke performantiekarakteristieken zullen worden geverifieerd, aan de hand van welke criteria

•

Hoe zal de verificatie worden uitgevoerd

Vanaf versie 2: •

Resultaten en bespreking

•

Besluit en timing van implementatie

Vanaf versie 3: •

Continue opvolging/update van de performantie in routine (robuustheid)


ISO-15189 en validatie Enkele nuttige referenties • • • •

IQ/OQ/PQ : BCSH Guidelines for validation For. Sci. Int. (2007) Vol. 165: 216-224 Eur. J. Hum. Genet. (2010) Vol. 18: 1276-1288 National Physical Laboratory (www.npl.co.uk): – NPL report DEM-ES 014 (Validation of software for measurement systems) – Software support for metrology, Best Practice Guide No. 9: Selection and use of LIMS (2001)


ISO-15189 en validatie/verificatie

Vragen ? P. Declercq, 24/1/2013

Verificatie van analysemethodes (et al.)

Recommend Documents