Laboratóriumi jártassági vizsgálatok jelentősége, szervezése
Készítette: Szegény Zsigmond Jártassági Vizsgálati Osztály, osztályvezető 2013.10.01.
A körvizsgálatok típusai • Módszertani körvizsgálat (egy-egy módszer teljesítmény jellemzőit határozzuk meg úgy, hogy mindenki azonos módszerrel mér) • Jártassági körvizsgálat (a résztvevők vizsgáló teljesítményjellemzőit határozzák meg úgy, a résztvevők a saját rutin módszereikkel mérnek)
MSZ EN ISO/IEC 17025:2005 szabvány • 5.9. A vizsgálati eredmények minőségének biztosítása : – tanúsított anyagminták vagy másodlagos anyagmintákat használata; – részvétel laboratóriumok közötti összehasonlításban vagy jártasságvizsgáló programokban; – megismételt vizsgálatok – egy minta különböző jellemzőire kapott eredmények közötti korreláció vizsgálata.
NAT állásfoglalás a PT/ILC-vel kapcsolatban (NAR-03-5k)
• A NAT nem szervez PT/ILC-t • A laboratóriumoknak részt kell vennie, ha az elérhető • Legyen eljárásrend
– a részvételre (terv) – ellenőrizzék hogy azt, az MSZ EN ISO/IEC 17043: 2010 szabvánnyal összhangban szervezték-e – megfelelő javító és megelőző tevékenység
• Javasolt minimum 4 éven belül egyszer az akkreditált terület minden egyes részterületén ( jogszabályi követelmény ettől eltérhet) • Ha nem érhető el, a jártasságot egyéb alkalmas módon (tanúsított referencia anyag használata, ismételt vizsgálat stb.) kell bizonyítani (lásd MSZ EN ISO/IEC 17025:2005 5.9. szakasz) • A NAT-ot írásban kell értesítése eredményekről (Akkreditálási ill. bővítési kérelem)
Bizalomerősítő intézkedések
Jártassági vizsgálat
Referencia anyagok
Jó módszer (Szabv. ,validált)
Megfelelő műszaki feltétel
Szakértelem és jó kommunikáció
Minőségirányítás a vizsgálólaboratóriumban
Mérési adat minősége
Laboratóriumi folyamat Megrendelés, szerződés kötés az ügyféllel (vevővel) Analízis
Eredmény kiszámítás
Mintafogadás, adminisztráció, címkézés
Mintaátvétel
Minta előkészítés
Mintatárolás
Eredmény küldése az ügyfélnek (vevőnek)
: Vak minta : Jártassági vizsgálat mintája
: Referencia anyag , tanúsított anyagminta
Jártassági vizsgálatok a vizsgáló laboratóriumok oldaláról (1): • Cél: – A laboratórium megfelelő vizsgálati teljesítményének igazolása az ügyfelek, az akkreditáló szervek, szabályozó hatóságok és önmaga részére – A vizsgálati vagy mérési eljárások hatékonyságának megállapítása, igazolása
START
Jártassági vizsgálat a vizsgáló laboratóriumok oldaláról (2):
Igény a jártassági, vizsgálatra Tájékoztatók átnézése Pénzügyi és szakmai feltételek adottak? I Jelentkezés JV-ra
Folyamatábra:
N
Minta fogadás, a kísérő dokumentumok átnézése, labor adminisztráció, minta tárolás Minta előkészítés: -
Vak QC ( LRM, CRM, sd. add.) JV minták ….egyéb minták QC minta (Választás)
Mérés:
- Mérőgörbe felvétele és annak ellenőrzése - Vak minta - QC minta - JV minták - ….egyéb minták - Mérőgörbe visszaellenőrzése - QC minta
Nyers eredmények rendben vannak?
N
I Eredmények értékelése: -
Előző JV kritikus paramétereinek kigyűjtése Vakkivonás QC minták visszanyerésének számítása (0,85…1,15) Eredmények korrekciója a visszanyerésekkel Szakmai szempontok szerinti realitás vizsgálat
Végeredmény számoláskor minden rendben?
N
I Mérési eredmények rögzítése az eredményközlő lapra, kifogások jelzése Értékelés kézhezvétele, kifogások jelzése ha szükséges hibajavító és/vagy megelőző tevékenység indítása STOP
Jártassági vizsgálatok a vizsgáló laboratóriumok oldaláról (3): Folyamatábra első része: START
Problémás elemek: • Mintafogadás nem megfelelő (nincs adminisztrálva) • Tárolás nem megfelelő
Igény a jártassági, vizsgálatra Tájékoztatók átnézése Pénzügyi és szakmai feltételek adottak? I Jelentkezés JV-ra
N
Minta fogadás, a kísérő dokumentumok átnézése, labor adminisztráció, minta tárolás
Minta előkészítés:
Jártassági vizsgálat a vizsgáló laboratóriumok oldaláról (4): Folyamatábra második része: Problémás elemek: • vak minta és vak kivonás (gyakran) nincs • QC minta nincs, vagy nem keretes szerkezetű • Visszanyerés számítás és korrekció a visszanyeréssel nincs • Előző JV kritikus paramétereire nincs visszatekintés
-
Vak QC 1 ( LRM, CRM, sd. add.) JV minták ….egyéb minták QC 2 minta (Választás)
Mérés: - Mérőgörbe felvétele és annak ellenőrzése - Vak minta - QC 1 minta - JV minták - ….egyéb minták - Mérőgörbe visszaellenőrzése - QC 2 minta
Nyers eredmények rendben vannak?
N
I Eredmények értékelése: -
Előző JV kritikus paramétereinek kigyűjtése Vakkivonás QC minták visszanyerésének számítása (0,85…1,15) Eredmények korrekciója a visszanyerésekkel Szakmai szempontok szerinti realitás vizsgálat
Végeredmény számoláskor minden rendben?
I
N
Jártassági vizsgálat a vizsgáló laboratóriumok oldaláról (5): Folyamatábra harmadik része: Problémás elemek: • Nem megfelelő mértékegység • Szintetikus mintáknál nem az útmutatónak megfelelő hígításból adják az eredményeket
I Mérési eredmények rögzítése az eredményközlő lapra, kifogások jelzése Értékelés kézhezvétele, kifogások jelzése ha szükséges hibajavító és/vagy megelőző tevékenység indítása STOP
Jártassági vizsgálat a szervezők, értékelők oldaláról (1)
Cél: A vizsgálóteljesítmények független becslése objektív módszerekkel A laboratóriumokban levő problémák megállapítása A résztvevők képzése az összehasonlítás során nyert tapasztalatokkal
Jártassági vizsgálat a szervezők, értékelők oldaláról (2) Folyamatábra:
Jártassági vizsgálat a szervezők, értékelők oldaláról (3) Folyamatábra I. rész:
Jártassági vizsgálat a szervezők, értékelők oldaláról (4) Folyamatábra II. rész:
Jártassági vizsgálat a szervezők, értékelők oldaláról (5) A folyamat legfontosabb elemei (1):
Jártassági vizsgálat a szervezők, értékelők oldaláról (6) Az átfogó terv elkészítése - a JV legfontosabb megelőző tevékenysége (1) Cél: Minden várható eshetőségre felkészülni (felelősökkel, határidőkkel) • Végiggondoljuk az egész JV-ot : 1. Felelősök kijelölése (koordinátor , szakértő ) 2. Mátrixok, vizsgálandó paraméterek, minta tömeg meghatározása 3. A határidők kijelölése 1) 2) 3) 4) 5) 6)
4. 5. 6. 7. 8. 9.
adminisztráció: megrendelők, útmutatók, eredményközlők elkészítése mintakészítés az elővizsgálatok (homogenitás és stabilitás), majd az ezek értékelésének határideje mintaosztás eredmény visszaküldés határideje JV értékelés határideje
Mintaszám/résztvevő A minták csomagolása és a kézbesítés módja Résztvevők várható száma Mintatartó dobozok száma Résztvevők minimális száma (gazdaságosság, statisztika) Beszerzés tervezése (alapanyagok, mintatartó dobozok) Részvételi költség
Jártassági vizsgálat a szervezők, értékelők oldaláról (7) Az átfogó terv elkészítése - a JV legfontosabb megelőző tevékenysége (2) 10. Titkosság biztosítása 11. Résztvevők közötti „összejátszás” megakadályozása 12. Megfelelő minták előállítása – szakértők, együttműködők (megbízható célkoncentrációk, stabilizálási, homogenizálási technikák) 13. Együttműködők, alvállalkozók (Stabilitás, homogenitás vizsgálatok) 14. Eredmények statisztikai értékelésének módja. (A hozzárendelt vagy ’valódi’ érték becslése, annak bizonytalanságának meghatározása, Elf % vagy célszórás (SDPA) meghatározásának a módja) 15. Az eredmények visszaküldésének módja a szervezőkhöz. (Elektronikus eredményközlés javasolt.) 16. Értékelések eljuttatása a résztvevőkhöz (elektronikus, posta költség) 17. Zárójelentés és tartalma
nyomdai
Jártassági vizsgálatok a szervezők, értékelők oldaláról (8) A folyamat legfontosabb elemei (2):
Jártassági vizsgálat a szervezők, értékelők oldaláról (9)
A minták elkészítése Cél: minden résztvevő tulajdonságait tekintve azonos mintát kapjon. • A minták reprezentálják a vizsgálandó anyag típusát. • A teljes mintamennyiség egy tételből származzon. • Alapvető követelmény a homogenitás és a stabilitás (a rendszer ezen a feltevésen alapul)! • Célszerű elővizsgálni (alvállalkozó) spike-olás ( Ekkor fontosak a homogenizálási technikák.) • Ha nem sikerül megoldani a megfelelő homogenitást kiszerelt edényenkénti addíció előírjuk a teljes mennyiség előkészítését. (Ekkor nem a koncentráció, hanem az illető komponens összes mennyisége lesz a kérdés.) • Homogenizálás (darálás, szitálás, keverés) körülményei (hőhatás (bomlás ), szennyezés(Fe)).
Jártassági vizsgálat a szervezők, értékelők oldaláról (10) A folyamat legfontosabb elemei (3):
Jártassági vizsgálatok a szervezők, értékelők oldaláról (11) Stabilitás vizsgálat • A JV időtartamára kell igazolni az előírt tárolási körülmények között • Stabilitás vizsgálat értékelése (ISO 13528:2005) : –
Ha │Xmh-Yms│ ≤ 0.3 *sp (ill. 0.1*Elf% ) akkor stabil Xmh: a kritikus paraméterre kapott átlag kezdetben (pl. a homogenitás vizsgálat során) Yms: a kritikus paraméterre kapott átlag a JV határidő végén sp : a JV célszórása a (Elf% 1/3-a) Elf%: a JV elfogadható hibahatára
• Stabilizálás történhet: • • •
hűtéssel stabilizátor adagolással a minták sterilezésével
A stabilizálás módjáról (minőség, mennyiség)a résztvevőket tájékoztatni kell • Ha nem sikerül a stabilitást megoldani, – vagy sikertelennek tekintjük a JV szervezést (értesítés) – vagy előírjuk a vizsgálat végrehajtását egy adott időpontban
Jártassági vizsgálat a szervezők, értékelők oldaláról (12) Homogenitás vizsgálat
• Végrehajtása: – A homogenizált mintát kiadagoljuk (kicsomagoljuk) az edényekbe – Véletlenszerűen kiválasztunk 10 db edényt, majd tartalmát két részre osztjuk – A 20 mintát véletlenszerű elrendezésben előkészítjük és mérjük – Meghatározzuk ill. szétválasztjuk az analízis szórását és a minták (edények) közötti szórást (ISO 13528:2005 , ANOVA (variancia analízis) módszerrel) – Ha a minták (edények) közötti szórást kisebb, mint a kritikus érték (0,3 *célszórás(sp), ill. 0,1*Elf% + vizsg. szórás), akkor homogén a minta • Követelmény: – Homogenitás vizsgálatot mindig el kell végezni! – Nem megfelelő homogenitású mintát körvizsgálatra nem szabad kiadni! Ha a homogenitás nem jó, a JV-t nem szabad értékelni (írásos értesítés)
Jártassági vizsgálat a szervezők, értékelők oldaláról (13) A folyamat legfontosabb elemei (4):
Jártassági vizsgálat a szervezők, értékelők oldaláról (14) A beérkező vizsgálati eredmények előkészítése a statisztikai értékelésre
• Ha a résztvevők előzetesen nem teszik meg – az eredményeket kóddal kell ellátni. (Ez a szám lesz a résztvevő azonosítója a zárójelentésben). • Ha nem elektronikusan jött az eredmény akkor elektronikus munkalapra írni. • Jól lekérdezhető adatbázist kell készíteni .
Jártassági vizsgálat a szervezők, értékelők oldaláról (15) A vizsgálati eredmények statisztikai értékelése (1) • Több elismert, engedélyezett módszer van a teljesítmények megállapítására (Eltérés, %-os eltérés, En-szám, z-, z’-, zeta-, Ez-score stb.) 1. A hozzárendelt értéktől való százalékos eltérést (D%): %=
−
∙ 100
ahol : az i-edik résztvevő eredménye : hozzárendelt érték
• A 2 fokozatú értékelés során a D % teljesítménymutatót hasonlítjuk az elfogadható hibahatárhoz (Elf%): ha ∙ 100 ≤ % az eredmény minősítése MEGFELELŐ, a minőségirányítási rendszer nem igényel beavatkozást; ha ∙ 100 > % az eredmény minősítése NEM MEGFELELŐ, a minőségirányítási rendszer beavatkozást igényel.
Jártassági vizsgálat a szervezők, értékelők oldaláról (16) A vizsgálati eredmények statisztikai értékelése (2) 2. A leggyakoribb z-score (z), vagy z’-score értékeket (z’) a hozzárendelt érték bizonytalanságától függően a következő séma szerint számoljuk:
= ha 0,3·
< u(x), akkor
=
(
)" #
"
ahol xi: a résztvevő laboratórium mérési eredménye : a hozzárendelt érték : a szórás célértéke, (teljesítményértékelés standard deviációja) u(x): a hozzárendelt érték standard bizonytalansága
• Ha u(x) > 0,7…1,2· , akkor az értékelést nem vállaljuk (hibajavító tevékenység )
Jártassági vizsgálatok a szervezők, értékelők oldaláról (17) A vizsgálati eredmények statisztikai értékelése (3) • 3 fokozatú értékelés a z-score vagy z’-score alapján: – Ha az illető laboratóriumnál a z vagy z’-score abszolút értéke kisebb, vagy egyenlő mint 2, akkor az illető laboratórium tevékenysége nem igényel beavatkozást – Ha z vagy z’-score abszolút értéke 2 és 3 közé esik, akkor az illető laboratórium tevékenysége figyelmeztető jelzéssel rendelkezik, kérdőjeles, de nem igényel feltétlenül beavatkozást – Ha z vagy z’-score abszolút értéke nagyobb, mint 3, akkor az illető laboratórium tevékenysége beavatkozást igényel
Jártassági vizsgálat a szervezők, értékelők oldaláról (18) A vizsgálati eredmények statisztikai értékelése (4) 3. En számon alapuló értékelési módszer: %
=
− & ' () + & ' ( )
ahol: xi: a résztvevő mérési eredménye : a hozzárendelt érték U(lab): a laboratórium kiterjesztett mérési bizonytalansága U(x): a hozzárendelt érték kiterjesztett bizonytalansága.
• Minősítés az En szám alapján (2 fokozatú): Követelmény az En számra, hogy ±1 intervallumon belül legyen, azaz │En │ ≤ 1.
Jártassági vizsgálatok a szervezők, értékelők oldaláról (19) A vizsgálati eredmények statisztikai értékelése (4) , , u(x), és SDPA • A meg kell határozni az egyenletek ismeretlenjeit : + , ) és annak bizonytalansága (u(x): • A hozzárendelt érték (+
•Robusztus statisztika:
Jártassági vizsgálatok a szervezők, értékelők oldaláról (20) Célszórás (SDPA) meghatározása (1)
Jártassági vizsgálatok a szervezők, értékelők oldaláról (21) Célszórás (SDPA) meghatározása (3)
• Az SDPA jártassági vizsgálat előtti meghatározásának előnyei: – Kívülről határozzuk meg SDPA értékét, amely így nem függ az aktuális résztvevők mérési képességétől. – A homogenitás és a stabilitás eredményeket egyszerűbben tudjuk értékelni, nemcsak a jártassági vizsgálat végén.
Jártassági vizsgálatok a szervezők, értékelők oldaláról (22) JV-ok teljesítmény-értékelésének a folyamatábrája - összefoglalás
Jártassági vizsgálatok a szervezők, értékelők oldaláról (23) A folyamat legfontosabb elemei (5):
Jártassági vizsgálatok a szervezők, értékelők oldaláról (24)
Jelentés a jártassági vizsgálatról
• Információk: –Szolgáltató neve, és elérhetőségi adatai; –Felelősök (koordinátor, jelentést jóváhagyó személy); –Alvállalkozó(k); –Kiadás időpontja és a státusza (előzetes, ideiglenes vagy végső v. záró); –Minták leírása, homogenitás és stabilitás értékelése; –A hozzárendelt érték és bizonytalanságának meghatározása –Elfogadható hibahatár (Elf%), vagy célszórás (SDPA) meghatározása –A résztvevők eredményei és értékelése; –Statisztikai adatok, összefoglalások (táblázatok), és grafikus megjelenítések –Egyes módszerek hozzárendelt értékei és összefoglaló statisztikái • A bizalmasság és titkosság érdekében a résztvevők azonosítására sorszámot (kódot) kell használni
Jártassági vizsgálatok a szervezők, értékelők oldaláról (25) Kapcsolattarás a résztvevőkkel, javító tevékenység, értékelő záró megbeszélés, fórum Cél: Képzés, segítés, megelőzés, hibajavítás, ezáltal mind a résztvevők, mind a JV szervezők fejlődnek. • A kapcsolattartás folyamatos, de más résztvevők érdekeinek sérelme nélkül (A bizalmas ügykezelés szabályai szerint) • Szakértőket lehet kérdezni a hibaforrásokról, javaslatokat kérni ezek kiküszöbölésére • Értékelések megértésének segítése, felhasználása a teljesítmény javítására, jártasság bizonyítására • Kifogástételekre és ezek kezelése van lehetőség • Évenkénti találkozás alkalmával : o FÓRUM valósulhat meg, személyes szakmai kapcsolatok fejlődnek o Az ügyfél elégedettség mérésére is jó lehetőség van
Jártassági vizsgálatok a szervezők, értékelők oldaláról (26) Előírások irodalmak:
MSZ EN ISO/IEC 17043:2010 Megfelelőség értékelés Általános követelmények jártassági vizsgálatokkal szemben ISO 13528:2005, Statistical methods for use in proficiency testing by interlaboratory comparisons. The International Harmonised Protocol for the Proficiency Testing of Analytical Chemistry Laboratories. (IUPAC Technical Report) (2006). MSZ EN/ISO/IEC 17025:2005
Összefoglalás •
A jártassági vizsgálatok legfőbb célja mind a résztvevők , mind a szervezők oldaláról az, hogy objektív és független gyakorlati megmérettetést adjon a laboratóriumok számára azért, hogy az ügyfelek, a szabályozó hatóságok és az akkreditálók, mind megbízhatóbb eredményeket kapjanak A jártassági vizsgálatok sikeres végrehajtásának kulcsa:
• – – – – – –
Elegendő számú jelentkező (statisztikai módszerek miatt) A jártassági vizsgálat tárgyát jól reprezentáló mátrix A minták megfelelő homogenitásának és stabilitásának biztosítása A határidők betartása Megfelelő teljesítményértékelő rendszer A szervezők és a résztvevők folyamatos kapcsolattartása – a bizalmas ügykezelés szabályait betartva - a segítés, a hatékony megelőző és javító tevékenység érdekében
Köszönöm a megtisztelő figyelmet! ______________________________________ Kérdések
