BELAC 2-106 Rev 1-2011
GESCHIKTHEIDSBEPROEVINGEN (PROFICIENCY TESTING): LEIDRADEN OP GEBIED VAN DE DEELNAME DOOR DE LABORATORIA EN EVALUATIE VAN DE PERFORMANTIES IN HET KADER VAN ACCREDITATIE-AUDITS
Van toepassing vanaf: 01.02.2011
BELAC 2-106 Rev 1 – 2011 - 1/ 12
BELAC 2-106 Rev 1 – 2011 - 2/ 12
HISTORIEK VAN HET DOCUMENT
Herziening en goedkeuring
datum
van
0
Reden van de herziening
Draagwijdte van de herziening
Nieuw document
CC 19.12.2006 1 CC via schriftelijke procedure met einddatum 17.01.2011
Vervanging van de verwijzing naar de Gids ISO 43 door de norm NBN EN ISO/IEC 17043:2010 Uitbreiding van het toepassingsgebied naar alle types van laboratoria en naar inspectieinstellingen die testen uitvoeren
Volledige document
Punt 1
Herziening van de richtlijnen betreffende de frequentie van de deelname
Punt 4.3.2
Opnemen van het concept « measurement audit » als element van de accreditatie-audit
Punt 4.4.1
BELAC 2-106 Rev 1 – 2011 - 3/ 12
INHOUDSTAFEL 1.
DOELEINDEN EN VERWIJZING NAAR NORMATIEVE DOCUMENTEN ......... 5
2.
BESTEMMELINGEN........................................................................................... 5
3.
DEFINITIES......................................................................................................... 6
3.1.
Geschiktheidsbeproeving (“ Proficiency Testing “) ........................................................................... 6
3.2.
Interlaboratoriumvergelijkingen (“Interlaboratory comparisons”) ................................................ 6
3.3.
Bilaterale geschiktheidsbeproevingen (“Measurement Audit”) ......................................................... 6
4. ALGEMENE POLITIEK EN PRAKTISCHE MODALITEITEN TEN OPZICHTE VAN DE DEELNAME AAN GESCHIKTHEIDSBEPROEVINGEN. ............................ 7 4.1.
Algemeen ................................................................................................................................................. 7
4.2. Modaliteiten voor deelname aan geschiktheidsbeproevingen ............................................................. 8 4.2.1. Selectie van de geschiktheidsbeproevingen: algemene voorzieningen ................................................ 8 4.2.2. Selectie van geschiktheidsbeproevingen: bijkomende voorzieningen ................................................. 9 4.3.
Verantwoordelijkheden van het labo op het gebied van deelname aan geschiktheidsbeproevingen. .................................................................................................................................................................. 9 4.3.1. Documentatie ....................................................................................................................................... 9 4.3.2. Frequentie van de deelnames ............................................................................................................... 9 4.3.3. Statistische evaluatie van de resultaten ...............................................................................................10 4.3.4. Corrigerende maatregelen ...................................................................................................................10
4.4. Verantwoordelijkheden van BELAC bij de evaluatie door BELAC van de resultaten van de deelnames aan de geschiktheidsbeproevingen. ..................................................................................................11 4.4.1. Evaluatie bij de accreditatie-audits .....................................................................................................11 4.4.2. Communicatie aan BELAC van de resultaten van geschiktheidsbeproevingen..................................11 4.4.3. Het globaal in rekening brengen van de resultaten van de geschiktheidsbeproevingen in een welbepaalde technische sector...........................................................................................................................11 4.5.
Sancties in het kader van de evaluatie van de resultaten van geschiktheidsbeproevingen .............12
BELAC 2-106 Rev 1 – 2011 - 4/ 12
GESCHIKTHEIDSBEPROEVINGEN (PROFICIENCY TESTING): LEIDRADEN OP GEBIED VAN DE DEELNAME DOOR DE LABORATORIA EN EVALUATIE VAN DE PERFORMANTIES IN HET KADER VAN ACCREDITATIE-AUDITS 1.
DOELEINDEN EN DOCUMENTEN
VERWIJZING
NAAR
NORMATIEVE
•
De normen NBN EN ISO/IEC 17025 en NBN EN ISO 15189 eisen van de laboratoria dat zij een opvolging organiseren van de geldigheid van de resultaten van de uitgevoerde testen. De normen identificeren de deelname aan geschiktheidsbeproevingen als één van de middelen waarnaar het labo kan teruggrijpen om aan deze eis te voldoen. In de context van dit document dekt de term ‘laboratoria’ de beproevingslaboratoria, de kalibratielaboratoria en de medische laboratoria.
•
Dit document heeft als doel het definiëren van de eisen van BELAC op het gebied van de deelname van de laboratoria aan geschiktheidsbeproevingen en van de criteria voor de evaluatie van de performantie in het kader van accreditatie-audits.
•
De principes en de eisen van dit document zijn eveneens van toepassing op inspectieinstellingen die zelf kritische beproevingen of kalibraties uitvoeren. (zie BELAC 2-201 clausule 1.4)
• -
Dit document verwijst naar en is in overeenstemming met de betreffende delen van de norm NBN EN ISO/IEC 17011; de norm NBN EN ISO/IEC 17025; de norm NBN EN ISO/IEC 17020; de norm NBN EN ISO/IEC 17043; de relevante EA en ILAC richtlijnen (zie internetsites www.european-accreditation.org en www.ilac.org)
2.
BESTEMMELINGEN
Met opvolging van wijzigingen: Accreditatiebureau Coördinatiecommissie Secretariaat Auditoren / experten sector laboratoria Geaccrediteerde laboratoria Zonder opvolging van wijzigingen: Laboratoria die een aanvraag tot accreditatie hebben ingediend Elke aanvrager BELAC 2-106 Rev 1 – 2011 - 5/ 12
3.
DEFINITIES
Opmerking: Uittreksels die rechtstreeks werden overgenomen uit normen en andere normatieve documenten, worden in italic weergegeven in de originele taal (Engels). 3.1.
Geschiktheidsbeproeving (“ Proficiency Testing “)
Evaluation of participant performance against pre-established criteria by means of interlaboratory comparisons. NOTE 1 For the purposes of this International Standard, the term “proficiency testing” is taken in its widest sense and includes, but is not limited to: a) quantitative scheme — where the objective is to quantify one or more measurands of the proficiency test item; b) qualitative scheme — where the objective is to identify or describe one or more characteristics of the proficiency test item; c) sequential scheme — where one or more proficiency test items are distributed sequentially for testing or measurement and returned to the proficiency testing provider at intervals; d) simultaneous scheme — where proficiency test items are distributed for concurrent testing or measurement within a defined time period; e) single occasion exercise — where proficiency test items are provided on a single occasion; f) continuous scheme — where proficiency test items are provided at regular intervals; g) sampling — where samples are taken for subsequent analysis; and h) data transformation and interpretation — where sets of data or other information are furnished and the information is processed to provide an interpretation (or other outcome). NOTE 2 Some providers of proficiency testing in the medical area use the term “External Quality Assessment (EQA)” for their proficiency testing schemes, or for their broader programmes, or both. (NBN EN ISO/IEC 17043 clause 3.7) 3.2.
Interlaboratoriumvergelijkingen (“Interlaboratory comparisons”)
Organization, performance and evaluation of measurements or tests on the same or similar items by two or more laboratories in accordance with predetermined conditions (NBN EN ISO/IEC 17043 clause 3.4) 3.3.
Bilaterale geschiktheidsbeproevingen (“Measurement Audit”)
Het laboratorium ontvangt een testitem met nauwkeurig bepaalde karakteristieken dat getest moet worden in het kader van een accreditatieprocedure. Het testitem wordt verschaft door de auditor of door een derde partij.
BELAC 2-106 Rev 1 – 2011 - 6/ 12
4.
4.1. -
ALGEMENE POLITIEK EN PRAKTISCHE MODALITEITEN TEN OPZICHTE VAN DE DEELNAME AAN GESCHIKTHEIDSBEPROEVINGEN. Algemeen Voor de laboratoria zijn geschiktheidsbeproevingen een middel om hun technische bekwaamheid en de operationaliteit van hun kwaliteitsmanagementsysteem aan te tonen. Geschiktheidsbeproevingen vormen in de meeste gevallen een onderdeel van het validatiedossier. Voor de accreditatie-instellingen vormt de evaluatie tijdens de audit van het performatieniveau van de laboratoria een essentieel element voor de ondersteuning van het aanvaarden van de resultaten op nationaal maar ook op internationaal niveau via de wederzijdse erkenningen. Bovendien kan het een aanduiding zijn voor de effectiviteit en de efficiëntie van het optreden van de auditoren en, in het algemeen, de waarde van de toegekende accreditaties bevestigen.
-
De analyse van de performantie in de geschiktheidsbeproevingen moet beschouwd worden als een middel om de werking van het managementsysteem van het laboratorium te verbeteren en niet in de eerste plaats als een instrument voor het al dan niet behouden van de accreditatiestatus. Herhaalde of te grote problemen met de performantie in de geschiktheidsbeproevingen moeten toch aanleiding geven tot sancties teneinde de geloofwaardigheid van het accreditatieconcept te waarborgen.
-
Een verbetering en handhaving van de kwaliteit in het laboratorium kan tevens bereikt worden door regelmatige deelname aan interlaboratoriumvergelijkingen gebruikt voor andere doeleinden (vb. validatie van methoden of karakterisering van referentiematerialen) maar aangepast om dienst te kunnen doen als geschiktheidsbeproevingen. De resultaten, bekomen in dergelijke interlaboratoriumvergelijkingen, moeten evenwel met de nodige voorzichtigheid geïnterpreteerd worden.
-
Er bestaan evenwel specifieke sectoren waarin geen geschiktheidsbeproevingen beschikbaar zijn. In dergelijke omstandigheden moet het laboratorium beroep doen op alternatieve middelen om zijn technische competentie aan te tonen, zoals o regelmatig gebruik van (gecertificeerde) referentiematerialen; o het herhalen van een test met dezelfde of een andere methode; o vergelijking van de resultaten tussen 2 of meerdere laboratoria georganiseerd op initiatief van het laboratorium. De algemene eisen voor wat betreft het beleid rond de deelname aan geschiktheidsbeproevingen zijn eveneens van toepassing wanneer een laboratorium beroep doet op alternatieve middelen. BELAC 2-106 Rev 1 – 2011 - 7/ 12
4.2.
Modaliteiten voor deelname aan geschiktheidsbeproevingen
4.2.1. Selectie van de geschiktheidsbeproevingen: algemene voorzieningen -
Voor de planning, de voorbereiding, de uitvoering, de interpretatie en de documentatie van de resultaten van de geschiktheidsbeproevingen wordt van de organisator een hoog niveau van technische competentie vereist.
-
BELAC laat de laboratoria vrij in de keuze van de organisator van geschiktheidsbeproevingen. Deze organisator wordt evenwel beschouwd als een leverancier van diensten (ISO 17025 clausule 4.6) en de selectie moet gesteund zijn op een evaluatie van de geschiktheid van de voorgestelde diensten met betrekking tot de noden. De voorafgaande ervaring van het laboratorium met een organisator van geschiktheidsbeproevingen kan als basis dienen voor de selectie. In het algemeen zal de evaluatie betrekking hebben op volgende elementen: • De competentie van de organisator van geschiktheidsbeproevingen: deze kan aangetoond kunnen worden door het bezitten van een accreditatie die rekening houdt met de eisen van de norm NBN EN ISO/IEC 17043. Indien het laboratorium beroep doet op een niet-geaccrediteerde organisator, is het laboratorium verplicht om een eigen evaluatie uit te voeren en te documenteren; • Type materiaal/matrix: moet zo goed mogelijk overeenstemmen met de in het laboratorium effectief onderzochte materialen/matrices; • Te bepalen parameters: moeten een zo groot mogelijk aantal parameters omvatten als door het laboratorium werkelijk wordt bepaald; • Meetbereiken: moeten zo dicht mogelijk aansluiten bij de werkelijke situatie in het laboratorium; • De frequentie: moet toelaten om tegemoet te komen aan de noden van het laboratorium opdat de deelname aan geschiktheidsbeproevingen een efficiënt middel zou zijn voor het beheer van de kwaliteit, rekening houdend met andere middelen die eventueel in werking gesteld worden door het laboratorium om de kwaliteit van de resultaten te verzekeren; • Statistische analyse van de resultaten: het gebruikte protocol moet duidelijk omschreven zijn.
-
In vele gevallen zal het moeilijk – zoniet onmogelijk – zijn om voor elke beproeving/kalibratie of groep van beproevingen/kalibraties gedekt door de accreditatie een geschiktheidsbeproeving te selecteren die beantwoordt aan het geheel van de hier beschreven critera. Een compromis zal nodig zijn en het is de taak van het laboratorium om zijn keuzes te rechtvaardigen terwijl toch een voldoende dekking van de activiteiten, zoals beoogd door de accreditatie, verzekerd wordt (verhouding prijs / efficiëntie).
-
BELAC raadt de laboratoria aan om zich te wenden tot de gegevensbank EPTIS (European PT Information System – www.eptis.bam.de) om, telkens wanneer het nodig is, de juiste geschiktheidsbeproevingen voor hun activiteiten te identificeren.
BELAC 2-106 Rev 1 – 2011 - 8/ 12
4.2.2. Selectie van geschiktheidsbeproevingen: bijkomende voorzieningen -
BELAC kan de laboratoria verplichten om op eigen kosten deel te nemen aan specifieke geschiktheidsbeproevingen indien elementen erop wijzen dat dit nodig is; in dit geval kiest BELAC bij voorkeur een organisatie waarvan het beheer conform is met de eisen van de norm NBN EN ISO/IEC 17043.
-
Argumenten die tot dergelijke initiatieven kunnen leiden, zijn: het niet beschikbaar zijn van geschiktheidsbeproevingen in een bepaalde sector of bijzondere problemen die aan het licht komen in het kader van de evaluatie van laboratoria in een bepaalde sector.
-
In sommige sectoren is de deelname aan welbepaalde geschiktheidsbeproevingen verplicht gesteld in het kader van het contract met de klant, in het bijzonder in het kader van erkenningen door de overheid.
-
In het kader van de internationale wederzijdse erkenningen van EA en ILAC worden regelmatig geschiktheidsbeproevingen georganiseerd met het oog op de ondersteuning van het wederzijdse vertrouwen op internationaal vlak. De door BELAC uitgenodigde geaccrediteerde laboratoria dienen deel te nemen aan deze beproevingen, maar kunnen geen aanspraak maken op enige vergoeding voor de gepresteerde diensten.
4.3.
Verantwoordelijkheden van het labo op het gebied van deelname aan geschiktheidsbeproevingen.
4.3.1. Documentatie -
De politiek van het laboratorium inzake deelname aan geschiktheidsbeproevingen moet voldoende beschreven worden in het kwaliteitshandboek of in andere werkingsdocumenten verbonden aan het kwaliteitsmanagementsysteem van het laboratorium. Dit betreft voornamelijk aspecten zoals planning, uitvoering, evaluatie van de performanties, corrigerende acties en archivering. Voor de selectie van de organisator van de geschiktheidsbeproevingen: zie onder 4.2.1.
-
Er wordt bovendien aan het laboratorium gevraagd om, voor iedere test/kalibratie of groep van testen/kalibraties gedekt door accreditatie, een synthese actueel te houden van de resultaten van de geschiktheidsbeproevingen waaraan ze deelnemen, of, bij gebrek aan geschiktheidsbeproevingen, van andere acties die genomen zijn om de geldigheid van de testresultaten te verzekeren. Dit document zal op aanvraag en systematisch voor elke audit ter beschikking gesteld worden aan BELAC.
4.3.2. Frequentie van de deelnames -
Een geaccrediteerd laboratorium moet op regelmatige tijdstippen deelnemen aan geschiktheidsbeproevingen en zijn deelnamefrequentie bepalen op basis van een risicoanalyse. Deze moet in het bijzonder het volgende in rekening brengen: Het aantal uitgevoerde testen, kalibraties of metingen; De mogelijkheid om resultaten van specifieke geschiktheidsbeproevingen te gebruiken voor de beoordeling van de performatie van een groep van testen die BELAC 2-106 Rev 1 – 2011 - 9/ 12
gebaseerd zijn op gelijkende meettechnieken en/of betrekking hebben op een groep van producten (gelijk niveau van technische competentie); Het aantal betrokken uitvoerders en de frequentie waarmee het personeel wijzigt; Het opleidingsniveau en de algemene ervaring van het personeel; Het al dan niet toegang hebben tot bronnen voor de herleidbaarheid (nationale standaarden, gecertificeerd referentiemateriaal); De complexiteit van de gebruikte meettechniek; De mate waarin het resultaat kritiek is rekening houdende met zijn uiteindelijke gebruik; Het beroep doen op alternatieve technieken voor de evaluatie van de resultaten in aanvulling van de deelname aan geschiktheidsbeproevingen. In geval van belangrijke wijzigingen in de manier waarop het laboratorium is georganiseerd, een herevaluatie van het beleid aangaande de keuze van de deelnamefrequentie dient te gebeuren. -
BELAC kan, voor een welbepaalde sector, een hogere frequentie van deelname of specifieke toepassingsregels opleggen.
-
Een accreditatie voor één of meerdere specifieke testen/kalibraties, kan maar afgeleverd worden indien het performantieniveau van een laboratorium aangetoond kan worden door zijn resultaten van geschiktheidsbeproevingen of, bij gebrek aan geschiktheidsbeproevingen, aan de hand van andere middelen zoals deze hierboven beschreven werden.
-
Indien geschiktheidsbeproevingen beschikbaar zijn, moet het laboratorium kunnen rechtvaardigen waarom er niet aan deelgenomen werd.
4.3.3. Statistische evaluatie van de resultaten -
De statistische evaluatie van de resultaten is een zeer belangrijk element voor het inschatten van de performantie van de laboratoria. Het onderzoek van de coherentie tussen de performantie (in termen van juistheid en betrouwbaarheid) en de door het laboratorium gerapporteerde meetonzekerheid is van het grootste belang om te beslissen of eventueel corrigerende maatregelen moeten genomen worden en om hun aard te definiëren.
4.3.4. Corrigerende maatregelen -
Indien resultaten ondermaats zijn, moet het laboratorium de oorzaken en de eventuele gevolgen onderzoeken, en tevens, indien nodig, geschikte maatregelen ondernemen. Deze maatregelen dienen enerzijds een terugkoppeling in te houden naar de analyseverslagen of kalibratiecertificaten die beïnvloed kunnen zijn en die reeds naar de klanten verstuurd werden en dienen anderzijds een aantal technische maatregelen te omvatten, ter correctie en preventie, die de garantie moeten geven dat de kwaliteit van de testresultaten in de toekomst voldoet aan de eisen en de verwachtingen van de klant.
-
Zolang het laboratorium niet kan aantonen dat het een beproeving/kalibratie beheerst, ofwel via geschiktheidsbeproevingen of via elk ander middel ter beschikking van het laboratorium, mag het geen resultaten onder accreditatie verspreiden. Indien deze situatie blijft aanhouden, moet het laboratorium BELAC hiervan op de hoogte stellen. BELAC 2-106 Rev 1 – 2011 - 10/ 12
4.4.
Verantwoordelijkheden van BELAC bij de evaluatie door BELAC van de resultaten van de deelnames aan de geschiktheidsbeproevingen.
4.4.1. Evaluatie bij de accreditatie-audits -
De BELAC auditoren dienen bij iedere audit de performantie na te gaan in de geschiktheidsbeproevingen en ze dienen de efficiëntie van de corrigerende en preventieve maatregelen te evalueren. De auditor dient speciaal aandacht te besteden aan de volgende punten: -
-
de keuze en de frequentie van deelnames; de kwaliteit van de organisator van geschiktheidsbeproevingen; het onderzoek van de ruwe data; de uitvoeringsomstandigheden die zoveel mogelijk identiek moeten zijn aan deze van de effectief uitgevoerde routine-beproevingen; de analyse van de resultaten door het laboratorium; de coherentie met de meetonzekerheid die normaal door het laboratorium gerapporteerd wordt; de omvang van de geobserveerde afwijking in verhouding tot de verwachtingen van de klant; de genomen corrigerende acties evenals de genomen maatregelen ten overstaan van de analyseverslagen die reeds naar klanten verstuurd werden wanneer de resultaten van de deelnames aan geschiktheidsbeproevingen ertoe leiden om de testmethodes aan te passen; de moeilijkheidsgraad van de test.
-
De vaststellingen moeten hernomen worden in het verslag van de audit.
-
In voorkomend geval en in het bijzonder voor kalibratie-activiteiten kan de auditor een bilaterale test/kalibratie (« measurement audit ») inlassen bij de beoordelingsactiviteiten.
4.4.2. Communicatie aan BELAC van de resultaten van geschiktheidsbeproevingen. Het BELAC-secretariaat onderzoekt de resultaten van geschiktheidsbeproevingen waaraan de BELAC geaccrediteerde laboratoria hebben deelgenomen en die aan BELAC ter beschikking gesteld worden door bijvoorbeeld de bevoegde overheden of internationale organisaties. In geval van schijnbaar ondermaatse performanties, wordt contact opgenomen met het betreffende laboratorium en de competente technische auditoren. Indien nodig zal een bijkomende audit georganiseerd worden. 4.4.3. Het globaal in rekening brengen van de resultaten van de geschiktheidsbeproevingen in een welbepaalde technische sector Herhaalde en collectieve ondermaatse performanties van BELAC geaccrediteerde laboratoria in een bepaalde sector moeten aanleiding geven tot een grondige bespreking door het Accreditatiebureau met het oog op het organiseren van corrigerende maatregelen met een algemeen karakter; dit kan een bijkomende opleiding inhouden van de BELAC-auditoren die optreden in de welbepaalde sector. BELAC 2-106 Rev 1 – 2011 - 11/ 12
4.5.
Sancties in het kader geschiktheidsbeproevingen
van
de
evaluatie
van
de
resultaten
van
Een ondermaats resultaat dat niet gevolgd wordt door doeltreffende corrigerende acties of herhaalde (al dan niet opeenvolgende) slechte performanties bij deelname aan geschiktheidsbeproevingen, zullen aanleiding geven tot sancties. Deze bestaan normaal gezien uit een tijdelijke schrapping van de betreffende test/kalibratie uit het toepassingsgebied van de accreditatie. Wanneer voor een bepaald laboratorium de problemen zich voordoen in meerdere sectoren kan de accreditatiestatus voor alle testen van het toepassingsgebied in vraag gesteld worden. Een niet-aangepast beheer van de deelnames aan geschiktheidsbeproevingen en de resultaten ervan betekent immers een onvoldoende efficiënte werking van het managementsysteem dat de kwaliteit moet garanderen, in het bijzonder op het vlak van de beheersing van testresultaten wat het basisdoel is van het accreditatieconcept. Alvorens een beslissing tot het reduceren van het toepassingsgebied of het intrekken van de accreditatiestatus te nemen, raadpleegt het Accreditatiebureau, in zijn hoedanigheid van beslissingsorgaan, de betrokken auditor en wordt het laboratorium uitgenodigd om zijn argumenten kenbaar te maken. Specifieke aandacht wordt besteed aan de aspecten die opgenomen zijn onder 4.4.1. ___________________________________________________________________________
BELAC 2-106 Rev 1 – 2011 - 12/ 12
