Nationale richtlijn voor de validatie van detectie- en identificatiemethoden voor plantpathogenen en plaagorganismen

Nationale richtlijn voor de validatie van detectie- en identificatiemethoden voor plantpathogenen en plaagorganismen Verkorte naam: nationale validatierichtlijn voor plantpathogenen en plaagorganismen

Opgesteld door Bloembollen keuringsdienst, BLGG AgroXpertus, HLB, NAK, Naktuinbouw, Plantenziektenkundige Dienst, Plant en Praktijk Onderzoek Lisse, Plant Research International

Uitgave Nationaal Referentielaboratorium Plantenziektenkundige Dienst Wageningen 3 maart 2010

Nationale Validatierichtlijn versie 2 Wageningen, 3 maart 2010

Inhoudsopgave

1.

Algemene inleiding .......................................................................................................................3 Inleiding ...............................................................................................................................3 Prestatiekenmerken ...............................................................................................................4 Relevantie van de prestatiekenmerken .....................................................................................6 Keuze van validatiemateriaal ...................................................................................................6 Validatieplan, verslaglegging en beoordeling van resultaten. .......................................................6 2. Methodevalidatie/nieuwe methoden................................................................................................8 2.1. Juistheid ...............................................................................................................................8 2.2. Meetbereik ............................................................................................................................8 2.3. Aantoonbaarheidsgrens ..........................................................................................................8 2.4. Specificiteit ...........................................................................................................................9 2.5. Selectiviteit ...........................................................................................................................9 2.6. Herhaalbaarheid & reproduceerbaarheid ...................................................................................9 2.7. Robuustheid ........................................................................................................................ 10 2.8. Meetonzekerheid.................................................................................................................. 10 3. Labvalidatie/implementatie standaardmethoden............................................................................. 11 3.1. Aantoonbaarheidsgrens ........................................................................................................ 11 3.2. Specificiteit ......................................................................................................................... 11 3.3. Selectiviteit ......................................................................................................................... 11 3.4. Herhaalbaarheid & reproduceerbaarheid ................................................................................. 11 4. Kwantitatieve bepalingen ............................................................................................................ 12 5. Literatuurlijst............................................................................................................................. 13 Bijlage 1: Voorbeelden bij de bepaling van verschillende prestatiekenmerken ............................................. 14 Bijlage 2: Mogelijke invulling van een schema voor de gezamenlijke bepaling van verschillende prestatiekenmerken. ............................................................................................................................ 23 Bijlage 3: Definitielijst .......................................................................................................................... 24 1.1. 1.2. 1.3. 1.4. 1.5.

2


1.

Algemene inleiding

Methoden die volgens NEN-EN-ISO/IEC 17025:2005 (hierna ISO 17025) ter accreditatie aangeboden worden, dienen gevalideerd te zijn. Voor de structuur van methodevalidatie wordt in ISO 17025 verwezen naar NEN7777; Milieu – prestatiekenmerken van meetmethoden (hierna NEN7777). Deze norm is echter bedoeld voor de validatie van fysische en chemische analysemethoden en is in veel gevallen niet geschikt voor de validatie van detectie- en identificatiemethoden van plantpathogenen en plagen. Binnen het fytosanitaire werkveld (hiermee wordt bedoeld alle ziekten en plagen op planten en plantaardige producten) zijn sinds 2005 verschillende initiatieven ontplooid om richtlijnen voor de validatie van methoden op te stellen. Dit voorliggende document is het sluitstuk van deze verschillende initiatieven en is gebaseerd op NEN7777, RvA –T2 ‘toelichtend document Microbiologie’, het ‘toelichtend document voor de validatie van detectiemethoden van plantpathogenen en –aantasters’ (PRI) en PM7/98 ‘Specific requirements for laboratories preparing for accreditation for plant pest diagnosis activities’ (EPPO). Deze Nationale validatierichtlijn, samengesteld door vertegenwoordigers van Bloembollenkeuringdienst, BLGG AgroXpertus, HLB, NAK, Naktuinbouw, Plantenziektenkundige Dienst, Plant Research International en Plant en Praktijk Onderzoek Lisse, voorziet in de sectorbrede behoefte om een richtlijn te hebben die is toegespitst op de organismen binnen het fytosanitaire werkveld en die tevens voldoet aan alle nationale en internationale eisen voor validatie van detectie- en identificatiemethoden voor plantpathogenen en plagen.

1.1.

Inleiding

In onderliggend document worden richtlijnen gegeven voor het valideren van nieuwe methoden en standaardmethoden die gebruikt worden voor de detectie en/of identificatie van plantpathogenen en plagen. Valideren wordt omschreven als het bevestigen door onderzoek en leveren van objectief bewijs dat aan bepaalde eisen voor een specifiek beoogd gebruik wordt voldaan (ISO 17025). Hierbij kun je onderscheid maken tussen nieuwe methoden en standaardmethoden. Voordat een nieuwe methode gevalideerd kan worden moet deze methode eerst uitontwikkeld zijn. Standaardmethoden zijn methoden die reeds als nieuwe methode gevalideerd zijn, of methoden die door de gebruikersgroep geaccepteerd zijn als standaardmethode. De ontwikkeling van een nieuwe methode vindt plaats op basis van een ‘eisenpakket’ dat omschrijft waaraan de betreffende methode moet voldoen en voor welk gebruik de methode geschikt dient te zijn (‘scope’). Hierbij moet je denken aan nieuwe methoden voor detectie en/of identificatie van plantpathogenen en plagen die ontwikkeld zijn door - of in opdracht van - bijvoorbeeld keuringsdiensten of (individuele) laboratoria. Bij het bepalen van de scope wordt besproken welke zaken deel uit maken van de methode. Hierbij gaat het om bijvoorbeeld extractiemethode, (sub)bemonstering in het lab, te toetsen gewassen, de organismen die al dan niet binnen de scope vallen, enzovoorts. De ontwikkelfase wordt in het ideale geval afgesloten met een evaluatie om vast te stellen of de nieuw ontwikkelde methode aan de vooraf gestelde eisen voldoet. Als dit het geval is, kan de methode gevalideerd worden. Als de methode (nog) niet voldoet aan de vooraf gestelde eisen, kan besloten worden de ontwikkelfase te verlengen of kan het ‘eisenpakket’ en/of de ‘scope’ worden aangepast aan de (on)mogelijkheden van de nieuwe methode. Ook bij ingebruikneming van een standaardmethode dient objectief bewijs geleverd te worden dat de methode bij de gebruiker aan bepaalde eisen voor een specifiek gebruik voldoet. Daarom wordt ook bij de implementatie van een standaardmethode een validatie uitgevoerd. Door validatie wordt objectief vastgesteld of de meetresultaten van een methode (nieuwe of standaard-) aan de vooraf gestelde eisen voldoen. Meetresultaten zijn slechts benaderingen van de ware meetwaarde. De mate waarin de meetresultaten kunnen afwijken wordt gekwantificeerd met prestatiekenmerken. Prestatiekenmerken weerspiegelen de prestaties van de meetmethode onder verschillende omstandigheden. Externe eisen voor prestatiekenmerken kunnen voortkomen uit regelgeving of contracten (NEN 7777, 2003).

3


Er wordt onderscheid gemaakt tussen twee vormen van validatie: − Methodevalidatie – bepaling van de prestatiekenmerken van een nieuwe methode in relatie tot de vooraf gestelde eisen en scope. Een methode die volledig gevalideerd is wordt beschouwd als een standaardmethode. − Labvalidatie – bepaling van de prestatiekenmerken van een standaardmethode in bijvoorbeeld een ander laboratorium dan het laboratorium waar de methode werd ontwikkeld. Er wordt objectief vastgesteld of een laboratorium in staat is de standaardmethode naar behoren uit te voeren. Indien een standaardmethode in gewijzigde vorm wordt overgenomen, dienen de prestatiekenmerken die hierdoor mogelijkerwijs beïnvloed worden opnieuw volgens de richtlijnen voor methodevalidatie bepaald te worden. De uitvoering van een methodevalidatie en een labvalidatie is verschillend. In de hoofdstukken 2 en 3 wordt het uitvoeren van respectievelijk de methodevalidatie en de labvalidatie omschreven. Een volledig overzicht van alle gebruikte termen, hun relatie met andere kwaliteitsdocumenten en Engelse equivalenten is weergegeven in bijlage 3.

1.2.

Prestatiekenmerken

Prestatiekenmerken kunnen de mate waarin meetresultaten (onder verschillende omstandigheden) afwijken van de werkelijke meetwaarde kwantificeren. De prestatiekenmerken worden hieronder in alfabetische volgorde omschreven in termen die voor fytosanitaire doeleinden het best passend zijn. Aantoonbaarheidsgrens Laagste waarde van het doelpathogeen/plaagorganisme in een laboratoriummonster waarvan de aanwezigheid nog met een bepaalde betrouwbaarheid kan worden vastgesteld. Bij ELISA geldt: de laagste extinctiewaarde die nog aantoonbaar relatie heeft met de aanwezigheid van het doelorganisme (en dus niet de reactie met het plantmateriaal). Indien mogelijk wordt de aantoonbaarheidsgrens uitgedrukt in aantal organismen per volume matrix (bv. gram grond, ml plantsap). De aantoonbaarheidsgrens is niet altijd relevant voor de betreffende methode (bv. morfologische analyse aan een geïsoleerd insect) of niet altijd vast te stellen. Dit is het geval als de concentratie van het organisme moeilijk of niet te bepalen is of niet relevant is, zoals bij virussen. In deze gevallen kan de aantoonbaarheidsgrens uitgedrukt worden in andere eenheden (zoals hoeveelheid eiwit, vetzuur, of DNA, % besmetting, etc.), of kan de beslisgrens gebruikt worden. Herhaalbaarheid De mate van overeenstemming tussen de resultaten van opeenvolgende metingen van dezelfde meetgrootheid die onder dezelfde omstandigheden zijn verricht. Voor het bepalen van de herhaalbaarheid moeten metingen aan een laboratoriummonster uitgevoerd worden door dezelfde uitvoerder, met dezelfde meetapparatuur en binnen een zo klein mogelijk tijdsinterval. Juistheid Het vermogen van de methode om te doen wat deze ‘zegt’ te doen (bv. detectie van organisme A in matrix B). Met andere woorden het vermogen om het doelorganisme binnen de matrix aan te tonen afgemeten aan een tweede methode, bij voorkeur gebaseerd op een andere techniek. Terugvinding (recovery) kan een indicator voor juistheid zijn (zie bijlage 1A). Het terugvinden van het doelorganisme kan dienen als juistheidindicator als dit organisme op een representatieve manier aan het monster kan worden toegevoegd. Meetbereik Grenzen (onder- en bovengrens) waarbinnen de analyse betrouwbaar kan worden toegepast. Het meetbereik is gedefinieerd voor de gehele methode. Als verdunning van het monster een expliciet onderdeel is van de vastgelegde methode, dan behoort bij het vaststellen van het meetbereik 4


de verdunning te worden inbegrepen. Meetbereik hoeft alleen bepaald te worden als het een methode betreft waarvan bekend is dat de concentratie van het organisme het analyseresultaat kan beïnvloeden en er in de werkinstructie van de methode geen rekening mee gehouden wordt. Meetonzekerheid Onzekerheid van het resultaat van de meting. Bij een kwantitatieve methode moet de meetonzekerheid altijd bepaald worden. Bij een kwalitatieve methode, waarbij alleen de aan- of afwezigheid van het doelorganisme wordt bepaald en de resultaten dus niet in getallen worden uitgedrukt, speelt dit element niet. Als resultaten van kwalitatieve methoden gebaseerd zijn op metingen zoals het tellen van kolonies of het meten van (onderdelen van) organismen, hangt het af van het gebruik van de uitslag of de meetonzekerheid bepaald moet worden. Als het kwantitatieve aspect wordt gebruikt om aan te duiden of een monster al dan niet besmet is en dit bij positieve monsters alleen een indicatie van de mate van besmetting geeft (licht, matig of zwaar), dan is nog steeds sprake van een kwalitatieve methode. In alle andere gevallen moet, waar mogelijk, de onzekerheid bepaald worden. Reproduceerbaarheid De mate van overeenstemming tussen de resultaten van metingen van dezelfde meetgrootheid die onder verschillende meetomstandigheden zijn verricht. Onder meetomstandigheden worden tijd, apparatuur (meetinstrument) en uitvoerder verstaan. Voor het bepalen van de reproduceerbaarheid worden de analyses uitgevoerd op meerdere toetsmomenten en bij voorkeur op meerdere apparaten en door meerdere uitvoerders. Reproduceerbaarheid wordt binnen een laboratorium bepaald (intralaboratorium-bepaling). Robuustheid De mate van ongevoeligheid van het meetresultaat voor afwijkingen in uitvoering, omstandigheden en hoedanigheid van materialen, zoals deze in de praktijk voorkomen. Robuustheid geeft de verandering weer van uitvoering, omstandigheden en hoedanigheid voorkomen. Robuustheid is vaak inbegrepen de robuustheid zal vaak niet nodig zijn omdat

het meetresultaat als gevolg van afwijkingen in de van de materialen, zoals deze in de praktijk kunnen in de reproduceerbaarheid. Een aparte validatie van het onderdeel is van de methodeontwikkeling.

Selectiviteit Het vermogen van een methode om het doelorganisme (pathogeen) te onderscheiden van andere componenten in het monster. De term “component” moet hier uitgelegd worden als de matrix (bv. plantmateriaal, grond). Het gaat hier om praktische toepasbaarheid, rekening houdend met wat er in het laboratorium zoal binnenkomt. Het aantal monsters waarmee de selectiviteit wordt bepaald, is afhankelijk van de scope van de methode en de beschikbaarheid van het materiaal. Specificiteit Het vermogen van een methode om het doelorganisme (pathogeen) te onderscheiden van andere (al dan niet verwante) organismen en de mate waarin de analyse (bekende) varianten van het organisme kan onderscheiden. Het gaat er hier om dat varianten van het doelorganisme die binnen de scope vallen worden aangetoond en vals-positieven (kruisreacties bij serologie) en vals-negatieven worden uitgesloten of benoemd. Het aantal monsters waarmee de specificiteit wordt bepaald, is afhankelijk van de scope van de methode en de beschikbaarheid van het materiaal. Ook is dit afhankelijk van wat er in het laboratorium binnenkomt. Bij morfologische identificatiemethoden, waar de expertise van een specialist de specificiteit bepaalt, is het van belang de expertise van de specialist te borgen. Specificiteit valt hierbij niet uit te drukken.

5


1.3.

Relevantie van de prestatiekenmerken

De relevantie van de prestatiekenmerken wordt bepaald door de scope. Gezien de aard van sommige methoden kan het zijn dat bepaalde prestatiekenmerken niet relevant zijn. Men dient in zo’n geval op andere manieren aan te tonen dat de methode aan de eisen voor het specifiek beoogde gebruik voldoet (methodevalidatie) of dat een standaardmethode juist wordt uitgevoerd (labvalidatie). Voor methodevalidatie kan dit bijvoorbeeld door deelname aan een ‘method performance study’. Voor labvalidatie kan dit door het beoordelen van vakbekwaamheid op basis van opleiding en ervaring, het analyseren van ‘blinde’ monsters (tweedelijnscontroles) en deelname aan ‘proficiency tests’ (ringonderzoeken, derdelijnscontroles).

1.4.

Keuze van validatiemateriaal

Bij het uitvoeren van een validatie komt het regelmatig voor dat geschikt testmateriaal niet/onvoldoende beschikbaar is. Tabel 1 geeft aanvullende aanwijzingen bij de keuze van validatiemateriaal, ook voor situaties waarin biologisch materiaal lastig te verkrijgen is. Tabel 1: Aanwijzingen bij de keuze van het validatiemateriaal Prestatiekenmerk

Benodigd validatiemateriaal voor het bepalen van de prestatiekenmerken (hangt mede af van de te valideren methode en het organisme)

Aantoonbaarheidsgrens

a. b. c.

laboratoriummonsters uit de praktijk gehomogeniseerde laboratoriummonsters geaddeerde en gehomogeniseerde laboratoriummonsters uit de praktijk d. blanco laboratoriummonsters Herhaalbaarheid/Reproduceerbaarheid a. laboratoriummonsters uit de praktijk b. gehomogeniseerde laboratoriummonsters c. geaddeerde en gehomogeniseerde laboratoriummonsters uit de praktijk d. synthetische laboratoriummonsters Juistheid a. representatief gecertificeerd referentiemateriaal b. geaddeerde praktijkmonsters (hierbij dient opgemerkt te wordendat additie-experimenten te optimistische resultaten kunnen geven omdat het toegevoegde deel van de component niet op dezelfde wijze in het monster opgenomen wordt als het oorspronkelijke deel) c. rondzendmonsters met een consensuswaarde (bijv. gemiddelde waarde uit “proficiency testing” schema’s) waarbij verschillende/gelijke methoden werden toegepast d. niet-gecertificeerd referentiemateriaal en/of praktijkmonsters met een waarde die onafhankelijk is van het te valideren systeem Robuustheid / Selectiviteit a. gehomogeniseerde laboratoriummonsters nabij de gewenste waarde van de meetgrootheid b. gehomogeniseerde laboratoriummonsters met additie tot de gewenste waarde van de meetgrootheid Specificiteit Bij voorkeur gecertificeerd referentiemateriaal of door experts op naam gebracht materiaal

1.5.

Validatieplan, verslaglegging en beoordeling van resultaten.

Voorafgaand aan het uitvoeren van een validatie wordt een validatieplan (plan van aanpak) opgesteld. Hierin worden de scope en de te bepalen prestatiekenmerken van de te valideren methode opgenomen. Als een methode door een gebruikersgroep is geaccepteerd als standaardmethode dan moet dit hier onderbouwd worden. Indien een prestatiekenmerk niet relevant is voor de te valideren methode wordt dit aangegeven en onderbouwd. Indien een prestatiekenmerk bepaald moet worden dan wordt de wijze waarop deze bepaald wordt en het te gebruiken (referentie) materiaal omschreven en onderbouwd. Voor alle relevante prestatiekenmerken moet vervolgens worden aangegeven hoe bepaald wordt of de verkregen waarden voldoen aan de vooraf gestelde eisen (bijvoorbeeld: hebben geen significante afwijking van een referentiewaarde; liggen aan de goede kant van een absolute limietwaarde; etc). Ter afsluiting van een validatie worden de resultaten vastgelegd in een validatierapport. Hierin worden de resultaten van de bepaalde prestatiekenmerken van de gevalideerde methode opgeno6


men. In het geval van een methodevalidatie worden in het validatierapport de prestatiekenmerken in relatie tot de scope beoordeeld. In geval van een labvalidatie wordt beoordeeld of de resultaten vergelijkbaar zijn met die van de methodevalidatie. Per prestatiekenmerk wordt de wijze waarop deze bepaald is en het gebruikte (referentie)materiaal vastgelegd. Voor alle prestatiekenmerken die zijn bepaald, wordt aangegeven hoe beoordeeld is of de verkregen waarden voldoen aan de vooraf gestelde eisen en of ze hieraan voldoen (bijvoorbeeld: hebben geen significante afwijking van een referentiewaarde; liggen aan de goede kant van een absolute limietwaarde; etc.). Het validatierapport eindigt met een conclusie die aangeeft of de gevalideerde methode voldoet aan de vooraf gestelde eisen zoals vastgelegd in de scope.

7


2.

Methodevalidatie/nieuwe methoden

Bij de validatie van een nieuwe methode of aangepaste standaardmethode moeten de volgende prestatiekenmerken in het laboratorium worden vastgesteld. Het is aan te bevelen om de prestatiekenmerken in de onderstaande volgorde te bepalen. Voorbeelden bij de verschillende prestatiekenmerken worden gegeven in bijlage 1. − − − − − − − − −

2.1.

Juistheid Meetbereik Aantoonbaarheidsgrens Specificiteit Selectiviteit Herhaalbaarheid Reproduceerbaarheid Robuustheid Meetonzekerheid bij kwantitatieve elementen in een bepaling

Juistheid

Het bepalen van de juistheid van een methode hangt af van het soort organisme en de soort methode. Er zijn meerdere mogelijkheden om juistheid te bepalen, bijvoorbeeld door deelname aan ringonderzoeken, het terugvinden van doelorganismen en/of vergelijking met een andere methode. In geval van ELISA is het zinvol om sap van meerdere zieke en gezonde planten (denk aan in totaal 20) te onderwerpen aan een alternatieve toetsmethode zoals bijvoorbeeld PCR. Ook toetsplantenonderzoek en elektronenmicroscopie komen in aanmerking. Vervolgens kan de juistheid van ELISA weergegeven worden in procenten ten opzichte van de andere methode. De omschrijving van de scope is hierbij van belang. Voorbeelden van verschillende wijzen waarop juistheid kan worden bepaald, zijn te vinden in bijlage 1A.

2.2.

Meetbereik

Meetbereik hoeft alleen bepaald te worden als het een methode betreft waarvan bekend is dat de concentratie van het organisme een remmend effect kan hebben op het analyseresultaat en er in de werkinstructie van de methode geen rekening mee gehouden wordt. Bij de ontwikkeling van de methode wordt vastgesteld of meetbereik van toepassing is. Als dit het geval is, test dan met behulp van verdunningen (al dan niet in de matrix) binnen welke grenzen (onder- en bovengrens) de test voldoet. De ondergrens van het meetbereik is gelijk aan de aantoonbaarheidsgrens. Bij ELISA bepaalt men de optimale sapverdunning binnen het sapverdunningsbereik. In de routine wordt meestal niet met een exacte sapverdunning gewerkt maar met een globale, bijvoorbeeld 10100 keer verdunning. De meetwaarden kunnen worden vastgelegd in histogrammen. In één oogopslag wordt duidelijk hoe de toets het in de uitvoering doet: alleen maar hoge waarden of veel waarden aan de onderkant van het bereik. In het laatste geval is er ook vaak sprake van een slechte reproduceerbaarheid. Voor meer verduidelijking van dit voorbeeld zie bijlage 1B.

2.3.


De aantoonbaarheidsgrens moet logisch zijn. Berekeningen en werkelijkheid kunnen uiteenlopen: een aantoonbaarheidsgrens van 0,1 nematode in een PCR op basis van geïsoleerd DNA is het gevolg van verdunning. In werkelijkheid zit de nematode er wel of niet in, dus is de aantoonbaarheidsgrens één nematode. Voor ELISA geldt als aantoonbaarheidsgrens de laagste extinctiewaarde die nog aantoonbaar relatie heeft met het aantonen van het doelorganisme (en dus niet de extinctiewaarde van de matrix of achtergrondreactie). Om de aantoonbaarheidsgrens te bepalen bij ELISA en PCR wordt de toets uitgevoerd op een relevant aantal (minimaal 3 maar bij voorkeur 8) verdunningsreeksen van het organisme in de matrix. 8


Maak hiervoor gebruik van (praktijk)monsters of geaddeerde blanco’s. De aantoonbaarheidsgrens is dan het gemiddelde van de laagste concentratie die nog aan te tonen is + 3x standaarddeviatie. Is de concentratie van het organisme niet te bepalen dan kan als alternatief de aantoonbaarheidsgrens bepaald worden aan de hand van de gemiddelde meetwaarde van minimaal 3 gezonde monsters + 3x standaarddeviatie. Ook kan een beslisgrens worden gekozen die hoger ligt dan de aantoonbaarheidsgrens. Zie voorbeeld in bijlage 1C. Als extractie binnen de scope van de methode valt dient hier rekening mee gehouden te worden bij het bepalen van de aantoonbaarheidsgrens.

2.4.

Specificiteit

Het aantal monsters waarmee de specificiteit wordt bepaald is afhankelijk van de scope van de methode en de beschikbaarheid van materiaal. − − − −

Gebruik meerdere isolaten of exemplaren, zo mogelijk alle gekarakteriseerde varianten, van het doelorganisme. Neem taxonomisch nauw verwante soorten of look-a-likes (morfologisch cq. genetisch) mee. Neem op de betreffende gewassen algemeen voorkomende soorten mee. Indien relevant, neem verschillende geografische gebieden mee bij de keuze van de isolaten of populaties.

Probeer de aantallen zo reëel mogelijk te kiezen, er worden geen aantallen voorgeschreven. Voor voorbeelden zie bijlage 1D.

2.5.

Selectiviteit

Het aantal monsters is afhankelijk van het organisme en de breedte van de scope. − − −

Test alle verschillende matrices (grondsoort, gewas, cultivar etc) die binnen de scope van de methode vallen. Voer de methode uit met en zonder doelorganisme. In geval van een uitgebreide waardplantenreeks, of daar waar het toepassingsgebied zo breed is, dient een onderbouwde afspiegeling of selectie van de betreffende reeks gemaakt te worden.

Soms is selectiviteit niet van toepassing, bijvoorbeeld als er geen sprake is van een oorspronkelijke matrix zoals bij identificaties van organismen “pur sang”, bijvoorbeeld bij gebruik van reincultures van bacteriën. Voor voorbeelden zie bijlage 1E.

2.6.

Herhaalbaarheid & reproduceerbaarheid

Bij het vaststellen van de herhaalbaarheid en reproduceerbaarheid van een analyse moet worden bepaald in hoeverre de analyse (on)gevoelig is voor variaties die in de wijze van uitvoering onder routinematige omstandigheden kunnen optreden. Voor de bepaling van de herhaalbaarheid moeten de metingen aan een laboratoriummonster uitgevoerd worden door dezelfde uitvoerder met dezelfde meetapparatuur en binnen een zo beperkt mogelijk tijdsinterval. De herhaalbaarheid wordt gezien als de minimum spreiding in de uitslagen van een analyse die verwacht kan worden. Analyseer n verschillende monsters in duplo (n ≥ 8). De beide (duplo) monsters moeten telkens onder identieke omstandigheden worden geanalyseerd (Klaessens, 2008). Gebruik hiervoor monsters die representatief zijn voor het gehele meetbereik (minimaal één monster met een laag, één met een gemiddeld en één met een hoog gehalte aan doelpathogeen). Bij identificaties “pur sang” is de variatie op hoeveelheden niet van toepassing. Een mogelijk invulling van een schema is weergegeven in bijlage 2.

9


De reproduceerbaarheid geeft de spreiding in uitslagen die men mag verwachten wanneer een monster in de tijd herhaaldelijk wordt geanalyseerd onder routinematige omstandigheden in hetzelfde laboratorium. Analyseer n verschillende monsters in duplo (n ≥ 8). De beide (duplo) monsters moeten telkens onder verschillende omstandigheden worden geanalyseerd (Klaessens, 2008). Gebruik hiervoor monsters die representatief zijn voor het gehele meetbereik (minimaal één monster met een laag, één met een gemiddeld en één met een hoog gehalte aan doelpathogeen). Bij identificaties “pur sang” is de variatie op hoeveelheden niet van toepassing. Een mogelijk invulling van een schema is weergegeven in bijlage 2. De prestatiekenmerken herhaalbaarheid en reproduceerbaarheid kunnen vaak in combinatie worden bepaald. Als het niet mogelijk is om homogene monsters te verkrijgen dienen meer herhalingen uitgevoerd te worden dan in het schema vermeld. Bij de keuze van het aantal monsters voor de bepaling van herhaalbaarheid en reproduceerbaarheid dient rekening gehouden te worden met het aantal te verwerken monsters per jaar in het betreffende laboratorium. Voor een voorbeeld zie bijlage 1F. Als het binnen het laboratorium niet mogelijk is om intralaboratorium-reproduceerbaarheid te bepalen door uitvoering van de analyse door een tweede persoon, kan overwogen worden om interlaboratorium-reproduceerbaarheid te bepalen door het laboratoriummonster door een tweede persoon in een ander laboratorium te laten bepalen.

2.7.

Robuustheid

Robuustheid geeft de verandering weer van het meetresultaat als gevolg van afwijkingen in de uitvoering, omstandigheden en hoedanigheid van de materialen, zoals deze in de praktijk kunnen voorkomen. Robuustheid is vaak inbegrepen in de reproduceerbaarheid. Een aparte validatie van de robuustheid zal vaak niet nodig zijn omdat het onderdeel is van de methodeontwikkeling. Indien van toepassing: analyseer meerdere monsters onder afwijkende condities zoals deze in de praktijk kunnen voorkomen.

2.8.

Meetonzekerheid

De meetonzekerheid van een methode is geen prestatiekenmerk maar een karakteristiek van een meetwaarde. Bij een kwalitatieve methode speelt dit geen rol (zie 1.2), bij een kwantitatieve methode moet de meetonzekerheid altijd vastgesteld worden. Het vaststellen van de meetonzekerheid is apart beschreven in hoofdstuk 4: Kwantitatieve bepalingen.

10


3.

Labvalidatie/implementatie standaardmethoden

Bij de labvalidatie van een standaardmethode moeten de volgende prestatiekenmerken in het laboratorium worden vastgesteld: − − − − −

3.1.

Aantoonbaarheidsgrens Specificiteit Selectiviteit Herhaalbaarheid Reproduceerbaarheid


De aantoonbaarheidsgrens wordt geverifieerd door minimaal 3, maar bij voorkeur 8, laboratoriummonsters in verschillende concentraties te analyseren. In ieder geval moet een aantal monsters nabij de aantoonbaarheidsgrens worden geanalyseerd. Dit kan gecombineerd worden met de herhaalbaarheid en de reproduceerbaarheid.

3.2.

Specificiteit

De specificiteit wordt geverifieerd door het doelorganisme (een relevante selectie of verschillende herkomsten) en een kleine selectie van relevante niet-doelorganismen te analyseren.

3.3.

Selectiviteit

De selectiviteit wordt geverifieerd door: − de meest relevante matrix (met en zonder doelorganisme) binnen de scope van de methode te analyseren − uitvoering van de herhaalbaarheid- en reproduceerbaarheidexperimenten met één van de laboratoriummonsters in een andere matrix die binnen de scope valt − gezonde monsters van de verschillende matrices te analyseren

3.4.

Herhaalbaarheid & reproduceerbaarheid

De wijze waarop herhaalbaarheid en reproduceerbaarheid worden vastgesteld is overeenkomstig de methodevalidatie van deze prestatiekenmerken (zie 2.4).

11


4.

Kwantitatieve bepalingen

Een kwantitatieve bepaling is een methode waarmee een uitspraak over de hoeveelheid van het doelorganisme in een (test)monster gedaan wordt. Op het uitslagenformulier wordt een getal vermeld: bijvoorbeeld het aantal organismen van een soort in 100 cc grond. Bij kwantitatieve bepalingen is meetonzekerheid een belangrijke karakteristiek die bepaald moet worden. Daarnaast dienen ook herhaalbaarheid en reproduceerbaarheid bepaald te worden. Omdat de uitspraken gebaseerd zijn op cijfers, dienen deze eerst gecontroleerd te worden op uitbijters. Controleer daarom de verzamelde meetresultaten op uitbijters vóór de resultaten van het onderzoek te accepteren. In het algemeen geldt dat uitbijters worden verwijderd als de oorzaak bekend is en ze geen realistisch beeld geven van de praktijksituatie. Voor het vaststellen van één uitbijter in een reeks metingen kan de Dixon’s Q-test gebruikt worden op een niveau van 1% (Klaessens, 2008).

12


5.

Literatuurlijst

ISO 17025:2005 NEN 7777:2003 Milieu-prestatiekenmerken van meetmethoden RvA-T2 Toelichtend document microbiologie, oktober 2004 Toelichtend document voor de validatie van detectiemethoden van plantpathogenen en – aantasters, PRI, februari 2007 PM7/98 Specific requirements for Laboratories preparing for accreditation for plant pest diagnostic activities (EPPO),2009 RvA- T01 Toepassing van de begrippen ‘eigen methode’, ‘conform’ en ‘gelijkwaardig aan’, oktober 2009 Compendium voor monsterneming en analyse (CMA), deel 6 validatie- meetonzekerheid, juli 2008 Dr. J.W.A. Klaessens, 2008, Statistiek, validatie en meetonzekerheid voor het laboratorium, 2de druk, Uitgever: Syntax media. ISBN 90-77423-24-9.

13


Bijlage 1: Voorbeelden bij de bepaling van verschillende prestatiekenmerken

1A. Juistheid van kwalitatieve bepalingen Meervoudige analyse van referentiemateriaal Indien voor het toepassingsgebied een monster met een ware waarde of een consensuswaarde beschikbaar is, voer dan hierop op n ≥ 8 analyses uit onder reproduceerbaarheidsomstandigheden. Bereken het gemiddelde Xgem van de meetwaarden van het referentiemateriaal. Bereken de bias: Xgem - Cref bc(rel) = --------------------- x 100 (%) Cref bc (abs) = Xgem - Cref

in geval van een proportionele bias

in geval van een constante absolute bias

waarin: bc(rel) procentuele bias (bij een waarde c van de meetgrootheid) bc (abs) absolute bias (bij een waarde c van de meetgrootheid) Xgem gemiddelde waarde van de meetgrootheid (referentiemateriaal) Cref ware waarde van het referentiemateriaal De juistheid (uitgedrukt in %) wordt dan gegeven door (100 + bc(rel)).

Terugvindingsexperimenten op een geselecteerd monster Terugvinding is gelijkwaardig aan juistheid indien er geen systematische afwijkingen zijn die niet met terugvinding aantoonbaar zijn. Gebruik voor dit experiment representatief gecertificeerd referentiemateriaal of representatieve rondzendmonsters met een consensuswaarde. Prepareer n ≥ 8 monsterparen uit één laboratoriummonster. Voeg aan één monster van het monsterpaar een bekende hoeveelheid van de meetcomponent zo representatief mogelijk toe waardoor de waarde van de meetgrootheid met ∆c wordt verhoogd. Zorg ervoor dat het monster minimaal wordt verdund. Is de verdunning niet verwaarloosbaar, voeg dan aan het andere monster een zelfde hoeveelheid blancomateriaal toe. Zorg ervoor dat de toevoeging zo groot is dat de onzekerheid van het gemeten concentratieverschil klein is in verhouding tot de beoogde meetonzekerheid van de methode. Bepaal per monsterpaar de terugvinding uit het meetresultaat van het monster met en zonder toevoeging van de meetcomponent. Voer de twee metingen, voor zover mogelijk, onder dezelfde omstandigheden uit. Voer de herhaling van de terugvindingsonderzoeken uit onder reproduceerbaarheids-omstandigheden op n verschillende dagen. Bereken de terugvinding per monsterpaar: X c+∆c - Xc TV = ------------∆c Bereken de gemiddelde terugvinding TV gem en de standaardafwijking s. Wanneer een externe minimumeis bekend is, wordt op onderstaande wijze bepaald of aan deze eis wordt voldaan: t0,95 * s TV gem ≥ TV minimum + -----------√n

14


De waarde van t0,95 haal je uit de tabel van de waarden van de T-verdeling als functie van het aantal vrijheidsgraden v (n-1).

Ring test of proficiency test Een score in een ring test of proficiency test kan gebruikt worden om vast te stellen dat de methode die in het eigen laboratorium gebruikt wordt doet wat er van verwacht wordt.

1B. Meetbereik, toepasbaar bij ELISA In dit voorbeeld is de scope een kwalitatieve ELISA op de aanwezigheid van virus in bladsap van planten. De concentratie aan virusdeeltjes in het bladsap varieert per plant en per gewas. Het resultaat van de toets wordt met een fotometer gemeten bij 405nm. Het meetbereik bij dit type toets wordt aan de onderkant begrensd door de aantoonbaarheidsgrens of de beslisgrens. Aan de bovenkant wordt het meetbereik begrensd door het eind van de schaal van extinctiewaarden. Het meetbereik zal voor veel toetsen bijna identiek zijn en dat levert weinig informatie op. Het is interessanter om te meten waar de in de praktijk gemeten waarden zich bevinden binnen het meetbereik. In de onderstaande figuur zijn aantallen metingen op de schaal van de extinctiewaarden uitgezet. We zien dat de twee toetsen duidelijk verschillen waar het de verdeling van meetwaarden binnen het meetbereik betreft. Bij gewas A worden veel waarden gemeten aan de onderkant van het meetbereik en in mindere mate daar boven. In gewas B worden voornamelijk hoge extinctiewaarden gemeten. Omdat bij gewas A veel meetwaarden net boven de gekozen beslisgrens van 0,15 liggen, bestaat er meer kans op vals-negatieven dan bij gewas B. Dit kan tot uiting komen bij de bepaling van de reproduceerbaarheid. Conclusie: niet het meetbereik zelf maar de verdeling van meetwaarden over het meetbereik in de praktijk geeft relevante informatie over dit prestatiekenmerk.

15


1C. Aantoonbaarheidsgrens , toepasbaar op o.a. uitplaten, PCR en ELISA. − − − − −

In dit voorbeeld zijn 3 verdunningsreeksen gemaakt Bepaal de laagste concentraties die nog aan te tonen zijn Bereken het gemiddelde van deze concentraties Bereken de standaarddeviatie van de meetwaarden Bereken de aantoonbaarheidsgrens door het gemiddelde te berekenen van de gemeten concentraties plus 3x standaarddeviatie

Concentratie

Verdunningsreeks 1

2

3

100

+

+

+

50

+

+

+

25

+

+

+

10

+

+

+

5

-

+

+

2,5

-

-

-

1

-

-

-

Laagst aantoonbare concentratie 10

5

5

Gemiddelde: 6,7 Standaarddeviatie: 2,9 Aantoonbaarheidsgrens = gemiddelde + 3x standaarddeviatie = 6,7 + (3 x 2,9) =15,4

Aantoonbaarheidsgrens in een kwalitatieve ELISA waarbij de concentratie van het doelorganisme niet bekend is De scope is hier een kwalitatieve ELISA voor het aantonen van virus in bladsap. Omdat de concentratie van het doelorganisme niet bekend is, kunnen we de aantoonbaarheidsgrens niet uitdrukken als de laagst detecteerbare concentratie virus. Daarom definiëren we de aantoonbaarheidsgrens voor deze scope als de laagste ELISA extinctiewaarde die nog gerelateerd is aan de aanwezigheid van het doelorganisme en niet te wijten is aan de achtergrondreactie van de matrix. De reden dat we dit doen is te zien in onderstaande figuur.

16


Een verdunningsreeks van virusziek bladsap levert extinctiewaarden op aflopend tot extinctiewaarde 0,0. De laagste waarden hebben echter geen betekenis omdat ook gezond bladsap een extinctiewaarde geeft. We bepalen nu de gemiddelde gezondreactie in de praktijk en tellen hier driemaal de standaarddeviatie bij op. Dit levert de aantoonbaarheidsgrens op en wordt uitgedrukt als een extinctiewaarde. Waarden daaronder tellen we niet als positief. Vaak is de aantoonbaarheidsgrens een zeer lage waarde en kiezen we liever voor het vastleggen van een beslisgrens. Deze wordt zo gekozen dat de kans op vals-positieven vrijwel wordt uitgesloten.

Aantoonbaarheidsgrens van een uitplaatmethode In dit voorbeeld wordt de aantoonbaarheidsgrens bepaald van een uitplaatmethode voor het aantonen van bacterie X. De methode is een kwalitatieve methode, dus het gaat om de aan- of afwezigheid van verdachte bacteriekolonies met karakteristieke koloniemorfologie. De methode maakt gebruik van twee semi-selectieve verrijkingsmedia. De scope die hierbij gehanteerd wordt, is het aantonen van bacterie X in zaden van Solanum lycopersicum met een uitplaatmethode. De meetgrootheid is de aanwezigheid van kolonies met karakteristieke koloniemorfologie op minimaal één van de twee gebruikte media. De aantoonbaarheidsgrens wordt bepaald door het kunstmatig besmetten van een zaadextract van een standaardmonster met een bekende concentratie van bacterie X. Hiervan wordt een tienvoudige verdunningsreeks gemaakt in negatief extract. Deze wordt uitgeplaat volgens het voorschrift. Dit experiment wordt in drievoud uitgevoerd. Verdachte kolonies worden getoetst met een complementaire methode om de identiteit van bacterie X te bevestigen.

(CFU /ml) 6 1,12 * 10 1,12 * 105 4 1,12 * 10 3 1,12 * 10 2 1,12 * 10 1 1,12 * 10 0 1,12 * 10 1,12 * 10-1 -2 1,12 * 10 nc

Experiment 1 Experiment 2 Experiment 3 Medium A Medium B Medium A Medium B Medium A Medium B + + n.t. n.t. n.t. n.t. n.t. n.t. n.t. n.t. n.t. n.t. + + + + + + n.t. n.t. + + + + + + + + + + + + + n.t. n.t. n.t. n.t. -

Verdunningsreeks van bacterie X in zaadextract voor het bepalen van de aantoonbaarheidsgrens van de uitplaat methode. + = bacterie X aangetroffen; - = bacterie X niet aangetroffen; nc = negatieve controle; n.t. = niet getest

De laagste concentratie van bacterie X die nog aangetoond wordt, is voor zowel experiment 1 als 2: 11,20 CFU/ml zaadextract. In experiment 3 wordt bacterie X aangetoond tot een concentratie van 1,12 CFU/ml extract. Gemiddelde laagst aantoonbare concentratie: 7.84 CFU/ml zaadextract Standaarddeviatie: 5,82 Aantoonbaarheidsgrens = 7,84 + (3 x 5,82) = 26 CFU/ml zaadextract De aantoonbaarheidsgrens van deze uitplaatmethode voor de detectie van bacterie X is bepaald op 26 CFU/ml extract. Dit betekent dat deze methode bacterie X betrouwbaar kan aantonen in zaadextracten die minimaal 26 CFU van bacterie X per ml extract bevatten.

17


1D. Specificiteit van primers en/of probes bij PCR methoden Bij het gebruiken van moleculaire detectie- en/of identificatiemethoden wordt het prestatiekenmerk ‘specificiteit’ bepaald door de prestaties van de gebruikte (real-time) PCR primers en/of probes. Bij het vaststellen van de prestatie wordt onderscheid gemaakt tussen conventionele PCR methoden en real-time PCR methoden.

Specificiteitanalyse bij kwalitatieve PCR methoden (conventionele PCR) Voor een goede specificiteitanalyse is in eerste instantie de juistheid van identificatie van de gebruikte isolaten en/of organismen van groot belang. Bij validatie van kwalitatieve PCR methoden kan de specificiteit van PCR primers worden getoetst door PCR testen uit te voeren met DNA van het doelorganisme, nauw verwante soorten, genetische look-a-likes en/of in monsters algemeen voorkomende soorten. DNA afkomstig van doelorganismen en niet-doelorganismen dient in voldoende hoeveelheid te worden aangeboden, waarbij een overmaat van niet-doel DNA de voorkeur heeft. Afhankelijk van de scope van de te valideren methode (te gebruiken voor identificatie dan wel detectie) wordt niet-doel DNA toegevoegd in de maximale hoeveelheid die representatief wordt geacht voor praktijksituaties (‘worst case scenario’). Gelanalyse wijst uit of er vals-positieve signalen worden gevonden die kunnen worden verward met het gewenste signaal. De grootte van geamplificeerde fragmenten van het doel-DNA moet voldoende afwijken van de grootte van eventueel geamplificeerde fragmenten van niet-doel DNA om op gel onderscheid te kunnen maken tussen beide.

Specificiteitanalyse bij kwantitatieve PCR methoden (real-time) Voor een goede specificiteitanalyse is in eerste instantie de juistheid van identificatie van de gebruikte isolaten en/of organismen van groot belang. Bij validatie van kwantitatieve PCR methoden kan de specificiteit van real-time PCR primers en/of probes worden getoetst door real-time PCR testen uit te voeren met DNA van het doelorganisme, nauw verwante soorten, genetische look-alikes en/of in monsters algemeen voorkomende soorten. DNA afkomstig van doelorganismen en niet-doelorganismen dient in voldoende hoeveelheid te worden aangeboden, waarbij een overmaat van niet-doel DNA de voorkeur heeft. Afhankelijk van de scope van de te valideren methode (te gebruiken voor identificatie dan wel detectie) wordt nietdoel DNA toegevoegd in de maximale hoeveelheid die representatief wordt geacht voor praktijksituaties (‘worst case scenario’). Analyse van de real-time PCR signalen (Ct waarden) wijst uit of er vals-positieve signalen worden gevonden die kunnen worden verward met het gewenste signaal. Omdat ook niet-doel DNA PCR signalen kan geven, wordt gekeken naar verschillen in Ct waarden (∆Ct) tussen doel en niet-doel DNA. Afhankelijk van de scope van de te valideren methode (te gebruiken voor identificatie dan wel detectie) wordt vastgesteld hoe groot ∆Ct hier bij voorkeur dient te zijn. In geval van een identificatiemethode zou ∆Ct kleiner mogen zijn (bijv. streefwaarde ∆Ct > 10) dan bij een detectiemethode (bijv. streefwaarde ∆Ct > 20). Bij validatie van kwantitatieve PCR methoden heeft het de voorkeur om de prestaties van de soortspecifieke primers en met name de soortspecifieke probes ook te testen in aanwezigheid van verschillende hoeveelheden niet-doel DNA. Hiertoe wordt ∆Ct bepaald na amplificatie van doel-DNA in een achtergrond van water en doel-DNA in een achtergrond van een oplopende hoeveelheid nietdoel DNA. In het meest optimale geval laat deze analyse zien dat in alle gevallen ∆Ct ~ 0. In geval van een real-time PCR waarin geen gebruik wordt gemaakt van probes (bijv. SYBRGreen real-time PCR) is het belangrijk dat in de specificiteitanalyse ook de smeltcurves van de amplificatieproducten worden meegenomen.

Voorbeeld van (een onderdeel van) een specificiteitanalyse bij een kwantitatieve PCR methode: Voor de specificiteitanalyse van twee SYBRGreen Q-PCR testen voor de detectie van twee nematodensoorten (Meloidogyne chitwoodi en M. fallax) in een DNA-extract afkomstig uit nematodensuspensies wordt ten eerste vastgesteld welke niet-doelorgansimen het meest waarschijnlijk valspositieve signalen kunnen opleveren. Door middel van een sequentieanalyse wordt vastgesteld dat 18


in dit geval M. chitwoodi en M. fallax (die zéér nauwverwant zijn) de grootste kans op kruisreacties geven met elkaar (resp. M. fallax en M. chitwoodi). De kans op vals positieven met andere (ook niet verwante) nematodensoorten is hier minder van belang, maar dit verschilt per nematodensoort. DNA afkomstig van beide doelorganismen wordt vervolgens in voldoende hoeveelheid aangeboden aan beide primerparen in verschillende PCR reacties, in aan- en afwezigheid van niet-doel DNA. Specificiteitanalyse van twee SYBRGreen Q-PCR primerparen voor detectie van de wortelknobbelaaltjes M. chitwoodi en M. fallax laat vervolgens zien dat: A) M. chitwoodi primers met twee verdunningen M. chitwoodi DNA (10-5, 10-6) en M. fallax primers met twee verdunningen van M. fallax DNA (10-5, 10-6) de juiste signalen geven en dat beide primerparen met niet-doel DNA helemaal geen signalen geven (in beide gevallen is ∆Ct > 20). B) M. fallax primers in een aflopende concentratiereeks M. fallax DNA (10-4, 10-5, 10-6 10-7, 10-8) in aanwezigheid van een constante concentratie M. chitwoodi DNA (10-5) gelijke signalen geven als in afwezigheid van M. chitwoodi DNA.

A

B

Uit bovenstaand experiment A volgt dat de SYBRGreen Q-PCR primerparen voor detectie van M. chitwoodi en M. fallax een goed signaal geven met het doel DNA en helemaal geen signaal geven met (een overmaat) niet-doel DNA (waarbij ∆Ct > 20) en wordt geconcludeerd dat de primers voldoende specifiek zijn. Uit bovenstaand experiment B volgt dat de prestaties van het SYBRGreen Q-PCR primerpaar voor detectie van M. fallax niet beïnvloed worden door de aanwezigheid van niet-doel DNA en wordt geconcludeerd dat de potentiële aanwezigheid van niet-doel DNA in een monster geen effect zal hebben op de detectiekansen van M. fallax. In aanvulling hierop dient hetzelfde experiment te worden uitgevoerd met M. chitwoodi als doel-organisme en kan ook de specificiteit van de primerparen worden getoetst in aanwezigheid van DNA van andere Meloidogyne soorten.

1E. Selectiviteit Selectiviteit bij biotoetsen Bij toetsplantenonderzoek waarbij gebruik gemaakt wordt van mechanische inoculatie kunnen matrixeffecten optreden. Hierbij kan onderscheidt gemaakt worden tussen twee effecten: 1. Nadelig effect op het virus. Bij mechanische inoculatie wordt plantenweefsel (meestal blad) vermalen en vervolgens geïnoculeerd. Bij het vermalen komen plantenbestanddelen vrij die in combinatie met de zuurstof in de lucht nadelig kunnen zijn voor het eventueel aanwezige virus. Om dit tegen te gaan, wordt het plantensap vaak vermalen in water of buffer zodat een verdunningseffect optreedt van de ongewenste stoffen. Toevoeging van een buffer heeft bovendien een stabiliserende werking op het virus. Dit effect treedt onder andere op bij planten uit de familie Rosaceae. Verder geldt dat er grote verschillen zijn tussen verschillende virussen:

19


sommige zijn erg gevoelig voor afbraak (bv. tospovirussen) en andere zijn zeer stabiel (bv. tobamovirussen). 2. Toxisch effect op de plant. Het plantensap van sommige plantensoorten kan ook toxisch zijn voor de te inoculeren plant. In dit geval sterft een deel van het geïnoculeerde blad af in de vorm van grote necrotische lesies. Omdat de afgestorven bladdelen de kans op een succesvolle overdracht verminderen, kunnen zich ook geen virussymptomen meer ontwikkelen. Bij ernstige necrose moet de inoculatie dan ook worden herhaald. Het toxische effect van het bladsap wordt ook tegengegaan door verdunning met water of buffer. Bij een inoculum van bijvoorbeeld Freesi- of Alstroemeria kan deze toxische reactie optreden. Als bloemen en wortels beschikbaar zijn, worden deze gebruikt voor de bereiding van het inoculum. Hierbij is de kans op matrixeffecten aanzienlijk kleiner. De toxische, necrotische symptomen op de geïnoculeerde bladeren worden door een ervaren 'groene' viroloog onderscheiden van de necrotische symptomen die door virussen worden veroorzaakt. Necrotische lesies als gevolg van een toxische reactie zijn vaak relatief groot, hoekig en onregelmatige van vorm. Bovendien verschijnen ze binnen 1 à 2 dagen na inoculatie. Lesies veroorzaakt door virussen zijn vaak klein en rond of afgerond van vorm. Bovendien verschijnen ze pas 2 à 3 dagen of nog later na inoculatie.

Selectivititeit van een uitplaatmethode In dit voorbeeld wordt de selectiviteit bepaald van een uitplaatmethode voor het aantonen van bacterie X. De methode is een kwalitatieve methode, dus het gaat om de aan- of afwezigheid van verdachte bacteriekolonies met karakteristieke koloniemorfologie. De methode maakt gebruik van twee semi-selectieve verrijkingsmedia. De scope die hierbij gehanteerd wordt, is het aantonen van bacterie X in zaden van Solanum lycopersicum met een uitplaatmethode. De meetgrootheid is de aanwezigheid van kolonies met karakteristieke koloniemorfologie op minimaal één van de twee gebruikte media. Voor de bepaling van de selectiviteit worden 7 zaadpartijen van verschillende herkomst gebruikt (a t/m g). Van elke zaadpartij worden 4 monsters getest. De zaadextracten van alle monsters worden gespiket met een bekende concentratie van bacterie X met uitzondering van de negatieve controle. Op elk monster word een analyse uitgevoerd conform de methode. Verdachte kolonies worden getoetst met een complementaire methode om de identiteit van bacterie X tebevestigen.

Zaadpartij a b c d e f g

herhaling 1 herhaling 2 herhaling 3 NC Medium A Medium B Medium A Medium B Medium A Medium B Medium A Medium B + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + -

Voorbeeld van de resultaten van de selectiviteit van een uitplaatmethode. + = bacterie X aangetroffen; - = bacterie X niet aangetroffen; NC = negatieve controle

Op basis van deze resultaten is de selectiviteit voldoende bevonden omdat bacterie X in alle geteste monsters wordt aangetoond.

20


1F. Herhaalbaarheid en reproduceerbaarheid bij ELISA Voor het vaststellen van de herhaalbaarheid en reproduceerbaarheid zijn in dit voorbeeld de laboratoriummonsters getest volgens de tabel in bijlage 2. Lab. monster

Herhaalbaarheid E x 100

gem

SD

VC %

kwalitatief

Reproduceerbaarheid E x 100

gem

SD

VC %

kwalitatief

1

38

21

29,5

12,02

40,75

+

+

30

29,67

8,50

28,67

+

2

22

21

21,5

0,71

3,29

+

+

23

22

1,00

4,55

+

3

30

35

32,5

3,54

10,88

+

+

37

34

3,61

10,60

+

4

40

38

39

1,41

3,63

+

+

35

37,67

2,52

6,68

+

5

35

41

38

4,24

11,16

+

+

38

38

3,00

7,89

+

6

53

60

56,5

4,95

8,76

+

+

59

57,33

3,79

6,60

+

7

121

150

135,5

20,51

15,13

+

+

125

132

15,72

11,91

+

8

18

21

19,5

2,12

10,88

-

+

23

20,67

2,52

12,18

+

Waarden zijn uitgedrukt in Extinctie x 100 Een monster wordt positief beschouwd als de E x 100 waarde > 20 is. Kwalitatieve methode Er zijn 8 positieve laboratoriummonsters getest. De herhaalbaarheid is 15/16 = 93,75 %. De reproduceerbaarheid is 23/24 = 95,83 % Kwantitatieve methode In dit voorbeeld zijn laboratoriummonsters met verschillende concentraties van het doelorganisme getest. Voor het berekenen van de intralaboratoriumherhaalbaarheid (Sr) en de intralaboratoriumreproduceerbaarheid (Sw) met behulp van de standaarddeviatie wordt de kwadratenmethode gebruikt. Sr = √(12,02)2+(0,71)2+(3,54)2+(1,41)2+(4,24)2+(4,95)2+(20,51)2+(2,12)2 = 25,04 Sw = √369,33 = 19,22

1G. Meetonzekerheid in een kwantitatieve bepaling bij ELISA Voor het bepalen van de meetonzekerheid kan de variatiecoëfficiënt (VC) gebruikt worden (bron: norm CMA/6/b versie juli 2008). Uit het voorbeeld in 1F wordt de meetonzekerheidtotaal berekend uit de VC van de reproduceerbaarheid met behulp van de kwadratenmethode. Meetonzekerheidtotaal U = √1395,60 = 37,36 % De (gecombineerde) meetonzekerheid kan als volgt worden gekwantificeerd: De uitgebreide meetonzekerheid U = k * U. Voor de meeste toepassingen wordt een dekkingsfactor van k=2 aanbevolen. De waarde van k komt voor v = 7 (dus n=8) bij benadering overeen met een betrouwbaarheidsinterval van ca. 95 %. In dit voorbeeld geldt U = 75 %. Er kan ook onderscheid gemaakt worden tussen de laag, midden en hoog positieve monsters. In dit voorbeeld wordt dan het gemiddelde van de VC’s genomen. Monsters

Meetonzekerheid

U

Laag positief

1,2,3,5,8

12,78 %

26 %

Midden positief

4,6

6,64 %

14 %

Hoog positief

7

11,91 %

24 %

21


1.H Meetonzekerheid op basis van resultaten ringonderzoek Voor kwantitatieve onderzoeken kunnen de resultaten van een uitwisselingsonderzoek gebruikt worden om de meetonzekerheid vast te stellen. Voorbeeld berekening van meetonzekerheid cystenonderzoek: Aantal cysten in monster – gem aantal cysten van alle monsters van alle deelnemers ----------------------------------------------------------------------------------------------- * 100% = a Gem aantal cysten van alle monsters van alle deelnemers a x a om de kwadraten te berekenen Σ kwadraten berekenen en delen door n (aantal deelmonsters per onderzoek) (= som kwadraten/ n) = b de wortel uit b nemen = meetonzekerheid U (uitgedrukt in % cysten) Uitgebreide meetonzekerheid U = U * 2 Per deelnemend laboratorium zijn 10 deelmonsters onderzocht Monsternummer (aantal monsters n = 10)

Aantal cysten

Gemiddelde aantal van alle monsters

145

81

150

68

163 173

cysten

Gemiddelde alle monsters/gem alle monsters x 100 (= a)

a*a

75,8

+ 6,86

47,06

75,8

- 10,29

105,89

66

75,8

- 12,93

167,15

73

75,8

- 3,69

13,65

186

88

75,8

+ 16,09

259,05

196

69

75,8

- 8,97

80,48

209

78

75,8

+ 2,90

8,42

238

58

75,8

- 23,48

551,44

249

74

75,8

- 2,37

5,64

250

65

75,8

- 14,25

203,01

Σ kwadraten

1441,79

n

10

Σ kwadraten/ n (= b)

144,18

Wortel uit b

12,01

Uitgebreide meetonzekerheid U is 24,0 % Laagst gevonden aantal cysten in een monster (in totale ringtest: 35 Hoogst gevonden aantal cysten in een monster (in totale ringtest): 105 Beide zijn geen uitbijters Range is 35 – 105 cysten

22


Bijlage 2: Mogelijke invulling van een schema voor de gezamenlijke bepaling van verschillende prestatiekenmerken.

Laboratoriummonster

Prestatiekenmerk

Toetsmoment 1

2

3

4

5

6

7

8

Laboratoriummonster 1

herhaalbaarheid/ reproduceerbaarheid

xx

x



x

xx



xx

x



x

xx



xx

x



x

xx



xx

x



x

xx

Laboratoriummonster nabij aantoonbaarheidsgrens

aantoonbaarheid

Referentiemateriaal

juistheid

Monster(s)/monster(s) in afwijkende matrix

selectiviteit

Monster(s)/monster(s) onder afwijkende omstandigheden

robuustheid

X XX

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

: enkelvoudige bepaling : duplobepaling onder herhaalbaarheidsomstandigheden

23


Bijlage 3: Definitielijst Het onderstaande overzicht geeft de termen en definities zoals ze in de Nationale Validatierichtlijn voor validatie van detectie- en identificatiemethoden voor plantpathogenen en plagen gebruikt worden. Dit document is gebaseerd op eerder gepubliceerde normdocumenten. Deze worden onder de tabel gespecificeerd.Daarnaast is voor een aantal Engelse termen gebruik gemaakt van EPPO standaard PM 7/98. Verwijzingen naar de geraadpleegde bronnen zijn weergegeven in superscript. ‘Secundaire’ bronnen (verwijzingen in de gebruikte normdocumenten, bijvoorbeeld naar ISO17025) zijn niet in dit overzicht opgenomen. Wanneer een term in geen van de normdocumenten in het Engels voorkomt, is er in het overzicht ook geen Engelse vertaling gegeven. Nationale Richtlijnen Aantoonbaarheidsgrens

Analyse

Engelse termen Limit of detection 1 Detection limit 1 Lower detection limit 1 Analytical sensitivity 4 Analysis

Analysemonster

Subsample

3

Beslisgrens

Nederlandse synoniemen Analytische gevoeligheid 3

-

Eigen methode 1, 2 Herhaalbaarheid 1, 2, 3

Juistheid

1, 2, 3

1, 2

-

Herhaalbaarheid van meetresulta- Repeatability 1, 4 ten 1 Repeatability (of measurements) -

Freedom from bias Trueness 1

Laboratoriummonster Labvalidatie Meetbereik

3

Meetonzekerheid Methode Methodiek Methodevalidatie

24

1, 2

3

1

Sample Verificatie

1, 2

Definitie Laagste waarde van het doelpathogeen/plaagorganisme in een laboratoriummonster waarvan de aanwezigheid nog met een bepaalde betrouwbaarheid kan worden vastgesteld.1

3

Werkgebied Bereik 2 -

Validatie

1, 2

Verification 2

1

Uncertainty of measurement

Validation

Hoeveelheid voor onderzoek bestemd materiaal in de vorm en toestand waarin het is afgeleverd bij het laboratorium. Vaststellen of de prestatiekenmerken zoals bepaald in een laboratorium overeenkomstig een standaardmethode zijn.3 Grenzen waarbinnen de analyse betrouwbaar kan worden toegepast.2

4

Measuring range

2,4

1

De uitvoering van een methode met als doel het aantonen/identificeren van een specifiek pathogeen of meerdere pathogenenen. Monster dat conform de meetprocedure is bereid uit het laboratoriummonster. Equivalent aan de gemiddelde meetwaarde van minimaal drie gezonde monsters + drie maal de standaarddeviaties.3 De grens waarbij de kans op vals-positieven minimaal is (als de concentratie van het pathogeen niet bekend is). 2 Een methode die door het laboratorium geheel zelf is ontwikkeld.1,5 Mate van overeenstemming tussen de resultaten van opeenvolgende metingen van dezelfde meetgrootheid, die onder dezelfde meetomstandigheden zijn verricht.1 Het vermogen van de analyse om te doen wat hij ‘zegt’ te doen (bv. detectie van organisme A in matrix B).2

1, 4

Onzekerheid van het resultaat van de meting. 2 Een algemene werkwijze gebaseerd op een methodiek, bijvoorbeeld DAS-ELISA, PCR, morfologische identificatie. Principe waarop de methode gebaseerd is. Bevestiging door onderzoek en levering van objectief bewijs dat aan bepaalde eisen voor een specifiek beoogd gebruik wordt voldaan. 1


Nationale Richtlijnen Prestatiekenmerken 1

Reproduceerbaarheid

Nederlandse synoniemen -

1, 2, 3

Ringonderzoek

1, 2, 3

Robuustheid

Scope

Reproduceerbaarheid van meetre- Reproducibility 1, 4 sultaten 1 Reproducibility of results of measurements 1 Ring test: Method performance test Proficiency test

-

Robustness

-

Scope

Selectivity

Selectiviteit

1, 2, 3

-

Specificiteit

2

Analytische Specificiteit

Standaardmethode

1, 2

-

Terugvinding1

1. 2. 3. 4.

(afgeleid (afgeleid (afgeleid (afgeleid

van) van) van) van)

Engelse synoniemen -

NEN7777:2003 Van der Vlugt et al. (2007) NRL (2008) EPPO standard PM 7/98

3

1

1, 4

Analytical specificity

Standard tests4 Standard methods4 Recovery 1

4

Definitie De mate waarin meetresultaten kunnen afwijken, wordt gekwantificeerd met prestatiekenmerken. Zij weerspiegelen de prestatie van de meetmethode onder verschillende omstandigheden. 1 De mate van overeenstemming tussen de resultaten van metingen van dezelfde meetgrootheid die onder verschillende omstandigheden zijn verricht.1 Bij een ringonderzoek worden monsters met bekende samenstelling naar verschillende laboratoria verstuurd. Door deelname kunnen laboratoria aantonen dat zij competent zijn en onderling vergelijkbare resultaten leveren. Zo kunnen systematische afwijkingen binnen laboratoria of tussen methodes naar boven komen. Bij een Method performance test worden monsters en voorgeschreven methode rondgestuurd, bij een proficiency test mag elk lab zijn eigen methode toepassen op de opgestuurde monsters. Mate van ongevoeligheid van het meetresultaat voor afwijkingen in uitvoering, omstandigheden en hoedanigheid van materialen, zoals deze in de praktijk kunnen voorkomen. 1 De scope van een methode beschrijft het doelpathogeen of groep van doelpathogenen, de analysemethode, de matrix en het toepassingsgebied. De scope van de te valideren methode wordt in overeenstemming met de potentiële gebruiker vastgesteld, dit kan het eigen laboratorium zijn maar ook een derde partij (klant). Het vermogen van een detectiemethode om het pathogeen te onderscheiden van andere componenten van het monster (matrixeffecten). 2 Vermogen van een detectiemethode om het pathogeen te onderscheiden van andere (al dan niet verwante) organismen en de mate waarin de analyse (bekende) varianten van het organisme kan onderscheiden.2 Een door de gebruikersgroep geaccepteerde en gevalideerde methode.1 Fractie van de meetcomponent die bij analyse wordt teruggevonden, na toevoeging onder gedefinieerde omstandigheden van een bekende hoeveelheid meetcomponent aan het monster. 1

Milieu - Prestatiekenmerken van meetmethoden Toelichtend document voor de validatie van detectiemethoden van plantpathogenen en -aantasters (Plant Research International, Wageningen) Richtlijnen voor validatie en verificatie van kwalitatieve methoden, versie 1.0 Specific requirements for laboratories preparing for a plant pest diagnostic activity

(afgeleid van) RvA T01 (2004)Toepassing van de begrippen 'eigen methode', 'conform' en 'gelijkwaardig aan”

25

Nationale richtlijn voor de validatie van detectie- en identificatiemethoden voor plantpathogenen en plaagorganismen

Recommend Documents