szegregancia negatív pozitív
ne c
feltételezés:
VN
egészséges beteg
ÁN
ÁP
egészséges beteg
szenzitivitás
c
egy mérhető mennyiség (pl. koncentráció) megnövekszik a beteg populációban (a megváltozás a lényeges és nem a megnövekedés)
negatív pozitív
VP nb c
Átlapoló eloszlások
relevancia KAD 2013.11.28
2
Részleges átfedés
Az átlapolás mértéke használhatatlan módszer
elnevezés
Igazságmátrix ne c
negatív pozitív
specificitás
Diagnosztikus tesztek értékelése
valódi negatív
ál pozitív
Ál
Valódi
Fals
Korrekt
Hamis
Igaz
Téves Helyes False
VN
gyakorlati esetek
egészséges
nb c
tökéletes módszer 3
igazi állapot: egészséges vagy beteg c
ÁP ÁN
beteg
True
VP ál negatív
valódi pozitív teszt szerint: negatív vagy pozitív
4
Prevalencia =elterjedtség =a tesztet megelőző valószínűség = a-priorivalószínűség
w
VN
ÁP
ÁN
VP
a betegség gyakorisága a vizsgált populációban
beteg ÁN VP de sp összes VN ÁP ÁN VP se sp
5
6
A tesztek megbízhatósága a következő diagnosztikus paraméterekkel írható le: szenzitivitás specificitás relevancia
csak 3 független!
szegregancia Mindegyik tesztmódszer összehasonlítandó egy referencia módszerrel („Goldstandard”)
w = 25%
w = 50%
w = 75% 7
az ami biztosan jó, hiteles (néha csak a boncolás eredménye)
8
határérték ↓ szenzitivitás ↑
Diagnosztikus szenzitivitás =érzékenység
VN
ÁP
=valódi pozitív arány =sensitivity ÁN
VP
annak a valószínűsége, hogy a teszt egy beteget pozitívnak talál pozitív a betegek között
se = 50%
se
VP VP ÁN
se = 70%
P (pozitív beteg) se
VP VP beteg ÁN VP
Nagy szenzitivitású tesztek (közel 100%) a korai diagnózis során kívánatosak (screening), ekkor kevés beteg marad felismerés nélkül. 9
VN
ÁP
ÁN
VP
=valódi negatív arány =specificity
se = 100%
sp = 50% határérték ↑ specificitás ↑
Diagnosztikus specificitás =fajlagosság
se = 90%
10
sp = 70%
annak a valószínűsége, hogy a teszt egy egészségeset negatívnak talál negatív az egészségesek között
sp sp = 90%
VN VN ÁP
sp = 100%
P (negatív egészséges) sp
VN VN egészséges VN ÁP
Magas specificitású tesztek (közel 100%) akkor fontosak, ha az álpozitív értékek súlyos következménnyel járnak. 11
12
Álnegatív arány
=másodfajú hiba
VN
ÁP
=false-negative rate/fraction ÁN
VP
Álpozitív arány annak a valószínűsége, hogy a teszt egy beteget negatívnak talál
=elsőfajú hiba
VN
ÁP
ÁN
VP
=false-positive rate/fraction
negatív a betegek között P (negatív beteg)
1 se
annak a valószínűsége, hogy a teszt egy egészségeset pozitívnak talál pozitív az egészségesek között P (pozitív egészséges)
ÁN ÁN beteg ÁN VP
1 sp
ÁP ÁP egészséges VN ÁP
13
Arányok „vízszintesen” (prevalenciától függetlenek)
14
teszt utáni (a-posteriori) valószínűségek, a prevalenciától erősen függenek
Diagnosztikus relevancia =korrekt pozitivitás
VN
ÁP
a betegség jelenlétének a valószínűsége, ha a teszt pozitív
ÁN
VP
beteg a pozitívak között
=pozitív prediktív érték =positive predictive value =PPV
P (beteg pozitív) PPV
15
VP VP se w összes pozitív ÁP VP se w (1 sp) (1 w) 16
Diagnosztikus szegregancia =korrekt negativitás
VN
ÁP
=negatív prediktív érték =negative predictive value =NPV
ÁN
VP
Téves figyelemfelkeltő arány
a betegség hiányának a valószínűsége, ha a teszt negatív egészséges a negatívak között
VN
ÁP
ÁN
VP
=false alarm rate
P (egészséges negatív)
NPV
a betegség hiányának a valószínűsége, ha a teszt pozitív egészséges a pozitívak között P (egészséges pozitív)
VN VN sp (1 w) összes negatív ÁN VN sp (1 w) (1 se) w
1 PPV
ÁP ÁP összes pozitív ÁP VP
17
18
Arányok „függőlegesen” Téves megnyugtatási arány
VN
ÁP
=false reassurance rate
ÁN
VP
RELEVANCIA
a betegség jelenlétének a valószínűsége, ha a teszt negatív
SZEGREGANCIA
beteg a negatívak között P (beteg negatív)
1 NPV
ÁN ÁN összes negatív ÁN VN 19
20
ÁP
=accuracy
helyes besorolás aránya (korrekt klasszifikáció) ÁN
de
VP
VP VN VP VN se w sp (1 w ) összes VP ÁN VN ÁP
gyakran a határértéket úgy választjuk meg, hogy az effektivitás maximális legyen
A prevalencia hatása Pl. A: w = 50% sp = 90%
Goldegészs. standard beteg (de = 90%)
21
NPV = 90% teszt negatív pozitív 90 10 10 90 se = 90% PPV = 90%
sp = 90%
teszt
PPV = 50%
negatív az egészségesek között
VNa (valódi negatív arány)
pPB
specificitás
sp
VN VN ÁP
pNE
álnegatív arány
1-se
ÁN VP ÁN
pNB
álpozitív arány
1-sp
ÁP VN ÁP
pPE
relevancia
PPV
szegregancia
NPV
VP VP ÁP VN VN ÁN
téves figyelem1-PPV felkeltő arány
ÁP VP ÁP
téves megnyugtatási arány
ÁN VN ÁN
1-NPV
pE N pE P
p BP
p BN
negatív a betegek ÁNa között pozitív az egészségesek között
ÁPa
beteg a pozitívak között egészséges a negatívak között egészséges a pozitívak között beteg a negatívak között
Nagyon kicsi prevalencia esetén egy magasan szenzitív és egyidejűleg magasan specifikus teszt nagyon gyenge relevanciájú lehet
szenzitivitás = 98 % specificitás = 98 %
negatív pozitív Goldegészs. 810 90 standard beteg 10 90 se = 90% (de = 90%)
VPa (valódi pozitív arány)
VP VP ÁN
prevalencia = 0.1 %
NPV = 99% Pl. B: w = 10%
pozitív a betegek között
se
a-posteriori valószínűségek
VN
szenzitivitás
prevalenciától függetlenek
Áttekintő tábla
Diagnosztikus effektivitás
23
relevancia = 4 % 24
Különböző diagnosztikus módszerek összehasonlítása. ROC görbék
Hasüregi folyadékgyülemek daganatdiagnosztikája a CEA és a koleszterin koncentráció megemelkedése karcinózissal kísért rákkal hozható összefüggésbe
ROC: receiver-operator (operating) characteristic az első ROC az 1950-es években (receiver: radar vevő)
Specificity (%) 50
100
0
Specificity (%) 50
0
100
100
100
1
Melyik módszer jobb? Hogyan célszerű kiválasztani a legjobb határértéket?
0
de se w sp (1 w ) (3 független adat) de w se (sp 1) 1 1 w 1 w de w se (1 sp ) 1 1 w 1 w w 1 1 w 1 se (1 sp ) de w w w
ha
tengelymetszet
w = 0.5
1
se
de = 1
ha w < 0.5: azonos diagnosztikus effektivitás esetén az egyenes meredeksége nagyobb mint 1.
de = 0.5
tengelymetszet ha w > 0.5: azonos diagnosztikus effektivitás esetén az egyenes meredeksége kisebb mint 1.
0 0
1-specificitás
1
pl. w = 0.1, meredekség: 9 w = 0.1
1
w 0.5 : se 1 (1 sp ) 2 de 1
Azok a pontok, amelyek azonos diagnosztikus effektivitásúak, olyan egyenesen vannak, amelynek a meredeksége egy.
1 w 1 w 1 (1 sp ) de w w w
meredekség
pl. w = 0.6, meredekség: 0.66 w = 0.6
1
de = 1 szenzitivitás
meredekség
Gulyás M, Kaposi AD, Elek G, Szollár LG, Hjerpe A, Value of carcinoembryonic antigen (CEA) and cholesterol assays of ascitic fluid in cases of inconclusive cytology, J Clinical Pathology 2001 (54) 831-835 26
25
szenzitivitás
1-specificitás
koleszterin 0
szenzitivitás 0
CEA
Ha a de = 0.5, akkor a tengelymetszet: 0; Ha a de =1, akkor a tengelymetszet: 1.
de = 1 szenzitivitás
szenzitivitás 0
0
0
1
Sensitivity (%) 50
specificitás
1 1
Sensitivity (%) 50
1970 körül az első orvosi alkalmazások
de = 0.5
0 27
de = 0.5
0 0
1-specificitás
1
0
1-specificitás
1
28
Izoeffektivitás görbék a ROC-on prevalence: 0.1
prevalence: 0.2 1
prevalence: 0.3
0.5
0
effectivity
0.5
1
1
0.9
0.9
0.9
0.8
0.8
0.8
0.7
0.7
0.7
0.6
0.6
0.5
0.5
0.5
prevalence: 0.5 0
specificity
prevalence: 0.6
0.5
0
effectivity
0.5
1
specificity
0.5
0
sensitivity
1
sensitivity
1
sensitivity
1
1
effectivity
0.5
effectivity
1
1
1
0.9
0.9
0.9
0.8
0.8
0.8
0.7
0.7
0.7
0.6
0.6
0.5
0.5 0
0.6 0
0.5 29
jobb módszer
30
Ascites (+ koleszterin, - CEA)
ROC analízis
prevalence: 0.1 1
specificity
prevalence: 0.2
0.5
0
1
1
specificity
effectivity
effectivity
0
effectivity
1
0.9
0.9
0.8
0.8
0.8
0.7
0.7
0.7
0.6
0.6
0.6
0.5
0.5 0
prevalence: 0.4
prevalence: 0.5
0.5
0
1
31
0.5
0.9
0
specificity
specificity
0.5
1
0.5
1
1 1
0.5
1
0
0
0
1
0.5
0.5
prevalence: 0.3
0.5
sensitivity
0.5
haszontalan módszer
0.6 0
prevalence: 0.4
0
0
sensitivity effectivity
0.5
0
specificity
0.5
1
0
1
specificity
1
sensitivity
sensitivity
effectivity
0.5
0.5
1
1
1
specificity
prevalence: 0.6
0.5
0
1
effectivity
1
0.5
1
specificity
0.5
0
1 sensitivity
1
specificity
sensitivity
0
sensitivity
0.5
sensitivity
specificity
sensitivity
1
effectivity
1
0.5
effectivity
1
0.9
0.9
0.9
0.8
0.8
0.8
0.7
0.7
0.7
0.6
0.6
0.5
0.5 0
0.6 0.5 0
32
Példa: maximalizáljuk a diganosztikus effektivitást!
További példák
magasabb prevalencia esetén a GGT módszer jobb
szenzitivitás
szenzitivitás
szenzitivitás
alacsony prevalencia esetén a CDT módszer jobb
specificitás A CDT (carbohydrate deficient transferrin) és GGT (gamma-Glutamyltransferase) módszerek ROC görbéi az alkoholizmus kimutatására. Mivel a CDT görbe gyakorlatilag mindig balra van a GGT-től, ezért a CDT-t jobb módszernek tartják. 33
specificitás
specificitás
34
