Diagnosztika, statisztikai döntések, hipotézisvizsgálat, osztályozás

Diagnosztika, statisztikai döntések, hipotézisvizsgálat, osztályozás

Orvosi képdiagnosztika • Diagnosztika = egy rendszer állapotának meghatározása a rendszerről rendelkezésre álló mérések, megfigyelések és a priori információk alapján • Állapotok száma: véges, sok esetben 2: hibás (beteg), normális működésű (egészséges). 𝐱Ny{0,1}; 𝐱Ny[0,1] • Diagnosztika = döntés meghozatala • Diagnosztikai rendszer = Input-output leképezés y=f(x) • Orvosi diagnosztika – Input: tünetek, vizsgálatok, leletek, képek, háttértudás – Output: diagnózis. 2 (vagy több) osztályú osztályozási feladat

Orvosi képdiagnosztika • Orvosi diagnosztika = tapasztalati tudomány – Sok minősített eset: {xi,di}i=1,P  y=f(x) – Megtanulja a döntéshozó a kapcsolatot

• Számítógépes diagnosztikai rendszer – Próbálja szimulálni az orvosi döntéshozást – Más megközelítést (is) alkalmaz, mint az orvosok (az orvosi háttértudás felhasználása nehéz)

• Egy diagnosztikai rendszer fő elemei – Megfigyelési tér definiálása – Döntési szabály konstruálása – Döntés meghozatala

Döntési folyamat leképezései {1 ,...i ..., c }

Megfigyelt rendszer (beteg)

P(ωi)

p(xωi)

Megfigyelési tér tér

P(i | x)

Döntési tér y{1,2,...c}

(kép)diagnosztika Orvosi képdiagnosztikasztika Iteratív folyamat Tünetek, leletek = jellemzők

Döntési tér módosítása

igen

Lehet dönteni?

nem

Diagnózis osztályozás

Megfigyelés, mérés Mérési eredmények értelmezése, Jellemző kiválasztás (feature selection), dimenzió növelés, fontossági sorrend megállapítása, dimenzió csökkentés Döntés: döntési szabály, jellemzők alapján (valójában osztályozás)

További vizsgálatok

Orvosi képdiagnosztika • Statisztikai alapon döntünk • Milyen ismeretünk lehet: – osztályvalószínűségek, megfigyelések

• Kétosztályos osztályozás – ω = ω1 egészséges ω = ω2 beteg naív döntés: a priori valószínűségek alapján – ω1 ha P(ω1) > P(ω2); egyébként ω2. – Mindig az lesz a döntés, hogy a paciens egészséges

ω1



P(1 )  P(2 )  ω2

Orvosi képdiagnosztika • Döntési szabály mérések alapján: – A mérési adatok feltételes sűrűségfüggvénye (likelihood függvény) alapján – A megfigyelési tér: a mérési eredmények tere – Döntési szabály: a megfigyelési tér dekomponálása, szeparálása – Egydimenziós triviális esetben küszöbértékhez hasonlítunk – Az egyes osztályok a priori valószínűségeit nem vettük figyelembe ω2

 p ( x 1 ) p ( x 2 ) 

p ( x | 1 )

p ( x | 2 )

R1

R2

Döntési küszöb

ω1

p(xω1)

p(xω2)

Statisztikai döntés • Milyen alapon döntünk – Egy paraméter alapján (egydimenziós a döntési tér): küszöbbel való összevetés, több küszöb – Likelihood p ( x | 1 )

p ( x | 2 )

– Az a priori valószínűségeket nem veszi figyelembe

Statisztikai döntés • Bayes döntés (a posteriori valószínűségek alapján) 1 

P(1 x) = P(2 x) 

P(1 x) 

p ( x 1 ) P(1 ) p( x)

2



p ( x, 1 )  p( x)

p( x 1 ) P(1 )

 p( x  ) P( )

i 1,2

i

i

• Bayes szabály 1 p ( x 1 ) P(1 )  p ( x 2 ) P(2 ) =  p( x) p( x)

2

P(ω1, x) P(ω2, x)  p( x 2 ) P(2 )

A döntés minősítése • A döntés hibája, a hibás döntések valószínűségei

Ha

=

Statisztikai döntés • Döntés minősítése a hibás döntések valószínűség • Költségfüggvény, veszteségfüggvény (loss function), • Bayes kockázat (risk) a költség várható értéke

Optimális döntés: az átlagos döntési hiba minimumát biztosító döntés

1=PF (false alarm) a téves riasztás valószínűsége elsőfajú hiba

2=PM (missed detection) a tévesztés valószínűsége másodfajú hiba

R1

R2

Statisztikai döntés A döntéshez költség is rendelhető: Cij annak a költsége, ha i a döntés de j a valódi osztály Ezzel a Bayes átlagos költség:

A Bayes költség minimumát biztosító döntés

Mivel

és

Statisztikai döntés Bayes döntés

Redukálható hiba

Statisztikai döntés A Bayes költség felírható

R  C11 P1  p( x 1 )dx  C12 P2  p ( x 2 )dx  R1

R1

 C21 P1  p( x 1 )dx  C22 P2  p ( x 2 )dx  a 2  b 2 Felhasználva ...

R2

R2

R  C21P1  C22 P2  (C12  C22 ) P2  p( x 2 )dx (C21  C11 ) P1  p( x 1 )dx R1

R1

A döntési tartomány minimalizálja az átlagos költséget

R1  arg min  (C12  C22 ) P2 p ( x 2 )  (C21  C11 ) P1 p ( x 1 )dx R1

Statisztikai döntés • Likelihood arány teszt ω

1 P(1 )   ( x)  = P(2 ) 

Naiv döntés  = 1

ω2

ω1

 ( x) 

p ( x 1 )  = p ( x 2 ) 

Likelihood függvény alapján  = 1

ω2

ω1

p ( x 1 )  P(2 )  ( x)  =  p ( x 2 )  P(1 )

Bayes döntésnél  =

ω2

𝑃(𝜔2 𝑃(𝜔1

ω1

p ( x 1 )  (C12  C22 ) P(2 )  ( x)  =  p ( x 2 )  (C21  C11 ) P(1 ) ω2

A Bayes költség minimumát biztosító döntésnél (C  C ) P( )



12

22

2

(C21  C11 ) P (1 )

Statisztikai döntés A Bayes hiba az a priori valószínűségek függvénye: a döntési küszöb (felület) módosul

Statisztikai döntés • További döntési szabályok – Minimax döntés – A Bayes hiba az a priori valószínűségek függvénye.

Statisztikai döntés • További döntési szabályok – – – –

Neyman-Pearson döntés Az a priori valószínűségek meghatározása lehet nehéz A cél a hibavalószínűségek minél kisebb értéken tartása Az egyik hibavalószínűség (PF) rögzítése mellett (PF=) a másik (PM)minimumát biztosító döntést keressük: Lagrange multiplikátoros feltételes szélsőérték-kereső probléma CNP  PM   ( PF   )

CNP   (1   )    p ( x 2 )   p ( x 1 ) dx R1

– Itt is megadható a likelihood arány teszt ω1

p ( x 1 )   ( x)  = p ( x 2 )  ω2

Statisztikai döntés • Neyman-Pearson döntés triviális esetben

nemtriviális esetben

A döntés minősítése • A döntés eredménye Valóság

egészséges

beteg

Valódi negatív (TN) (Helyes döntés)

Téves negatív (FP) (Missed detection PM, másodfajú hiba, 2)

Téves pozitív (FP) (False alarm PF, elsőfajú hiba, 1)

Valódi pozitív (TP) (Helyes döntés)

döntés

egészséges

beteg

Érzékenység (sensitivity) = Fajlagosság (specificity) =

𝑇𝑃 𝑇𝑃+𝐹𝑁

𝑇𝑁 𝑇𝑁+𝐹𝑃

R1

R2

Minősítés • Értékelés – ROC görbe, (érzékenység 1-specificitás; 1-PM  PF) – FROC (mivel túl sok a téves pozitív) – AUC

Többdimenziós megfigyelési tér Tetszőleges Gauss sűrűségfüggvények mellett: általános kvadratikus elválasztó (hiper)felület

Osztályozás

------------------------------------------------------------------------------– megfigyelések {xi,di} i=1,...,L – a priori valószínűségek: P(i ) – a megfigyelések feltételes sűrűségfüggvényei: p ( x i ) Bayes döntés – Költségértékek: Cij ------------------------------------------------------------------------------– megfigyelések {xi,di} i=1,...,L maximum likelihood – megfigyelések feltételes sűrűségfüggvényei p( x i ) döntés ------------------------------------------------------------------------------– megfigyelések megfigyelések {xi,di} i=1,...,L LS döntés -------------------------------------------------------------------------------

} }

Egyre kevesebb a felhasznált ismeret

• Döntési szabály: az eredő kockázat minimumát biztosító választ kell adni. A kockázat általában nem meghatározható. A megfigyelések terét kell két tartományra bontani. – Több paraméter alapján (többdimenziós döntési tér) – A tér szeparálása: lineáris, nemlineáris, összefüggő tartományok, nem összefüggő tartományok • Felhasználható információ

Osztályozás, szeparáló felület Több paraméter alapján (többdimenziós döntési tér) lineáris

kvadratikus

? Általános nemlineáris

Osztályozók • Lineáris osztályozók – – – – – –

Megfelelő feltételek mellett Bayes, ML , LS LDA Perceptron Logisztikus regresszió (megfelelő feltételek mellett) SVM (kernel gépek, lineáris kernellel) Döntési fák ...

• Nemlineáris osztályozók – Megfelelő feltételek mellett Bayes – Nemlineáris transzformáció + lineáris osztályozó • • • •

Nemparametrikus módszerek (NN, kNN) KDA Bázisfüggvényes megoldások Kernel gépek (nemlineáris kernellel)

– Neurális hálók

Osztályozás Perceptron Logisztikus regresszió

LS megoldás ML megoldás Gauss eloszlások mellett Bayes megoldás regularizált LS megoldás Gauss eloszlások mellett

Lineáris osztályozás • LDA többdimenziós tér (x) egydimenziós tér (y=wTx) • Kitüntetett vetítési irány (w) keresése

m1

m2

m1

m2

LDA: Fisher linear discriminant Optimalizálási feladat: azt a vetítési irányt keressük, mely irányra vetítve az adatok a legjobban megkülönböztethetők

(m1  m2 ) 2  w T (m 2  m1 )(m 2  m1 )T w  w T S B w

Rayleigh hányados wT S -1W S B w J (w )  wT w

S W1S B w   w

S B w  (m 2  m1 )(m 2  m1 )T w



S B w iránya (m 2  m1 )

Lineáris osztályozás • Perceptron

s(k) = wTx(k)

y(k) = sgn(s(k))

(k)= d(k)-y(k)

w  k   w  k  1    d  k   y  k   x  k   w  k  1    k  x  k 

•

Konvergens, ha: • Az adatok lineárisan szeparálhatók • Véges számú adat van • Az adatok felülről korlátosak • >0

Lineáris osztályozás LS megoldás y=wTx vagy y=wTx+w0 Iteratív megoldás w  k   w  k  1  2  d  k   y  k   x  k   w  k  1    k  x  k  analitikus megoldás: pszeudoinverz w  ( XT X) 1 XT d

Lineáris osztályozás • Logisztikus regresszió posterior alapján dönt P(1 | x) 

a  ln

p ( x | 1 ) P(1 ) 1 1     (a) a p ( x |  ) P (  ) p ( x | 1 ) P(1 )  p( x | 2 ) P(2 ) 1  1 e 2 2 p ( x | 1 ) P(1 )

p ( x | 1 ) P(1 ) p ( x | 2 ) P(2 )

Folytonos bemenet mellett, Gauss eloszlású mérési adatoknál

P ( x k ) P(1 x)

ln

P(1 ) P(2 )

Lineáris osztályozás • Maximum likelihood megoldás p(di  1| xi , w )  sgm(wT x)   (w T x) p(di  0 | xi , w )  1  sgm(w T x)  1   (w T x)

p(di xi , w )  ( (wT xi )) di (1   (w T xi )(1 di )  yidi (1  yi )(1di ) L

p(di | xi , w )   yidi (1  yi )(1 di )

Egy mintára Az összes (L) mintára

L i 1

L

L(w )   di ln yi  (1  di ) ln(1  yi )

Likelihood függvény

i 1 i 1

Iteratív megoldás

,

Lineáris osztályozás Kernel gép (SVM)

w T xi  b  a  0

ha di  1

wT xi  b  a  0 ha di  1 di (wT xi  b)  1

i  1, 2,

,P

P 1 T L  w, b,α   w w   i  di (wT xi  b)  1 2 i 1

L  w, b,α 

x2

x  xp  r

w



r

i 1

L  w, b,α 

optimális hipersík

b

x1

w

 0  w    i d i xi

w

x r xp

P

0 

P

 d i 1

i

i

0

i  0

P

1 P P Q(α)    i    i j di d j xTi x j 2 i 1 j 1 i 1

1 w



P

 d i 1

i

i

Ps

0

w    d i xi 

i 1

 i

i  0

i  1,...., P

 P  T  y (x)  sign   i di xi x  b   i 1 

Nemlineáris osztályozás Paramétereiben lineáris osztályozó: nemlineáris transzformáció + lineáris osztályozó

y   wii  x   w T φ  x  i

LS megoldás x

w  (ΦT Φ) 1 ΦT d

N

Nemlineáris transzformá ció

(x)

Lineáris osztályozó

M>N

Kernel gép

di (wT φ(xi )  b)  1 P

i  1, 2,

,P

1 P P Q(α )    i    i j di d j φT (xi )φ(x j ) 2 i 1 j 1 i 1

K (xi , x)   (xi )(x) Τ

P

w    i di (xi ) 

i 1

P   y(x)  sign  i di K (xi , x)  b   i 1 

y

Nemlineáris osztályozás Paramétereiben is nemlineáris osztályozó x0

LS megoldás

= 1

x1(k)

w0(k) w1(k) +

y  sgm(wT x)

+ + x(k) xN(k)

wN(k)

(k)

+

w  k  1  w  k   2  k   k  sgm  s  k   x  k   w  k   2  k   k  x  k 

d(k)

Nemlineáris osztályozás x (1)= 1

x(2)0 = 1

(1 )

PE 1

0

s(1) 1



y (1) sgm

1

(2)

PE1 x (1) 1



(1)

PE 2 x (1)



2

x

s(1) 2

sgm

W x



2



y  f W(L ) f  W( L 1) ...f (W(1) x) 

sgm

3

(2)

(1)

x =y



1



(2)

PE

y(1)

(1)

s3

y sgm

1



PE (1)

s(2) 1

y(1)

(1) N (1) 3

d1

W

2 (2 ) 2

d

s

sgm

y2

2

 2

(2)

(2)

(1)

y=y



y  f W(2)f  W(1) x 



Paramétermeghatározás: minimumkeresés (LS probléma), BP vagy annak valamelyik variánsa

Nemlineáris osztályozó • Nemparametrikus nemlineáris osztályozó – NN nearest neighbour, k-NN

• Posterior becslése n cimkézett minta x körül egy V térfogat (tartomány) k mintából ki darab i cimkéjű

m-edik osztályba sorolunk, ha

• Nemmetrikus módszerek – – – –

Döntési fák CART Szabály alapú módszerek ...

Jellemzők kiválasztása • A jellemzők meghatározása, kiválasztása: az egyik legnehezebb feladat • ROI kiválasztása: elváltozás kiemelő szűrők (IRIS filter, SBF, AFUM, illesztett szűrők, stb.) • ROI jellemzői: Haralick features (textúra jellemzők), geometriai jellemzők (kerület, terület, ezek aránya, ...), ROI-n belül képjellemzők (minimum, maximum, átlag, szórás, magasabb momentumok, medián, entrópia, ...) , gradiens jellemzők: Gauss deriváltak DoG, LoG,... • Globális-lokális jellemzők dilemmája

• A jellemzőtér dimenziója: hány jellemző alapján osztályozzunk? • Dimenzió növelés, több megfigyelés- többdimenziós vektor: a dimenzió átka • Szekvenciális döntés (több mérés, ugyanarról az objektumról, multimodális vizsgálat) • Occam borotvája • Dimenzió redukció, a releváns változók kiválasztása (PCA, NPCA, KPCA, PLS,...) • Dimenzió redukció regularizáció segítségével: regularizációs tag: l2 norma, l1 norma • Relevant vector machine (Bayes módszer a változók szelektálására) • ...

Jellemző kiválasztás

• PCA

T  φ1,φ2 , ..., φ N 

y  Tx N

M

x   yiφi i 1

N



  2

E

i  M 1

xˆ   yi i

  x φ  



  E x  xˆ 2

ˆ    2

N



i  M 1

yi  φTi x

M N

i 1

φTi x 2



T

   E  



 i φTi φi

i

N



i  M 1

M

i 1

i 1

 xx φi  iM 1φTi Rxxφi

 yiφi   yiφi



N



i  M 1

N ˆ    2Cxxφi  2 iφi   0 φi i  M 1

Cxxφi   iφi

φTi E

N

1 

TT T  I, vagyis TT  T1

φTi φ j   ij

T

f w 

N

T

2

N    E   i  M 1



 yi 



2





φT C φ   φT φ  1  i i i  i xx i 

  2

N



i  M 1

φTi R xxφi

   wT Rw



N



i  M 1

φTi iφi

E y2

wT w

wT w

Rayleigh hányados



N



i  M 1

i

Jellemző kiválasztás • KPCA Φ : R  F, N

x

1 P C  Φ x j Φ x j P j 1

   

X  Φ(x)

P



P

V  CV V  iΦ  xi  i 1

P 1 P T  iΦ  xk  Φ  xi   iΦ  xk   Φ x j ΦT x j Φ  xi  P i 1 i 1 j 1

ΦT  xk  V  ΦT  xk  CV



T

 

Kij  K xi , x j  ΦT  xi  Φ x j

   

T

Pα  Kα

PKα  K 2α

Sajátvektorok normalizálása k k V T V   1

P

1

 k   k ΦT x Φ x   i j  i j

 

i , j 1



P

 i  j  Kij  α T K α  k

k

k

k

i , j 1

k k  k α T α  A jellemzőtérbeli vektorok vetítése

P

P

i 1

i 1

k k  k  V T Φ  x   i ΦT  xi  Φ  x   i K  xi , x 

Jellemző kiválasztás

• KPCA

Nulla várható érték biztosítása P Φ k 1Φ x k  0



 

 

Kij  ΦT  xi   Φ x j  1 Kij    Φ  xi   P   1  Kij  P

P

P

 1ip K pj

p 1

α  Kα

 Φx p 

p 1

1 P  xi   Φ  xi    Φ  x k  P k 1 V   i 1iΦ  xi  P

   1 P    Φ x j   Φ  xk        P k 1  

 

1 P 1   Kik 1kj  2 P k 1 P

  K  1P K  K1P  1P K1P ij

P



1ip K pk 1kj 

p , k 1

Jellemző kiválasztás • PLS • A kritérium szekvenciálisan maximáljuk a kimenet és a bemeneti változók lineáris kombinációját X, d • w a bemeneti változók xi és a kimenet d kapcsolatát (súlyait) adja meg) w k  arg max cov 2 ( Xw, d) wT w 1

• Ortogonalitási feltétellel

t k  Xw k

tTk t j  w Tk XT Xw j  0

minden 1  j  k

Orvosi CAD rendszerek információ-feldolgozási folyamata Mellkas röntgenkép (PA) diagnosztika

Orvosi CAD rendszerek információ-feldolgozási folyamata Mellkas tomoszintézis

Orvosi CAD rendszerek információ- feldolgozási folyamata

Mammográfia

Main types of suspicious areas malignant cases

mikrokalcifikáció

architekturális torzítás

spikulált folt

Jóindulatú elváltozás

A képek (esetek) változatossága zsíremlő

20.05.2004

zsír-grandular

IMTC 2004, Como, Italy

sűrű grandular

Kép szegmentálás

Éldetektálás és textura alapú osztályozás Matching based on segment position + texture parameters

Egy lehetséges út a mikrokalcifikációk detektálásra Image reading Image egment selection Texture analysis

no

Suspicious segment?

yes Focusing on suspicious subsegment

Reinforcement

no yes Edge detection

Curvilinear detection

yes

Removing of curvilinear objects

no

Verification

no Fals positive result

yes

True positive result

Kulcscsont és bordák árnyékának eltüntetése

Kulcscsont és bordák árnyékának eltüntetése

Kerekárnyék keresés

Kerekárnyék keresés

Kerekárnyék keresés

Kerekárnyék keresés

Kerekárnyék keresés

Kerekárnyék keresés

Összesített eredmények: FROC (Free-Response Receiver Operating Characteristic Curve)

example of the results of the steps of vessel feature extraction.