Orvosi diagnosztikai célú röntgenképfeldolgozás

Orvosi diagnosztikai célú röntgenképfeldolgozás Önálló labor zárójegyz könyv Lasztovicza László VII. évf. vill. szakos hallgató 2002.

Konzulens: dr. Pataki Béla docens Méréstechnika és Információs Rendszerek Tanszék

Feladatkiírás Az orvosi diagnosztikában nagy jelent sége van különböz képalkotó eljárásokkal (röntgen, ultrahang, CT, stb.) nyert képek diagnosztizálásának. A diagnózis egyik tipikus lépése, hogy a képen valamilyen - általában rosszul definiált - alakzatot, mintázatot keresünk: ennek jelenléte, esetleg környezetével való kapcsolata hordoz diagnosztikai jelent séggel bíró információt. A feladatot nehezíti, hogy az alakzat nagy egyéni szórást mutathat, ugyanakkor sem pozíciója, sem iránya, sem mérete nem ismert el re. Az Önálló Labor során speciális orvosi sz rést szolgáló röntgenképek diagnosztikus vizsgálata a cél. Rendelkezésre áll, illetve beszerezhet nagyobb számú mintakép, amelyekhez ismert a diagnózis, és ismert, hogy mely képrészlet hordozza a keresett információt. A feladat megoldása során egy képadatbázist kell megalkotni, majd különböz eljárásokat megvizsgálni ezen adatbázis segítségével. Ehhez egyrészt méret-, pozíció- és irányfüggetlen paraméterek el állító algoritmusok keresését, megvalósítását és tesztelését kell elvégezni, illetve közvetlenül a kép alapján dolgozó diagnosztizáló eljárásokat megvizsgálni. A feladathoz klasszikus 2D képfeldolgozó eljárások, a mesterséges intelligencia körébe tartozó eljárások, általános kétdimenziós jelfeldolgozási módszerek alkalmazására egyaránt szükség lehet, de tág tere van az egyéni ötleteknek is.

Tartalomjegyzék BEVEZETÉS......................................................................................................................................................... 4 DIGITÁLIS KÉTDIMENZIÓS KÉPFELDOLGOZÁS.................................................................................... 5 KÉPJAVÍTÁS ....................................................................................................................................................... 5 Fényességi érték transzformációk ................................................................................................................ 5 Lokális eljárások (ablakozó technikák) ....................................................................................................... 7 KÉPANALÍZIS ................................................................................................................................................... 10 Élek detektálása .......................................................................................................................................... 11 Morfológiai eljárások ................................................................................................................................. 12 Hough transzformáció................................................................................................................................ 13 EL FELDOLGOZÁSI FELADATOK ............................................................................................................ 15 AZ EML ELKÜLÖNÍTÉSE AZ EGYÉB KÉPELEMEKT L ................................................................................... 15 A MELLIZOM ÉS AZ EML HATÁRVONALÁNAK MEGHATÁROZÁSA................................................................ 18 A MELLBIMBÓ HELYÉNEK MEGHATÁROZÁSA ................................................................................................ 21 MIKROKALCIFIKÁCIÓK FELISMERÉSE ................................................................................................. 23 ARCHITEKTÚRA ............................................................................................................................................... 23 A RENDSZER M KÖDÉSE ................................................................................................................................. 23 Paraméter térkép piramis felépítése ........................................................................................................... 23 Neurális hálózatok ...................................................................................................................................... 24 Tanítás......................................................................................................................................................... 25 FORRÁSOK ........................................................................................................................................................ 27

Bevezetés Napjainkban a daganatos megbetegedések és halálozások egyik vezet oka a n k körében az eml rák. Az eml rák megel zésére jelenleg nem ismert módszer, a gyógyítás egyetlen útja a betegség minél el bbi felfedezése. A mammográfia feladata az eml rák felfedezése a betegség korai szakaszában. A mammográfia az eml k lágyrész röntgenvizsgálatát jelenti. A diagnózis a röntgenfelvételek alapján történik. A diagnózis során a röntgenfelvételeken különböz elváltozásokat keresnek, amelyek a daganatra, vagy annak kialakulását megel z állapotokra utalhatnak. Az orvosi diagnosztikában egyre nagyobb jelent séggel bírnak a különböz számítógépes módszerek (CAD), amelyek lehet vé teszik a gyors feldolgozást, biztosítják az adatok könny tárolását és segítik a szakemberek közötti információáramlást. A mammográfia területén igen intenzív kutatás folyik napjainkban, amely a röntgenfelvételek elemzését segít módszerek kidolgozását t zte ki célul. Az 1. ábrán egy tipikus CAD rendszer [1] felépítését láthatjuk.

Digitalizált mammogram

El feldolgozás

Képanalízis

Statisztikus vagy neurális osztályozás

Diagnózis

1. ábra – tipikus CAD rendszer felépítése

A digitalizált röntgenképeket egy el feldolgozási lépés során megtisztítjuk a felesleges, zavaró, a további feldolgozás számára érdektelen részekt l. Az el feldolgozó lépés során általában általános célú képfeldolgozási eljárásokat alkalmazunk. A szakemberek a képek elemzése során olyan területeket keresnek, amelyek különböz elváltozásokra utalhatnak. A képanalízis feladata olyan eljárások kidolgozása, amelyek ezeket az érdekes területeket felfedezik a képeken. A képanalízis tehát különböz analitikus vagy heurisztikus eljárásokat felhasználva kisz ri azokat a területeket, amelyek valamilyen szempontból gyanúsnak tekinthet ek. Az alkalmazott módszerek általában igen érzékenyek, vagyis jóval több területet jelölnek meg, mint amennyi valóban gyanúsnak tekinthet , ezért a következ lépésben, az osztályozás során, megpróbáljuk ezek közül kisz rni a valóban elváltozást mutató területeket. Az osztályozás során a leggyakrabban statisztikus vagy neurális módszerekre épít eljárásokat használunk. Az önálló laboratórium során végzett munkám három részre bontható. Els ként a mammográfiával és a képfeldolgozás alapjaival ismerkedtem meg. A következ kben olyan eljárások kifejlesztésével foglalkoztam, amelyek a további feldolgozási feladatok számára el feldolgozási lépésként szolgálhatnak, a témából TDK dolgozat is készült, amelyb l részleteket a zárójegyz könyvben is felhasználok. Utolsóként pedig az egyik tipikus elváltozással, a mikrokalcifikációk felismerésével foglalkoztam.

Digitális kétdimenziós képfeldolgozás A digitális képfeldolgozás szokásos feladatai a képjavítás és képhelyreállítás, illetve a képanalízis [2, 3]. A digitalizálás során a mintavételez és kvantáló rendszerek hibákkal terhelik a képeket, amelyek kiküszöbölése és az eredeti kép minél pontosabb visszaállítása a képhelyreállítás feladata. A vizuális látvány javításával, a képek jellemz tulajdonságainak kiemelésével a különböz képjavító eljárások foglalkoznak. A képfeldolgozás végs célja a képeken található információ értelmezése. Ezzel a képanalízis foglalkozik. A digitális képfeldolgozás területén alkalmazott eljárások sok esetben empirikus jelleg ek, vagyis olyan paraméterekkel operálnak, amelyek kísérletezéssel, próbálgatással állíthatóak be az optimális értékre. Kevés olyan eljárás van továbbá, amely általánosan használható egy adott feladat megoldására, a legtöbb esetben (és a valós alkalmazások szinte kivétel nélkül ilyenek) a feladatok megoldása több eljárás együttes alkalmazásával illetve az egyes eljárásoknak a feladathoz való alakításával lehetséges.

Képjavítás A képjavítás feladata a kép vizuális, illetve a további feldolgozás szempontjából lényeges tulajdonságainak javítása. A vizuális tulajdonságok javítása els sorban a képek megjelenítésénél hasznos, de a további feldolgozást nem feltétlenül segíti. Ezzel szemben a további feldolgozás szempontjából lényeges tulajdonságok nem feltétlenül hordoznak vizuális információt. A terület eljárásainak tipikus képvisel i a kontraszt javítása, vagy az élek élesítése.

Fényességi érték transzformációk A fényességi érték transzformációk a legegyszer bb eljárások, egyben a legáltalánosabbak is, ezért gyakran használatosak más eljárások részeként. A kimenetet a bemeneti fényességi értékek különböz átviteli függvényekkel megadott átskálázásával kapjuk meg, vagyis a bementi és kimeneti értékek között egy (nem feltétlenül egy-egy értelm ) leképezés jön létre:

v = f (u ) , ahol v a kimeneti fényességi értéket, míg u a bemenetit jelöli. A következ kben következzék néhány példa a fényességi érték transzformációkra. A kontraszt javítása Az alacsony kontraszt általában a nem megfelel megvilágítás, vagy a képalkotó berendezésben keletkezett fényveszteség eredménye. A kontraszt javításra egy példa a 2. ábrán látható.

2. ábra – Kontrasztjavítás (baloldalon a kiindulási kép)

Hisztogram alapú eljárások A hisztogram megadja a fényességi értékek gyakoriságát egy adott képen, így a valószín ségi változóként értelmezett fényességi érték s r ségfüggvényének tekinthet . A hisztogram kiegyenlítés célja a kép normalizálása, azaz a fényességi értékek egyenletes eloszlásának megteremtése. Tekintsük tehát a fényességi értéket ( u ) valószín ségi változónak. Az u bemeneti változó vehessen fel L különböz értéket. Legyenek xi ezek az értékek ( i = 0,1,...., L − 1 ). Ekkor az egyes fényességi értékek gyakoriságai, pu ( xi ) , a hisztogram alapján az alábbiak szerint határozhatók meg:

pu (xi ) =

h ( xi )

L −1 i =0

h ( xi )

,

i = 0,1,...., L − 1

A kimeneti fényességi értékek meghatározása ez után úgy történik, hogy:

v=

u xi = 0

v' = Int

pu ( xi )

v − vmin (L − 1) + 0,5 , 1 − vmin

Az eljárás el nye, hogy automatikus, nem kell sok paramétert állítani, viszont némely esetben nem az elvárásoknak megfelel eredményt ad. A 3. ábrán a hisztogram kiegyenlítésre láthatunk példát.

3. ábra – Hisztogram kiegyenlítés (baloldalon a kiindulási kép)

Lokális eljárások (ablakozó technikák) A lokális eljárások a kép egy adott pontját, illetve annak környezetét vizsgálják. A vizsgált pont és környezete együttes elnevezése ablak. Az ablakban található értékek reprezentálhatóak egy mátrix segítségével. A vizsgálatokat az ablak méretének megfelel vizsgáló mátrix (más néven maszk) segítségével végezzük. A bemeneti kép összes képpontjára elvégezve az adott maszk által definiált m veletet kapjuk meg az eredmény képet. A könnyebb vizsgálhatóság miatt az ablak mérete általában páratlan. Az eljárások tulajdonképpen a konvolúció elméletén alapulnak. A képet egy eltolás invariáns operátorral (a maszkkal) konvolálva kapjuk meg az eredményt.

Átlagolás A legegyszer bb ablakozó eljárás az átlagolás. Az átlagolás, mint ahogy a neve is jelzi, a vizsgált területen található képpontok átlagát képzi, és ezzel az átlaggal helyettesíti a vizsgált képpontot. Az eljárás eredményeképpen a kép elmosódott lesz, ugyanakkor a képen található zaj is csökken. Az eljárás képlettel az alábbiak szerint fejezhet ki: v(k , l ) =

1 NW

(k ,l∈W )

u (m − k , n − l )

A képlet a konvolúció diszkrét formájából kis átalakítás után megkapható. A konvolúciós mátrix (vagyis a maszk) elemeinek értéke megegyezik, és összeadva az egységet adják. Az átlagolás tulajdonképpen alulátereszt sz r ként fogható fel, mivel a magasabb frekvenciájú képrészleteket (tipikusan az éleket) elnyomja, így a kép elmosódottá válik. Az eljárás eredménye a 4. ábrán látható, az alkalmazott ablak mérete 11x11 képpont volt.

4. ábra – Átlagolás (baloldalon a kiindulási kép)

Statisztikus sz rések A statisztikus sz r k egy nemlineáris leképezést valósítanak meg a kiindulási és az eredményül kapott kép pontjai között. Az eljárások a vizsgált terület képpontjait rendezik, majd a sz rés típusától függ en kiválasztanak egy elemet, amely a vizsgált képpont új értékét adja. Az egyik legelterjedtebb képvisel jük a medián sz r . Egyéb gyakrabban használatos típusok a minimum és maximum sz r , amelyeknél a rendezés után kapott vektor minimumát illetve maximumát választjuk ki. Medián sz réskor a maszk rendezése után kiválasztjuk a középs elemet, amellyel a vizsgált képpontot helyettesítjük. Az eljárás alkalmas az impulzus jelleg zajok kisz résére, azonban az éleket az ablak méretét l függ en torzítja. A 5. ábrán egy 5x5-ös ablakkal végzett medián sz rés eredményét láthatjuk.

5. ábra – Medián sz rés (baloldalon a kiindulási kép)

Élek élesítése (unsharp masking) Az eljárás alapja, hogy egy az életlen vagy alulátereszt sz r vel sz rt képpel arányos képet kivonunk az eredetib l. Általánosságban az eljárás a következ képpen írható le: v(m, n ) = u (m, n ) + λg (m, n ) ,

ahol λ > 0 és g (m, n ) egy alkalmasan definiált gradiens az (m, n ) pontban. Gyakran használatosak gradiens függvényként a diszkrét Laplace függvény változatai: g (m, n ) = u (m, n ) −

1 [u (m − 1, n ) + u (m, n − 1) + u (m + 1, n ) + u (m, n + 1)] 4

Az eljárás eredményeként kapunk egy olyan képet, amelyen az élek jobban látszanak, mint az eredeti képen. A 6. ábrán láthatunk egy példát.

6. ábra – Unsharp masking (baloldalon a kiindulási kép)

Inverz kontraszt-arány transzformáció Az emberi látás azon képessége, amellyel egy objektumot az egyenletes fényeloszlású háttért l el tud különíteni, az objektum méretét l és a kontraszt-aránytól függ. A kontrasztarány definíciója a következ :

γ=

σ , µ

ahol µ az objektum átlagos fénys r sége, σ fénys r ségének szórása.

pedig az objektum és környezete

Az inverz kontraszt-arány transzformáció célja, hogy az objektumokat a képen kiemelje a háttérb l. Alkalmazása tulajdonképpen az alacsony kontrasztú éleket javítja. A transzformáció a következ képpen adható meg:

v(m, n ) =

µ (m, n ) , σ (m, n )

ahol µ (m, n ) a fényességi értékek egy adott ablakon vett átlaga (ld. még fent), míg σ (m, n ) a fényességi értékek ugyanezen ablakon számolt szórása. µ (m, n ) és σ (m, n ) az alábbiak szerint számolhatóak: 1 µ (m, n ) = u (m − k , n − l ) N W ( k ,l )∈W

1 σ (m, n ) = NW

[u (m − k , n − l ) − µ (m, n )]

12

2

( k ,l )∈W

Az eljárásra példa a 7. ábrán látható. Az ablakozó m veleteket egy 3x3-as ablakra végeztem el.

7. ábra – Inverz kontraszt-arány transzformáció (baloldalon a kiindulási kép)

Képanalízis A képanalízis célja, hogy a képeken található objektumok jellegzetes tulajdonságait meghatározza, majd ezekb l következtessen a képen található objektumok min ségi, vagy mennyiségi jellemz ire. Ezekb l a jellemz kb l azután lehetségessé válik a képen látható objektumok értelmezése, a kép információtartalmának elemzése. A képanalízis teszi lehet vé például a m holdak által készített képek értelmezését, segítve a meteorológia, a térképészet munkáját, vagy éppen a röntgenfelvételek diagnosztikai vizsgálatát. A képanalízis módszerei tehát a képek objektumainak jellegzetes tulajdonságait szeretnék meghatározni, mint amilyenek az élek, az objektumok határai, a közöttük látható összefüggések. A kép részekre bontása után megállapíthatjuk az egyes objektumok jellemz it,

a képelemek közötti összefüggések elemzésével pedig kép információtartalmát nyerhetjük ki. A képanalízis jellemz feladatai a lényegkiemelés, a szegmentálás és osztályozás.

Élek detektálása Az élek detektálása alapvet feladat, hiszen az élek jellemzik az objektumok határait. Hasznosak lehetnek például az objektumok szegmentálásánál, de a felismerést és az értelmezést is segíthetik. Az élek úgy képzelhet ek el, mint a fényességi értékek hirtelen változásai. Egy folytonos képet tekintve élet akkor találunk, ha a kép egy adott pontbeli iránymenti deriváltja lokális maximumot vesz fel, vagyis az élek detektálására használhatjuk a gradienst. Az els derivált mellett használható a második derivált is, amely el jelet vált ott, ahol az els derivált maximumot vesz fel, így a második derivált nulla-átmeneteit elemezve is detektálhatjuk az éleket. A továbbiakban csak az els deriváltra épül módszerekkel foglalkozunk. Ha egy r görbe mentén θ irányban mérjük a g gradienst, az alább megadott:

∂g ∂g ∂x ∂g ∂y = + = g x cosθ + g y sin θ ∂r ∂x ∂r ∂y ∂r ∂ ∂g = 0 , amib l ∂θ ∂r g θ g = tan −1 y gx

kifejezés a maximális értékét akkor veszi fel, amikor

− g x sin θ g + g y cosθ g = 0 ∂g ∂r

= g x2 + g y2 max

A fenti koncepciókra építve kétféle éldetektálási módszer használatos, amelyekben a deriváltakat különböz maszkokkal közelítjük.

Gradiens operátorok A gradiens operátorok két operátormátrix segítségével reprezentálhatóak, amelyek a kép két ortogonális irányában mérik a gradienst. A gradiens nagysága és iránya a konvolúció elvégzése után kapott mátrixokból az alábbiak szerint határozható meg:

g (m, n ) = g12 (m, n ) + g 22 (m, n )

θ g (m, n ) = tan −1

g 2 (m, n ) g1 (m, n )

A gradiens operátorokkal való éldetektálásra a 8. ábrán látható példa. A példákban az élek tagjaként felismert pontok 5%-át tekintettem valóban valamilyen élhez tartozónak.

8. ábra – Gradiens éldetektálás (baloldalon a kiindulási kép)

Morfológiai eljárások A morfológia kifejezés sok tudományterületen el fordul, de a jelentése mindenütt hasonló. Az alakzatok, formák vizsgálatát jelenti. A képfeldolgozásban ez a képen megjelen objektumok struktúrájának, formájának vizsgálatát jelenti. A morfológiai eljárások általában a halmazelméletb l kölcsönzik a m veleteket, ami azt jelenti, hogy a képeken található objektumokon egy el re megadott halmazzal különböz halmazm veleteket végezve kapjuk az eredményt. A területnek két alapvet operátora van. Tekintsünk a képen egy objektumot egy X halmaznak és adjunk meg egy B halmazt. B x jelölje B olyan transzlációját, amikor B középpontja az x pontban van. Az els operátor, amit megadunk az erózió (erosion). X eróziója B-vel mindazon x pontok halmaza, amelyekre X tartalmazza B x -et, azaz:

X

B

{ x : B x ⊂ X}

Az erózió tehát az objektum méretének csökkenéséhez vezet. A másik alapm velet a kiterjesztés (dilation), ennek az ellenkez je, vagyis az objektum méretének növekedését eredményezi. Definíció szerint a kiterjesztés mindazon x pontok halmaza, amelyekre B x és X metszete nem üres halmaz. X ⊕ B { x : B x ∩ X ≠ ∅} A morfológiai m veletek közül két további m veletet mutatok be, amelyeket a kés bbiek során használni is fogok. Az els a határvonal keresése, amely egy olyan m velet, amelyben az objektum határán lév pontok maradnak csak meg. Képlettel kifejezve a m velet a következ : ∂X = X X B

A B halmaz ebben az esetben lehet például egy 3x3-as mátrix, amelynek minden elemét figyelembe vesszük a halmazm veletek során. A m velet tehát veszi az objektum azon pontjait, amelyekre a B mátrixot X tartalmazza, majd kivonja az X halmazból. A második m velet a felnyitás, amely a m veleti halmaztól függ en szétválaszt egy objektumot több részre. A felnyitás definíciója:

XB = ( X

B) ⊕ B

El ször tehát vesszük mindazon pontokat, amelyekre X tartalmazza a B halmazt, majd az eredményhalmazhoz hozzávesszük mindazon pontokat, amelyekre a metszete B-vel nem üreshalmaz. A 9. ábrán a határok megkeresésére láthatunk egy példát. A példában a megadott vizsgáló halmaz egy 3x3-as egységmátrix volt, és minden 0-nál nagyobb fényességi érték képpontot valamilyen objektumhoz tartozónak tekintettem.

9. ábra – Objektumok határának megkeresése (baloldalon a kiindulási kép)

Hough transzformáció A Hough transzformáció segítségével egyeneseket deríthetünk fel a képen. Kiindulásként tekintsük az egyenes alábbi formában megadott egyenletét:

s = x cosθ + y sin θ amely megadja az origótól s távolságra lév , az origóval szöget bezáró normálissal rendelkez egyenes pontjait. A Hough transzformáció során az egyenes pontjait az (s,θ ) térbe képezzük, aminek eredményeként az egyenes ebben a térben egy pont formájában jelenik meg. A transzformációt ezek után úgy képzelhetjük el, hogy a képen meghatározzuk például egy objektum határait, amint a 14. ábrán látható, de végezhetünk éldetektálást is, ezután az s és a paraméter néhány kvantált értékére minden (xi , yi ) pontot leképezünk az

(s,θ )

térbe, a tér minden pontjához egy C (s,θ ) számlálót rendelünk, amelyet növelünk, ha a leképezés az adott pontba történt. A számláló lokális maximumai adják ezek után a különböz pontokon át húzható egyeneseket. A 10. ábrán látható egy példa az eljárásra. A példában az el z pontban megadott algoritmust használtam fel a határok képzésére. A leképezés után azokat az egyeneseket jelöltem meg, amelyekre a hozzájuk tartozó számlálónál mérhet lokális maximum meghaladta a globális maximum 10%-át.

10. ábra – Hough transzformáció (baloldalon a kiindulási kép)

El feldolgozási feladatok Az eml elkülönítése az egyéb képelemekt l A röntgenfelvételeken sok esetben láthatóak különböz feliratok, címkék, illetve a digitalizálás során keletkezett különféle hibák. A további feldolgozás szempontjából ezek a képelemek feleslegesek, esetleg zavarhatják is a további feldolgozást, ezért érdemes lehet ket eltávolítani. A feladat tehát egy olyan algoritmus kidolgozása volt, amelynek segítségével az eml elkülöníthet a képeken található egyéb objektumoktól. További el nye ennek az algoritmusnak, hogy segítségével az eml helyzete pontosan meghatározható a képen. A kidolgozott algoritmus leírása az alábbiakban látható.

1. lépés A bemeneti képmátrixot kib vítjük olyan módon, hogy minden szélén felveszünk egyegy újabb sort, illetve oszlopot és azt 0 értékekkel töltjük fel. Az algoritmus során így nem kell ellen riznünk, hogy a mátrix határain belül mozgunk-e. Ha szükséges több sorral is kiegészíthetjük a mátrixot. 2. lépés A kép összes 15-nél nagyobb fényességi érték pontját megvizsgáljuk, van-e olyan szomszédja, amelynek fényességi értéke kisebb, mint 15. Ha van, akkor annak a pontnak a fényességi értékét 25-re növeljük. A képeken el forduló rendellenességek között található olyan, amelynek eredményeképpen az eml egyes részei nagyobb fényességi értéken vizsgálva elválnak az eml t l, aminek eredménye, hogy az algoritmus egy kés bbi lépésben kizárja ezeket a képpontokat a további vizsgálatból. A rendellenesség megjelenési formája egy sötét csík (az alkotó pontok fényességi értéke kisebb, mint 15), amely végighúzódik az eml n. 3. lépés A képen található összes, 25-nél nagyobb fényességi érték képpontokat tartalmazó tartomány határán található képpontok értékét 0-ra állítjuk. Ezt egy egyszer morfológiai eljárással meg tudjuk tenni (ld. 2.3.2. pont). A határpontok megkereséséhez egy 3x3-as vizsgálómátrixot alkalmazunk. A kép 25-nél nagyobb fényességi érték pontjai összefügg tartományokat alkotnak, amelyeket halmazoknak tekinthetünk. A tartományok mint halmazok, és a vizsgálómátrix mint halmaz között egy-egy értelm megfeleltetést próbálunk létrehozni, vagyis a vizsgált képpontot a vizsgálómátrix középpontjával, környezetét pedig a mátrix megfelel elemével vetjük össze, és ha minden elem párosítható, azaz a vizsgált képpont és a környezetében található képpontok fényességi értéke 25-nél nagyobb, akkor nem teszünk semmit, ellenkez esetben a képpont fényességi értékét 0-ra állítjuk. A lépés eredményeként a képen található tartományok egyértelm en elkülönülnek, illetve a vékony vonallal összekötött tartományok több részre esnek szét. 4. lépés Meghatározzuk az egy tartományba tartozó képpontok halmazait. A 25-nél nagyobb fényességi érték képpontok esetén megvizsgáljuk, hogy valamely szomszédjuk már tagja-e valamelyik tartománynak, ha igen, akkor a képpontot megjelöljük, mint a tartomány tagját, ha nem, akkor új tartományt hozunk létre. Ha vannak olyan szomszédai, amelyek két külön tartományba tartoznak, akkor a tartományokat megjelöljük, mint szomszédos tartományokat.

A szomszédos tartományok egy tartománynak min sülnek, így a képpontok vizsgálata után a szomszédosnak min sített tartományokat összevonja az algoritmus egy tartományba.

5. lépés A legnagyobb tartomány kiválasztása a tartományokba tartozó képpontok megszámlálásával. Az algoritmus nem veszi figyelembe, ha két maximális pontszámú tartomány van, ez ugyanis a kiindulási feltevéseknek ellentmondana. A legnagyobb tartomány pontjai megadják az eml pontjait, kivéve a 25 fényességi érték alatti pontokat. A következ kben tehát megismételjük a 3-5-ig lév lépéseket, de most 15-ös fényességi értéket választva határként, ezáltal finomítva a megoldást. 6. lépés Utolsó lépésként a kapott tartomány b vítése következik. A kapott tartomány határpontjait 5 pixellel kitoljuk, így finomítva a felbontást és kiküszöbölve egy olyan jelenséget, amely akkor jelentkezik, ha az eml határán vannak olyan kisebb tartományok, amelyeket a 25-ös határnál külön tartományként érzékelt az algoritmus, és törölte ket. Opcionálisan lehetséges választani, hogy a megtalált tartományon kívül es képpontokat törölje a program, vagy a megtalált tartományt írja körül. Az algoritmus alkalmazásának eredményét a 11. ábrán láthatjuk. A baloldali kép a kiindulási kép, mellette az eredményül kapott kép látható, az algoritmus által feleslegesnek ítélt részek törlésével. Látható, hogy az algoritmus az eml vel teljesen összefügg idegen elemek eltávolítására nem képes.

11. ábra – Az algoritmus alkalmazása egy képen

Az algoritmust egy az internetr l szabadon letölthet mammográfiai adatbázison [4] teszteltem. Az adatbázisban 322 db kép található. A tesztelés során az eredmény szempontjából 3 csoportot különböztettem meg. a. Hibátlan m ködés Az eml pontos felismerése. Megjegyzend , hogy a 15-ös fényességi érték határ miatt, az eml szélén található, ezen érték alatti fényességi érték képpontokat az algoritmus nem tekinti az eml részeinek.

b. Az eredményt jelent sen nem befolyásoló hibás m ködés Az ide tartozó hibáknak további három típusát különböztettem meg: 1) Pontok törlése az eml b l Akkor fordulhat el ez a hiba, ha a 25-ös fényességi érték határú vizsgálatnál az eml szélén néhány képpont önálló tartományként jelenik meg. Ekkor az algoritmus törli ezt a tartományt, vagyis információt vesztünk. 2) Idegen képelemek hozzávétele az eml höz Az algoritmus olyan képpontokat is az eml höz tartozónak ismer fel, amelyek nem tartoznak hozzá. Történhet a zaj miatt, illetve okozhatják az eml felett elhelyezked címkék, feliratok. 3) Az eml höz tartozó részek elhagyása A felvételeken néhány esetben az eml alatti testfelület visszahajlik a képre. Ez szorosan nem tartozik az eml höz, így elhagyása sem min sül súlyos hibának. c. Hibás m ködés Az algoritmus hibásan m ködik, ha az eml t nem ismeri fel. A vizsgált képek tulajdonságai: 1024x1024 képpont; 8 bites színmélység, vagyis 256 db szürke árnyalat. A tesztelés eredményei az 1. táblázatban láthatóak. A b. esetet több részre osztottam az itt el forduló hibák típusa szerint. Hibátlan m ködés 301 (93,48%)

1. típusú

2. típusú

3. típusú

Hibás m ködés

5 (1,55%)

8 (2,485%)

8 (2,485%)

0 (0%)

Az eredményt jelent sen nem befolyásoló hibás m ködés

Hibás összesen:

21 (6,52%)

1. táblázat - Teszteredmények

A mellizom és az eml határvonalának meghatározása A mellizom a képeken az eml részeként jellegzetes lefelé keskenyed háromszög alakban jelenik meg. Az eml vizsgálata során a mellizom területe nem hordoz információt, míg a mellizom és az eml határán el fordulhatnak elváltozások. A célunk tehát kett s, egyrészt leválasztani az eml r l a felesleges területet, másrészt a határvonal segítségével plusz információhoz jutunk, amely vagy bizonyos elváltozások célzott vizsgálatát, vagy pedig pozicionálási feladatok megoldását segítheti. A kidolgozott algoritmus az alábbiakban látható.

1. lépés A kép méretét eredeti méretének 25%-ára csökkentjük. Az újraméretezés egyszer algoritmus szerint történik. A képet felosztjuk az újraméretezés nagyságának megfelel négyzetekre (esetünkben 4x4-es), majd ezeket átlagoljuk. Az új képben a kapott átlag lesz egy képpont a megfelel helyen. A képb l természetesen részletek vesznek el, de ez a feldolgozás további menetét nem befolyásolja. 2. lépés A mellizom megkereséséhez csak az eml re van szükségünk, a kép további részei szükségtelenek, ezért azokat eltávolítjuk. Ez a m velet az el z leg már megismert algoritmus segítségével történik. Az algoritmus segítségével az eml elhelyezekedésére nézve is információkhoz jutunk, amelyek a kés bbiekben kihasználunk. 3. lépés A képen gradiens alapú élkeresést végzünk. 4. lépés Az el z lépés eredményeként kapott képen Hough transzformációt hajtunk végre, amely eredményeképpen megkapjuk a képpontokra fektethet egyenesek paramétereit. A Hough transzformáció általános leírása a korábbiakban megtalálható, a következ kben a megvalósított algoritmust ismertetem, amelynek a feladat jellegéb l adódóan van néhány speciális vonása. 5. lépés - Hough transzformáció algoritmusa A Hough transzformáció a képpontok teréb l az (s,θ ) térbe képez. Ez a kétdimenziós tér az egyenes alább megadott egyenletének paramétertere:

s = x cosθ + y sin θ , ahol minden egyenes egy ponttal leírható. A transzformáció végrehajtásához el ször a paraméterek terét kvantálni kell. A megvalósított algoritmusban a felosztás finomsága a kép szélességének mértékével egyezik. A kvantálást csak a paraméterre végezzük el úgy, hogy a 2 szögtartományt felosztjuk az el z ekben megadott finomságú részekre. Az s paraméter felosztása ezáltal adott, maximális értéke pedig nem lehet nagyobb, mint a kép átlójának hossza, hiszen akkor egy olyan egyenest ad meg, amely nem tartozik a képhez. Ezek után létrehozunk egy a felosztásnak megfelel méret tömböt, amely a C (s,θ ) számlálót adja.

A felosztás meghatározása után az algoritmus kitölt egy szinusz illetve koszinusz táblázatot, hogy ne kelljen minden cikluslépésben elvégezni ezek kiszámítását, ami jelent sen gyorsítja az algoritmust. A következ lépésben minden 0-nál nagyobb fényességi érték képpont koordinátáit behelyettesítjük az egyenes fenti egyenletébe, amely megadja az s paraméter értékét (ezért nem kell az s paraméter felosztását megadnunk). Ha a kapott érték nem nagyobb a kép átlójának hosszánál, akkor a számláló tömbben az (s,θ ) párosnak megfelel értéket egyel növeljük. A számlálóban található értékek megadják, hogy egy adott paraméter egyeneshez hány képpontot lehet hozzárendelni. A ciklus végén meghatározzuk a számlálók maximális értékét, de csak azokat a paramétereket vizsgálva amelyekre az origóból (a kép bal alsó sarka) az egyeneshez húzott mer leges x tengellyel bezárt szöge, vagyis a paraméter a [10°, 80°], illetve [100°, 170°] tartományba esik. Ezzel csökkentjük a hibás detektálás esélyét, hiszen a mellizom és eml határát megadó egyeneshez az origóból húzható mer leges x tengellyel bezárt szöge minden esetben ebbe a tartományba esik. Ezután kiválasztjuk a paramétertér azon elemeit, amelyekhez tartozó számláló a maximális érték 90%-át eléri, vagyis a legtöbb pontra fektethet egyeneseket. Az így kapott pontokra még végrehajtunk egy lokális maximum keresést, amelynek végén megkapjuk a szóba jöhet egyeneseket. Az egyeneseket vektoroknak véve, meghatározzuk az összegvektorukat, amely megadja az algoritmus által az eml és a mellizom határának detektált egyenest. Az eredmény ellen rzéséhez az eredményül kapott egyenest megjeleníthetjük az eredeti képen. Az algoritmus egy futásának eredménye látható a 12. ábrán.

12. ábra – Az algoritmus futásának eredménye

Az algoritmust az el z ekben már említett adatbázison teszteltem. A tesztelés eredményei a 2. táblázatban láthatóak. Az eredmények szempontjából 3 csoportot különböztettem meg, amelyeket nagyrészt egyértelm en el lehetett különíteni egymástól:

a. Pontos felismerés A felismerést akkor tekintem pontosnak, ha az algoritmus az eml és a mellizom határvonalát pontosan, vagy nagyon kicsiny hibával találta meg. A nagyon kicsi hiba ebben az esetben azt jelenti, hogy az eltérés a tényleges vonaltól szabad szemmel még nem zavaró. b. Pontatlan felismerés Minden olyan eset, amikor az algoritmus által eredményül adott egyenes a mellizom területén belülre esik. Az ebbe a csoportba tartozó eseteket a hiba mértékét l függ en 2 további csoportba osztottam. Az els csoportba a kevésbé súlyos pontatlanságok tartoznak. Ezek a határvonal közelében találhatóak, vagy párhuzamosak azzal, vagy kis szögben elhajlanak t le. A második csoportba a súlyosabb pontatlanságok tartoznak, amelyek a határvonaltól zavaróan messze vannak. c. Hibás felismerés Azok az esetek tartoznak ide, amikor az algoritmus által eredményül adott egyenes érinti az eml n területét, függetlenül attól, hogy ez mennyire lehet zavaró egy esetleges további feldolgozó eljárás szempontjából. A kérdéses eseteket, tehát ahol nem volt eldönthet , hogy az eml területét érinti-e az egyenes, szintén ebbe a csoportba soroltam. A hibás felismerések között szintén két csoportot különböztettem meg. Az egyik esetben az algoritmusok a határvonalat felismerték, de valamilyen pontatlanság következtében az egyenes kissé belecsúszik az eml területébe. A második esetben az algoritmusok a határvonaltól teljesen eltér egyenest adtak meg.

Pontos felismerés 233 (72,36%)

Pontatlan felismerés 1. típusú 13 (4,04%) Hibás összesen:

2. típusú 14 (4,35%) 89 (27.64%)

2. táblázat – Az algoritmus teszteredményei

Hibás felismerés 1. típusú 35 (10,87%)

2. típusú 27 (8,38%)

A mellbimbó helyének meghatározása A mammográfiás vizsgálatok során sokszor hasonlítják össze a készített felvételt korábbi vizsgálatok során készített felvételekkel. A számítógépes összehasonlítás során szükségünk lehet olyan pontokra, amelyek segítségével az eltér körülmények között készült felvételeket egymáshoz lehet igazítani. Ilyen kiindulási pontot jelenthet a mellbimbó. A kidolgozott algoritmus leírása az alábbiakban látható.

1. lépés Az els lépés a 3.1. pontban megadott algoritmussal az eml kiemelése a képb l. Ez megadja egyben az eml határpontjait is. Az eml határának elemzésével az eml állásának, maximális és minimális kiterjedésének meghatározása (A részletes algoritmus a 3.2.2. pontban els ként ismertetett megoldás 3. lépésében található.). 2. lépés Az algoritmus ezután a kép magasságának 1/5-öd részét l a 4/5-öd részéig vizsgálja a határpontok környezetét. A vizsgált környezet magassága és szélessége megegyezik a kép magasságának 1/30-ad részével. A környezet minden egyes sorának középpontja a megfelel y magassághoz tartozó határpont. A környezet középs sorának középs eleme a vizsgált pont, tehát a környezet nem négyzetes, hanem idomul az eml határvonalához. A vizsgált környezetben található képpontok fényességi értékéb l átlagot képzünk, amely átlagot súlyozunk a vizsgált pontnak a legszéls ponttól vett távolsága szerint. A súlyozáshoz használt függvény a Gauss-függvény. Mivel a mellbimbó várható helye, az eml csúcsán van, ezért minél távolabbi a vizsgált pont ett l a helyt l, annál valószín tlenebb, hogy lesz a keresett pont. Ez megakadályozza azt is, hogy a fényességi értékekben tapasztalható anomáliák nagyon megzavarják az algoritmust. A határpontokon kapott átlagok maximumának megkeresésével az algoritmus kiválaszt egy határpontot, amely szerinte a mellbimbó közelében van, és ezt adja megoldásként. Az algoritmus egy futási eredménye a 13. ábrán látható.

13. ábra – Az algoritmus egy futási eredménye

Az eredmények 3 csoportját különböztettem meg. a. Elfogadható találat Az elfogadható találtnak azokat az eseteket vettem, amikor az algoritmus által megjelölt terület, illetve a mellbimbó tényleges területe találkoznak. b. Hibás találat Hibás találat minden olyan az algoritmus által adott megoldás, amelynek területe nem találkozik a mellbimbó területével. A hibás találatokat további két csoportra bontottam. Az els csoportba azok a találatok tartoznak, amelyeknél a megjelölt terület majdnem találkozik a mellbimbó tényleges területével, vagyis az eltérés csak néhány képpont. A második csoportba a teljesen rossz találatok tartoznak. c. A mellbimbó nem látható A képek el zetes elemzésekor volt néhány olyan kép, amelyen nem tudtam egyértelm en megállapítani a mellbimbó helyét. Ezeket a képeket soroltam ebbe a csoportba. A tesztek során kapott eredmények a 3. táblázatban láthatóak. Elfogadható találat 176 (54,66%)

Hibás találat 1. típusú

2. típusú

A mellbimbó helye nem állapítható meg

40 (12,42%)

67 (20,81%)

39 (12,11%)

Hibás összesen:

107 (33,23%)

3. táblázat – Az algoritmus teszteredményei

Mikrokalcifikációk felismerése Architektúra A rendszer felépítése a 14. ábrán látható. A rendszer bemeneteként olyan képrészletek szolgálnak, amelyek tartalmazhatnak mikrokalcifikációkat. A rendszer szempontjából lényegtelen, hogy ezek a képrészletek honnan származnak. A bemeneti képb l egy piramist képzünk, amely a megvalósított esetben három szint , az eredeti kép mellett annak felére illetve negyedére kicsinyített változatát tartalmazza. A piramis legalsó szintje a legkisebb felbontás. A piramis egyes szintjein található képekb l irányítható sz r kkel paraméter térképeket képzünk. A paraméter térképek a képpek megegyez nagyságú mátrixok, amelyek a képre jellemz tulajdonságokat tartalmaznak. Lehetséges képi reprezentációjuk is, amely a 2. ábrán látható. A lényegkiemelés célja, hogy olyan paramétereket állítsunk el a képb l, amelyek lehet ség szerint jellemzik a mikrokalcifikációkat. Az esetünkben el állított paraméterek az irányítható Kirsch operátor alkalmazásával keletkeztek. A különböz szinteken képzett paraméter térképek az egyes szinteken található neurális hálózatok bemeneteként szolgálnak. A hierarchia alsóbb szintjein elhelyezked hálózatok kapcsolódnak a felettük lév szinten elhelyezked hálózatok bemenetére is, így továbbítva a fels bb szintekre a kisebb felbontásokon kinyert információkat. Bemeneti képek (piramis)

Lényegkiemelés (Kirsch operátor)

Neurális hálózatok

Eredmény

MLP 100 MLP 50% 25%

MLP 14. ábra – A eljárás architektúrája

A rendszer m ködése Paraméter térkép piramis felépítése A piramis építése egyszer en a bemeneti kép felére illetve negyedére kicsinyítésével történik. A piramist alkotó képekb l a paraméter térképek képzése a Kirsch operátor alkalmazásával történik. A Kirsch operátor irányítható sz r ként [5] képzelhet el, amelynek

képzeletbeli északi irányú formája a 15. ábrán látható. A különböz mátrixnak a középpontja körüli elforgatásával kapjuk.

5

5

irányú sz r ket a

5

−3 0 −3 −3 −3 −3 15. ábra – Kirsch operátor („északi” irány)

Az operátor az irányának megfelel élekre ad maximumot, így tulajdonképpen éldetektálásra használhat. Az alkalmazáskor tehát minden képpontban kapunk egy értéket, amely azt mutatja, hogy az adott képpont környezetében milyen mérték fényességi érték változások vannak. A kapott értéket négyzetre emelve energiaszer mennyiséget képezhetünk. A paraméter térkép kialakítása úgy történik, hogy minden képpontban meghatározzuk a maximális energiájú irányt ( ), amely természetesen képpontonként eltér lehet. Ezután további két paraméter térképet képzünk, amelyek pontjaiban a -45° illetve -90° irányú sz rés eredményei lesznek. Az így képzett paraméter térképek szolgálnak az egyes szinteken található neurális hálózatok bemeneteiként. A 16. ábrán néhány példa látható a paraméter térképekre (a megjelenítés érdekében a paraméter térkép értékkészletét a kép által megjeleníthet tartományba normáltuk).

16. ábra – Paraméter térképek (balról , -45°, -90° irányok)

Neurális hálózatok A használt neurális hálózatok egyszer el recsatolt hálózatok (MLP – Multi-Layer Perceptron), egy rejtett réteggel, amely 5 neuront tartalmaz (17. ábra).

W1 W2

X1

y

X2 X3

17. ábra – MLP hálózat felépítése

Az egyes neuronok a bemenetük súlyozott összegzését végzik:

s=

N i =0

wi xi

Ebb l a neuron kimenetét az összeg szigmoid nemlinearitáson való átengedésével kapjuk: 1 . y = f ( s) = 1 + e −s A hálózatok hierarchikus felépítést követnek, amely mind a tanítás, mind a m ködés során megnyilvánul. A hálózatok bemenetét az egyes paraméter térképek adják, amihez a hierarchiában fentebb elhelyezked hálózatok esetében hozzájön az alattuk elhelyezked hálózat rejtett rétegének neuronjainak kimenete. A hierarchiában legalul elhelyezked hálózat bemeneteit tehát a legkisebb felbontású paraméter térképek adják, így három bemenete lesz. A felette lév szinten elhelyezked hálózat bemenetét az ezen a szinten található paraméter térképek, illetve a legalsó szinten található hálózat rejtett rétegének neuronjainak kimenetei adják, azaz nyolc bemenettel fog rendelkezni. A harmadik szinten elhelyezked hálózat kimenete adja a teljes rendszer kimenetét. A rendszer kimenete egy valószín ségi térkép, amely megadja, hogy az egyes képpontokban a rendszer milyen valószín séggel jelez mikromeszesedést. Az elváltozások végs helyét a valószín ségi térkép küszöbölésével kapjuk. A hálózatok bemeneteire az egyes paraméter térképek értékei egyenként, sorfolytonosan érkeznek.

Tanítás A tanítás felügyelt módon történik. A tanító minta-párok olyan képek, amelyeken az elváltozások helyzete ismert, szakember által meghatározott, a bemeneti kép az eredeti kép, a kimenet pedig egy bináris kép, amelyben 1-essel vannak jelölve az elváltozások helyei. A tanítás során egyszer négyzetes hibafüggvényt használtunk, a tanítást a LevenbergMarquardt eljárással végeztük. A tanításhoz mammográfiás röntgenfelvételek részleteit használtuk. A röntgenfelvételeken szakember határozta meg az elváltozások helyét, amelyb l bináris térképet készítettünk, a tanító minták létrehozásához. A bemeneti képeket ezután pontról pontra adtuk a hálózat bemenetére, ahol az elvárt kimenet függvényében egyszer négyzetes hibát képeztünk, majd ezzel tanítottunk. A tanításhoz rendelkezésre álló tanító minták száma viszonylag kevés volt, aminek b vítése a további feladatok közé tartozik.

A 18. ábrán néhány példa látható a módszer alkalmazására.

18. ábra – Eredmények (balról – specimen részlet, specimen részlet, normál (MIAS))

Az 4. táblázatban láthatjuk a 100 képrészletre lefuttatott algoritmus összesített eredményeit. A táblázat tartalmazza azon képek számát, amelyek nem tartalmaztak mikrokalcifikációt, illetve azokét, amelyek tartalmaztak. Látható, hogy a mikrokalcifikációk közül (nem a mikrokalcifikációt tartalmazó képek közül) hány százalékot ismert fel a rendszer, illetve hány százalék a fals pozitív felismerések aránya. Az 5. táblázat tartalmazza azt, hogy a képek közül hány esetben talált egyáltalán elváltozást, illetve hány esetben nem. Képek száma

11

(nem tartalmaz mikrokalcifikációt)

89 (tartalmaz

mikrokalcifikációt)

Felismert mikrokalcifikációk

Fals pozitív

-

3%

62%

16%

4. táblázat – Felismerések a mikrokalcifikációk számához viszonyítva Képek száma

11

(nem tartalmaz mikrokalcifikációt)

89 (tartalmaz

mikrokalcifikációt)

Talált a képen mikrokalcifikációt

Fals pozitív

-

54,55%

94,38%

48,31%

(5 esetben nem talált) 5. táblázat – Felismerések a képek számához viszonyítva

(6 esetben)

(43 esetben)

Források 1. P. Sajda and C Spence (in press) Learning Contextual Relationships in Mammograms using a Hierarchical Pyramid Neural Network, IEEE Transactions on Medical Imaging. 2. Anil K. Jain: Fundamentals of Digital Image Processing. Prentice-Hall International 1989 3. Bernd Jähne: Digital Image Processing, Springer-Verlag Berlin Heidelbelg 1993 4. J Suckling et al (1994) "The Mammographic Image Analysis Society Digital Mammogram Database" Exerpta Medica. International Congress Series 1069 pp375378. http://www.wiau.man.ac.uk/services/MIAS/MIASweb.html 5. W.T. Freeman and E.H. Adelson, "The design and use of steerable filters," IEEE Trans. Pattern Anal. Mach. Intell., vol. 13, pp. 891-906, 1991