Mammográfiás röntgenfelvételek el feldolgozását végz eljárások fejlesztése
TDK dolgozat
Készítette: Lasztovicza László VII. vill. Konzulens: Dr. Pataki Béla, Méréstechnika és Információs Rendszerek Tanszék
Készült a Budapesti M szaki és Gazdaságtudományi Egyetemen 2002
TARTALOMJEGYZÉK
1. BEVEZETÉS......................................................................................................................................................2 1.1. A MAMMOGRÁFIA [2] .............................................................................................................................. 2 1.1.1. Kóros elváltozások a mammográfián .............................................................................................. 3 1.1.2. A digitális mammográfia ................................................................................................................. 6 1.2. CAD ESZKÖZÖK HASZNÁLATA A MAMMOGRÁFIÁBAN .......................................................................... 6 1.3. A DOLGOZAT FELÉPÍTÉSE ....................................................................................................................... 7 2. DIGITÁLIS KÉPFELDOLGOZÁS .................................................................................................................8 2.1. FOGALMAK .............................................................................................................................................. 8 2.2. KÉPJAVÍTÁS ............................................................................................................................................. 9 2.2.1. Fényességi érték transzformációk ................................................................................................... 9 2.2.2. Lokális eljárások (ablakozó technikák)..........................................................................................12 2.3. KÉPANALÍZIS ..........................................................................................................................................15 2.3.1. Élek detektálása ..............................................................................................................................16 2.3.2. Morfológiai eljárások .....................................................................................................................18 2.3.3. Hough transzformáció ....................................................................................................................19 3. MAMMOGRÁFIÁS RÖNTGENKÉPEK EL FELDOLGOZÁSÁT VÉGZ
ELJÁRÁSOK................21
3.1. AZ EML HELYÉNEK MEGHATÁROZÁSA ...............................................................................................21 3.1.1. A feladat megfogalmazása ..............................................................................................................21 3.1.2. A megoldás bemutatása ..................................................................................................................22 3.1.3. Tesztelési eredmények.....................................................................................................................27 3.2. A MELLIZOM TERÜLETÉNEK MEGHATÁROZÁSA ...................................................................................28 3.2.1. A feladat megfogalmazása ..............................................................................................................28 3.2.2. A megoldás bemutatása ..................................................................................................................29 3.2.3. Tesztelési eredmények.....................................................................................................................33 3.3. A MELLBIMBÓ HELYÉNEK MEGHATÁROZÁSA .......................................................................................35 3.3.1. A feladat megfogalmazása ..............................................................................................................35 3.3.2. A megoldás bemutatása ..................................................................................................................37 3.3.3. Tesztelési eredmények.....................................................................................................................40 4. AZ EREDMÉNYEK ÖSSZEFOGLALÁSA..................................................................................................42 4.1. 4.2.
AZ ALGORITMUSOK FELHASZNÁLHATÓSÁGA .......................................................................................42 A TESZTKÖRNYEZET HATÁSA AZ EREDMÉNYEKRE ...............................................................................43
5. TOVÁBBI FEJLESZTÉS ÉS KUTATÁS......................................................................................................45 5.1. 5.2. 5.3.
AZ ALGORITMUSOK TOVÁBBFEJLESZTÉSE............................................................................................45 KAPCSOLÓDÓ KUTATÁSI TÉMÁK ...........................................................................................................46 ÖSSZEFOGLALÁS ....................................................................................................................................47
FORRÁSOK.........................................................................................................................................................49
1
1. rész Bevezetés
Hazánkban és a világ számos részén is, az eml rák a n i daganatos megbetegedések és halálozások egyik vezet oka [1] (ld. 1. melléklet). Megel zésére jelenleg nem ismert módszer, sikeres gyógyítására az egyetlen lehet ség a betegség felismerése kialakulásának kezdeti stádiumában. A mammográfiás sz r vizsgálatok célja éppen ezért nem csak a kialakult, esetleg már fizikailag is tapintható daganatok vizsgálata, hanem sokkal inkább a rákkeletkezés számára talajt jelent daganatmegel z állapotok kisz rése, a kezdeti szakaszában lév betegség felismerése. A mammográfiás sz r vizsgálat els sorban röntgenfelvételek készítését jelenti, a diagnózis e felvételek alapján készül. Indokolt esetben fizikális vizsgálatot, vagy ultrahangos vizsgálatot is végeznek kiegészítéskén. Kóros elváltozás gyanúja esetén biopsziás eljárással mintát vesznek az eml szövetéb l a gyanú igazolására. További kiegészít vizsgálatok végezhet ek az utóbbi években nagy figyelmet kapott mágneses rezonancia (MR) módszerrel. A dolgozat kapcsán végzett munkám során a mammográfiai sz r vizsgálatokon készített, majd digitalizált röntgenfelvételek számítógépes módszerekkel való feldolgozásának lehet ségeit vizsgáltam, közelebbi célként olyan képfeldolgozási algoritmusok fejlesztését kit zve, amelyek a digitalizált képek elemzését végz egyéb eljárások számára el feldolgozási lépésként szolgálnak. Az el feldolgozás célja a röntgenképek további feldolgozás szempontjából el nyösebb formára alakítása, vagyis a képeken megjelen alakzatok, mintázatok jellemz tulajdonságainak meghatározása, kiemelése, javítása. A képek érdemi vizsgálatához els lépésként a digitális képfeldolgozás alapvet módszereivel ismerkedtem meg, amelyek közül néhányat a dolgozatban példákon keresztül is bemutatok. A dolgozat további részeiben öt olyan algoritmust ismertetek, amelyek a megismert képfeldolgozási módszerek felhasználásával készültek, és a röntgenképek el feldolgozása során kapnak szerepet. Az els algoritmus célja az eml kiemelése, elkülönítése a kép egyéb, zavaró vagy lényegtelen részeit l. A további algoritmusok a röntgenfelvételeken megjelen két jellemz tulajdonságot, a mellizom vonalát, illetve a mellbimbót próbálják megtalálni. A mellizom a medio-laterális típusú (ld. még 1.1. pont) röntgenfelvételeken lefelé keskenyed háromszög alakú foltként jelenik meg. A mellbimbó mind a medio-laterális, mind a craniocaudális (ld. még 1.1. pont) (a mammográfiás röntgenfelvételek két leggyakoribb típusa) felvételeken megjelenik, a felismerése azonban nehéz feladat, sok esetben csak indirekt jelek alapján lehetséges.
1.1. A mammográfia [2] A mammográfia az eml k alacsony dózisú röntgenvizsgálatát jelenti. A vizsgálat során mindkét eml r l minimálisan két-két eltér irányból felvett felvétel készül, ezt szükség esetén kiegészíthetik további irányú felvételek is. A diagnózis els sorban a röntgenfelvételek alapján történik, ezért a röntgenvizsgálatok közül a mammográfiás vizsgálat során készült felvételek a legjobb felbontásúak illetve a felvétel készítése során törekednek a nagyon jó képmin ségre
2
is, hiszen a vizsgálat célja nem a már kialakult daganatok megtalálása, hanem a kezd d betegségre utaló jelek minél korábbi felismerése. A kiemelked képmin ség és jó felbontás a számítógépes vizsgálat során is fontos, amire a digitalizálás során gondosan ügyelni kell. A mammográfiás röntgenfelvételek két leggyakoribb típusa a cranio-caudális (1. ábra), és a medio-laterális (2. ábra) felvétel. A cranio-caudális felvétel készítése során a vizsgált személy álló helyzetben van, az eml t vízszintes statívra helyezik, majd kompressziót alkalmaznak úgy, hogy a mellbimbó középen a kazetta síkjával párhuzamosan helyezkedjen el. A medio-laterális felvételre jellemz hogy a mellbimbó az eml n kívülre vetül, míg a mellizom lefelé keskenyed , háromszög alakú foltként jelenik meg. A diagnózist a röntgenfelvételeken kívül segíthetik az ún. anamnézis adatok, amelyek a beteg családi körülményeit, betegségbeli el életét, egyéb betegségeit és adatait tartalmazzák. A röntgenfelvétel értékelését minden esetben két szakorvos egymástól függetlenül végzi. Ha a két szakorvos véleménye eltér, egymással konzultálva hoznak döntést. Mindent összevetve a mammográfiás röntgenvizsgálat – kiegészítve az eml k fizikális vizsgálatával – bizonyos szerkezeti elváltozások jelenlétében képes kimutatni az eml állományában rejtetten növ ún. in-situ rákot is, ezért jelenleg az egyetlen módszer, amellyel az eml rák által okozott halálozás csökkenthet . Az eml rák okozta halálozás csökkenését különböz országokban végzett kontrollált sz r vizsgálatok során bizonyítottak is. A felállított diagnózis az esetek 90-95%-ában pontos.
1. ábra – Cranio-caudális felvétel
2. ábra – Medio-laterális felvétel
1.1.1. Kóros elváltozások a mammográfián A rákos sejtek közvetlen felismerése a mammográfiás röntgenfelvételen nem lehetséges. A kóros elváltozásokra indirekt jelek alapján lehet következtetni. A kóros elváltozásokra utaló jeleknek több fajtáját különböztetik meg, amelyek külön-külön, és egymással szabadon kombinálódva is megjelenhetnek a felvételeken.
3
Mikromeszesedések A malignitásra gyanús folyamatok egyik legjellemz bb kísér je a mikromeszesedés, amely általában csoportosan jelentkezik. El fordulásának gyakorisága a tumorban és annak közvetlen környezetében 30-60% között mozog. Lehetséges, és szokásos is a mikromeszesedések osztályozása formájuk szerint, amely segítséget nyújthat a diagnózisban. A különböz osztályokban más és más a malignitás esélye. A továbbiakban ezt az osztályozást nem ismertetjük. A képeken a mikromeszesedések általában jól látható szétszórtan elhelyezked , fényes foltokból álló csoportokként jelennek meg a képeken, de el fordulhatnak egyenként is. A 3. ábrán kiterjedt, rosszindulatú, csoportos mikrokalcifikáció látható (néhány megjelölve).
3. ábra – Csoportos mikrokalcifikáció
Csillag alakú terület A daganatok egy igen gyakori formájának megjelenési módja a csillag alakú terület. A középs részen található mag s r sége magas (a képeken a magas denzitású területek világosabb foltokként jelennek meg), bel le különböz formájú és hosszúságú nyúlványok – spikulumok – ágaznak szét. A 4. ábrán egy ilyen típusú, rosszindulatú elváltozás látható megjelölve.
4
4. ábra – Csillag alakú terület
Kerek képletek Az elváltozások harmadik jellegzetes formáját a kerek képletek adják. A szabályos felszín kerek képletek legtöbbször benignus folyamatot jeleznek, de 10 esetb l egyszer a malignus elváltozás is hasonló képet adhat. A szabályos kör vagy ellipszis forma els sorban a cisztákra jellemz . A sima kontúr, amelyet áttetsz háló övez, legtöbbször benignus elváltozást jelez. Az 5. ábrán egy ilyen típusú, rosszindulatú elváltozás látható megjelölve.
5. ábra – Kerek képlet
5
A fentiekben bemutatott elváltozások a legjellemz bbek, de ezeken kívül a kóros folyamatok jellemz i lehetnek az eml szerkezetében megjelen torzulások vagy a két eml közötti aszimmetriák.
1.1.2. A digitális mammográfia A hagyományos (screening) mammográfiában a felvételeket a röntgenvizsgálatoknál szokásosan használatos filmeken rögzítik. A jó felbontás és képmin ség követelmény, amelyet az analóg felvétel megfelel beállítások esetén képes biztosítani. Az analóg filmek tárolása nehéz, a filmeken található információ továbbítása, cseréje nehezen oldható meg (a filmeket szállítani kell). A tárolás és információcsere megkönnyítése, a számítógéppel való feldolgozás igénye, a digitális röntgenberendezések fejlesztését igényli. A mammográfiás röntgenvizsgálat min ségi igényei – nagy felbontás és nagyon jó képmin ség – a betegek védelme, vagyis a lehet legkisebb dózis alkalmazása, speciális igényeket támasztanak a digitális berendezésekkel szemben. A napjainkban elérhet mammográfiai célú digitális röntgenkészülékek [3] felbontása nem éri el az analóg filmekét, az alkalmazott dózis általában valamivel nagyobb, mint a hagyományos vizsgálat esetén, és a felvételek azonnali, teljes méret megjelenítésére képes nagy felbontású képerny k egyel re drágák. A digitális mammográfia el nye, hogy a felvételek digitális formában keletkeznek, így azonnal továbbíthatók, illetve a CAD (Computer aided diagnosis – Számítógéppel segített diagnózis) rendszerek számára azonnal feldolgozhatók, a felvételek elemzése a készítéssel egy id ben megkezd dhet, amellyel költség és id spórolható meg.
1.2.
CAD eszközök használata a mammográfiában
A sz r vizsgálatokon a megjelenés 40 éves kor fölött legalább kétévente javasolt. A rendszeres sz r vizsgálat Magyarországon több mint 1 millió n t érintene. Ez évente mintegy 2 millió felvétel készítését jelentené. Mivel a sz r vizsgálatok során keletkezett felvételek elemzése legalább két szakember munkáját igényli, és a röntgenképek kiértékelése magában is id igényes feladat, látható, hogy a rendszeres sz r vizsgálat számára nehezen biztosítható megfelel számú szakorvos, továbbá feltételezve, hogy az egy sz résre es bérköltség 2000 forint, látható, hogy a költségvonzat a milliárdos nagyságrendet is elérheti. Ha a felvételek között 1%-nyi gyanús felvétel található és van egy rendszerünk, amely képes a negatív felvételek 50%-ának biztonságos kisz résére, a felvételek elemzésének felét l kíméli meg az orvosokat. Látható tehát, hogy megfelel CAD eszközök használatával a költségek csökkenthet k, és ezen felül akár még a diagnózis megbízhatósága is javítható. A CAD eszközöket többféleképpen képzelhetünk el. Az egyszer bb rendszerek alapvet képjavítási funkciókat valósíthatnak meg, amelyek a képek vizuális tulajdonságainak javításával segíthetik a felismerést. A bonyolultabb rendszerek a mesterséges intelligencia és a gépi tanulás módszereit is felhasználva képesek lehetnek a gyanús elváltozások felismerésére. Az elvárások az utóbbi rendszerek fejlesztésének irányába mutatnak. Az ilyen intelligens CAD eszközök nem csak az általuk gyanúsnak ítélt elváltozásokra hívhatják fel az orvosok figyelmét, hanem ahogyan említettem, a negatív felvételek kisz rése által mentesíthetik ket a felvételek egy részének elemzése alól is.
6
1.3.
A dolgozat felépítése
A dolgozat alapvet en két részre osztható, amelyek tükrözik a feladat kapcsán elvégzett munkát is. A röntgenképek érdemi vizsgálatához szükséges volt az alapvet képfeldolgozási feladatok és az itt használatos eljárások megismerése. A 2. részben a képjavítás és képanalízis területér l mutatok be néhányat a megismert képfeldolgozási eljárások közül, példával együtt. A példákat minden esetben a dolgozathoz írt demonstrációs program segítségével készítettem el. A felhasznált röntgenképeket egy az internetr l szabadon letölthet mammográfiái képadatbázisból vettem [4]. A vizsgált képek kivétel nélkül medio-laterális típusúak (ld. még 1.1 pont illetve 2. ábra) voltak. A kit zött feladatok els dleges célja olyan eljárások fejlesztése, amelyek a további feldolgozó eljárások el feldolgozási lépéseként funkcionálnak, illetve döntéstámogatási és intelligens elemzési funkciók részbeni bemenetét képzik. A digitalizált röntgenfelvételek el zetes elemzése során azt tapasztaltam, hogy a felvételek többségén, az eml n kívül, egyéb alakzatok is találhatóak és a felvételek többsége zajjal terhelt, vagyis az eml n kívül nagy számban találhatóak kis fényességi érték képpontok. A képek feldolgozása során ezek a képelemek zavaróak lehetnek, ami felveti egy olyan eljárás kidolgozásának igényét, amely felismeri ezeket a zavaró elemeket, és eltávolítja ket a képr l. A 3. részben els ként egy olyan algoritmust mutatok be, amely a rendelkezésre álló tesztképek alapján igen jó hatásfokkal képes az eml t elkülöníteni a zavaró elemekt l. A medio-laterális (ld. még 1.1. pont illetve 2. ábra) felvételeken az eml mellett jellegzetes módon jelenik meg a mellizom. A kép fels részér l indulva, általában világos foltként, keskenyed háromszöget alkotva fut le, majdnem a kép közepéig. A mellizom jelenléte a jó felvétel egyik ismérve, így annak hiánya jelezheti, hogy a felvétel rossz, vagy nem lehet teljesen megbízható diagnózist adni, mivel az eml egy része hiányzik a képr l. A két mell közti szimmetria miatt a mellizom és az eml határvonala tájékozódási pontként szolgálhat a két eml r l készült röntgenfelvételek összehasonlításakor. A mellizom nem tartozik szorosan az eml szerkezetéhez, így annak eltávolítása a képr l növelheti az eml szerkezetét vizsgáló eljárások hatásfokát is. A 3. részben bemutatok két algoritmust, amelyek a mellizom és az eml határvonalát próbálják megtalálni. Az utolsóként bemutatott két algoritmus a mellbimbó helyét próbálja megtalálni. A mellbimbó a képeken sok esetben nem látható tisztán, ami a feladat megoldását nehezíti. Az egyes eljárásokat a fent említett adatbázis képeivel teszteltem, a részletes eredmények megtalálhatóak a 3. rész megfelel pontjainál. Az eredmények összefoglaló elemzése található a 4. részben. Az 5. részben a lehetségesen kapcsolódó kutatási témák rövid bemutatása, az algoritmusok további fejlesztési terveinek bemutatása és a dolgozat összefoglalása található. A dolgozatban ismertetett képfeldolgozási módszereket és a kidolgozott eljárásokat Java nyelven implementáltam, és egy grafikus felület segédprogramban gy jtöttem össze ket, amelyet egy a dolgozathoz csatolt CD-n mellékeltem. A program funkcióinak rövid leírása a 2. mellékletben található.
7
2. rész Digitális képfeldolgozás
Digitális képfeldolgozáson legtöbbször egy kétdimenziós kép feldolgozását értjük, és a továbbiakban is ebben az értelmében használjuk a kifejezést. Digitális képek létrehozása sokféle módon képzelhet el, azonban valamennyiben közös, hogy a digitalizált kép valamilyen folytonos idej folyamat mintavételezésének eredményeként jön létre. A különböz emberi tevékenységek szorosan kapcsolódnak a vizuális környezethez. A vizuális információ feldolgozása segíti az embert a világban való eligazodásban. A digitális számítógépek megjelenésével és fejl désével lehetségessé vált ennek a vizuális információnak a digitális formában való reprezentációja, és ami fontosabb ennek a hatalmas mennyiség információnak a gyors feldolgozása és elemzése. A digitális képfeldolgozás szokásos feladatai a képjavítás és képhelyreállítás, illetve a képanalízis. A digitalizálás során a mintavételez és kvantáló rendszerek hibákkal terhelik a képeket, amelyek kiküszöbölése és az eredeti kép minél pontosabb visszaállítása a képhelyreállítás feladata. A vizuális látvány javításával, a képek jellemz tulajdonságainak kiemelésével a különböz képjavító eljárások foglalkoznak. A képfeldolgozás végs célja a képeken található információ értelmezése. Ezzel a képanalízis foglalkozik. A digitális képfeldolgozás területén alkalmazott eljárások sok esetben empirikus jelleg ek, vagyis olyan paraméterekkel operálnak, amelyek kísérletezéssel, próbálgatással állíthatóak be az optimális értékre. Kevés olyan eljárás van továbbá, amely általánosan használható egy adott feladat megoldására, a legtöbb esetben (és a valós alkalmazások szinte kivétel nélkül ilyenek) a feladatok megoldása több eljárás együttes alkalmazásával illetve az egyes eljárásoknak a feladathoz való alakításával lehetséges. A digitális képfeldolgozás területér l a képjavítás és képanalízis területével ismerkedtem meg szorosabban munkám során. A továbbiakban e két területet és néhány szokásos eljárást, f ként a kés bbiekben is használt illetve a demonstrációs programban megvalósított eljárásokat, mutatom be röviden. A képfeldolgozás területével való ismerkedésben a [6, 7] irodalmak segítettek.
2.1.
Fogalmak
Els ként néhány olyan fogalmat ismertetek, amelyekre a hátralév részekben többször hivatkozom, és jelentésük nem feltétlenül egyértelm . a. Kép A kép két független változóval megadható folytonos függvény (folytonos kép) mintavételezett értékeinek sorozata, szokásos reprezentációja egy kétdimenziós mátrix. A kép értelmezhet diszkrét értékeket felvev kétdimenziós függvényként is. A továbbiakban a színes képekkel nem foglalkozunk, kép alatt kizárólag szürke árnyalatú képeket értünk. A képeket kétdimenziós mátrixokkal adjuk meg, a mátrix dimenzióinak mérete megegyezik a kép méreteivel.
8
b. Képpont Képpontnak nevezzük a kép éppen vizsgált elemét. A képpont tehát a képmátrix (vagy a kép, mint mintavételezett értékekb l képzett sorozat) egyik eleme. A képponthoz szokás hozzáérteni a képpont mátrixban felvett értékét, amelyet fényességi értéknek nevezünk. c. Fényességi érték Fényességi értéknek nevezzük a képpontok által felvett értékeket. Színes képek esetén a fényességi érték az egyes színekre értend . További szokásos elnevezései a világosságkód, vagy szürkeségi árnyalat. A fényességi értékek a mintavételezést l és a kép reprezentációjától függ en felvehetnek egész, vagy valós értéket is. A továbbiakban csak 8 bites képekkel, és egész értékekkel foglalkozunk. A képpontok csak 0 és 255 közötti egész értékeket vehetnek fel. Minél nagyobb egy képpont fényességi értéke, annál világosabbnak látszik a képen. d. Hisztogram A hisztogram (a képfeldolgozás területén) egy olyan függvény, amelynek értelmezési tartománya a fényességi értékek tartománya. A hisztogram által az értelmezési tartományának pontjaiban felvett értéke a kép megegyez fényességi érték pontjainak száma. A hisztogramnak szokásos valószín ség számítási értelmezést adni, mely szerint a hisztogram a valószín ségi változóként értelmezett fényességi érték s r ségfüggvénye. e. Kumulatív hisztogram A kumulatív hisztogram értelmezési tartománya megegyezik a hisztogramméval, azonban az egyes pontjaiban felvett értékei a hisztogramban az adott pontig felvett értékek összege. A kumulatív hisztogram valószín ség számítási értelmezése: a hisztogramhoz, mint s r ségfüggvényhez tartozó eloszlásfüggvény.
2.2.
Képjavítás
A képjavítás feladata a kép vizuális, illetve a további feldolgozás szempontjából lényeges tulajdonságainak javítása. A vizuális tulajdonságok javítása els sorban a képek megjelenítésénél hasznos, de a további feldolgozást nem feltétlenül segíti. Ezzel szemben a további feldolgozás szempontjából lényeges tulajdonságok nem feltétlenül hordoznak vizuális információt. A terület eljárásainak tipikus képvisel i a kontraszt javítása, vagy az élek élesítése.
2.2.1. Fényességi érték transzformációk A fényességi érték transzformációk a legegyszer bb eljárások, legáltalánosabbak is, ezért gyakran használatosak más eljárások részeként.
9
egyben
a
A kimenetet a bemeneti fényességi értékek különböz átviteli függvényekkel megadott átskálázásával kapjuk meg, vagyis a bementi és kimeneti értékek között egy (nem feltétlenül egy-egy értelm ) leképezés jön létre: v = f (u ) , ahol v a kimeneti fényességi értéket, míg u a bemenetit jelöli. A kontraszt javítása Az alacsony kontraszt általában a nem megfelel megvilágítás, vagy a képalkotó berendezésben keletkezett fényveszteség eredménye. Többféle kontrasztjavítási transzformáció létezik, amelyek közül egy az alábbiakban látható:
αu , 0≤u
6. ábra – Kontrasztjavítás (baloldalon a kiindulási kép)
10
Hisztogram alapú eljárások A hisztogram definíciója a 2.1 pontnál található. A hisztogram alapú eljárások általánosságban a hisztogram valószín ség számítási jelentését használják ki, aminek segítségével a fényességi értékek eloszlását szabadon változtathatjuk. A következ kben a hisztogram alapú eljárások egy széles körben használt képvisel jét, a hisztogram kiegyenlítést mutatom be, amelynek célja a fényességi értékek egyenletes eloszlásának kialakítása, és ez által a kontraszt javítása. Tekintsük a fényességi értéket ( u ) valószín ségi változónak. Az u bemeneti változó vehessen fel L különböz értéket. Legyenek xi ezek az értékek ( i = 0,1,...., L − 1 ). Ekkor az egyes fényességi értékek gyakoriságai, pu ( xi ) , a hisztogram alapján az alábbiak szerint határozhatók meg:
pu ( x i ) =
h ( xi )
L −1 i =0
i = 0,1,...., L − 1
,
h ( xi )
A kimeneti fényességi értékek meghatározása ez után úgy történik, hogy:
v=
u xi = 0
v' = Int
pu ( xi )
v − vmin (L − 1) + 0,5 , 1 − vmin
Az eljárás el nye, hogy automatikus, nem kell sok paramétert állítani, viszont némely esetben nem az elvárásoknak megfelel eredményt ad. A 7. ábrán a hisztogram kiegyenlítésre láthatunk példát.
7. ábra – Hisztogram kiegyenlítés (baloldalon a kiindulási kép)
11
2.2.2. Lokális eljárások (ablakozó technikák) A lokális eljárások a kép egy adott pontját, illetve annak környezetét vizsgálják. A vizsgált pont és környezete együttes elnevezése ablak. Az ablakban található értékek reprezentálhatóak egy mátrix segítségével. A vizsgálatokat az ablak méretének megfelel vizsgáló mátrix (más néven maszk) segítségével végezzük. A bemeneti kép összes képpontjára elvégezve az adott maszk által definiált m veletet kapjuk meg az eredmény képet. A könnyebb vizsgálhatóság miatt az ablak mérete általában páratlan. Az eljárások tulajdonképpen a konvolúció elméletén alapulnak. A képet egy eltolás invariáns operátorral (a maszkkal) konvolálva kapjuk meg az eredményt.
Átlagolás A legegyszer bb ablakozó eljárás az átlagolás. Az átlagolás, mint ahogy a neve is jelzi, a vizsgált területen található képpontok átlagát képzi, és ezzel az átlaggal helyettesíti a vizsgált képpontot. Az eljárás eredményeképpen a kép elmosódott lesz, ugyanakkor a képen található zaj is csökken. Az eljárás képlettel az alábbiak szerint fejezhet ki:
v(k , l ) =
1 NW
( k ,l∈W )
u (m − k , n − l )
A képlet a konvolúció diszkrét formájából kis átalakítás után megkapható. A konvolúciós mátrix (vagyis a maszk) elemeinek értéke megegyezik, és összeadva az egységet adják. Az átlagolás tulajdonképpen alulátereszt sz r ként fogható fel, mivel a magasabb frekvenciájú képrészleteket (tipikusan az éleket) elnyomja, így a kép elmosódottá válik. Az eljárás eredménye a 8. ábrán látható, az alkalmazott ablak mérete 11x11 képpont volt.
8. ábra – Átlagolás (baloldalon a kiindulási kép)
12
Statisztikus sz rések A statisztikus sz r k egy nemlineáris leképezést valósítanak meg a kiindulási és az eredményül kapott kép pontjai között. Az eljárások a vizsgált terület képpontjait rendezik, majd a sz rés típusától függ en kiválasztanak egy elemet, amely a vizsgált képpont új értékét adja. Az egyik legelterjedtebb képvisel jük a medián sz r . Egyéb gyakrabban használatos típusok a minimum és maximum sz r , amelyeknél a rendezés után kapott vektor minimumát illetve maximumát választjuk ki. Medián sz réskor a maszk rendezése után kiválasztjuk a középs elemet, amellyel a vizsgált képpontot helyettesítjük. Az eljárás alkalmas az impulzus jelleg zajok kisz résére, azonban az éleket az ablak méretét l függ en torzítja. A 9. ábrán egy 5x5-ös ablakkal végzett medián sz rés eredményét láthatjuk.
9. ábra – Medián sz rés (baloldalon a kiindulási kép)
Élek élesítése (unsharp masking) Az eljárás alapja, hogy egy az életlen vagy alulátereszt sz r vel sz rt képpel arányos képet kivonunk az eredetib l. Általánosságban az eljárás a következ képpen írható le:
v(m, n ) = u (m, n ) + λg (m, n ) , ahol λ > 0 és g (m, n ) egy alkalmasan definiált gradiens az (m, n ) pontban. Gyakran használatosak gradiens függvényként a diszkrét Laplace függvény változatai: g (m, n ) = u (m, n ) −
1 [u (m − 1, n ) + u (m, n − 1) + u (m + 1, n ) + u (m, n + 1)] 4
13
Az eljárás eredményeként kapunk egy olyan képet, amelyen az élek jobban látszanak, mint az eredeti képen. A 10. ábrán láthatunk egy példát.
10. ábra – Unsharp masking (baloldalon a kiindulási kép)
Inverz kontraszt-arány transzformáció Az emberi látás azon képessége, amellyel egy objektumot az egyenletes fényeloszlású háttért l el tud különíteni, az objektum méretét l és a kontraszt-aránytól függ. A kontrasztarány definíciója a következ :
γ=
σ , µ
ahol µ az objektum átlagos fénys r sége, σ pedig az objektum és környezete fénys r ségének szórása. Az inverz kontraszt-arány transzformáció célja, hogy az objektumokat a képen kiemelje a háttérb l. Alkalmazása tulajdonképpen az alacsony kontrasztú éleket javítja. A transzformáció a következ képpen adható meg:
v(m, n ) =
µ (m, n ) , σ (m, n )
ahol µ (m, n ) a fényességi értékek egy adott ablakon vett átlaga (ld. még fent), míg σ (m, n ) a fényességi értékek ugyanezen ablakon számolt szórása. µ (m, n ) és σ (m, n ) az alábbiak szerint számolhatóak:
µ (m, n ) =
1 NW
( k ,l )∈W
14
u (m − k , n − l )
1 σ (m, n ) = NW
[u (m − k , n − l ) − µ (m, n )]
12
2
( k ,l )∈W
Az eljárásra példa a 11. ábrán látható. Az ablakozó m veleteket egy 3x3-as ablakra végeztem el.
11. ábra – Inverz kontraszt-arány transzformáció (baloldalon a kiindulási kép)
2.3.
Képanalízis
A képanalízis célja, hogy a képeken található objektumok jellegzetes tulajdonságait meghatározza, majd ezekb l következtessen a képen található objektumok min ségi, vagy mennyiségi jellemz ire. Ezekb l a jellemz kb l azután lehetségessé válik a képen látható objektumok értelmezése, a kép információtartalmának elemzése. A képanalízis teszi lehet vé például a m holdak által készített képek értelmezését, segítve a meteorológia, a térképészet munkáját, vagy éppen a röntgenfelvételek diagnosztikai vizsgálatát. A képanalízis módszerei tehát a képek objektumainak jellegzetes tulajdonságait szeretnék meghatározni, mint amilyenek az élek, az objektumok határai, a közöttük látható összefüggések. A kép részekre bontása után megállapíthatjuk az egyes objektumok jellemz it, a képelemek közötti összefüggések elemzésével pedig kép információtartalmát nyerhetjük ki. A képanalízis jellemz feladatai a lényegkiemelés, a szegmentálás és osztályozás.
15
2.3.1. Élek detektálása Az élek detektálása alapvet feladat, hiszen az élek jellemzik az objektumok határait. Hasznosak lehetnek például az objektumok szegmentálásánál, de a felismerést és az értelmezést is segíthetik. Az élek úgy képzelhet ek el, mint a fényességi értékek hirtelen változásai. Egy folytonos képet tekintve élet akkor találunk, ha a kép egy adott pontbeli iránymenti deriváltja lokális maximumot vesz fel, vagyis az élek detektálására használhatjuk a gradienst. Az els derivált mellett használható a második derivált is, amely el jelet vált ott, ahol az els derivált maximumot vesz fel, így a második derivált nulla-átmeneteit elemezve is detektálhatjuk az éleket. A továbbiakban csak az els deriváltra épül módszerekkel foglalkozunk. Ha egy r görbe mentén θ irányban mérjük a g gradienst, az alább megadott: ∂g ∂g ∂x ∂g ∂y = + = g x cosθ + g y sin θ ∂r ∂x ∂r ∂y ∂r kifejezés a maximális értékét akkor veszi fel, amikor
− g x sin θ g + g y cosθ g = 0
∂g ∂r
∂ ∂g = 0 , amib l ∂θ ∂r
θ g = tan −1
gy gx
= g x2 + g y2 max
A fenti koncepciókra építve kétféle éldetektálási módszer használatos, amelyekben a deriváltakat különböz maszkokkal közelítjük.
Gradiens operátorok A gradiens operátorok két operátormátrix segítségével reprezentálhatóak, amelyek a kép két ortogonális irányában mérik a gradienst. A gradiens nagysága és iránya a konvolúció elvégzése után kapott mátrixokból az alábbiak szerint határozható meg:
g (m, n ) = g12 (m, n ) + g 22 (m, n )
θ g (m, n ) = tan −1
16
g 2 (m, n ) g1 (m, n )
Kompasz operátorok A kompasz operátorok néhány választott irányban mérik a gradienst. A különböz irányokban az egyes operátormátrixoknak az óramutató járásával ellenkez irányú 45°-os elforgatásával mérhetjük. Az adott pontban mért gradienst a legnagyobb abszolút érték mérés adja:
g (m, n ) = max{g k (m, n )}, k
ahol k az irányokat jelöli. A gradiens irányát a következ összefüggés alapján kaphatjuk:
θk = π 2 + kπ 4 , feltéve, hogy k = 0 esetén a mátrix iránya északi. Az éleket alkotó pontok meghatározásakor nem minden detektált pontot tekintünk valamilyen élhez tartozónak, hanem szokásosan csak a detektált képpontok meghatározott százalékát. A képpontok kiválasztása úgy történik, hogy legnagyobb abszolút érték gradienssel rendelkez képpontokat tartjuk meg. A gradiens operátorokkal való éldetektálásra a 12. ábrán, míg a kompasz éldetektálásra a 13. ábrán látható példa. A példákban az élek tagjaként felismert pontok 5%-át tekintettem valóban valamilyen élhez tartozónak.
12. ábra – Gradiens éldetektálás (baloldalon a kiindulási kép)
17
13. ábra – Kompasz éldetektálás (baloldalon a kiindulási kép)
2.3.2. Morfológiai eljárások A morfológia kifejezés sok tudományterületen el fordul, de a jelentése mindenütt hasonló. Az alakzatok, formák vizsgálatát jelenti. A képfeldolgozásban ez a képen megjelen objektumok struktúrájának, formájának vizsgálatát jelenti. A morfológiai eljárások általában a halmazelméletb l kölcsönzik a m veleteket, ami azt jelenti, hogy a képeken található objektumokon egy el re megadott halmazzal különböz halmazm veleteket végezve kapjuk az eredményt. A területnek két alapvet operátora van. Tekintsünk a képen egy objektumot egy X halmaznak és adjunk meg egy B halmazt. B x jelölje B olyan transzlációját, amikor B középpontja az x pontban van. Az els operátor, amit megadunk az erózió (erosion). X eróziója B-vel mindazon x pontok halmaza, amelyekre X tartalmazza B x -et, azaz:
X
B
{ x : B x ⊂ X}
Az erózió tehát az objektum méretének csökkenéséhez vezet. A másik alapm velet a kiterjesztés (dilation), ennek az ellenkez je, vagyis az objektum méretének növekedését eredményezi. Definíció szerint a kiterjesztés mindazon x pontok halmaza, amelyekre B x és X metszete nem üres halmaz. X ⊕ B { x : B x ∩ X ≠ ∅} A morfológiai m veletek közül két további m veletet mutatok be, amelyeket a kés bbiek során használni is fogok. Az els a határvonal keresése, amely egy olyan m velet, amelyben az objektum határán lév pontok maradnak csak meg. Képlettel kifejezve a m velet a következ : ∂X = X X B
18
A B halmaz ebben az esetben lehet például egy 3x3-as mátrix, amelynek minden elemét figyelembe vesszük a halmazm veletek során. A m velet tehát veszi az objektum azon pontjait, amelyekre a B mátrixot X tartalmazza, majd kivonja az X halmazból. A második m velet a felnyitás, amely a m veleti halmaztól függ en szétválaszt egy objektumot több részre. A felnyitás definíciója:
XB = ( X
B) ⊕ B
El ször tehát vesszük mindazon pontokat, amelyekre X tartalmazza a B halmazt, majd az eredményhalmazhoz hozzávesszük mindazon pontokat, amelyekre a metszete B-vel nem üreshalmaz. A 14. ábrán a határok megkeresésére láthatunk egy példát. A példában a megadott vizsgáló halmaz egy 3x3-as egységmátrix volt, és minden 0-nál nagyobb fényességi érték képpontot valamilyen objektumhoz tartozónak tekintettem.
14 ábra – Objektumok határának megkeresése (baloldalon a kiindulási kép)
2.3.3. Hough transzformáció A Hough transzformáció segítségével egyeneseket deríthetünk fel a képen. Kiindulásként tekintsük az egyenes alábbi formában megadott egyenletét:
s = x cosθ + y sin θ amely megadja az origótól s távolságra lév , az origóval szöget bezáró normálissal rendelkez egyenes pontjait. A Hough transzformáció során az egyenes pontjait az (s,θ )
19
térbe képezzük, aminek eredményeként az egyenes ebben a térben egy pont formájában jelenik meg. A transzformációt ezek után úgy képzelhetjük el, hogy a képen meghatározzuk például egy objektum határait, amint a 14. ábrán látható, de végezhetünk éldetektálást is, ezután az s és a paraméter néhány kvantált értékére minden (xi , yi ) pontot leképezünk az (s,θ ) térbe, a tér minden pontjához egy C (s,θ ) számlálót rendelünk, amelyet növelünk, ha a leképezés az adott pontba történt. A számláló lokális maximumai adják ezek után a különböz pontokon át húzható egyeneseket. A 15. ábrán látható egy példa az eljárásra. A példában az el z pontban megadott algoritmust használtam fel a határok képzésére. A leképezés után azokat az egyeneseket jelöltem meg, amelyekre a hozzájuk tartozó számlálónál mérhet lokális maximum meghaladta a globális maximum 10%-át.
15. ábra – Hough transzformáció (baloldalon a kiindulási kép)
20
3. rész Mammográfiás röntgenképek el feldolgozását végz eljárások
A digitális röntgenkészülékek hiánya miatt a mammográfiás röntgenfelvételek számítógépes feldolgozása a felvételek szkennelése, digitalizálása után történhet. Erre a célra kereskedelmi forgalomban kaphatóak speciális röntgenfilm szkennerek, amelyek nagyon jó min ségben képesek a felvételek digitalizálására. A digitalizált röntgenfelvételekkel szemben támasztott min ségi igények a legalább 50 m-es felbontás és a 12-16 bites színmélység. A képfeldolgozó eljárásoknak tehát meg kell küzdeniük a nagy méret okozta számítási igénnyel, és a min ségi igények által támasztott követelményekkel. Az el feldolgozó eljárások célja a további feldolgozás formájától függ en többféle lehet. A legtöbb esetben a feladat a lényeges jellemz k kiemelése, a felesleges képelemek eltávolítása, de el feldolgozásnak min sülhet a képpontokból olyan sajátvektorok el állítása, amelyek valamilyen osztályozási célt szolgálnak. A röntgenfelvételek mindazonáltal zajosak, és a digitalizálás során is keletkezhetnek különböz torzulások, amelyek nehezítik a feldolgozást. Sok esetben a röntgenfelvételeken olyan képelemek is megjelennek, amelyek orvosi információkat tartalmaznak, például a kép típusa, száma és egyéb adatok. Mammográfiás röntgenképek esetén az eml elkülönítése ezekt l a képelemekt l a feldolgozó eljárások hatékonyságát javíthatja, mind diagnosztikai, mind sebességi jellemz iket tekintve. További jellemz i vizsgált felvételeknek a mellbimbó, illetve a medio-laterális típusú felvételeknél, a mellizom megjelenése. Két vagy több kép összehasonlításakor a mellbimbó és a mellizom helyének ismerete segíthet a képek megfelel részeinek megtalálásában. A mellizom nem tekinthet az eml részének, ezért az eml szerkezetének vizsgálatakor az eredményeket torzíthatja. Az eredmények javíthatóak, ha a feldolgozáskor a mellizom területét nem vesszük figyelembe. Az alábbiakban 5 algoritmust mutatok be, amelyek a fenti feladatokat végzik. Az els algoritmus az eml helyét határozza meg, és szegmentálja a kép többi részét l. További kett a mellizom és az eml közötti határvonal, míg az utolsó kett eljárás a mellbimbó keresését végzi.
3.1.
Az eml helyének meghatározása
3.1.1. A feladat megfogalmazása A feladat röviden az eml helyének meghatározása, egyben a képen található zaj és egyéb zavaró képelemek eltávolítása. A zaj a felvétel készítésekor és a digitalizálás során keletkezhet. A röntgenfelvétel készítésekor a szórt sugarak, porszemek és a képalkotó berendezés hibái miatt a felvételen zaj keletkezik. A keletkezett zaj valamilyen valószín ségi eloszlással (általában Gauss) leírható. A digitalizálás során kvantálási zaj adódik a képhez. A
21
készítés és a digitalizálás során egyaránt hozzáadódhat a képhez impulzus jelleg zaj. A legáltalánosabb esetben a fent említett problémák egyszerre jelentkezhetnek. A zaj kisz résére alkalmas módszerek különböz mértékben torzítják a képet. A simító sz r k (Gauss-zaj esetén) homályosítják a képet, míg a medián sz r k (impulzus zaj esetén) az éleket torzítják. További problémát jelent, hogy a zaj eredményeként a képen található objektumok mintegy „összeérnek”, ami azt jelenti, hogy a gép szempontjából csak egy adott fényességi érték küszöb fölött válnak szét az objektumok, amelyeket az emberi szem amúgy különállónak érzékel. A feladat tehát egy olyan algoritmus készítése, amely zaj jelenléte esetén is szét tudja választani azokat az objektumokat, amelyeket az emberi látás különállónak észlel, ezután az objektumok közül kiválasztja az eml t. Utolsó lépésként igény szerint vagy törli a kép eml n kívüli részeit, vagy valamilyen módon kiemeli az eml t.
3.1.2. A megoldás bemutatása A megoldás els lépése a képeken található már korábban említett zavaró hatások vizsgálata volt. A zavaró hatásokat három csoportba soroltam, amelyek részben összefüggnek egymással. Az egyes csoportok tulajdonságainak jellemzése: 1. Zaj A feladat szempontjából az impulzus jelleg zajok lényegtelenek, hiszen nem alkotnak olyan objektumokat a képeken, amelyek elérik a zavaró nagyságot. Az egyéb zajok mértéke képenként változó lehet. A f problémát az jelenti, hogy ha a zaj mértéke egy bizonyos fényességi értéket meghalad, akkor az eljárások úgy értelmezik, mintha külön objektum, vagy valamilyen objektum (pl. az eml ) része lenne. Mivel ez képenként változó, egy minden képre használható küszöb meghatározása nehézségekbe ütközhet. A nagy küszöb megadása az eml határán található képpontok elnyomásához vezet, azaz ezek a pontok elvesznek, az eml torzul. 2. Idegen elemek Az eml höz nem tartozó és nem zajnak min sül képelemek tartoznak ide. Lehetnek különböz feliratok, illetve címkék. Ezek az objektumok legtöbbször adminisztrációs információkat tartalmaznak, mint a felvétel típusa, száma, dátuma. Az idegen elemek néhány esetben az eml felett láthatóak, így nehezen vagy egyáltalán nem különíthet ek el az eml t l. Néhány esetben az emberi szem számára különállónak érzékelt objektumok kicsiny fényességi értékekkel ugyan, de összeérnek, amely megzavarhatja az eljárásokat. 3. Egyéb zavaró hatások Sok esetben nem meghatározható eredet , vagy a film készítése, vagy a digitalizálás során keletkezett hibák láthatóak a képeken. Jellemz en ilyen, amikor a kép nem pontosan illeszkedik a szkennerre, vagy egy vékony vonal (sötét is világos is lehet) húzódik át a kép egy részén. A megadott csoportokra a 16. ábrán láthatunk példákat. Az ábrán, a baloldali képen a zaj hatását láthatjuk. A kép hisztogram kiegyenlítéssel készült. A jobboldali képen a 2. és 3. csoportra láthatunk példát. A bekeretezett részek közül az (1)-és és (2)-es számú egy-egy címkét jelölnek, az utóbbi az eml felett van. A (3)-as rész a szkennelés során keletkezett
22
hiba, a kép rosszul illeszkedik a szkennerre. A (4)-el jelölt rész egy vonalat rejt, amely egészen a kép alsó részén található szürke részig húzódik le. Megjegyzend , hogy ritkán látható egy képen ilyen sok hiba egyszerre, mint a jobboldali képnél.
16. ábra – Zavaró hatások a röntgenfelvételeken
A megoldáshoz a vizsgálatok alapján két olyan feltételt adtam meg, amelyek teljesülését a megoldás során nem vizsgálom: a. Az eml minden vizsgált képen látszik b. Az eml a legnagyobb összefügg objektum Az els feltétel egyértelm , míg a második a képek vizsgálatából adódik. Teljesen általános esetben a szegmentálás eredményeképpen néhány objektum keletkezik képen. Tegyük fel, hogy ezek közül az eml az egyik, a kérdés hogyan állapítjuk meg melyik az. Egy ember a formája alapján felismerné feltéve, hogy már látott ilyen képet. A gépnek meg kell adnunk olyan jellemz ket, amelyek alapján min síteni tudja az objektumot. A legegyszer bb ilyen jellemz az objektum mérete. A röntgenfelvétel során a röntgensugaraknak át kell hatolniuk az eml n, ami mindenképpen nyomot hagy a felvételen. Ez azért fontos, mert így biztosítva van, hogy a fényképezett objektumok összefügg ek, hiszen csak akkor lehet 0 a fényességi érték egy pontban, ha a röntgensugár akadály nélkül érkezett oda. Ha nem az eml a legnagyobb összefügg objektum a képen, akkor a kép nagy valószín ség szerint hibás, így diagnózisra alkalmatlan. A képpontok környezetének fontos szerepe van az algoritmusban, azonban a környezet sokféleképpen értelmezhet . A következ kben a képpontok környezetén a képponttal bármilyen kapcsolatban lév képpontokat, vagyis a képpontot körülvev további 8 pontot értem. A továbbiakban az algoritmus bemutatása következik: A megvalósított algoritmus folyamatábrája az 17. ábrán látható.
23
Start
Igen n = 0; level = 25
Képmátrix b vítése (padding) n=0 A vizsgált képpont értéke >= level
Nem A vizsgált képpont értéke >= 15?
n = n + 1, n > képpontok száma?
Nem
Nem Igen A vizsgált képpont egy tartomány határán van?
Igen Van olyan szomszédja, amelyre fényességi érték < 15?
Nem Igen Nem
Igen
Nem
Minden ilyen szomszéd fényességi értéke = 25
A képpont fényességi értékének 0-ra állítása A vizsgált képpont értéke még mindig >= level ? Igen
n=0 Képpont tartományba sorolása A vizsgált képpont a kiválasztott tartomány határán van?
Nem
Nem
Nem
Nem
n = n + 1; n > képpontok száma?
Igen Megadott távolságú szomszédainak a tartományhoz vétele
Igen
n = n + 1; n > képpontok száma? Igen Stop
A legnagyobb tartomány kiválasztása
Kisebb tartományok törlése, level = 15
El ször járunk ebben a pontban?
Igen
17. ábra – Az algoritmus folyamatábrája
24
Az algoritmus lépései általánosan: 1. 2. 3. 4. 5.
El feldolgozás, a képmátrix b vítése és a képpontok környezetének javítása A képen található tartományok meghatározása (nagyobb küszöbérték mellett) A legnagyobb tartomány kiválasztása, a többi törlése A képen található tartományok meghatározása (kisebb küszöbérték mellett) A legnagyobb tartomány kiválasztása, amely az eml lesz
A megvalósított algoritmus lépéseinek részletes leírása:
1. lépés A bemeneti képmátrixot kib vítjük olyan módon, hogy minden szélén felveszünk egyegy újabb sort, illetve oszlopot és azt 0 értékekkel töltjük fel. Az algoritmus során így nem kell ellen riznünk, hogy a mátrix határain belül mozgunk-e. Ha szükséges több sorral is kiegészíthetjük a mátrixot.
2. lépés A kép összes 15-nél nagyobb fényességi érték pontját megvizsgáljuk, van-e olyan szomszédja, amelynek fényességi értéke kisebb, mint 15. Ha van, akkor annak a pontnak a fényességi értékét 25-re növeljük. A képeken el forduló rendellenességek között található olyan, amelynek eredményeképpen az eml egyes részei nagyobb fényességi értéken vizsgálva elválnak az eml t l, aminek eredménye, hogy az algoritmus egy kés bbi lépésben kizárja ezeket a képpontokat a további vizsgálatból. A rendellenesség megjelenési formája egy sötét csík (az alkotó pontok fényességi értéke kisebb, mint 15), amely végighúzódik az eml n.
3. lépés A képen található összes, 25-nél nagyobb fényességi érték képpontokat tartalmazó tartomány határán található képpontok értékét 0-ra állítjuk. Ezt egy egyszer morfológiai eljárással meg tudjuk tenni (ld. 2.3.2. pont). A határpontok megkereséséhez egy 3x3-as vizsgálómátrixot alkalmazunk. A kép 25-nél nagyobb fényességi érték pontjai összefügg tartományokat alkotnak, amelyeket halmazoknak tekinthetünk. A tartományok mint halmazok, és a vizsgálómátrix mint halmaz között egy-egy értelm megfeleltetést próbálunk létrehozni, vagyis a vizsgált képpontot a vizsgálómátrix középpontjával, környezetét pedig a mátrix megfelel elemével vetjük össze, és ha minden elem párosítható, azaz a vizsgált képpont és a környezetében található képpontok fényességi értéke 25-nél nagyobb, akkor nem teszünk semmit, ellenkez esetben a képpont fényességi értékét 0-ra állítjuk. A lépés eredményeként a képen található tartományok egyértelm en elkülönülnek, illetve a vékony vonallal összekötött tartományok több részre esnek szét.
4. lépés Meghatározzuk az egy tartományba tartozó képpontok halmazait. A 25-nél nagyobb fényességi érték képpontok esetén megvizsgáljuk, hogy valamely szomszédjuk már tagja-e valamelyik tartománynak, ha igen, akkor a képpontot megjelöljük, mint a tartomány tagját, ha nem, akkor új tartományt hozunk létre. Ha vannak olyan szomszédai, amelyek két külön tartományba tartoznak, akkor a tartományokat megjelöljük, mint szomszédos tartományokat.
25
A szomszédos tartományok egy tartománynak min sülnek, így a képpontok vizsgálata után a szomszédosnak min sített tartományokat összevonja az algoritmus egy tartományba.
5. lépés A legnagyobb tartomány kiválasztása a tartományokba tartozó képpontok megszámlálásával. Az algoritmus nem veszi figyelembe, ha két maximális pontszámú tartomány van, ez ugyanis a kiindulási feltevéseknek ellentmondana. A legnagyobb tartomány pontjai megadják az eml pontjait, kivéve a 25 fényességi érték alatti pontokat. A következ kben tehát megismételjük a 3-5-ig lév lépéseket, de most 15-ös fényességi értéket választva határként, ezáltal finomítva a megoldást.
6. lépés Utolsó lépésként a kapott tartomány b vítése következik. A kapott tartomány határpontjait 5 pixellel kitoljuk, így finomítva a felbontást és kiküszöbölve egy olyan jelenséget, amely akkor jelentkezik, ha az eml határán vannak olyan kisebb tartományok, amelyeket a 25-ös határnál külön tartományként érzékelt az algoritmus, és törölte ket. Opcionálisan lehetséges választani, hogy a megtalált tartományon kívül es képpontokat törölje a program, vagy a megtalált tartományt írja körül. Az algoritmus alkalmazásának eredményét a 18. ábrán láthatjuk. A baloldali kép a kiindulási kép, mellette az eredményül kapott kép látható, az algoritmus által feleslegesnek ítélt részek törlésével. Látható, hogy az algoritmus az eml vel teljesen összefügg idegen elemek eltávolítására nem képes.
18. ábra – Az algoritmus alkalmazása egy képen
26
3.1.3. Tesztelési eredmények Az algoritmust a már korábban is említett mammográfiai adatbázison [4] teszteltem. Az adatbázisban 322 db kép található, amelyek kivétel nélkül medio-laterális típusúak. A tesztelés során az eredmény szempontjából 3 csoportot különböztettem meg. a. Hibátlan m ködés Az eml pontos felismerése. Megjegyzend , hogy a 15-ös fényességi érték határ miatt, az eml szélén található, ezen érték alatti fényességi érték képpontokat az algoritmus nem tekinti az eml részeinek. b. Az eredményt jelent sen nem befolyásoló hibás m ködés Az ide tartozó hibáknak további három típusát különböztettem meg: 1) Pontok törlése az eml b l Akkor fordulhat el ez a hiba, ha a 25-ös fényességi érték határú vizsgálatnál az eml szélén néhány képpont önálló tartományként jelenik meg. Ekkor az algoritmus törli ezt a tartományt, vagyis információt vesztünk. (19. ábra, 1. kép) 2) Idegen képelemek hozzávétele az eml höz Az algoritmus olyan képpontokat is az eml höz tartozónak ismer fel, amelyek nem tartoznak hozzá. Történhet a zaj miatt, illetve okozhatják az eml felett elhelyezked címkék, feliratok. (19. ábra, 2. kép) 3) Az eml höz tartozó részek elhagyása A felvételeken néhány esetben az eml alatti testfelület visszahajlik a képre. Ez szorosan nem tartozik az eml höz, így elhagyása sem min sül súlyos hibának. (19. ábra, 3. kép) c. Hibás m ködés Az algoritmus hibásan m ködik, ha az eml t nem ismeri fel. A vizsgált képek tulajdonságai: 1024x1024 képpont; 8 bites színmélység, vagyis 256 db szürke árnyalat. A tesztelés eredményei az 1. táblázatban láthatóak. A b. esetet több részre osztottam az itt el forduló hibák típusa szerint.
19. ábra – Tipikus példák az algoritmus rendellenes m ködésére (a képek balról számozva)
27
Hibátlan m ködés 301 (93,48%)
Az eredményt jelent sen nem befolyásoló hibás m ködés 1. típusú
2. típusú
3. típusú
Hibás m ködés
5 (1,55%)
8 (2,485%)
8 (2,485%)
0 (0%)
Hibás összesen:
21 (6,52%)
1. táblázat - Teszteredmények
Az eredmények szerint az esetek több, mint 90%-ában az eml t minden részletével együtt felismerte az algoritmus, néhány esetben kisebb anomáliák jelentkeztek, hibás felismerés nem fordult el . A m ködésben jelentkez anomáliák az eml felismerését nem befolyásolták, vagyis az algoritmus gyakorlatilag minden esetben alkalmazható. Az alkalmazás során jelentkez hibák közül a b. csoport 3. típusú hibái egyáltalán nincsenek hatással a további feldolgozó algoritmusokra, s t talán még célszer is, ha a feldolgozó algoritmusok nem veszik figyelembe a képnek ezen részeit, mivel lényeges információt nem tartalmaz, csak hibaforrás lehet. A 2. típusú hibák esetében hasonló az eredmény, hiszen a címkék alapvet en világos foltként jelennek, tehát szintén besorolhatóak a felismer algoritmus által. A helyzet azonban fordított, mert míg az el z esetben a hiba az volt, hogy nincsenek jelen a képen bizonyos elemek, addig ebben az esetben a hiba az, hogy jelen vannak, ami nagyobb gondot okoz. Az 1. típusú hibák okozhatják a legnagyobb problémát. Mivel ezek többnyire pontszer hibának tekinthet ek, leginkább talán a mikrokalcifikációk felismerését végz algoritmusoknak okozhatnak problémát, ha a hiba helyén éppen egy mikrokalcifikáció volt, ami azonban kevéssé valószín az eml széléhez ilyen közel. A jelenleg megvalósított algoritmus 256 árnyalatú képek esetén m ködik, illetve megfelel tesztesetek híján a cranio-caudális felvételek esetében produkált m ködés nem látható el re. Valószín leg a felvétel típusa nem befolyásolja jelent sen az eredményeket, hiszen az algoritmus szempontjából fontos tulajdonságait tekintve a két felvételtípus gyakorlatilag megegyezik. További kérdés, hogy a konstans érték fényességi érték határok, illetve a morfológiai eljárások során használt vizsgáló halmazok nagyobb méret képek esetén is megfelel ek-e. Az algoritmus továbbfejlesztési lehet ségei a hibák kiküszöbölésén kívül, a más típusú és nagyobb színmélység (12-16 bit) felvételekre való alkalmazhatóság vizsgálata, illetve a fényességi érték határ csökkentése.
3.2.
A mellizom területének meghatározása
3.2.1. A feladat megfogalmazása A medio-laterális felvételek jellegzetesen megjelen eleme a mellizom, a legtöbb esetben jól elhatárolhatóan jelenik meg a felvételeken. A mellizom megjelenésében egy viszonylag homogén, általában az eml többi részénél világosabb terület, amely lefelé keskenyed háromszöget alkot . A 20. ábrán bekeretezve látható a mellizom.
28
A mellizom területét megkapjuk, ha a mellizom és az eml határvonalát fel tudjuk ismerni, így a feladat a határvonal megtalálása. A mellizom ha megjelenik a képen, mindig ugyanott jelenik meg, vagyis a kép jobb, vagy bal fels sarkában. A területének mérete képr l képre változó csakúgy, mint a világossága. A kiindulási pontot tehát az eml állásának ismeretében valamely fels sarok jelenti. A feladat tehát átfogalmazható úgy, hogy az eml állásától függ en annak jobb vagy bal fels sarkában egy homogén a legtöbb esetben világos terület keresése, amely háromszöghöz hasonló alakot vesz fel és általában élesen elkülönül az eml t l. Egy másik megközelítés szerint a terület keresése helyett, kereshetjük a mellizmot az eml t l elválasztó vonalat is.
20. ábra – A mellizom
3.2.2. A megoldás bemutatása A feladat el z pontban tárgyalt kibontása két megoldási utat is kínál. Az egyik a homogén terület keresése, a másik pedig az elválasztó vonal keresése. A feladat kapcsán tett alapvet megfigyelések összefoglalva a következ k: a. b. c. d. e. f.
A vizsgált terület általában homogén, világos és háromszög alakú, (általában) jól elhatárolható az eml többi részét l, a kép fels felében található és (a legtöbb esetben) nagy kiterjedés . A határoló vonal jól közelíthet egyenessel, iránya az eml állásától függ
A megoldás nehézségét az adja, hogy a fenti megfigyelések csak a képek nagy többségre igazak. Vannak olyan képek, amelyekre egyáltalán nem, s t olyan képek is el fordulnak, amelyeken a mellizom egyáltalán nem látszik. Orvosi szempontból az a jó felvétel, amelyen látszik a mellizom. A hiánya azonban nem jelenti azt, hogy nem készíthet diagnózis.
29
A megoldás során elhanyagoltam a határvonal esetleges egyenetlenségeit, vagyis minden esetben egyenesként próbáltam detektálni. Ez a megközelítés általánosabb, és jobban kezelhet adatokat eredményez, hiszen egy egyenes két paraméterrel egyértelm en megadható. Az egyenesek detektálását a Hough transzformációval végeztem. Nem vizsgáltam továbbá az egész képet, hanem csak azt a részét, ahol a mellizom várhatóan található, ami az algoritmus gyorsítása és hatékonyságának növelése miatt volt célszer . Az algoritmus további gyorsítása érdekében a képeket a feldolgozás el tt kicsinyítettem. A megoldást kétféleképpen végeztem el. Az els megoldás során a mellizom területét próbáltam megkeresni, majd ennek segítségével a mellizom vonalát, míg a másodikban az elválasztó vonal keresését helyeztem el térbe. A továbbiakban az algoritmusok részletes bemutatása következik. A két megvalósított algoritmus közös folyamatábrája látható a 21. ábrán. Hough transzformáció
Start
Start Kép kicsinyítése a 25%-ára Felbontás megadása Kvantálási pontok száma = kép szélessége Maximális távolság = kép átmér je Szögtartomány felbontása = 2 * PI / kvantálási pontok száma
Az eml kiemelése
Az eml állásának, és a kép két szélét l való távolságainak meghatározása
1. megoldás
Szinusz és koszinusz tábla létrehozása az algoritmus gyorsításának érdekében 2. megoldás Képpontok leképezése a Hough térbe
A kép fels negyedében hisztogram készítése Éldetektálás. A képpontok 20%-át tekintjük valódi élnek
A legtöbb pontot tartalmazó 40 széles fényességi érték tartomány megkeresése
Globális maximum keresése
A talált egyenesek közül csak a 045 és 135-180 közötti hajlásszög ek megtartása
Az el z leg meghatározott fényességi érték tartományon kívül es pontok törlése
A megmaradt egyenesek közül azok megtartása, amelyeknél a lokális maximum értéke a globális maximum 90%-át eléri
A megtalált terület határainak megjelölése, és többi pont törlése
Egy egyenes kiválasztása, amely megadja a mellizom vonalát
Hough transzformáció
Stop Stop
21. ábra – Az algoritmusok folyamatábrája
30
1. megoldás Az algoritmus lépései általánosan: 1. 2. 3. 4. 5. 6.
A kép kicsinyítése Az eml megkeresése és az azon kívüli képpontok törlése (ld. 3.1. pont) Az eml geometriájának, elhelyezkedésének elemzése Az eml fels részén homogén terület keresése A megtalált terület határainak megjelölése, a kép többi részének törlése A megmaradt pontokon Hough transzformáció alkalmazása (egyenes keresése)
A megvalósított algoritmus lépéseinek részletes ismertetése:
1. lépés A kép méretét eredeti méretének 25%-ára csökkentjük. Az újraméretezés egyszer algoritmus szerint történik. A képet felosztjuk az újraméretezés nagyságának megfelel négyzetekre (esetünkben 4x4-es), majd ezeket átlagoljuk. Az új képben a kapott átlag lesz egy képpont a megfelel helyen. A képb l természetesen részletek vesznek el, de ez a feldolgozás további menetét nem befolyásolja.
2. lépés A mellizom megkereséséhez csak az eml re van szükségünk, a kép további részei szükségtelenek, ezért azokat eltávolítjuk. Ez a m velet a 3.1. pontban megismert algoritmus segítségével történik, amelyet részletesen ott ismertetek.
3. lépés Az eml geometriájának képen való elhelyezkedésének jellemz inek meghatározása. Az eml geometriáján els sorban annak állását értjük, tehát balra, vagy jobb néz. Az elhelyezkedés pedig a kép széleit l való távolságot jelenti. Az adatok meghatározása egyszer módon minimum-, illetve maximum-kereséssel történik. Az eml állásának meghatározásához a kép minden sorát megvizsgálom úgy, hogy a kép két széléhez legközelebb található, az eml höz tartozó képpontok között mekkora a távolság. Ez tulajdonképpen az eml jobb és bal széle egyenletességének mérését jelenti. Ha a kapott mér szám az eml jobb felére kisebb, mint a balra, az azt jelenti, hogy az eml jobb felének képpontjai egyenletesebben helyezkednek el, tehát az eml balra néz, ellenkez esetben fordítva.
4. lépés A kép fels negyedét vizsgáljuk a továbbiakban, a többi képpontot töröljük. A képpontok törlése után készítünk egy hisztogramot a képr l, amelyben nem vesszük figyelembe a 0 fényességi érték képpontokat. Ezután végigmegyünk a hisztogrammon és 40 fényességi érték szélesség intervallumokat vizsgálva megállapítjuk, hogy melyik intervallumhoz tartozik a legtöbb képpont. A továbbiakban az eltér fényességi érték pontokat töröljük. A lépés eredményeképpen vagy a mellizom területét kapjuk, pontosabban a területének egy részét, vagy az eml mellizom melletti területét. A további lépések szempontjából mindegy,
31
hogy melyik történik, hiszen mindkett esetben a kapott terület szélén húzódik a mellizom és az eml közötti határvonal.
5. lépés A kapott terület határvonalának megjelölése és az ezen kívül es képpontok törlése. A határvonal megjelölése egy morfológiai transzformációval történik (ld. 2.3.2. rész). Az algoritmus a 0-nál nagyobb fényességi érték képpontokat vizsgálja. Ha a vizsgált képpont környezetében található 0 fényességi érték képpont, akkor a vizsgált képpont határpontként lesz megjelölve, ellenkez esetben nem.
6. lépés Az el z lépés eredményeként kapott képen Hough transzformációt hajtunk végre, amely eredményeképpen megkapjuk a képpontokra fektethet egyenesek paramétereit. A Hough transzformáció általános leírása a 2.3.3 részben található, a következ kben a megvalósított algoritmust ismertetem, amelynek a feladat jellegéb l adódóan van néhány speciális vonása.
7. lépés - Hough transzformáció algoritmusa A Hough transzformáció a képpontok teréb l az (s,θ ) térbe képez. Ez a kétdimenziós tér az egyenes alább megadott egyenletének paramétertere:
s = x cosθ + y sin θ , ahol minden egyenes egy ponttal leírható. A transzformáció végrehajtásához el ször a paraméterek terét kvantálni kell. A megvalósított algoritmusban a felosztás finomsága a kép szélességének mértékével egyezik. A kvantálást csak a paraméterre végezzük el úgy, hogy a 2 szögtartományt felosztjuk az el z ekben megadott finomságú részekre. Az s paraméter felosztása ezáltal adott, maximális értéke pedig nem lehet nagyobb, mint a kép átlójának hossza, hiszen akkor egy olyan egyenest ad meg, amely nem tartozik a képhez. Ezek után létrehozunk egy a felosztásnak megfelel méret tömböt, amely a C (s,θ ) számlálót adja. A felosztás meghatározása után az algoritmus kitölt egy szinusz illetve koszinusz táblázatot, hogy ne kelljen minden cikluslépésben elvégezni ezek kiszámítását, ami jelent sen gyorsítja az algoritmust. A következ lépésben minden 0-nál nagyobb fényességi érték képpont koordinátáit behelyettesítjük az egyenes fenti egyenletébe, amely megadja az s paraméter értékét (ezért nem kell az s paraméter felosztását megadnunk). Ha a kapott érték nem nagyobb a kép átlójának hosszánál, akkor a számláló tömbben az (s,θ ) párosnak megfelel értéket egyel növeljük. A számlálóban található értékek megadják, hogy egy adott paraméter egyeneshez hány képpontot lehet hozzárendelni. A ciklus végén meghatározzuk a számlálók maximális értékét, de csak azokat a paramétereket vizsgálva amelyekre az origóból (a kép bal alsó sarka) az egyeneshez húzott mer leges x tengellyel bezárt szöge, vagyis a paraméter a [10°, 80°], illetve [100°, 170°] tartományba esik. Ezzel csökkentjük a hibás detektálás esélyét, hiszen a mellizom és eml határát megadó egyeneshez az origóból húzható mer leges x tengellyel bezárt szöge minden esetben ebbe a tartományba esik. Ezután kiválasztjuk a paramétertér azon elemeit, amelyekhez tartozó számláló a maximális érték 90%-át eléri, vagyis a legtöbb pontra fektethet egyeneseket. Az így kapott
32
pontokra még végrehajtunk egy lokális maximum keresést, amelynek végén megkapjuk a szóba jöhet egyeneseket. Az egyeneseket vektoroknak véve, meghatározzuk az összegvektorukat, amely megadja az algoritmus által az eml és a mellizom határának detektált egyenest. Az eredmény ellen rzéséhez az eredményül kapott egyenest megjeleníthetjük az eredeti képen.
2. megoldás A második megoldás abban különbözik az els t l hogy a 4. és 5. lépés hiányzik, helyette egy éldetektálást hajtunk végre. Az éldetektálás során a gradiens abszolút értéke szerint rendezett képpontok fels 20%-t tekintettem valódi élhez tartozó pontként. Kisebb különbség még, hogy az algoritmusban nem a kép fels negyedét, hanem fels felét vizsgálom, továbbá a Hough transzformációnál a paraméter megengedett értékei a [50°, 80°], illetve [120°, 170°] tartományba esnek. A két algoritmus egy-egy tipikus futási eredménye látható a 22. ábrán. Az els kép (balról) az eredeti, a második kép az els algoritmus futásának eredménye (kiemelve a felismert vonal), a harmadik kép pedig a második algoritmus futásának eredménye.
22. ábra – Az algoritmusok futásának eredménye (baloldalon az 1. algoritmus)
3.2.3. Tesztelési eredmények A tesztelést a 3.1. pontban bemutatott algoritmushoz hasonlóan a MIAS adatbázison [4] végeztem. A tesztek során nehéz volt a kapott eredmények elemzése, voltak olyan esetek, amikor a megoldás jósága nem volt eldönthet . Gyakorlatilag nem létezik olyan mérhet kritérium, amely egyértelm en megadná az eredmény jóságát. A tesztek során ezért itt illetve a többi algoritmus esetén, ha egy megoldásról nem volt egyértelm , hogy jó-e, akkor inkább
33
rossznak tekintettem. Az eredmények szempontjából 3 csoportot különböztettem meg, amelyeket nagyrészt egyértelm en el lehetett különíteni egymástól: a. Pontos felismerés A felismerést akkor tekintem pontosnak, ha az algoritmus az eml és a mellizom határvonalát pontosan, vagy nagyon kicsiny hibával találta meg. A nagyon kicsi hiba ebben az esetben azt jelenti, hogy az eltérés a tényleges vonaltól szabad szemmel még nem zavaró. b. Pontatlan felismerés Minden olyan eset, amikor az algoritmus által eredményül adott egyenes a mellizom területén belülre esik. Az ebbe a csoportba tartozó eseteket a hiba mértékét l függ en 2 további csoportba osztottam. Az els csoportba a kevésbé súlyos pontatlanságok tartoznak. Ezek a határvonal közelében találhatóak, vagy párhuzamosak azzal, vagy kis szögben elhajlanak t le. A második csoportba a súlyosabb pontatlanságok tartoznak, amelyek a határvonaltól zavaróan messze vannak. c. Hibás felismerés Azok az esetek tartoznak ide, amikor az algoritmus által eredményül adott egyenes érinti az eml n területét, függetlenül attól, hogy ez mennyire lehet zavaró egy esetleges további feldolgozó eljárás szempontjából. A kérdéses eseteket, tehát ahol nem volt eldönthet , hogy az eml területét érinti-e az egyenes, szintén ebbe a csoportba soroltam. A hibás felismerések között szintén két csoportot különböztettem meg. Az egyik esetben az algoritmusok a határvonalat felismerték, de valamilyen pontatlanság következtében az egyenes kissé belecsúszik az eml területébe. A második esetben az algoritmusok a határvonaltól teljesen eltér egyenest adtak meg. Az eredmények a 2. táblázatban láthatóak.
Pontos felismerés 1. algoritmus
189 (58,69%)
Pontatlan felismerés 1. típusú
2. típusú
1. típusú
2. típusú
50 (15,53%)
38 (11.8%)
29 (9,01%)
16 (4,97%)
Hibás összesen: Pontos felismerés 2. algoritmus
233 (72,36%)
Hibás felismerés
133 (41,31%)
Pontatlan felismerés 1. típusú 13 (4,04%) Hibás összesen:
2. típusú 14 (4,35%)
Hibás felismerés 1. típusú 35 (10,87%)
2. típusú 27 (8,38%)
89 (27.64%)
2. táblázat – Az algoritmusok teszteredményei
Az eredmények azt mutatják, hogy az algoritmusok igen rossz hatásfokkal m ködnek. Figyelembe kell vennünk azonban több tényez t is. Az eredményeket igen szigorúan osztályoztam, hiszen a feladat jellege – orvosi alkalmazásról van szó – nem enged meg semmilyen szépítést. Az algoritmusok felhasználása azonban többféleképpen is lehetséges.
34
Tegyük fel, hogy az algoritmusokat egy olyan eljárás el feldolgozási lépéseként használjuk, amely a kóros elváltozások felismerését végzi. Ekkor nem engedhetjük meg, hogy az eml bármely kis részét ne vegyük figyelembe az el feldolgozó eljárás pontatlansága miatt. Ha azonban az eljárásunk az eml szerkezetét vizsgálja, akkor megfelel közelítés lehetséges. Az els esetben a pontatlanság az elváltozás felismerését kockáztatja, míg a második esetben akár valamekkora pontatlanság árán, de az algoritmus hatékonyságát növelheti, hiszen a vizsgálatkor nem kell figyelembe vennünk a mellizom területét. A ténylegesen minden algoritmusnál egyformán problémát okozó hibák a hibás felismerések 2. csoportjába tartozó hibák. Láthatjuk, hogy az els algoritmus 5% körüli hibát produkál, míg a második algoritmus 8% körülit. Így tekintve az algoritmusok hatásfoka nem olyan rossz. Az algoritmusok fejlesztése a hatékonyság javítását kell célozza. Az algoritmusban sok olyan paraméter található, amelynek optimális értékre való beállítása növelheti a hatásfokot. Az els algoritmus például egy maximális pontszámú 40 széles fényességi érték tartományt keres, míg a második algoritmus esetén az élhez tartozóként detektált pontok 20%-át vesszük figyelembe. Mindkét eljárásnál további konstans paramétereket használunk a Hough transzformációban. A fejlesztés egy módja célozhatja e paraméterek optimális értékének megtalálását is. Az eredményekb l kit nik, hogy az algoritmusokban megfogalmazott alapelvek jók, ezért ezek kiegészítése, javítása is vezethet hatékonyabb algoritmusok létrehozásához. Az algoritmusok egy nagy hibája, hogy abban az esetben is adnak megoldást, amikor a mellizom nem látható a képen.
3.3.
A mellbimbó helyének meghatározása
3.3.1. A feladat megfogalmazása A mellbimbó a legtöbb képen nehezen megtalálható, sokszor csak a gyakorlott szem számára felfedezhet . A medio-laterális és cranio-caudális típusú felvételeken egyaránt látható. A mellbimbó formája és elhelyezkedése – amikor a képen jól látszik – jellegzetes az emberi szem számára, azonban a gép számára nehéz megfogalmazni olyan kritériumokat, amelyek alapján felismerheti. A 23. ábrán látható két felvétel, amelyek közül az els n a mellbimbó jól látszik, míg a másodikon szinte beleolvad a háttérzajba. A feladat megfogalmazása nehéz, hiszen keresünk valamit, amelyet az emberi látás néhány esetben még az emberi látás is csak indirekt jelek alapján tud felismerni (24. ábra – baloldali kép). A képeken megjelenhet profilban is, ilyenkor az eml szélén, jól láthatóan helyezkedik el, félkör alakot formálva, néha azonban az eml eltakarja, ilyenkor az eml szélén egy fényesebb foltot kell keresnünk (24. ábra – jobboldali kép). Segítségünkre lehet a megoldásban, hogy az eml szerkezete általában sugaras, amelynek a kiindulási pontja a mellbimbó. Az eml szerkezetének elemzése a kép mintázatának elemzését vonja maga után. A dolgozatban a feladatot két irányból közelítettem meg. Az els megoldásban, a mellbimbó képeken való megjelenési formájának és elhelyezkedésének vizsgálatával olyan általános jellemz ket próbáltam keresni, amelyek által megadható egy a kívánt m ködést végz algoritmus. A másik megközelítésben az eml szerkezetének vizsgálatával próbáltam a mellbimbó helyét meghatározni.
35
23. ábra – A mellbimbó normál és zajos esetben
24. ábra – A mellbimbó két megjelenési formája
36
3.3.2. A megoldás bemutatása Az el z ekben említettek szerint a feladat megoldása során két külön utat követtem, és ennek megfelel en két algoritmust dolgoztam ki, ezek kerülnek most bemutatásra. A két algoritmus folyamatábrája látható a 25. ábrán. Algoritmus 1
Algoritmus 2
Start
Start
Ez eml kiemelése
Ez eml kiemelése
Az eml állásának, és a kép két szélét l való távolságainak meghatározása
Az eml állásának, és a kép két szélét l való távolságainak meghatározása
min = width / 30;
Inverz kontraszt-arány transzformáció
Minden y-ra az y magasságban található határpont min távolságú környezetében lév képpontok átlagának képzése, figyelembe véve a legtávolabbi határponttól való távolságot (Gauss függvény szerint)
Kompasz éldetektálás
Utak keresése a detektált élek segítségével Az átlag maximumának megkeresése, a maximum y koordinátája és a hozzá tartozó határpont x koordinátája által megadott pont környezetében található a mellbimbó.
Az utakból a mellbimbó helyének meghatározása
Stop
Stop
25. ábra – A két algoritmus folyamatábrája
37
1. algoritmus Az els algoritmus a mellbimbó képeken való megjelenési formáinak vizsgálatából indul ki. A képek vizsgálata során összegy jtöttem azokat az alakzatokat, amelyekben a mellbimbó a képeken megjelenik, ezután ezekb l próbáltam különböz általánosan érvényes tulajdonságokat megadni. A vizsgálat során a következ megjelenési formákat gy jtöttem össze (ld. még 23-24. ábra): a. Félkör alak az eml szélén kívül b. Jól határolható világos folt az eml szélén belül c. S r södés az eml szélén (Megjegyzend , hogy volt néhány eset, amikor nem tudtam meghatározni a mellbimbó helyét.) A megjelenési formákra jellemz , hogy különböz fényességgel, nagysággal jelentek meg, ezen kívül a b. és c. csoportban a felvett geometriai forma is változó volt. Az a. csoportba tartozó képeknél f ként az jelentett problémát, hogy a mellbimbót adó folt, és a háttérben lév zaj átlagos fényességi értéke közel megegyez volt. A b. és c. csoport közös tulajdonsága az volt, hogy az eml határán belül, annak széléhez közel, nagyobb átlagos fényességi érték területet alkotnak, mint a közelben található egyéb eml állomány. Ez kis kiterjesztéssel az a. csoportra is igaz, ugyanis nagyobb átlagos fényességi érték területet alkotnak, mint a kép eml n kívüli részei, nem túl nagy zaj esetén. Az els algoritmus alapötlete ebb l származik, hiszen ha végigmegyünk az eml határvonalát alkotó pontokon, és a körülöttük lév területet vizsgáljuk, akkor a mellbimbó környékén nagyobbnak kell lennie az átlagos fényességi értéknek, mint máshol. Az algoritmus lépései: 1. Az eml állásának és határpontjainak meghatározása 2. A határpontok környezetének vizsgálata Az algoritmus lépései részletesen:
1. lépés Az els lépés a 3.1. pontban megadott algoritmussal az eml kiemelése a képb l. Ez megadja egyben az eml határpontjait is. Az eml határának elemzésével az eml állásának, maximális és minimális kiterjedésének meghatározása (A részletes algoritmus a 3.2.2. pontban els ként ismertetett megoldás 3. lépésében található.).
2. lépés Az algoritmus ezután a kép magasságának 1/5-öd részét l a 4/5-öd részéig vizsgálja a határpontok környezetét. A vizsgált környezet magassága és szélessége megegyezik a kép magasságának 1/30-ad részével. A környezet minden egyes sorának középpontja a megfelel y magassághoz tartozó határpont. A környezet középs sorának középs eleme a vizsgált pont, tehát a környezet nem négyzetes, hanem idomul az eml határvonalához. A vizsgált környezetben található képpontok fényességi értékéb l átlagot képzünk, amely átlagot súlyozunk a vizsgált pontnak a legszéls ponttól vett távolsága szerint. A súlyozáshoz használt függvény a Gauss-függvény. Mivel a mellbimbó várható helye, az eml csúcsán van, ezért minél távolabbi a vizsgált pont ett l a helyt l, annál valószín tlenebb, hogy lesz a
38
keresett pont. Ez megakadályozza azt is, hogy a fényességi értékekben tapasztalható anomáliák nagyon megzavarják az algoritmust. A határpontokon kapott átlagok maximumának megkeresésével az algoritmus kiválaszt egy határpontot, amely szerinte a mellbimbó közelében van, és ezt adja megoldásként.
2. algoritmus A második algoritmus alapötlete az a tény, hogy az eml szerkezete a mellbimbótól nézve sugaras szerkezet , vagyis a tejcsatornák és köt szöveti részek itt futnak össze, aminek a röntgenfelvételeken is meg kell jelennie. Az eml mintázata a képen felh szer formát ölt, azonban így is jól látszik, hogy a szöveteknek határozott iránya van, amely az eml csúcsa felé mutat. Az irányok meghatározásának egy természetes módja az éldetektálás, ezt használja az algoritmus is. Az algoritmus az éldetektálás után kapott irányokat követve megpróbál utat találni a mellbimbó felé. Az éldetektálást az élek javítása el zi meg, amelyet az inverz kontraszt-arány transzformációval valósítok meg. Az inverz kontraszt-arány transzformáció leírása a 2.2.2. pontban található. Az algoritmus lépései: 1. 2. 3. 4. 5. 6.
Az eml állásának és határpontjainak meghatározása A határpontok környezetének vizsgálata Inverz kontraszt-arány leképezés Kompasz éldetektálás, elegend csak az irányok detektálása Utak keresése Az utakból a mellbimbó helyének meghatározása
1-2. lépés Az algoritmus els és második lépése ugyanaz, mint az el z algoritmusnál.
3. lépés Az inverz kontraszt-arány transzformáció leírása a 2.2.2. pontban található. A lépés célja az alacsony kontrasztú élek javítása.
4. lépés Éldetektálás kompasz operátorokkal. Az algoritmusnak csak az élek irányaira van szüksége, amivel útvonalat tud keresni. Az algoritmus az éldetektáláskor minden élhez tartozóként megtalált képpontot megtart és az útkeresés során megvizsgál.
5. lépés Az útkeresés során az algoritmus minden sorban megállapít egy kezd pontot, amely az eml mellbimbóval átellenes szélén van. A kezd pontból kiindulva lépeget folyamatosan el re, amíg el nem éri azt az x koordinátát, amely az eml legtávolabbi pontjának x koordinátája. Közben, ha élpontot talál, megnézi annak irányát, és annak megfelel en, vagy fölfelé, vagy lefelé is tesz egy lépést az el re lépés mellett. Egy pontból így három irányba mehetünk egy lépés során. A lépés során készítünk egy számlálót, amelyben az egyes lehetséges végpontokba érkez utak számát tartjuk nyilván.
39
6. lépés Miután az 5. lépésben minden sor kezd pontjából befejeztük az útkeresést, akkor a kapott számlálót elemezzük. A számlálóban található értékek száma megegyezik a kép magasságával. A számláló minden elemét átlagoljuk a felette és alatta lév elemekkel, majd megkeressük a maximumot. Az átlagolás során az átlagolt elemek száma megegyezik a kép magasságának ötödével. Az algoritmusok egy-egy futási eredménye a 26. ábrán látható. A képek úgy vannak módosítva, hogy a mellbimbó helyzete látható legyen. A kiválasztott képeken az algoritmusok megtalálták a mellbimbót, illetve annak környezetét.
26. ábra – A két algoritmus egy-egy futási eredménye (baloldalon az 1. algoritmus)
3.3.3. Tesztelési eredmények A tesztelés során a már korábban megismert adatbázis képeit használtam. Mivel az algoritmusok a mellbimbó helyére közelít megoldást adnak, ezért az eredmények elemzése során is megengedtem bizonyos közelítéseket. Az eredmények 3 csoportját különböztettem meg. a. Elfogadható találat Az elfogadható találtnak azokat az eseteket vettem, amikor az algoritmus által megjelölt terület, illetve a mellbimbó tényleges területe találkoznak. b. Hibás találat Hibás találat minden olyan az algoritmus által adott megoldás, amelynek területe nem találkozik a mellbimbó területével. A hibás találatokat további két csoportra
40
bontottam. Az els csoportba azok a találatok tartoznak, amelyeknél a megjelölt terület majdnem találkozik a mellbimbó tényleges területével, vagyis az eltérés csak néhány képpont. A második csoportba a teljesen rossz találatok tartoznak. c. A mellbimbó nem látható A képek el zetes elemzésekor volt néhány olyan kép, amelyen nem tudtam egyértelm en megállapítani a mellbimbó helyét. Ezeket a képeket soroltam ebbe a csoportba. A tesztek során kapott eredmények a 3. táblázatban láthatóak.
1. algoritmus
Elfogadható találat
Hibás találat 1. típusú
2. típusú
A mellbimbó helye nem állapítható meg
176 (54,66%)
40 (12,42%)
67 (20,81%)
39 (12,11%)
Hibás összesen: Elfogadható találat 2. algoritmus
149 (46,27%)
107 (33,23%)
Hibás találat 1. típusú 43 (13,36%) Hibás összesen:
2. típusú 91 (28,26%)
A mellbimbó helye nem állapítható meg 39 (12,11%)
134 (41,61%)
3. táblázat – Az algoritmusok teszteredményei
Az eredményekb l az látszik, hogy az algoritmusok nem legjobb hatékonysággal oldják meg a feladatot. Ha az 1. típusú hibákat még elfogadhatónak tekintjük, akkor máris jobb eredményt kapunk. Ennek ellenére azt mondhatjuk, hogy ha az algoritmusok önmagukban egyel re nem is állják meg a helyüket, nagyon rossz eredményeket nem produkálnak, és további kiindulási alapként szolgálhatnak. Megfelel körültekintés mellett pedig alkalmazásuk is elképzelhet .
41
4. rész Az eredmények összefoglalása A 3. részben tárgyalt algoritmusok el feldolgozó eljárásoknak készültek, és mint ilyenek nagyon jó hatékonysággal kell dolgozniuk, hiszen a további feldolgozás pontosságát veszélyeztetik. Az eredményekb l kiderül, hogy az els ként bemutatott algoritmus a legjobb, szinte minden esetben tökéletes megoldást ad, hibái azonban így is vannak. A másik két algoritmus ennél jóval megbízhatatlanabb. A következ kben az eredmények alapján néhány olyan gondolatot gy jtöttem össze, amelyek megfontolása mind az algoritmusok használata, mind továbbfejlesztése során fontosak lehetnek. Az elemzett szempontok általánosan érvényesek az összes algoritmusra, és f ként a megvalósítás illetve a tesztkörnyezet tulajdonságaiból fakadnak.
4.1. Az algoritmusok felhasználhatósága Az algoritmusok gyorsasága Az algoritmusok gyorsasága a kép méretét l, és leginkább az alkalmazott eljárások számításigényét l függ. A vizsgálandó képpontok számnak, és a m veletek számításigényének ismeretével tehát megbecsülhet az algoritmusok várható végrehajtási sebessége. Az algoritmusok sebességével kapcsolatban a legfontosabb végiggondolni, hogy milyen környezetben szeretnénk használni ket. Egy valós idej rendszerben a leggyorsabb algoritmus is lassú lehet, míg egy olyan rendszerben, ahol a munkafolyamatok egyébként is hosszú id vesznek igénybe, és egy kép el készítése, vagy feldolgozása történhet a háttérben, a futási id lehet hosszabb is. Gondolnunk kell arra is, hogy a sebesség oltárán sokszor az algoritmus hatékonyságát áldozzuk fel. A 3. részben megadott algoritmusok átlagos futási ideje a 4. táblázatban található. A sebesség-tesztek egy 800 MHz-es processzort tartalmazó gépen készültek, az átlagok 322 db kép feldolgozásának idejéb l lettek számolva. Látható, hogy az öt algoritmus közül négy 1 másodperc körüli végrehajtási id vel dolgozik az 1024x1024 képpont méret képeken. Figyelembe véve, hogy a futtatási környezet Java, amely egyébként is lassabb a natív kódú programoknál, az algoritmusok futási ideje elfogadható, és akár még egy gyorsabb rendszerben is teljesíteni tudnak. Az alkalmazásuk valós idej rendszerben természetesen szóba sem jöhet, de a feladatok nem is ilyen jelleg ek. Meg kell jegyeznem, hogy a 3. részben megvalósított algoritmusok nincsenek optimalizálva, így a fentiekben megadott eredmények nem feltétlenül egyeznek meg az elérhet leggyorsabb sebességgel. 1. algoritmus (3.1. pont) 1040,92 msec
2. algoritmus (3.2. pont / 1. alg.) 293,18 msec
3. algoritmus (3.2. pont / 2. alg.) 404,28 msec
4. algoritmus (3.3. pont / 1. alg.) 1225,43 msec
4. táblázat – Az egyes algoritmusok átlagos futási ideje
42
5. algoritmus (3.3. pont / 2. alg.) 18383,196 msec
Konstans paraméterek A bemutatott algoritmusok sok olyan konstans paraméterrel rendelkeznek, amelyek beállítása f ként empirikus úton történt, vagyis próbálgatással és a tesztek eredményeinek elemzésével. Az optimális értékek beállításához vagy célzott méréseket kell végezni a rendelkezésre álló mintahalmazon, vagy pedig a paraméterek beállítását az algoritmusnak valamilyen hibakritérium képzésével adaptív úton kell megvalósítania. A paraméterek beállítása tehát mind a sebességet, mind a hatékonyságot befolyásolhatja.
Az algoritmusok felhasználhatósága jelenlegi állapotukban Összefoglalva azt mondhatjuk, hogy az algoritmusokat megfelel körültekintéssel már most is alkalmazhatjuk. A 3.1. pontban megadott algoritmus a legtöbb helyzetben várhatóan jól dolgozik, ez egyetlen hibalehet ség a magas háttérzaj. Az algoritmus által ejtett kisebb hibák nem befolyásolják a feldolgozást. Ezt bizonyítja, hogy a 3.2. és 3.3. pontban bemutatott algoritmusok el feldolgozó lépésként használják az eljárást, és a m ködésükben nem okozott problémát. A 3.2. pontban bemutatott algoritmus akkor alkalmazható biztosan, ha a képen a mellizom tisztán elhatárolhatóan látszik, ami azt jelenti, hogy az eml területét l határozott egyenes vonal választja el és az átlagos fényessége magasabb, mint az eml é. Ebben az esetben mindekét megadott algoritmus jól m ködik. A 3.3. pontban megadott algoritmusnál nehezebb a jó m ködés követelményeinek megadása, hiszen itt több anomália is el fordult. Általában elmondható, hogy ha a mellbimbó jól látszik, az algoritmus megtalálja, de ez sem igaz feltétlenül. Az algoritmus felhasználásakor tehát mindenképpen meg kell gy z dnünk róla, hogy a kívánt eredményt adja az adott kép esetén. Az algoritmusok feltétlen beépítése más eljárásokban csak az els algoritmus esetén képzelhet el a jelenlegi állapotban. A második algoritmus csak a vizsgálni kívánt képek esetén teljesül el bb megadott feltételek esetén ad jó m ködést, míg a harmadik algoritmusnál bizonyos feltételek esetén is csak valószín síthetjük a jó m ködést.
4.2. A tesztkörnyezet hatása az eredményekre A fentiekben megadott eredmények egy adott tesztkörnyezetben történt mérésekb l származnak, amelyben nem történtek szimulációk olyan esetekre, amelyek a mintahalmazban nem fordultak el , de a valóságban el fordulhatnak. Ebben a pontban ezért összefoglalom a teszteléshez használt képek tulajdonságait, egyben kitérek arra, hogy milyen szimulációk elvégzése lehet fontos a további tesztelés szempontjából. A szimulált esetek fontosságát az is indokolja, hogy az algoritmusok konstans paraméterekkel rendelkeznek, amelyek beállítása f ként a rendelkezésre álló minták alapján történt. Ismert például, hogy adott zajszint felett a 3.1. pontban említett eljárás egyáltalán nem m ködik jól, és nem találja meg az eml t, pontosan a konstans paraméterek beállításai miatt.
43
A mintahalmaz tulajdonságai A tesztelésnél használt képek f tulajdonságai a következ k voltak: -
Méret: 1024x1024 képpont Típus: medio-laterális Színmélység: 8 bit (256 szürke árnyalat)
Az adatbázisban található képek min ségét szándékosan csökkentették a tárolhatóság és kezelhet ség könnyítése miatt. Ilyen szempontból az algoritmusok tesztelése szerencsés lehet velük, hiszen jobb min ség képeken jobb eredményeket produkálhatnak.
A képek mérete A képek mérete az összes bemutatott eljárás m ködését befolyásolhatja. A 3.1. pontban megadott algoritmusban a képeken látható objektumok szétválasztása, keresése illetve megadása során olyan morfológiai m veleteket alkalmazok, amelyek meghatározott méret vizsgáló halmazzal dolgoznak. A képek méretével az ott található objektumok mérete n het, amely a vizsgáló mátrix méretének változását igényelheti. A 3.2. és 3.3. pontban megadott eljárások a kép egy adott területét vizsgálják, így a kép méretének növekedése szintén befolyásolhatja a m ködésüket. Néhány véletlenszer tesztet végeztem arra vonatkozóan, hogy az eljárások hogyan viselkednek a képméret csökkenése esetén, és el fordult, hogy más megoldást adtak két eltér méret , de ugyanolyan kép esetén.
A képek típusa A képek típusa medio-laterális volt, az algoritmusokat cranio-caudális felvételeken nem teszteltem, s t a 3.2. pontban megadott algoritmus alkalmazása az ilyen típusú képekre nem is lehetséges. Mindazonáltal az algoritmusok valószín síthet en nem adnának eltér eredményt ezekre a képekre alkalmazva sem, hiszen a képek jellemz i nagyrészt megegyeznek. A teszteléshez nehéz (ha nem lehetetlen) a mintahalmazt úgy módosítani, hogy ilyen képeket kapjunk, mesterséges tesztképek készítése elképzelhet , de a tesztelés valódi mintákon sokkal jobb eredményt ad, ezért célszer ilyen típusú képek beszerzése a kés bbiekben.
A színmélység A legnagyobb problémát valószín leg ez jelenti, hiszen az összes felhasznált algoritmus 256 szürke árnyalatú képek kezelését képes jelenleg megoldani. Természetesen az algoritmusok átírhatóak 12 illetve 16 bites képekre is, ez azonban további megfontolásokat és teszteléseket igényel. Fontos azonban megjegyezni, hogy a jelenleg megvalósított algoritmusok nem is fogadnak el más bemen képet, mint 8 bitest.
A képek készítésének módja A leginkább kiszámíthatatlan tényez mégis a filmek készítése, illetve digitalizálása, hiszen sz r állomásonként más röntgenkészülék, különböz szkennerek és ami a legfontosabb, különböz szakemberek különböz készülék-beállításokkal készítik ezeket a felvételeket. Az eltér helyeken készült felvételek hatása az algoritmusokra megjósolhatatlan, ezért mindenképpen a kés bbi fejlesztések és tesztelések során az algoritmusokat különböz forrásból származó képeken is tesztelni kell.
44
5. rész További fejlesztés és kutatás 5.1.
Az algoritmusok továbbfejlesztése
Az egyes algoritmusok fejlesztése során a hatékonyság javítását és a robosztusság növelését kell elérni. Az algoritmusoknál tett elméleti megfontolások kiegészítése, és új utak keresése egyaránt fontos lehet.
Nyelvi megvalósítás Az algoritmusok jelenlegi fejlesztése Java nyelven történt, amely ugyan teljesen platformfüggetlen megvalósítást teszt lehet vé, de a feldolgozás lassú. Az algoritmusok további fejlesztése során esetleg érdemes áttérni más programozási nyelvre, amely gyorsabb feldolgozást teszt lehet vé. Mivel az algoritmusoknak nincs operációs-rendszer függ része, ezért a programozási nyelvet els sorban az algoritmusokhoz készíteni kívánt grafikus környezet operációs-rendszer igénye határozza meg. A jelenlegi technológiák lehet vé teszik a távoli objektumhívások többféle módját is, amelyek szintén platformfüggetlenné tehetik az alkalmazásokat. Természetesen a mozgatni kívánt nagy mennyiség információ és a minél gyorsabb feldolgozás igénye e technológiák alkalmazását er sen megkérd jelezik.
Konstans paraméterek A konstans paraméterek az algoritmusok hatékonyságát nagymértékben képesek befolyásolni, ahogyan már említettem. A továbbfejlesztés során meg kell keresni azokat a módszereket, amelyek segítségével a paraméterek optimális értéke meghatározható. Mivel az optimális érték képenként eltér lehet, ezért olyan adaptív technikákat kell beépíteni az algoritmusokba, amelyek az egyes képek tulajdonságai alapján állítják be ezeket a paramétereket. Természetesen ezáltal az algoritmusok sebessége romlik, de a hatékonyságuk javul. Mivel a felhasználási környezetben valószín síthet en a néhány másodperce futási id megengedett, ezért az adaptív megoldások ilyen futási id mellett még elfogadhatóak. Programozás-technikailag egyszer bb módszer, és a futási id t sem növeli, ha a paramétereket különböz mintahalmazokon végzett célzott mérésekkel állítjuk be. Így a paraméterek konstans érték ek maradnak, az algoritmusok sebessége nem változik, de a hatékonyságuk esetleg nem lesz olyan jó.
Intelligens eszközök használata A képeken található objektumok felismeréséhez, a mintázatok elemzéséhez a hagyományos képfeldolgozó eljárások helyett, vagy azok kiegészítéseként használhatunk különböz a mesterséges intelligencia területéhez tartozó eszközöket. A neurális hálózatok, fuzzy rendszerek, vagy egyéb hibrid megoldások alkalmazása ilyen célokra egyre népszer bb.
45
A hagyományos eljárások szinte minden esetben gyorsabbak, azonban a lágy-számítási módszerek robosztusabb és pontosabb megoldásokat adhatnak sok esetben. A használatukat azonban abban az esetben érdemes f ként megfontolni, ha a hagyományos eszközökkel az algoritmusok hatékonysága már nem javítható, vagy a feladat jellege ezt indokolja. Pl. különböz keresések, vagy optimalizálási feladatok esetén célszer bb lehet ezen eszközök használata, mint a hagyományos módszerek alkalmazása.
Az egyes algoritmusok további fejlesztése A 3.1. pontban megadott algoritmus els dleges fejlesztési iránya a paraméterekt l való függetlenség növelése, vagyis a konstans paraméterek kiküszöbölése vagy adaptív úton való meghatározása. A további fejlesztés során els sorban ezt az utat fogom követni. Új megoldási utak keresése lehetséges, de a jelenlegi hatékonyságot és felhasználhatóságot tekintve egyel re nem t nik szükségesnek. A 3.2. pontban ismertetett algoritmusok esetén a legfontosabb feladat azon képek kisz rése, amelyeknél a mellizom nem található meg a képen, ami a képek néhány százalékánál fordulhat el . Az algoritmusok fejlesztésének következ lépésében ezt próbálom megvalósítani. A hatékonyság javításának érdekében további paraméterek próbálok keresni, amelyek alapján az eml és a mellizom területe jobban elkülöníthet . Elképzelhet a két megadott algoritmus egyesítése is, hogy így egymás döntéseit segítsék. Ha az algoritmusok javítása a fentiekben megadott utakon nem lehetséges, akkor elképzelhet új megoldási utak keresése is. A 3.3. pontban megadott algoritmusok közül a második algoritmusban vannak még kiaknázatlan lehet ségek. Az algoritmus az eml szerkezetének vizsgálata során próbál eljutni a mellbimbóhoz. Az eml szerkezetének vizsgálata pedig több úton is elképzelhet . Az els ként megadott algoritmus, bár a sebessége sokkal kedvez bb, nehezen javítható. A paraméterek optimalizálásával esetleg zajsz réssel, és néhány újabb paraméter meghatározásával lehetséges a javítása. Mivel a második algoritmus kapcsolódik a további kutatási feladatokhoz is, ezért a további fejlesztés során ennek további elméleti megalapozása és kidolgozása várható.
5.2.
Kapcsolódó kutatási témák
A 3. részben bemutatott algoritmusok további fejlesztésével párhuzamosan, illetve azok befejezése után az alábbiakban bemutatott témákkal kívánok még foglalkozni.
Az eml szerkezetének vizsgálata Az eml szerkezeti tulajdonságainak vizsgálata szintén el feldolgozási lépésként lehet hasznos, de önmagában is megállja a helyét, hiszen az eml szerkezetéb l sok következtetés levonható. El feldolgozási lépésként a további eljárások számára több információt is nyújthat. Eltér nehézség például az elváltozások felismerése a különböz típusú szövetekben. A feldolgozó eljárások számára ez az információ segítségül szolgálhat annak megítélésében, hogy a vizsgálati módszer milyen er s legyen (paraméterbeállítás), vagy az adott megoldás mennyire megbízható. Több kép összehasonlítása esetén az eltér szerkezet utalhat gyanús elváltozásra is.
46
A röntgenképek feldolgozása során az eml t szerkezete szerint három szokásos csoportba sorolhatjuk. Az eml szerkezete a köt szövet és a mirigyállomány együttes megjelenéséb l adódik. Ennek alapján a megkülönböztetett három csoport (27. ábra): 1) zsíros köt szövet 2) zsíros köt szövet mirigyállománnyal 3) s r mirigyállomány, a zsíros köt szövet nem, vagy csak kevéssé látszik Az eml szerkezetének vizsgálata lehetséges a képen megjelen mintázat, más néven textúra vizsgálatát jelenti. A textúra-vizsgálatok általában a mintázat valószín ségi jellemz inek vizsgálatát jelentik. A textúra-vizsgálat során minden képponthoz a vizsgált jellemz k értékeit tartalmazó vektort rendelhetünk kiegészítve más jellemz kkel, például az élekkel. Ezután a vektorok segítségével osztályozhatjuk a kép egyes részeit, vagy akár az egész képet is. Az eml szerkezetének vizsgálata kapcsolódik a 3.3. pontban bemutatott algoritmus fejlesztéséhez is.
Több kép összehasonlítása A sz r vizsgálatok javasolt id tartama két év. El fordulhat, hogy egy elváltozás több sz r vizsgálaton is észrevétlen marad, majd az észrevétele után visszanézve a felvételeket derül ki, hogy már ott is látható volt a kezd d elváltozás. Az így felfedezett rákokat intervallum-ráknak is nevezik, hiszen több sz r vizsgálaton keresztül lappangott. Az egyes sz r vizsgálatok alkalmával általában nincs lehet ség a korábbi felvételek elemzésére is. Az orvos helyett megteheti ezt a gép is. A több évre visszamen felvételek összehasonlításakor problémát jelenthet a felvételek eltér készítési módja. Szükségessé válhat a felvételek egymáshoz való alakítása, vagyis eltorzítása. A 3. részben megadott eljárások segíthetnek ebben a mellizom és a mellbimbó helyének megadásával. Az elváltozások kisz résének egy módja a két eml r l készült felvételek összehasonlítása. A feladat hasonló, mint a több évre visszamen felvételek vizsgálatánál, hiszen szükséges lehet a képek egymásra torzítása, némileg azonban különbözik is, hiszen két különböz eml vizsgálatáról van szó, amelyek nem a felvételek készítése miatt eltér ek, hanem természetes okból. A képek közötti különbségek meghatározása bármely feladatról legyen is szó, igényli az eml szerkezetének ismeretét, hiszen annak ismeretében könnyebb a különbségek elemzése.
5.3.
Összefoglalás
A dolgozatban ismertettem öt algoritmust, amelyek mammográfiás röntgenképek el feldolgozási lépéseit végzik. Az els algoritmus az eml felismerését és a kép felesleges részeinek eltávolítását végzi. Két algoritmus a mellizom és az eml határvonalának felismerését, további kett a mellbimbó felismerését. A bemutatott megoldásokkal elért eredmények alapján kijelenthet , hogy az eljárások további fejlesztések után használhatóak lesznek a kívánt feladatok végrehajtására. Az els eljárás esetében az már most is igaz, hiszen a további eljárásokban is bizonyított. Az algoritmusok alapjául szolgáló ötletek mindent egybevetve, ha nem is tökéletesen de m ködnek, ezért továbbfejlesztésük mindenképpen lehetséges és fontos a feladatok tökéletes megoldása szempontjából.
47
A továbbfejlesztési lehet ségek közül kiemelend a konstans paraméterek adaptív módszerekkel való meghatározása az algoritmusokon belül, míg a kapcsolódó kutatási területek közül az eml szerkezetének vizsgálata az összes algoritmus hatékonyságának növelését segítheti.
48
Források Interneten elérhet források 1.
Eml rák statisztikák http://www-dep.iarc.fr/globocan/globocan.html http://www-depdb.iarc.fr/who/menu.htm http://www-dep.iarc.fr/dataava/infodata.htm
2.
Mammográfiai ismeretek http://imaginis.com/breasthealth/mammography.asp http://www.radiologyinfo.org/content/mammogram.htm
3.
Digitális mammográfiai rendszerek http://www.fischerimaging.com/products/index.html?Page=6_1 http://www.gemedicalsystems.com/rad/whc/products/mswh2000d.html
4.
Digitális mammográfiai adatbázis http://www.wiau.man.ac.uk/services/MIAS/MIASweb.html
5.
Digitális képfeldolgozás http://www.dai.ed.ac.uk/HIPR2/hipr_top.htm
Irodalomjegyzék 6. 7.
Anil K. Jain: Fundamentals of Digital Image Processing. Prentice-Hall International 1989 Bernd Jähne: Digital Image Processing, Springer-Verlag Berlin Heidelbelg 1993
49
Mellékletek
1.
EML RÁK STATISZTIKÁK ................................................................................................................... 2
2.
DEMONSTRÁCIÓS PROGRAM ............................................................................................................. 4 1. 2. 3.
A PROGRAM FUTTATÁSA.......................................................................................................................... 4 A PROGRAMOK M KÖDÉSE ..................................................................................................................... 4 A GRAFIKUS PROGRAM KEZELÉSE .......................................................................................................... 5
1. melléklet Eml rák statisztikák
A mellékletben különböz forrásokból vett táblázatok találhatóak a daganatos betegségek statisztikáiról a n k körében, mind Magyarországon, mind a világon. A statisztikákból világosan látszik, hogy az eml rák a vezet mind a megbetegedéseket, mind a halálozásokat tekintve Magyarországon és a világon egyaránt.
1. táblázat N i betegek rosszindulatú daganatos halálozása Magyarországon Cancer Breast Colon/Rectum Lung Cervix uteri Corpus uteri Stomach Ovary etc. Pancreas Kidney etc. Bladder Leukaemia Non-Hodgkin lymphoma Melanoma of skin Liver Brain, nervous system Oral cavity Thyroid Multiple myeloma Other Pharynx Oesophagus Hodgkin's disease Larynx Nasopharynx
Cases Deaths 1-year prevalence 5579 2384 5213 3642 2314 2501 2100 1887 937 1506 635 1291 1410 441 1318 1319 1110 582 1134 665 831 815 786 174 674 333 472 600 208 408 596 456 378 549 251 417 539 149 487 404 449 84 375 391 179 374 124 222 317 86 266 197 151 160 110 70 80 108 98 31 100 54 89 92 56 83 53 15 39
5-year prevalence 20853 8377 2578 5172 5830 1671 2746 383 1778 1451 1234 1480 1985 166 551 826 1204 494 267 68 380 349 165
Forrás: J. Ferlay, F. Bray, P. Pisani and D.M. Parkin., GLOBOCAN 2000: Cancer Incidence, Mortality and Prevalence Worldwide, Version 1.0., IARC CancerBase No. 5. Lyon, IARCPress, 2001.
2
2. táblázat N i betegek rosszindulatú daganatos halálozása a világon Cancer Breast Cervix uteri Colon/Rectum Lung Stomach Ovary etc. Corpus uteri Liver Oesophagus Non-Hodgkin lymphoma Leukaemia Pancreas Oral cavity Thyroid Bladder Brain, nervous system Kidney etc. Melanoma of skin Multiple myeloma Hodgkin's disease Other Pharynx Larynx Nasopharynx
Cases 1050346 470606 445963 337115 317883 192379 188952 165972 133342 120804 112755 100670 97148 89349 76024 75610 70822 67425 34463 23936 22076 19235 18820
Deaths 1-year prevalence 5-year prevalence 372969 924700 3860296 233372 350085 1401428 237595 305854 1133898 292700 129859 380888 241352 158466 496311 114240 135349 507466 44712 159963 716389 164961 29293 78778 110600 53216 135691 67818 78025 291162 85937 55737 187459 101496 23582 50954 47063 66426 256024 17443 74346 349441 33373 54860 220886 55999 36042 126003 34391 47163 183134 17057 62697 277754 26978 21941 69262 9216 19031 83302 14697 14381 46974 10517 14104 54236 11125 13344 49805
Forrás: J. Ferlay, F. Bray, P. Pisani and D.M. Parkin., GLOBOCAN 2000: Cancer Incidence, Mortality and Prevalence Worldwide, Version 1.0., IARC CancerBase No. 5. Lyon, IARCPress, 2001.
A halálozások számának alakulása a 40-85+ éves korosztályban (Magyarország)
Forrás: World Health Statistics Annual, World Health Organisation (WHO) Databank, Geneva, Switzerland, Last updated: November 2001
3
2. melléklet Demonstrációs program 2.1. A program futtatása A program Java nyelven íródott, ezért futtatásához Java környezet szükséges, amely megtalálható a mellékelt CD-n is, a Java könyvtárban. A futtatáshoz szükséges Java verzió: 1.4.0_02 Ezen kívül szükséges a Java Advanced Imaging 1.1.1 csomag is. A CD-n található Java futtató környezetben ez a csomag installálva van. A Java csomagok letölthet ek a következ címekr l: http://java.sun.com/j2se/1.4/download.html http://java.sun.com/products/java-media/jai/downloads/download.html valamint megtalálhatóak a CD-n az Install könyvtárban is. A grafikus felület demonstrációs program a mellékelt CD-n a Programok\Imagetool könyvtárban található, ezen kívül a dolgozatban bemutatott eljárások parancssorban futtatható verziói is megtalálhatók az alábbi könyvtárakban: A dolgozat 3.1. pontjában bemutatott algoritmus: Programok/CircumScription A dolgozat 3.2. pontjában bemutatott algoritmusok: Programok/MPectoralis A dolgozat 3.3. pontjában bemutatott algoritmusok: Programok/Mamilla A programok futtatása a Programok könyvtárban található .bat kiterjesztés állományok futtatásával lehetséges. Ha parancssorból szeretnénk futtatni a programokat, a következ k beírásával lehetséges: :\java\bin\java -cp :\java\lib;:\programok\circumscription; CircumScription :\java\bin\java -cp :\java\lib;:\programok\imagetool; ImageProcessing :\java\bin\java -cp :\java\lib;:\programok\mpectoralis; MPectoralis :\java\bin\java -cp :\java\lib;:\programok\mpectoralis; MPectoralis2 :\java\bin\java -cp :\java\lib;:\programok\mamilla; Mamilla :\java\bin\java -cp :\java\lib;:\programok\mamilla; Mamilla2 A programok Windows operációs rendszer alatt lettek tesztelve illetve fordítva, így nem garantált a más operációs rendszerek alatti futtatásuk. 2.2. A programok m ködése A parancssorban futtatható programok egy könyvtárban található összes állományon hajtják végre az algoritmusokat. A bemeneti illetve kimeneti könyvtárakat a futás elején bekérik, vagy paraméterként megadható nekik.
4
A grafikus felület program menürendszer segítségével kezelhet , amelyet a következ pontban mutatok be. 2.3. A grafikus felület program kezelése a. File Open File: állomány beolvasása, csak 256 szín , 8 bites képek beolvasása lehetséges. Save File: a képek elmentése lehetséges ebben a menüpontban. Az elmentett állományok formátuma 256 szín , 8 bites BMP (windows bitmap) formátum. Image Properties: az aktuálisan kijelölt kép néhány jellemz tulajdonsága. Exit Program: kilépés a programból b. Point Operations Image Histogram: A kép hisztogramjának megjelenítése. A megjelenítésnek jelenleg hátránya, hogy a diagram nem skálázható. Contrast Stretching: A dolgozat 2.2.1. pontjában megadott transzformáció megvalósítása. A paraméterek jelenleg nem állíthatóak szabadon, az el re beállított értékek: = = 0,2, = 5, az a paraméter a képpontok számának 55%-ánál, míg a b a 95%-ánál található fényességi értéket veszi fel. Histogram Equalization: megvalósítása.
A
dolgozat
2.2.1.
Intensity Level Manipulation: Különböz végezhet ek ebben a menüpontban.
pontjában
fényesség
bemutatott
érték
eljárás
transzformációk
Intensity Level Slicing: Megadható fényességi érték tartományok kiemelése a képb l. Negative Image: A kép digitális negatívját adja meg. c. Spatial Operations Smoothing: A dolgozat 2.2.2. pontjában bemutatott átlagolás megvalósítása. Az átlagolást különböz nagyságú ablkaméretekre végezhetjük el. Median filtering: A dolgozat 2.2.2. pontjában ismertetett statisztikus sz r k közül a medián sz rés megvalósítása. Itt is többféle ablakmérettel végezhet a sz rés. Inverse Contrast Ratio Mapping: A dolgozat 2.2.2. pontjában megadott inverz kontraszt-arány transzformáció megvalósítása. Az ablakméret jelenleg nem megadható, 3x3-as ablakmérettel történik a transzformáció. Unsharp Masking: Szintén a dolgozat 2.2.2. pontjában található az eljárás leírása. A paraméterei jelenleg nem változtathatóak.
5
d. Image Analysis Edge Detection: A dolgozat 2.3.1. pontjában megadott éldetektáló algoritmusok megvalósításai. Választhatunk, hogy a gradiens nagyságából, vagy irányából készített térképet szeretnénk megjeleníteni. A gradiens típusú eljárásoknál különböz gradiens operátorok közül lehet választani, a kompasz eljárásokat a Kirsh operátor képviseli. Az algoritmusok az élként detektált pontok 5%-t veszik valódi élként. Hough Transform: A Hough transzformáció végrehajtása tetsz leges képre. Az eljárás leírása a dolgozat 2.3.3. pontjában található. A paraméterek nem változtathatóak, a talált egyenesek közül a számláló globális maximumának 10%-t elér ponton átmen ket adja meg. Morphological Operations: A dolgozat 2.3.2. pontjában bemutatott két operátor alkalmazásának eredménye vizsgálható. A vizsgáló mátrix minden esetben egy 3x3-as mátrix. e. Mammographic Image Processing Detect Breast: A dolgozat 3.1. pontjában megadott algoritmust hatja végre egy adott képen. Választható, hogy a felesleges részeket törölje, vagy az eml határait rajzolja be. Detect Musculus Pectoralis (algorithm 1):A dolgozat 3.2. pontjában bemutatott els algoritmust hajtja végre. Detect Musculus Pectoralis (algorithm 2): A dolgozat 3.2. pontjában bemutatott második algoritmust hajtja végre. Detect Mamilla (algorithm 1): A dolgozat 3.3. pontjában bemutatott els algoritmust hajtja végre. Detect Mamilla (algorithm 2): A dolgozat 3.3. pontjában bemutatott második algoritmust hajtja végre. f. Tools Zoom: A kiválasztott kép kicsinyítése a felére, vagy a negyedére. g. Batch Work A menüpontban a dolgozat 3. részében bemutatott eljárások végezhet ek el, egy megadott könyvtárban található összes állományra. Az egyes menüpontokra való kattintás után a program bekéri két könyvtár nevét. Ezután az els ként megadott könyvtárban található állományokra végrehajtja a kiválasztott algoritmust és a processzált állományokat elmenti a másodikként megadott könyvtárba. A végrehajtást a program egy külön szálban indítja el, így több algoritmus is futtatható egyszerre, illetve a program funkciói is elérhet ek maradnak.
6
