Képszegmentálás Orvosi képdiagnosztika 10. ea
Képszegmentálás • • • • • •
Intenzitás alapján, küszöbözés Klaszterezés, osztályozás Régió növesztés, régió hasítás Watershed Textura alapján Kontúr alapján, élkeresés, derivált, második derivált, – Dinamikus programozás – Hough traszformáció: egyenes kör, általános körvonal
• ...
Képszegmentálás Intenzitás alapján, küszöbözéssel
Képszegmentálás Kontúr, élek, alapján Klaszterezés, osztályozás
Képszegmentálás • Klaszterezés, osztályozás • Nemellenőrzött tanítás, ellenőrzött tanítás • K-means, Fuzzy C-means, ... • Cimkézett minták alapján: jellemzők kigyűjtése, vagy képrégió egy osztályozni kívánt pont környezetébe • ... •
•
Jellemzők alapján:
•
Pixel klasszifikáció: intenzitás alapon.
•
Pixel klasszifikáció : intenzitás és hely alapon
•
...
Szabály alapú osztályozás •
szabály-alapú következtetés: intenzitás és korrelált pozíció.
•
szabály-alapú következtetés: intenzitás, entrópia és korrelált pozíció.
•
...
Képszegmentálás • Transzformációs módszerek • más tartományba transzformálom a kép egyes pontjait • Pl: egyenes pontjai a Hough térben egy pontot határoznak meg
Képszegmentálás Éldetektálás alapján, kiegészítve morfológiai műveletekkel
• Gyenge pontok, hiányosságok
Tüdőszegmentálás
eredeti kép szegmentálás 7 különböző eljárással összehasonlítás valódi negatív: fehér, valódi pozitív:világos szürke, false pozitív: sötét szürke, fals negatív: fekete
Tüdőszegmentálás
Snake
Orvosi képek szegmentálása
Orvosi képek szegmentálása
Tüdő-és szív-szegmentálás • Deformálható modell (ASM)
Deformálható modellek
Deformálható modellek • A deformálható modellek görbék vagy felületek melyek különböző hatások eredményeképp alakulnak ki. • Nagyon sokféle deformálható modell, elasztikus modell • Elemi alakzatokból összerakhatunk komplex alakzatot. Ezek nem általánosak • A deformálható modellek immunisak a képet terhelő zajokra, a határokon meglévő esetleges hiányokra, és egységes matematikai alapokon állnak. • Két fő csoport • Parametrikus • Geometrikus deformálható modellek
Deformálható modellek • Parametrikus modellek – A görbe vagy felület leírása tömör, paraméteres formában – A paraméterek megváltozása a görbe vagy a felület változását eredményezik – A modell közvetlenül befolyásolható – Összeolvasztás, szétvágás topológikus változtatás nem megy
• Geometriai modellek – – – – –
A modellek a görbe evolúcióján alapulnak, Level set módszert alkalmaznak (szint halmazok) Többdimenziós skalár függvényként dolgoznak Paraméteres formában csak a deformáció után jelennek meg Geometriai modellek a topologikus változásokat természetes módon kezelik
Paraméteres deformálható modellek • Két fő típus: •
• energia minimalizálás alapú, • dinamikus erő alapú Energia minimalizálás: • Olyan deformálható görbét keresünk, mely két energia: belső energia és potenciál (külső) energia súlyozott összegét minimalizálja. • Belső energia a görbe feszültségét és a simaságát befolyásolja • Potenciál energia a kép felett értelmezzük és bizonyos képi objektumoknál (pl. élek) vesz fel minimumot • A minimalizáls belső erőt és potenciál erőt eredményez. • A belső erő felelős a görbe egybetartásáért és azért, hogy ne „görbüljön” túlzottan • A potenciál (külső erők) segítik a deformálható görbét a kép intenzitásviszonyaihoz való illeszkedésben
• Snake: aktív kontúr model parametrikus model •
Kétféle erőhatás alakítja őket: belső erők és külső erők • A belső erők a görbe tulajdonságaiért felelnek: sima görbe vagy felületet • A külső erők a modell képhez igazításáért felelnek.
Paraméteres deformálható modellek • A deformálható kontúr egy görbe, egy paraméteres összefüggés: • 𝑿 𝑠 = (𝑋 𝑠 , 𝑌(𝑠)), s[0,1] • Egy energia összefüggést (funkcionál) definiálunk:
𝐸 𝑿 = 𝑆 𝑿 + 𝑃(𝑿), ennek a minimumát keressük • Ahol a belső energia • első derivált merevséget szabályozza, elasztikus rugóként viselkedjen, • második derivált a túlzott görbültséget akadályozza • és a megfelelő arányokat biztosítják
• A külső energia funkcionál a kontúr mentén integrált energiafüggvény,
a képre jellemző potenciál. A képből származik, és minimumot vesz fel vonalaknál, görbéknél
élnél (ugrásfüggvény) :
vonalnál wl > 0 fekete vonal világos háttérben, wl > 0 fehér vonal sötét háttérben A paraméter a tartományt definiálja és a vonal pozíció pontosságára is hat
Paraméteres deformálható modellek Az energi minimumát az Euler-Lagrange egyenlet kielégítése biztosítja
A belső erő és a külső erő egyensúlyban van. Belső erő: a merevség/görbültség. A külső erő a kép éleihez való vonzódást szabályozza. Az energia deriváltja az erő A megoldást egy időváltozó bevezetésével (s,t) két argumentum oldják meg
Stabilizálódik a megoldás. Az idő szerinti derivált eltünése ekvivalens a lokális minimum megtalálásával
Paraméteres deformálható modellek Snake viselkedése, gyengesége •
konkáv részeknél
A konvergencia szokásos potenciál erővel
a konkáv részek kinagyítása
A külső erő
•
• A külső erő a kontúr felé mutat, de a konkáv részeken vízszintesen egymás ellentetjei • Nem lehet olyan együtthatókat választani, melyek mellett az eredmény helyes. További nehézség: az eredmény függ a kiindulástól: közel kell legyen az induló kontúr a valódi kontúrhoz. Multirezolúciós megoldásra lehet szükség.
• Javítás GVF gradiens vector flow
Paraméteres deformálható modellek • GVF gradiens vector flow – – – –
Az erőegyensúlynál a külső erőre többféle megközelítés van. A külső erők két csoportba sorolhatók: statikus, dinamikus Statikus: nem változik a snake változásával, Dinamikus: változik, ahogy a snake alakul az iteráció során
• A GVF egy új statikus külső erőt definiál – Az új külső erőtér: – A külső erőt helyettesíti beleépítve a v(x,y) • éltérkép készítés az képből az élekhez közel nagyobb az értéke (bármilyen bináris élkiemelő eljárás használható) pl.
– – – – – –
(*) Az éltérkép gradiense az élek felé mutató az élekre merőleges vektorokból áll (**) A gradiensek az élek közvetlen közelében lesznek nagyok (***) Homogén képrészleteknél a gradiens nulla (*) miatt az élekhez közelről indul, robusztus, konvergálni fog az élekhez (**) miatt a behúzási tartomány kicsi (***) miatt a homogén területeken nem lesz külső erő
Paraméteres deformálható modellek • •
Gradient vector flow Olyan vektormező, mely az alábbi energia funkcionált minimalizálja
•
Ha nincs adat, az eredmény sima. Ha kicsi, az energiában a domináns a parciális deriváltak négyzeteinek összege, az eredmény egy lassan változó mező. Ha nagy, a második tag domináns, és a minimumhoz a vezet Ez biztosítja azt a kívánt szituációt, hogy v közel a gradiense az éltérképnek, ha nagy , de a homogén tartományokban a vektormező lassan változik. regularizációs paraméter, a kép zajosságától függ. Nagyobb zajnál növeljük -t. A megoldást az Euler egyenletek megoldása biztosítja ahol a Laplace operátor
• • • •
•
Homogén régióban
konstans
gradiense nulla,
Paraméteres deformálható modellek •
Homogén régiókban a második tag nulla, mivel a gradiens nulla. A GVF interpolált verziója a határoknak. Egyféle versengés lesz a határvektorok között. Ezért a GVF olyan vektorokat eredményez, melyek a határ konkávitásokhoz mutatnak.
Paraméteres deformálható modellek • konvergencia
Paraméteres deformálható modellek • GVF külső erők
Paraméteres deformálható modellek • Egy részlet kinagyítva • A konkáv kontúroknál
Alap snake változat
GVF snake
Paraméteres deformálható modellek •
Másfajta megközelítés: dinamikus erő alapú megoldás
•
=
ú.n. csillapító erő
•
Sokszor
•
A belső erő azonos az előző eljáráséval
•
A külső erő többféle lehet
tömegegyüttható nulla, ekkor
csillapító együttható
Paraméteres deformálható modellek • Külső erő – Multiscale Gauss potenciál
vagy kis biztosítja, hogy illeszkedik a görbére, de közelről kell indítani: multiscale többféle -val dolgozik: naggyal indulunk, egyensúly után csökkentjük – Nyomás. A Gauss erő mellett alkalmazzák. Segít a modell felfújásában vagy összemenésében ballon erő. A nyomás erő: ahol befelé mutató normálirány wp előjele alapján felfújódik vagy összemegy, megválasztása nehéz és fontos – Távolság potenciál a távolság energia deriváltja Az energia: az erő: A távolság egy pixel és a hozzá legközelebbi határvonal távolsága. Távolság térkép potenciál erőtér melynek nagy vonzási tartomány van – Gradiens vektor folyam (GVF)
Geometrikus deformálható modellek • Görbe evolúció • Level set módszer • A görbe evolúció parametrizálástól független mindössze geometriai metrikákat alkalmaz • A parametrikus eljárásokhoz hasonlóan a képhez kell kötni valahogy, hogy a kontúrokhoz igazodjon sokdimenziós
Görbe evolúció Görbe evolúció: a görbék deformációjának elmélete, ahol csak geometriai metrikákat használunk. Ilyen geometriai metrika: normálvektor, görbület, de nem használja azon metrikákat mint a derivált egy parametrikus görbénél Legyen egy mozgó görbénk 𝑿 𝑠, 𝑡 = (𝑋 𝑠, 𝑡 , 𝑌(𝑠, 𝑡) ahol s valamilyen paraméter és t az idő. Definiáljuk a befelé mutató egységnormáltját N-nel a görbületét pedig -val A görbe fejlődése a normál irány mentén a következő diff egyenlettel írható le:
Itt V() sebességfüggvény A leggyakoribb a görbület deformáció és a konstans deformáció Görbület deformáció
ahol >0 konstans A hatás a görbe egyre simábbá
tétele és zsugorítása, végső formában egy ponttá. Konstans deformáció ahol V0 meghatározza az evolúció sebességét és irányát is. A görbület def: a minél simább eltüntei a szingularitásokat , a konstans def pedig az egyedi kanyarokat preferálja, megengedi a szingularitásokat
Level set eljárás •
Egy görbét implicit módon mint egy 2D skalár függvény szinthalmazával jellemezünk. A skalár függvény a szinthalmaz függvény melyet a képtartományban definiálunk . A level set: azon pontos összessége, melyeknél a függvényérték azonos. A level set módszerek később
Fourier sor alakmodell •
• • •
•
• • •
•
Fourier sor Alakmodell
𝑥 = 𝑥0 +
∞ 𝑛=1 𝑎𝑛
sin(𝑛 + 𝑛) 𝑦 = 𝑦0 +
∞ 𝑛=1 𝑏𝑛
sin(𝑛 + 𝑛)
Az alakot az a, b, n és n paraméterekkel írjuk le Változtatva a paraméterek értékét, és a szummában a tagok számát, különböző alakzatok generálhatók A paraméterek változtatása mellett egy minimalizálási feladat is megfogalmazható, így a paraméteres görbék a képhez igazíthatók. Ilyen minimalizálandó függvény egy energiafüfggvény Szinte tetszőleges alak leírható , anélkül, hogy bármi a priori információnk volna az alakról. A megközelítés gyenge pontja: A Fourier reprezentáció nem jó minden alakhoz: egy négyszögletes sarok véges sok taggal csak közelítőleg adható meg. Adott típusú képekhez lehet a paraméterek eloszlásáról valami statisztikánk. Van egy tanító készletünk, adott típusú képekből. Ezeket a paraméteres Fourier modellel leírjuk, mindegyikhez kellő pontossággal illesztjük a modelt , majd a paraméterek statisztikáját felvesszük. Valószínűségi megközelítés is alkalmazható: maximálunk egy olyan valószínűségi mértéket, hogy az adott modell mellett a konkrét kép maximális valószínűségú legyen
ASM/AAM •
• •
•
• • • • •
Active Shape Models objektumok alakjának statisztikus modelljei, melyeket iteratív módon deformálunk, hogy egy objektum új képéhez igazodjanak Az alak a statisztikus alak modell által megszabott feltételekhez illeszkedik, cimkézett, annotált tanítókészlettel indul. A képekhez pontokat (landmarks) rendelünk és ezeket összekötő egyeneseket. A pontok iteratív módosítását végezzük. Itt figyelembevesszük az egyenesek mentén határgörbére merőlegesen az egyes pontoknál a gradiensek statisztikus variablitását is. Feltesszük, hogy ismert egy kezdeti becslés az alak és elhelyezkedés szempontjából az alakparamétereknél Frissítjük ezeket a paramétereket Minden modellpontnál keressük a normális irányokat, és a normális irány mentén keressük a legjobban illeszkedő megjelenést Frissítjük a pose és shape paramétereket, hogy a legjobban illeszkedjen a modell a megtalált pontokra Folytatjuk az eljárást a konvergencia eléréséig Az eljárás javítható, ha multiresolution megoldást választunk, amikor a keresést egy durva felbontású képen indítjuk, majd fokozatosan finomítunk (kép piramis). Ez gyorsabb, pontosabb és robusztusabb megoldást ad.
ASM/AAM •
Referenciapontokat (landmarks) kell meghatározni. Minden alakot egy megfelelően (manuálisan) elhelyezett pontkészlettel jellemzünk. Ezek felcimkézett pontok, és egymásnak megfeleltethetők.
•
A landmarkok célszerűen valamilyen jelentéssel kell rendelkezzenek: pl. sarokpont, egy arcon a szemközép, stb. (alkalmazásfüggő pontok) lehetnek alkalmazásfüggetlen pontok is: maximumpont, egy görbület extrémpontja, stb A landmarkok össze vannak kötve. Az összeköttetés is fontos, (sorbarendezés, egyenesekkel összekötve A referenciapontok átlagát és az átlagtól való eltérés varianciáját meghatározzuk
• • •
ASM/AAM • Egy példa – Ellenállásokat kell körberajzolni egy áramkör alkatrészrajzán – Néhány példa a körvonalakra Referenciapontok és azok összeköttetése
•
ASM/AAM Prokrusztész analízist követően az egyes pontokra elsozlását mutató PCA
ASM/AAM • További példák
ASM/AAM Modellépítés jellegzetes helyek referenciapontokhoz A képen jelentéssel rendelkező – alkalmazásspecifikus pontok (pl. szem, orr, stb.) Alkalmazásfüggetlen jellegzetes pontok (Sarokpontok, nagy görbületű tartományok pontjai, szélsőértékek, stb.)
ASM/AAM • A landmarkok reprezentálása:
• 2n dimenziós vektor, ahol n a landmarkok száma egy képen • Több képből indulunk ki, minden képhez ugyanazokat a landmarkokat jelöljük meg • Az alakok ugyanabban a koordinátarendszerben kell megjelenjenek: irány, pozíció, méret egységesítés , úgy hogy az átlagostól való négyzetes eltérés minimumot adjon (Prokrusztész analízis) • Van s képünk egy 2n dimenziós térben reprezentálva: s db 2n dimenziós adat (vektor) egy pontfelhő: • A pontok hasonló pozícióban lesznek. A megengedhető alaktartományon belül hasonló, új alakokat is lehet generálni. • A sokdimenziós térben a pontok a képek különbözőségei miatt egy közel ellipszoidon belül helyezkednek el. Az ellipszoid középpontját és tengelyeit határozzuk meg. • Alkalmazzuk a pontfelhőre a PCA-t • közelítő repreientáció az „eredeti” térben
•
A A transzformációs mátrix t sajátvektorból •
A közelítő reprezentáció a transzformált térben (a sajátvektorok által kifeszített térben) b a leíró paramétervektor
Prokrusztész ágy Procrustes, also called Polypemon, Damastes, or Procoptas, in Greek legend, a robber dwelling somewhere in Attica—in some versions, in the neighbourhood of Eleusis. His father was said to be Poseidon. Procrustes had an iron bed (or, according to some accounts, two beds) on which he compelled his victims to lie. Here, if a victim was shorter than the bed, he stretched him by hammering or racking the body to fit. Alternatively, if the victim was longer than the bed, he cut off the legs to make the body fit the bed’s length. In either event the victim died. Ultimately Procrustes was slain by his own method by the young Attic hero Theseus, who as a young man slayed robbers and monsters whom he encountered while traveling from Trozen to Athens. The “bed of Procrustes,” or “Procrustean bed,” has become proverbial for arbitrarily— and perhaps ruthlessly—forcing someone or something to fit into an unnatural scheme or pattern.
ASM/AAM • PCA – 1. átlagképzés – 2. számítsuk ki az adatok kovariancia mátrixát – 3. Határozzuk meg S sajátvektorait és sajátértékeit – 4. Rendezzük csökkenő nagyság szerinti sorba – 5. Számítsuk ki a jel átlagos négyzetes értékét
i=1,..., 2n
i
– 6. Vegyük az első t legnagyobb sajátértéket ahol adja meg, hogy a teljes variancia hány százalékát akarjuk megtartani tipikus érték 80-98 %
ASM/AAM • A PCA célja olyan parametrikus leírása a képnek, ahol a paraméterek száma minél kisebb, miközben a kép a lehető legkevésbé torzul. • A paraméterek megváltoztatásával az eredeti képkészlethez hasonló további képek generálhatók. • A parametrikus leírást igazítani kell egy konkrét képhez. Ehhez költségfüggvény kell • A pozíció, forgatás, nyújtás (Prokrusztész) mellett, a paraméterek írnak le egy képet, úgy, hogy az eltérés a lehető legkisebb legyen. Az eltolás, skálázás, forgatás: Ahol X a modell pontokat, X’ a legközelebbi él pontjait jelöli • Tetszőleges optimalizáló eljárás használható. Multidimenziós optimalizálás (Powells módszer, genetikus algoritmus, ...), de nincs semmi előzetes információnk, hogy hol vannak az objektum élei. • A modell által generált kontúr és a képkontúrok összehasonlítása • Az algoritmus 1. vizsgáljuk meg a képet az X pontok mindegyikének a környezetében, és keressünk a közelben legjobban illeszkedő X’-t 2. Frissítsük a paramétereket úgy, hogy az új pontok a legjobban illeszkedjenek 3. A b paraméterekre alkalmazzuk a szóródás korlátokat
ASM/AAM • Hogyan módosítsuk a pontokat? Ha határozott él van a képen:
Jobb megoldás: • A profilt feltérképezzük és építünk itt is egy statisztukus modellt Egy adott ponthoz illeszkedve a pont környezetében 2k+1 pontot mintavételezünk: ahol i=1,...,s (inzetnitásértékek vagy deriváltak) Normlizálunk Ezt végigcsináljuk az összes pontra és az összes képre Feltételezzük, hogy Gauss eloszlások Egy új minta illeszkedésének mértéke:
minimuma maximálja hogy a modellből származik A pontok mozgatása után újra a paraméteres modell illesztés jön. Multirezolúciós megoldás
ASM/AAM Multirezolúció Durvábbtól finomabb felé Negyed felbontású kép Fél felbontású kép
Eredeti kép
A profil mentén a mintavételi értékek
ASM/AAM Egy jó megoldás
Egy rossz megoldás
ASM/AAM Alkalmazás egy MR képen
ASM/AAM Átlag, átlagtól való eltérés (nulla középértékre hozás) PCA –t alkalmazunk, az átlagtól való eltérésekre
Kiindulás
5 iteráció után a konvergencia állapotában
Kovariancia mátrix, sajátértékek, sajátvektorok. A sajátvektoroknak van az alakra vonatkozó jelentése. Pl. az első a drótok pozíciója, a második a fő „alak” alakja, a harmadik a görbület, stb.
ASM/AAM
ASM/AAM • AAM (Active appearance model) • Kiindulás: mint az ASM-nél • Lényeges különbség: AAM minden pixelt felhasznál és ezeket alak és megjelenés szempontból is nézi • Texturát is figyelembe veszi • A texturára is készít egy statisztikai modellt: • Átlagtextura , sajátvektorok textura paraméterek a sajátvektorok terében • Az alakot és a texturát együttesen kezeli, ezt is PCA-val
