eské vysoké u£ení technické v Praze Fakulta elektrotechnická Katedra po£íta£ové gra ky a interakce
Bakalá°ská práce
3D ultrazvuk Ivana Vá¬ová
Vedoucí práce: Ing. Petr Felkel, Ph.D.
Studijní program: Softwarové technologie a management, Bakalá°ský Obor: Web a multimédia 12. £ervna 2009
iv
v
Pod¥kování Cht¥la bych pod¥kovat Ing. Petru Felkelovi, PhD. za odborné vedení a cenné rady p°i psaní této práce. Dále bych ráda pod¥kovala MUDr. Petru Chudá£kovi, primá°i porodnicko-gynekologického odd¥lení v P°íbrami, za moºnost praktického vyzkou²ení 3D sonografu. V neposlední °ade pat°í velký dík mojí rodin¥ a p°iteli Luka²i za ohromnou podporu nejen p°i psaní bakalá°²ké práce. Speciáln¥ bych cht¥la pod¥kovat svojí sest°e Ir£e na konzultace otázek z image processingu a své mamince za jazykovou korekturu.
vi
vii
Prohlá²ení Prohla²uji, ºe jsem práci vypracovala samostatn¥ a pouºila jsem pouze podklady uvedené v p°iloºeném seznamu. Nemám závaºný d·vod proti uºití tohoto ²kolního díla ve smyslu 60 Zákona £. 121/2000 Sb., o právu autorském, o právech souvisejících s právem autorském a o zm¥n¥ n¥kterých zákon· (autorský zákon).
Ve Voticích dne 12. 6. 2009
.............................................................
viii
Abstract This thesis gives an overview of three-dimensional ultrasonic acquisition in medical imaging. We describe dierent techniques and devices used to obtain sonographic data. This raw data need to be processed to get spatial information about observed tissue. After a summary of these methods we focus on the most common case: the data comes from one-dimensional sonographic probe and reconstruction of surface or volume information is demanded. Dierent approaches recently used for nal visualization are summarized in the last chapter.
Abstrakt Tato práce je p°ehledem technik pouºívaných p°i získávání prostorové informace o tkáni pomocí ultrazvuku. Techniky snímání jsou rozd¥leny podle typu pouºité sonogra cké sondy a blíºe popsány. Dále práce popisuje metody, jak získaná ultrazvuková data dále zpracovávat pro následné 3D zobrazení. Práce se zam¥°uje na metody, které získávají data pomocí 1D konven£ní ultrazvukové sondy, a detailn¥ popisuje základní prostorové metody rekonstrukce dat rozd¥lené podle výstupních dat na povrchové a objemové. Nakonec práce krátce shrnuje zp·soby renderingu podle typu zrekonstruovaných dat.
ix
x
Obsah Obsah
xi
Seznam obrázk·
xiii
1 Úvod 1.1
1
Úvod do ultrazvuku 1.1.1
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1
Dal²í vyuºití ultrazvuku mimo diagnostiku . . . . . . . . . . . . . .
2
1.2
Úvod do 3D ultrazvuku
. . . . . . . . . . . . . . . . . . . . . . . . . . . .
2
1.3
Získávání dat
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2
1.4
Rekonstrukce
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3
1.4.1
Rekonstrukce povrchu
. . . . . . . . . . . . . . . . . . . . . . . . .
3
1.4.2
Rekonstrukce objemu
. . . . . . . . . . . . . . . . . . . . . . . . .
4
2 Teorie
5
2.1
Rozptylová funkce
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
5
2.2
Rekonstruk£ní ltr a jádro ltru . . . . . . . . . . . . . . . . . . . . . . . .
5
2.3
Gaussova funkce
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
6
2.4
Konvoluce . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
6
2.5
Korelace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
6
2.6
Minimální suma absolutních hodnot rozdíl·
. . . . . . . . . . . . . . . . .
7
2.7
Manhattanská vzdálenost
. . . . . . . . . . . . . . . . . . . . . . . . . . .
7
2.8
Eukleidovská vzdálenost
. . . . . . . . . . . . . . . . . . . . . . . . . . . .
8
3 Získávání dat 3.1
9
Získávání dat snímáním neparalelních °ez· . . . . . . . . . . . . . . . . . .
10
3.1.1
10
Ru£ní snímání
. . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3.1.1.1
Metody, které nesledují pohyb
. . . . . . . . . . . . . . .
11
3.1.1.2
Magnetické trekování
3.1.1.3
Akustické trekování
. . . . . . . . . . . . . . . . . . . .
11
. . . . . . . . . . . . . . . . . . . . .
11
3.1.1.4
Autotrekovací sonda s p°ídavnými sníma£i
. . . . . . . .
11
. . . . . . . . . . . . . . . . . . . . . . . . . .
13
3.1.2.1
Lineární . . . . . . . . . . . . . . . . . . . . . . . . . . . .
13
3.1.2.2
Náklopné . . . . . . . . . . . . . . . . . . . . . . . . . . .
13
3.1.2.3
Rota£ní . . . . . . . . . . . . . . . . . . . . . . . . . . . .
13
3.2
Získávání dat snímáním vrhaných paprsk· . . . . . . . . . . . . . . . . . .
14
3.3
Získávání dat maticí sníma£·
15
3.1.2
Mechanické snímání
. . . . . . . . . . . . . . . . . . . . . . . . . xi
xii
OBSAH
4 Objemová rekonstrukce z °ez·
17
4.1
Interpolace voxelu nejbliº²ím sousedem . . . . . . . . . . . . . . . . . . . .
17
4.2
Interpolace pixelu nejbliº²ím sousedem . . . . . . . . . . . . . . . . . . . .
17
4.3
4.2.1
Bin- lling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
17
4.2.2
Hole- lling
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
18
Vzdálenostn¥ váºená interpolace . . . . . . . . . . . . . . . . . . . . . . . .
18
4.3.1
Rekonstruk£ní ltr
. . . . . . . . . . . . . . . . . . . . . . . . . . .
4.3.2
Rekonstrukce jednoho °ezu
4.3.3
asová prom¥nnost rekonstrukce
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
5 Povrchová rekonstrukce z °ez·
18 19 21
23
5.1
P°ímé rekonstrukce . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
24
5.1.1
24
5.2
Nep°ímé rekonstrukce
Delaunayova triangulace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
25
5.2.1
Výpo£et distance function . . . . . . . . . . . . . . . . . . . . . . .
25
5.2.2
P°ímé zobrazení izoplochy . . . . . . . . . . . . . . . . . . . . . . .
25
5.2.3
P°ímé zobrazení izoplochy: Triangulace izoplochy . . . . . . . . . .
26
5.2.3.1
Pochodující kostky . . . . . . . . . . . . . . . . . . . . . .
26
5.2.3.2
Pochodující £ty°st¥ny
26
. . . . . . . . . . . . . . . . . . . .
6 Rendering 6.1
6.1.1
6.1.2
6.2
6.3
6.4
29
Rendering povrchu
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Reprezentace
29
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
29
6.1.1.1
Drát¥ný model . . . . . . . . . . . . . . . . . . . . . . . .
29
6.1.1.2
Povrchový model . . . . . . . . . . . . . . . . . . . . . . .
29
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
30
6.1.2.1
Konstantní stínování . . . . . . . . . . . . . . . . . . . . .
30
6.1.2.2
Gouraudovo stínování
6.1.2.3
Phongovo stínování
Stínování
Rendering objemu: ray-casting
. . . . . . . . . . . . . . . . . . . .
30
. . . . . . . . . . . . . . . . . . . . .
31
. . . . . . . . . . . . . . . . . . . . . . . .
31
6.2.1
Maximum intenzit
. . . . . . . . . . . . . . . . . . . . . . . . . . .
32
6.2.2
Suma intenzit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
32
6.2.3
Pr·m¥r intenzit . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
32
6.2.4
Povrchová hodnota . . . . . . . . . . . . . . . . . . . . . . . . . . .
32
6.2.5
Vzdálenost povrchu . . . . . . . . . . . . . . . . . . . . . . . . . . .
32
Multiplane rendering . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
33
6.3.1
Rendering °ez·
33
6.3.2
Rendering hranic . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Rendering nepravideln¥ vzorkovaných dat
. . . . . . . . . . . . . . . . . .
33 34
7 Záv¥r
35
A Seznam pouºitých zkratek
37
B Obsah p°iloºeného CD
39
B.1
Text
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
39
B.2
Zdroje . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
39
Literatura
41
Seznam obrázk· 1.1
P°íklad 2D ultrazvukového °ezu získaného 1D sondou . . . . . . . . . . . .
3
2.1
Rozdíl mezi Manhattanskou a Eukleidovskou vzdáleností . . . . . . . . . .
7
3.1
Ukázka nam¥°eného signálu jedním sníma£em ultrazvukové sondy . . . . .
9
3.2
Ru£ní snímání . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
10
3.3
Schéma sníma£e s pomocnými trekovacími sníma£i a vyobrazení snímaných °ez·
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
11
3.4
Schéma základního principu pouºitého u autotrekovaního sníma£e . . . . .
12
3.5
R·zné zp·soby mechanického snímání: a) Lineární b) Náklopné c) Rota£ní
14
3.6
Schéma prstencovitého ultrazvukového tomografu . . . . . . . . . . . . . .
15
4.1
Schéma rekonstrukce jednoho vstupního °ezu metodou p°ír·stkové obje-
4.2
3D Gaussovo jádro s vý°ezem a vyzna£enými izoplochami
5.1
Ukázka ultrazvukového snímku p°ed a po ideální segmentaci . . . . . . . .
23
5.2
Delaunayova triangulace z Voroinova diagramu
. . . . . . . . . . . . . . .
24
5.3
15 unikátních kon gurací pochodujících kostek
. . . . . . . . . . . . . . .
26
5.4
Rozd¥lení kostky na 5 £ty°st¥n· . . . . . . . . . . . . . . . . . . . . . . . .
27
6.1
Ukázka stínovacích metod
30
6.2
Metoda vrhání paprsk· neboli ray-casting
6.3
Schéma zobrazení objemových dat renderingem °ez·
. . . . . . . . . . . .
33
6.4
Schéma zobrazení objemových dat renderingem hranic mnohost¥nu . . . .
34
mové rekonstrukce
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . .
xiii
. . . . . . . . . . . . . . . . . .
19 20
31
xiv
SEZNAM OBRÁZK
Kapitola 1
Úvod Ultrazvuk je hojn¥ pouºívanou diagnostickou metodou hlavn¥ díky své nízké cen¥, velké exibilnosti a ²iroké aplikaci pouºití. Ultrazvuk s prostorovou rekonstrukcí - 3D ultrazvuk - se v praxi pouºívá hlavn¥ v porodnictví a gynekologii. Oblast pouºití 3D ultrazvuku by se výrazn¥ roz²í°ila i do oblasti diagnostiky v onkologii, ortopedii a kardiologii, kdyby se odstranily n¥které její nedostatky. 3D ultrazvuk je nejdostupn¥j²í prostorovou metodou zkoumání tkání bez vedlej²ích ú£ink·m na organismus. B¥hem let se objevovaly stále r·zné metody s r·znou ú£inností a p°edm¥tem této práce je zmapovat p°ístupy získávání a zpracování prostorových ultrazvukových dat.
1.1 Úvod do ultrazvuku Ultrazvuk se vyuºívá v léka°ství od 20. let 20. století. Nejprve pro rehabilita£ní ú£ely, od 40. let se pouºívá pro diagnostiku ve form¥ sonografu[35]. Za tuto dobu se stal
graf
sono-
(n¥kdy se pouºívá i termín echograf ) velmi roz²í°eným diagnostickým za°ízením,
které neinvazivn¥ zobrazuje tkán¥ nebo orgány lidského t¥la. Sonogra e se stala hojn¥ pouºívanou diagnostickou technologií hlavn¥ díky relativn¥ malých nan£ním náklad·m oproti technologiím MRI nebo CT. Dal²í výhodou je, ºe na rozdíl od rentgenového zá°ení, které se vyuºívá p°i CT, u ultrazvukového zá°ení doposud nebyl prokázán, p°i správném pouºití, ºádný negativní vliv na ºivé organismy[13]. Proto m·ºe být opakovan¥ pouºit bez následk·. Sonograf vyuºívá ultrazvuku s frekvencí mezi 2MHz a 18MHz: vy²²í frekvence nad 7MHz pro povrchové struktury (svaly, ²lachy, prsní ºláza, mozek novorozenc·) a niº²í frekvence do 7MHz pro tkán¥ umíst¥né hloub¥ji (plod, b°i²ní dutina, atd.) [33]. Kvalita zobrazení pomocí diagnostického sonografu se za dobu své existence hodn¥ vyvíjela. I tak je dnes zobrazovaní pomocí ultrazvuku p°edm¥tem zkoumání, které by vylep²ilo nedostatky konven£ního sonogra ckého zobrazení, jako nap°. nejasné kontury, zástin tkán¥mi s vy²²í hustotou nebo nelineární zobrazení tkání v d·sledku deformace tkán¥ p°i skenování, které znemoº¬uje p°esné m¥°ení organických struktur. Zobrazování organických tkání za pomoci ultrazvuku je proto stále p°edm¥tem zkoumání v¥dc· a rem s medicínskou technologií, kte°í vidí v sonogra i stále velký potenciál, i kdyº její popularita klesá ve prosp¥ch jiných pohodln¥j²ích technologií. 1
2
KAPITOLA 1. ÚVOD
1.1.1 Dal²í vyuºití ultrazvuku mimo diagnostiku Je²t¥ d°íve, neº se u ultrazvuku za£alo uvaºovat o jeho diagnostickém vyuºití, se vyuºíval pro rehabilita£ní ú£ely. Av²ak po n¥kolika letech zastínily úsp¥chy diagnostického sonografu v¥t²inu ostatních medicínských vyuºití ultrazvuku. asem se také ukázalo, ºe n¥které tehdej²í zp·soby pouºití ultrazvuku pro rehabilitaci byl z £ásti liché. Po mnoha letech se ale ultrazvuk za£íná op¥t vyuºívat k dal²ím medicínským aplikacím. Vedle diagnostiky se ultrazvuk o vy²²í frekvenci vyuºívá p°i lé£b¥ ledvinových kamen· a v poslední dob¥ se za£alo zkoumat i vyuºití vysokofrekven£ního ultrazvuku pro ni£ení karcinomu jako alternativa ke konven£ní chemoterapii bez neblahého vlivu na okolní tkán¥. Celý princip stojí na p°em¥n¥ energie z odrazu zvukových vln na teplo, které p°i vy²²í intenzit¥ ni£í zam¥°enou tkᬠ[13].
1.2 Úvod do 3D ultrazvuku Jeden sm¥r ve vývoji sonografu je 3D sonograf. A£koliv se dnes jiº relativn¥ b¥ºn¥ pouºívá, jeho zobrazovací moºnosti (£asové i prostorové) stále neodpovídají pot°ebám léka°·. Také proto není uznáván jako plnohodnotný prost°edek pro diagnostiku, ale spí²e jako p°ibliºná vizualizace - s uplatn¥ním zatím hlavn¥ v gynekologii pro vizualizaci plodu, coº je marketinkov¥ dob°e prodejná oblast. Nové formy sonogra e s prostorovou rekonstrukcí uvaºují v²ak i praktické vyuºívání v diagnostice jako dopl¬ující nástroj k ostatním, konven£ním technologiím. Prostorová rekonstrukce poskytovaná ultrazvukem by se m¥la vyuºívat, krom¥ jiº zavedené praxi v gynekologii, také p°i neinvazivním vy²et°ováním tumoru pro p°esné a pohotové zobrazení postiºené £ásti. 3D sonograf by m¥l poskytovat rychlou odezvu na aktuální stav oblasti - na rozdíl od CT - s libovolným po£tem opakování bez zásahu do zdravotního stavu vy²et°ovaného pacienta nebo do vývoje plodu. Tato bakalá°ská práce se zabývá jednak metodami získávání prostorových dat pomocí ultrazvuku, jednak i jejich následnou prostorovou rekonstrukci. V této práci jsou popsány pouºívané i experimentální metody rekonstrukce ultrazvukových dat pro prostorové zobrazení zkoumané tkán¥.
1.3 Získávání dat Metoda 3D rekonstrukce ultrazvukových dat je p°ímo závislá na zp·sobu snímání dat v oblasti zájmu. Data se mohou snímat v neparalelních °ezech, vrháním paprsk· nebo snímáním plochy. Pro snímání 2D °ez· tkání (viz. p°íklad obrázek 1.1) se vyuºívá konven£ní 1D sonda. Snímání vrhaných paprsk· se provádí pomocí speciálního za°ízení ultrazvukového tomografu. Dnes nejroz²í°en¥j²í metodou je snímání plochy pomocí 2D sníma£e, který je speci cký podle vy²et°ované oblasti. P°esn¥ji se jednotlivým zp·sob·m získávání dat o tkáni v¥nuje kapitola 3.
1.4. REKONSTRUKCE
3
Obrázek 1.1: P°íklad 2D ultrazvukového °ezu získaného 1D sondou
1.4 Rekonstrukce Pojmem rekonstrukce se v této práci míní vytvo°ení 3D dat prezentujících zkoumanou oblast zájmu ze vstupních ultrazvukových dat. Za vstupní data se povaºuje mnoºina jiº sestavených ultrazvukových signál· nap°. do 2D °ez·. Rekonstrukce dat získaných 1D sondou má jako vstupní data 2D ultrazvukové snímky. Data, které naskenuje 2D sonda, jiº jsou v rozm¥ru 3D (obdobn¥ jako 1D sonda produkuje 2D °ezy), tudíº nepot°ebují rekonstruovat. Rekonstrukce dat získaných ultrazvukovým tomografem popsaném zde 3.2 je záleºitostí zpracování signál·, coº je nad rámec této práce. Vedle zmapování metod pro získávání prostorových ultrazvukových dat, jsou práv¥ metody rekonstrukce z neparalelních vstupních °ez· z 1D sondy p°edm¥tem této práce. Kapitola 4 se zabývá rekonstrukcí celého objemu z neparalelních °ez· a kapitola 5 se zabývá rekonstrukcí povrchu z neparalelních °ez·. 2D °ezy nasnímané 1D sondou se pro zobrazení celého objemu pozorovaného t¥lesa mohou vykreslit speciálními zobrazovacími metodami, které zobrazí nepravideln¥ vzorkovaná data [11] [19] [20] bez p°edchozí rekonstrukce. V praxi se ale v¥t²inou p°istupuje k prostorové rekonstrukci, která lépe vizualizuje zkoumanou oblast. Rekonstrukce z neparalelních °ez· je výpo£etn¥ náro£ná, a proto se hledají postupy, jak celý proces urychlit a zlep²it tak odezvu systému. Z rozporu mezi rychlej²ími a kvalitn¥j²ími výsledky se odd¥lily dva základní principy pro prostorovou rekonstrukci.
1.4.1 Rekonstrukce povrchu P°i metodách rekonstrukce povrchu [2] zkoumaných tkání nebo orgán· (zvané také
surface-based
metody) se bere z°etel nejprve na vytaºení kontur v jednotlivých °e-
zech, které jsou základním kamenem tohoto rekonstruk£ního p°ístupu. Poté se kontury sousedních °ez· napojují jiº konkrétními rekonstruk£ními technikami.
4
KAPITOLA 1. ÚVOD
Základními p°ístupy je nalepování trojúhelník· na kontury °ez·, £ímº vznikne rovnou triangulovaný model, a proloºení kontur °ez· izoplochou, která je následn¥ triangulována. Výsledkem je rekonstruovaný triangulovaný model, který je aproximací povrchu sledované oblasti nebo orgánu. Výhodou tohoto p°ístupu je redukce vstupních dat pro samotný rekonstruk£ní algoritmus, coº vede k pohotov¥j²ím výsledk·m. Eliminace informace je ale i nevýhodou. Redukovaná informace nese data nejen o okolí rekonstruovaného povrchu, ale i o jeho vnit°ku, coº m·ºe být, v závislosti na cíli vy²et°ení, neºádoucí. Této metod¥ rekonstrukce v¥t²inou p°edchází ru£ní nebo automatická segmentace oblasti zájmu, coº je dal²í o°ez dat. Navíc je nebezpe£í, ºe na za²um¥ných datech bude segmentace provedena chybn¥ a tím se ztratí data, která by mohla mít v zrekonstruovaném modelu zásadní význam. Rekonstrukce povrchu se vyuºívá nap°. p°i zobrazení plodu v d¥loze. Plod je pro zobrazení ultrazvukem ideální aplikací, protoºe je obklopen dostate£ným mnoºstvím plodové vody, coº je prost°edí s odli²nou odrazivostí neº samotný plod. Proto ultrazvukové snímání plodu dává dobré vstupní data pro rekonstrukci povrchu, která je pro celkové vy²et°ení plodu a jeho vývoje £asto posta£ující. Díl£í dovy²et°ení plodu (jako nap°. vy²et°ení srde£ní £innosti) v¥t²inou zaji²´uje b¥ºný 2D sonograf. Za metody rekonstruující povrch m·ºeme jmenovat komer£ní, právn¥ chrán¥nou metodu XI VOCAL [8][34].
1.4.2 Rekonstrukce objemu P°i p°ístupu objemové rekonstrukce se data rekonstruují do prostorové m°íºky sloºené z bun¥k - voxel·. Podle toho se tyto metody n¥kdy ozna£ují jako
voxel-based metody.
Rekonstrukce objemu vyuºívá ve²kerou informaci °ez· a p°ímo je interpoluje bod po bodu. Celé °ezy jsou povaºovány za relevantní informaci a nedochází tu k o°ezu dat jako u povrchové rekonstrukce. Nevýhodou tohoto p°ístupu interpolace je vy²²í výpo£etní náro£nost kv·li v¥t²ímu datovému vstupu. Ale protoºe rekonstruujeme celé °ezy, získáme tím rekonstrukci celého vy²et°ovaného okolí, nejen povrch akusticky nejodraziv¥j²í plochy - coº je výhoda kompenzující vy²²í výpo£etní náro£nost objemových rekonstruk£ních metod. Mezi aplikace objemových rekonstruk£ních metod pat°í vy²et°ování tumor· a kloub· a také °ízené chirurgické procedury, jako je biopsie. Zp·sob· objemové rekonstrukce °ez· je více. Jednou z metod je p°ír·stková objemová rekonstrukce [22] výzkumného týmu ze Severní Karoliny. Blíºe se objemovým metodám rekonstrukce dat nasnímaných v °ezech v¥nuje kapitola 4.
Kapitola 2
Teorie Na úvod bude uvedeno n¥kolik teoretických poznámek[9], jejichº znalost je nezbytná pro pochopení celého textu. Zku²en¥j²í £tená°i mohou tuto kapitolu bez újmy vynechat.
2.1 Rozptylová funkce Rozptylová funkce (
point spread function )
je funkce, které popisuje reakci systému na
atomický impuls - tj. rozptyl impulsu. Rozptylová funkce je základem pro rekonstruk£ní ltr, ale v praxi jen ltr aproximuje rozptylovou funkci. To z d·vodu, ºe rozptylová funkce je £asto asymetrická, coº je p°i popisu ltru neºádoucí jev, protoºe ho d¥lá sloºit¥j²ím. Rekonstruk£ní ltr zaloºený na rozptylové funkci se vyuºívá v objemové rekonstrukci v kap. 4.3.1. Odhadováním rozptylových funkcí pro ultrazvukové sondy se zabývá [27].
2.2 Rekonstruk£ní ltr a jádro ltru Za rekonstruk£ní ltr pro objemovou rekonstrukci ultrazvukových dat 4.3 se povaºuje jakákoli funkce, které v ideálním p°ípad¥ opisuje rozptylovou funkci prost°edí. V praxi se ale dochází pouze k aproximaci rozptylové funkce. Jádrem ltru (rekonstruk£ního nebo jakéhokoli jiného ltru) se myslí ta £ást ltru, které je nenulová. P°i rekonstrukci pro interpolování dat pracujeme jen s jádrem rekonstruk£ního ltru, jelikoº nulové hodnoty ltru by interpolaci neovlivnily. Pro kvalitní rendering rekonstruovaného modemu musí být zaji²t¥na hladkost modelu. Aby byla hladkost zaji²t¥na, musí rekonstruk£ní ltr splnit podmínky:
1. Hodnota jádra ltru na hranicích jádra musí aproximovat nulu. 2. Gradient hodnoty jádra ltru na hranicích jádra musí aproximovat nulu.
5
6
KAPITOLA 2. TEORIE
2.3 Gaussova funkce Pod pojmem Gaussova funkce se míní funkce, která je dána obecn¥ normálním rozd¥lením. Pokud se uvaºuje o obecném n-rozm¥rném prostoru, má normální rozd¥lení tvar:
f (x1 , x2 , ..., xn ) = q
1
1
T
e 2 (x−µ)
n
C−1 (x−µ)
(2π) |C|
C je symetrická, pozitivn¥ de nitní matice µ = (µ1 , µ2 , ..., µn )T jsou sloupcové vektory. kde
a
x = (x1 , x2 , ..., xn )T
a
P°i interpolaci ultrazvukových dat (viz. kap. 4.3) se vyuºívá 3D Gaussova funkce jako jádro rekonstruk£ního ltru, protoºe aproximuje vlastnosti rozptylové funkce ultrazvuku. Na obrázku 4.2 je 3D Gaussova funkce p°ibliºn¥ vizualizovaná pomocí jasu s vyzna£enými izoplochami.
2.4 Konvoluce Konvoluce je obecn¥ zobrazení
A
dvou funkcích
f
a
g : A : L1 × L1 → L2 .
Konvoluce je
de nována vztahem:
Z
(f ∗ g) (x) = kde symbolem
∗
se zna£í operátor konvoluce. Konvoluce se vyuºívá mimo jiné p°i zpra-
cování obrazové informace, kde funkce
g
f (t) g (x − t) dt,
f
ozna£uje vstupní obrazovou informaci - signál a
ozna£uje tzv. konvolu£ní jádro. P°i zpracování ultrazvukových dat v této práci se vyu-
ºívá konvoluce pro interpolaci dat (viz. 4.3.2), £ímº se rekonstruují p·vodní data. Proto v této aplikaci konvoluce se pouºívá termín rekonstruk£ní jádro - namísto konvolu£ní. Rekonstruk£ní jádro je dáno pouºitým rekonstruk£ním ltrem.
2.5 Korelace Korelace je funkce de novaná jako zobrazení
A
dvou funkcích
f
a
g : A : L1 × L1 → L2 .
Korelace je de nována vztahem:
(f g) (x) = kde symbolem
Z
f (t) g (t − x) dt,
se zna£í operátor korelace. Korelace je de nována podobn¥ jako
konvoluce 2.4 s tím rozdílem, ºe se funkce
g
neotá£í.
Pojem korelace obecn¥ znamená vzájemný vztah nebo
souvztaºnost.
Korelace se
m·ºe totiº pouºít pro detekování vzájemné podobnosti dvou signál· nalezením maxima ve výsledné funkci
(f g) (x).
2.6. MINIMÁLNÍ SUMA ABSOLUTNÍCH HODNOT ROZDÍL
7
2.6 Minimální suma absolutních hodnot rozdíl· Minimum Sum of Absolute Dierences
Minimální suma absolutních rozdíl· (
- MSAD)
je jednoduchá funkce, která dva nejprve dva vstupní signály vyhodnotí:
(f g) (x) = Poté se ve výsledné funkci
Z
|f (t) − g (t − x)| dt,
(f g) (x) hledá (na rozdíl od korelace 2.5) minimum, které
detekuje nejv¥t²í shodu v signálech. Výhodou MSAD je, ºe pokud aktuáln¥ zpracovávaný podsou£et se stane v¥t²ím, neº je aktuální známé minimum, m·ºe být p°esko£en, protoºe se v n¥m globální minimum nacházet nem·ºe. Oproti tomu p°i korelaci musí být zpracovány v²echny vzorky, protoºe korelace detekuje podobnost signál· maximem mezi hodnotami. Kritérium MSAD se vyuºívá pro detekci pohybu na autotrekovací sond¥ popsané v kap. 3.1.1.4.
2.7 Manhattanská vzdálenost Manhattanská vzdálenost nebo také vzdálenost m¥stských blok· [15] udává vzdálenost dvou bod·
A
a
B
v diskrétním prostoru m¥°enou jen po horizontálách a vertikálách.
Vzdálenost ve 2D je p°esn¥ de novaná:
f (xA , yA , xB , yB ) , ) = |xA − xB | + |yA − yB |, kde
xA
a
yA
jsou sou°adnice v diskrétním 2D prostoru bodu
v diskrétním 2D prostoru bodu
A
a
xA ayA
jsou sou°adnice
B.
Obrázek 2.1: Rozdíl mezi Manhattanskou a Eukleidovskou vzdáleností:
|AB|M = 13
a
|AB|E = 10
Jinými slovy °e£eno Manhattanská vzdálenost je nejmen²í po£et ²achových polí, které musí ujít v¥º mezi bodem
A
a
B
na ²achovnici (viz. obrázek 2.1). Manhattanská vzdále-
nost se pouºívá pro základní zp·sob vytvá°ení distance function pro nep°ímou povrchovou rekonstrukci ultrazvukových dat (kap. 5.2.1).
8
KAPITOLA 2. TEORIE
2.8 Eukleidovská vzdálenost Eukleidovská vzdálenost je de nována jako vzdálenost m¥°ená na rozdíl od Manhattanské vzdálenosti i po p°ípadných diagonálách. V rovin¥ Eukleidovská vzdálenost mezi body
A
a
B
je p°esn¥ de nována podle vztahu:
f (xA , yA , xB , yB ) , ) = kde
xA
a
yA
q
(xA − xB ) + (yA − yB ),
jsou sou°adnice v diskrétním 2D prostoru bodu
nice v diskrétním 2D prostoru bodu
B.
A
a
xA ayA
jsou sou°ad-
Rozdíl mezi Manhattanskou a Eukleidovskou
vzdáleností je patrný z obrázku 2.1. Pouºitím Eukleidovské vzdálenosti pro výpo£et distance function (5.2.1) by dávalo p°esn¥j²í výsledky neº pouºití Manhattanské vzdálenosti, p°esto se v²ak v¥t²inou pouºívá rychlej²í a jednodu²²í Manhattanská.
Kapitola 3
Získávání dat Získávání ultrazvukových dat na nejniº²í úrovni je úloha zpracování signál·. Kaºdý sníma£, který je sou£ástí celé ultrazvukové sondy, vy²le signál a následn¥ m¥°í p°íchozí signál. Kaºdý takový p°íchozí signál vypadá nap°. jako na obrázku 3.1. Tyto p°ijaté signály se dále zpracovávají pomocí Fourierovy transformace a p°evádí se do frekven£ní oblasti. Následn¥ se transformované signály ze v²ech sníma£· sondy sloºí podle speci kací dané sondy (nap°. rozloºení sníma£·) v ultrazvuková data ve form¥ 2D °ezu (pro 1D sondy) nebo 3D dat (pro 2D sondy). Sestavováním ultrazvukových dat na niº²í úrovni se tato práce zabývat nebude. Tato práce tedy bude p°edpokládat jako výstup snímání ultrazvukovou sondou data, která jiº byla zkompletována a mohou se dále zpracovávat (kap. 1.4) nebo být zobrazována (kap. 6).
Obrázek 3.1: Ukázka nam¥°eného signálu jedním sníma£em ultrazvukové sondy v amplitudové (vlevo) a frekven£ní (vpravo) oblasti [31]
Tato kapitola se bude zabývat p°ehledem metod snímání tkání ultrazvukem a p°edstavením ultrazvukových sond. Metody snímání m·ºeme rozd¥lit podle typu sondy do t°í hlavních skupin [6]: snímání °ez·, snímání vrhaných paprsk· a snímání maticí sníma£·. 9
10
KAPITOLA 3. ZÍSKÁVÁNÍ DAT
3.1 Získávání dat snímáním neparalelních °ez· Jednou z metod získávání dat je snímání neparalelních °ez· pomocí b¥ºného (£i velmi podobného) 1D sníma£e, jaký se pouºívá u b¥ºného sonografu. Konven£ním sonografem se nasnímá dostate£né mnoºství °ez· zkoumané oblasti. P°i snímaní sonografem je výsledek velmi citlivý na vzduch mezi sníma£em a vrchní vrstvou tkán¥, protoºe p°echod mezi plynným prost°edím a tkání má vysoký rozdíl akustické odrazivosti, coº má za následek totální odraz ultrazvukových vln od povrchu tkán¥. Tomu se p°edchází pouºitím akusticky vodivého gelu. P°i snímání je mírné nato£ení a posun jednotlivých °ez· nevyhnutelné práv¥ proto, ºe operátor musí se sondou kopírovat povrch t¥la v míst¥ zájmu. P°i snímání je pro relevantní rekonstrukci nevyhnutelné zaznamenávání polohy (tj. translaci a rotaci) kaºdého °ezu. Pro získání polohy °ezu se vyuºívají 2 odli²né p°ístupy [7]. První je zaloºený na ru£ním vedení sníma£e a následné sledování jeho pohybu - trekingu. Druhý vyuºívá pohybu mechanického ramene s p°ipevn¥ným sníma£em, kde m·ºeme p°ibliºnou polohu °ez· ovlivnit p°edem a p°izp·sobit je konkrétnímu p°ípadu. Získané °ezy se upraví zvýrazn¥ním kontur. Poté se prostory mezi jednotlivými °ezy vypl¬ují r·znými interpola£ními technikami v závislosti na vzájemné poloze °ez·. Interpolace z neparalelních °ez· nedává vºdy p°esné výsledky, protoºe mezery mezi interpolovanými °ezy mohou být p°íli² velké nebo p°i po£áte£ní segmentaci mohou být ze vstupních °ez· odstran¥na relevantní data. Dal²ím nedostatkem rekonstruovaných dat získaných touto technikou je niº²í prostorové rozli²ení.
3.1.1 Ru£ní snímání
Obrázek 3.2: Ru£ní snímání
free-hand )
P°i snímání volným vedením sníma£e (
(viz. obr. 3.2) se dosahuje lep²í
p°ilnavosti k povrchu a tedy i ost°ej²ích obraz· °ez·. Jako nevýhoda je problematické m¥°ení aktuální polohy snímaného °ezu. Metody trekování °ez·:
3.1. ZÍSKÁVÁNÍ DAT SNÍMÁNÍM NEPARALELNÍCH EZ
11
3.1.1.1 Metody, které nesledují pohyb Metody, které se p°i rekonstrukci nezabývají vzájemnou polohou vstupních °ez·, resp. p°edpokládají jejich rovnob¥ºnost, nepodávají relevantní výsledky a v praxi nena²ly uplatn¥ní. Proto se jimi dále tato práce nebude dále zabývat.
3.1.1.2 Magnetické trekování P°i magnetickém trekování je v blízkosti vy²et°ovaného pacienta umíst¥n zdroj magnetického pole a na sníma£i je umíst¥n citlivý senzor pro m¥°ení síly magnetického pole, sloºený z 3 ortogonálních cívek. Podle toho se ur£uje posun, p°íp. oto£ení senzoru. Nevýhodou tohoto zp·sobu trekování je nep°esnost, která je zp·sobená ovlivnitelností magnetického pole výskytem magnetických p°edm¥t·. Dal²í nevýhodou je, ºe vy²et°ovaný objekt musí být b¥hem snímání nehybný, protoºe poloha °ez· je vztaºena k n¥jakému xnímu bodu v prostoru. Proto je tento zp·sob trekování nevhodný pro pohyblivé tkán¥.
3.1.1.3 Akustické trekování P°i akustickém trekování je na ultrazvukový sníma£ umíst¥n vysíla£ akustických signál· (reproduktor) a v okolí jsou umíst¥ny citlivé senzory (mikrofony). Mikrofony se ideáln¥ umis´ují kolem pacienta, obvykle nad l·ºko vy²et°ovaného. Pro p°esn¥ m¥°ení by m¥l pro kaºdý mikrofon z·stat zachovaný zorný paprsek mezi mikrofonem a reproduktorem. Pro výpo£et polohy je samoz°ejm¥ bezpodmíne£n¥ nutná znalost rychlosti akustického signálu v daném prost°edí, coº nejvíce ovliv¬uje nep°esnosti tohoto zp·sobu trekování, protoºe p°esná rychlost ²í°ení signálu je závislá na teplot¥ a vlhkosti vzduchu. P°esto po dlouhou dobu byl tento zp·sob trekovaní nejspolehliv¥j²í a tudíº i nejpouºívan¥j²í.
3.1.1.4 Autotrekovací sonda s p°ídavnými sníma£i U sníma£e s pomocnými sníma£i [12] se ke klasické 1D sond¥ p°idají na kaºdý konec na kolmo dal²í 1D sonda. Vznikne upravený snímací aparát zobrazený na obrázku 3.3. Bo£ní °ady sníma£· co nejt¥sn¥ji doléhají ke st°edové °ad¥ sníma£·, na kterou jsou kolmé.
Obrázek 3.3: Schéma sníma£e s pomocnými trekovacími sníma£i a vyobrazení snímaných °ez·
12
KAPITOLA 3. ZÍSKÁVÁNÍ DAT
V²echny °ady sníma£· získávají 2D °ezy tkání. St°edová °ada sníma£· snímá tzv. obrazovou rovinu, bo£ní sníma£e snímají tzv. trekovací roviny. I kdyº jsou trekovací a obrazové sníma£e ozna£eny odli²n¥, tak data se ze v²ech sníma£· vyuºívají jak pro trekování, tak i pro samotnou rekonstrukci, protoºe by bylo neekonomické nevyuºít maximáln¥ v²echna nasnímaná data. Rozd¥lení sníma£· na trekovací a obrazové jen ur£uje jejich primární funkci. Kvantitativní rozloºení 128 sníma£· v popisovaném modelu snímacího aparátu je 16 sníma£· pro kaºdou trekovací °adu a zbylých 94 sníma£· pro st°edovou obrazovou °adu. P°edpokladem automatické detekce pohybu je dostate£ná frekvence snímání. Proto jsou nutná absence výrazn¥j²ích pohyb· mezi dv¥ma po sob¥ jdoucími snímky. Samotná detekce pohybu sníma£e mezi °ezy se provádí pomocí kontrolních oken v kaºdé z nasnímaných rovin. Kontrolním oknem se ozna£uje malý vý°ez s pevnou pozicí ve snímací rovin¥. Celkov¥ je ve v²ech nasnímaných rovinách ozna£eno 10 kontrolních oken. P°i nasnímání nových °ez· se vezmou kontrolní okna z nových °ez· a porovnává se kaºdé okno s p°edcházejícím snímkem roviny, do které okno pat°í. Protoºe vycházíme z p°edpokladu, ºe kroky mezi jednotlivými skenováními nejsou velké, a protoºe ultrazvukové skeny dosahují relativn¥ malého rozli²ení, se drobná rotace na malém vý°ezu (kontrolním okn¥) neprojeví jako rotace ale jako posun (vizualizováno na obrázku 3.4. Proto se hledá se pomocí jednoduchého kritéria minimální sum absolutních rozdíl· (podrobn¥ji v 2.6)
Obrázek 3.4: Schéma základního principu pouºité u autotrekovaního sníma£e: Na ilustraci jsou vid¥t dva po sob¥ jdoucí snímky po°ízené jednou ze snímacích °ad. První je vyzna£en zelenou barvou a druhý, po n¥m jdoucí, je £erný. Druhý snímek je mírn¥ oto£en. U obou snímk· jsou symbolicky vyzna£ena kontrolní okna. Na obrázku je dále nazna£eno omezené vzorkování °ez· a výsledné vzorkování kontrolních oken.
3.1. ZÍSKÁVÁNÍ DAT SNÍMÁNÍM NEPARALELNÍCH EZ
13
registrace mezi p°edcházející nasnímanou rovinou s aktuálními kontrolními okny i bez uvaºování rotace oken. Podle zjist¥ní posunu jednotlivých oken ze v²ech rovin se m·ºe detekovat, jak se celý snímací aparát posunul £i oto£il, z £ehoº zp¥tn¥ dostaneme novou polohu v²ech t°ech snímacích rovin, které jsou dále p°ipraveny jako vstup rekonstruk£nímu algoritmu. Pro zji²t¥ní polohy z detekovaného pohybu oken by bylo nezbytn¥ nutné mén¥, neº 10 uvedených kontrolních oken. Protoºe v²ak ultrazvuková data nejsou obecn¥ ideální data pro °e²ení registrace (nap°. kv·li ²umu, nízkému rozli²ení, ...), tak se v navrºené metod¥ uºívá kontrolních oken víc pro zp°esn¥ní °e²ení. Samotné °e²ení tohoto výpo£etního problému stojí na metod¥ nejmen²ích £tverc·. P°esná speci kace zp·sobu výpo£tu je nad rámec této práce a není nutná pro pochopení principu. U tohoto zp·sobu snímání se tedy trekování provádí automaticky, bez n¥jakého vn¥j²ího systému. Poloha °ez· se zjistí pouze relativn¥ v rámci dvou sousedních °ez· bez xního referen£ního bodu, coº je výhoda oproti nap°. magnetickému trekování (3.1.1.2) pro skenování pohyblivých tkání nebo neklidného pacienta. Lze snímat °ezy s 6 DOF. Tento zp·sob ultrazvukového snímání tkání je o n¥co pomalej²í neº snímání maticí senzor·(popsaném v sekci 3.3), ale stále m·ºeme hovo°it o real-time procesu - auto°i hovo°í o více neº 10 FPS. Je to levn¥j²í a dostupn¥j²í za°ízení neº maticový senzor a pracuje se s ním podobn¥ jako s konven£ním ultrazvukem pro 2D vy²et°ení.
3.1.2 Mechanické snímání Mechanické rameno zpravidla není schopné dosáhnout dostate£né p°ilnavosti jako p°í volném vedení sníma£e. Dal²í nevýhodou je nedostate£ná exibilita pouºívání. Za to jsou ale °ezy p°esn¥ji vedeny a m·ºe být ovlivn¥na jejich vzájemná poloha, která m·ºe napomoci p°i vizualizaci speci cké oblasti.
3.1.2.1 Lineární P°i lineárním snímání °ez· (obr. 3.5a)se po°ídí série tém¥° rovnob¥ºných, pravideln¥ rozloºených °ez·, které jsou vhodné pro plo²nou rekonstrukci a rovnom¥rn¥ rozloºeným rozli²ením.
3.1.2.2 Náklopné Rekonstrukcí °ez· po°ízených náklopným snímáním nad zkoumanou oblastí (obr. 3.5b) docílíme vy²²í hustoty °ez· u povrchu pokoºky a s p°ibývající hloubkou klesá kvalita rekonstruovaného modelu.
3.1.2.3 Rota£ní Rota£ní snímání (obr. 3.5c) je vhodné p°i malé, lokalizované oblasti zájmu. Nad touto oblastí sníma£ rotuje a zaznamenává radiální snímky. Výhodou je, ºe vybraná oblast zájmu je dob°e zobrazena i do hloubky a zv¥t²ující se vzdáleností od st°edu zájmu klesá obrazové rozli²ení.
14
KAPITOLA 3. ZÍSKÁVÁNÍ DAT
Obrázek 3.5: R·zné zp·soby mechanického snímání: a) Lineární b) Náklopné c) Rota£ní
3.2 Získávání dat snímáním vrhaných paprsk· Do druhé skupiny pat°í metody snímání, které vyuºívají speciáln¥ vyvinuté za°ízení nazývané
ultrazvukový tomograf
neboli USCT. Toto za°ízení vypadá jako kulovitá
nádoba, prstenec (viz. obrázek 3.6) £i výse£ prstence, na jehoº vnit°ním povrchu jsou umíst¥ny sníma£e. Dal²ím zp·sobem rozvrºení sníma£· je na dvou protilehlých rovinách rotující kolem zkoumaného objektu. Zkoumaný objekt je v¥t²inou obklopen roztokem, který minimalizuje ztráty signálu p°i p°enosu mezi sníma£em a tkání. Celý skenovací proces probíhá tak, ºe v jednom kroku vºdy jeden sníma£ vysílá signál a v²echny ostatní sníma£e m¥°í p°íchozí signál. Tak se pokra£uje pro v²echny ostatní sníma£e. Tímto zp·sobem snímaní se zachytí nejen vlny, které se odrazí kolmo zp¥t p°ímo do sníma£e, ze kterého vy²ly (jako tomu je u konven£ního snímaní), ale i vlny odraºené ²ikmo, zeslabené nebo odklon¥né k p·vodní dráhy letu. Rekonstrukcí takto získaných dat se získá v¥t²í prostorové rozli²ení, ale kv·li výpo£etní náro£nosti výrazn¥ klesá £asové rozli²ení, coº znesnad¬uje pozorování pohybujících se struktur a také eliminuje oce¬ovanou pohotovou interakci mezi procesem snímání a procesem zobrazování. Dne²ní funk£ní prototypy za°ízení mají pr·m¥r okolo 12 cm, coº je p°edur£uje pro vyuºití nap°. jako mamograf. Jako ukázku aplikace toho p°ístupu jmenujme projekt na Forschungzentrum Karlsruhe v N¥mecku [30] nebo £eský projekt Pr·zvu£né ultrazvukové tomogra e na Ústavu biomedicínského inºenýrství VUT v Brn¥ ve spolupráci s vý²e jmenovaným centrem v N¥mecku popisovaný nap°. v práci [23]. Samotná rekonstrukce takto nashromáºd¥ných dat je podmín¥ná °e²ením sloºitých soustav rovnic, která jsou stále záleºitostí bádání, a je nad rámec této práce. Stále se jedná o experimentální metodu, která je²t¥ nedosáhla takových výsledk·, aby sou£asné moºnosti v diagnostice inovovala natolik, ºe by se stala sou£ástí b¥ºného léka°ského vybavení, i kdyº její velký potenciál je nesporný. Proto se tímto p°ístupem ke zpracování prostorové informace práce nebude dále zabývat.
3.3. ZÍSKÁVÁNÍ DAT MATICÍ SNÍMA
15
Obrázek 3.6: Schéma prstencovitého ultrazvukového tomografu
3.3 Získávání dat maticí sníma£· Dal²ím zp·sobem snímaní dat je pouºití 2D matice sníma£·, které se p°iloºí za podpory akusticky vodivého gelu na pokoºku v oblasti zájmu. Tvar celé snímací sondy p°edur£uje jeho pouºití pro vy²et°ování speci ckých £ástí t¥la. Nejv¥t²í uplatn¥ní mají ploché snímací sondy p°i vizualizaci plodu nap°. pro diagnostiku vývojových vad nebo ur£ení pohlaví. Obdobn¥ jako je výstup snímání 1D sondy 2D °ez, tak 2D sonda vyprodukuje 3D data o zkoumané tkáni. Z toho je patrné, ºe data nasnímané 2D sondu jiº není pot°eba rekonstruovat, tak jak to práce pro 1D sondu popisuje v kap. 1.4. P°esto je t°eba tento typ sondy zmínit, protoºe 2D ultrazvukové sníma£e je nejspolehliv¥j²í zp·sob zobrazení, který m·ºe dne²ní zavedená medicínská technika nabídnout. U 2D snímacích sond nem·ºeme hovo°it o trekování, jako tomu je u 1D sond v kap. 3.1, protoºe u 2D sond je pohyb sondy nahrazen v¥t²ím mnoºství sníma£·. V¥t²í mnoºství sníma£· sebou nese problém s konstrukcí 2D sondy pro efektivní p°enos informace. Tímto problémem se zabývá [31] a [28].
16
KAPITOLA 3. ZÍSKÁVÁNÍ DAT
Kapitola 4
Objemová rekonstrukce z °ez· Objemovou rekonstrukcí se myslí interpolace vstupních °ez· pro rekonstruování celé zkoumané oblasti - nejen povrchu jako tomu je u metod povrchové rekonstrukce (kap. 5). Vstupní data jsou zpravidla nepravideln¥ vzorkovaná, takºe se musí vstupní °ezy p°evzorkovat a interpolovat do pravidelné ortogonální m°íºky a tím rekonstruovat podobu zkoumané oblasti. Pravideln¥ vzorkovaná data se mohou zobrazovat jiº pomocí b¥ºných zobrazovacích metod pro objemová data (viz. kap. 6.2). Metody objemové rekonstrukce jsou r·zné, ale navzájem se li²í hlavn¥ metodou interpolace [25][24] mezi vstupními °ezy. Hlavní p°ístupy pouºívaných interpolací jsou: interpolace voxelu nejbliº²ím sousedem (4.1), interpolace pixelu nejbliº²ím sousedem (4.2) a vzdálenostn¥ váºená interpolace (4.3).
4.1 Interpolace voxelu nejbliº²ím sousedem Voxel nearest neighbour interpolation ) je nejjed-
Interpolace voxelu nejbliº²ím sousedem (
nodu²²í ze zde uvedených rekonstruk£ních metod. Vstupem pro interpolaci je 3D m°íºka s umíst¥nými 2D vstupními °ezy. Celý postup tvo°í postupné procházení 3D m°íºky, kdy se kaºdému voxelu p°i°adí hodnota nejbliº²ího pixelu z libovolného °ezu. Rekonstruk£ní metody zaloºené na tomto p°ístupu jsou velice jednoduché a rychlé, ale zp·sob interpolace vytvá°í z°ejmé artefakty v podob¥ viditelných p°ed¥l· mezi °ezy.
4.2 Interpolace pixelu nejbliº²ím sousedem Pixel nearest neighbour interpolation ) se skládá
Interpolace pixelu nejbliº²ím sousedem (
z dvou základních krok· [16]: bin- lling a hole- lling. Vstupem celé interpolace je stejn¥ jako v p°edchozím p°ípad¥ 3D m°íºka s umíst¥nými 2D vstupními °ezy.
4.2.1 Bin- lling Bin- lling je prvním krokem z interpolace. Nyní se projde kaºdý vstupní °ez pixel po pixelu a hledá se jeho nejbliº²í voxel. Tomuto voxelu se poté p°i°adí hodnota uloºená v 17
18
KAPITOLA 4. OBJEMOVÁ REKONSTRUKCE Z EZ
daném v pixelu. Pokud nastane situace, kdy se do jednoho voxelu má uloºit hodnoty z více pixel·, obvykle se pouºije zpr·m¥rovaná hodnota ze v²ech pixel·. Po tomto kroku z·stanou v 3D m°íºce prázdné voxely bez jasové sloºky, tzv. díry. K tomu slouºí druhý krok interpolace.
4.2.2 Hole- lling Ú£elem druhého kroku interpolace je napln¥ní voxel· v 3D m°íºce, které z·staly prázdné po prvním kroku. Metod pro jejich napln¥ní je více. Nejjednodu²²ím zp·sobem je uloºit do d¥r maximální hodnotu okolí. Nejvíce se osv¥d£ilo interpolování hodnot z napln¥ných voxel· s maskou
5×5×5
voxel·, kde v masce jsou uloºeny exponenciální váhy.
4.3 Vzdálenostn¥ váºená interpolace: P°ír·stková objemová rekonstrukce incremental volume reconstruction ) je jednou z
P°ír·stková objemová rekonstrukce [22](
metod, která interpoluje data ze vstupních °ez· pomocí vzdálenostn¥ váºené interpo-
distance-weighed interpolation ).
lace (
Vzdálenostn¥ váºená interpolace interpoluje data
mezi vstupními °ezy do voxel· v závislosti na vzdálenosti daného voxelu od jednotlivých °ez·. Mezi vzdálenostn¥ váºené interpolace °adí lineární interpolace. V p°ípad¥ p°ír·stkové objemové rekonstrukce se v²ak pouºívá so stikovan¥j²í metoda, kdy jsou parametry vzdálenostn¥ váºené interpolace zaloºeny na rozptylové funkci systému (viz. 2.1). Tato metoda rekonstrukce je popsána detailn¥ji, protoºe dává p°esn¥j²í výsledky neº ostatní i kdyº za cenu vy²²í výpo£etní náro£nosti. P°ír·stková objemová rekonstrukce v¥nuje p°i rekonstrukci pozornost celé vnit°ní struktu°e i pod povrchem zkoumaného orgánu. P°i této metod¥ rekonstrukce se v pod-
degree of freedom
stat¥ uvaºují °ezy získávané sníma£em s 3 DOF (
- stupe¬ volnosti) -
konkrétn¥ 2 posuny a 1 rotace (vyzna£ené na obr. 4.1), je v²ak jednodu²e roz²i°itelná pro 6 DOF. Celá rekonstrukce se provádí nad 3D maticí hodnot - 3D buerem. Kaºdý prvek bueru p°edstavuje voxel výsledného modelu. Kaºdý voxel má 3 hodnoty ur£ující jeho vlastnosti: rekonstruovanou hodnotu zpracovávání
i-tého
ri (x, y, z),
váhu
wi (x, y, z)
a stá°í
ti (x, y, z)
p°i
°ezu. Rekonstrukce probíhá po jednotlivých °ezech. Rekonstrukce
°ezu se provede prostorovou konvolucí vstupního 2D °ezu a jádra 3D rekonstruk£ního ltru. Hodnoty zrekonstruovaného °ezu se vloºí do 3D bueru po vzorkách tak, ºe se
(x, y, z) p°i£te zrekonstruovaný vzorek ri−1 (x, y, z) v pom¥ru, který ur£uje ti−1 (x, y, z) z bueru stá°í, ke stávající hodnot¥ ri−1 (x, y, z). Poté se ti (x, y, z) v bueru stá°í aktualizuje.
na pozici
hodnota stá°í hodnota
4.3.1 Rekonstruk£ní ltr Rekonstruk£ní jádro je zaloºeno na ltru (viz. 2.2), který vyjad°uje rozptylové vlastnosti systému. Hledání ideální rozptylové funkce (viz. 2.1), která by dokonale popisovala vlastnosti systému, je náro£né. Rozptylová funkce konkrétního systému závisí nap°. na rozli²ení snímacího skeneru nebo vlastnostech zkoumané tkán¥. Ve výsledku je rozptylová funkce daného systému £asto asymetrická.
4.3. VZDÁLENOSTN
VÁENÁ INTERPOLACE
Pro ultrazvukové systémy se £asto pouºívá
19
Gauss·v ltr (viz. 2.3), který uspokojiv¥
aproximuje vlastnosti ideální rozptylové funkce. Gauss·v ltr je vhodný také proto, ºe jeho funk£ní hodnota i gradient funk£ní hodnoty rychle aproximuje nulu, coº spl¬uje ob¥ podmínky pro hladkost výsledného modelu. P°esto v²ak m·ºe pouºitím Gaussova ltru dojít k nep°esnostem. Je totiº symetrický - v n¥kterých p°ípadech na rozdíl od ideální rozptylové funkce. Nep°esnosti rekonstrukce lze omezit do únosné míry vhodn¥ nastavenými parametry Gaussova ltru.
4.3.2 Rekonstrukce jednoho °ezu
Obrázek 4.1: Schéma rekonstrukce jednoho vstupního °ezu metodou p°ír·stkové objemové rekonstrukce s vyzna£enými p°ístupnými stupni volnosti vstupních °ez· - varianta s 3 DOF
i-tého °ezu ltru f (u, v, n)
P°i rekonstrukci rekonstruk£ního
se provede konvoluce vzorku
oi (u, v, 0)
s 3D jádrem
(viz. 2.4)a hodnoty voxel· v bueru se p°epo£ítávají
podle následujících pravidel:
•
rekonstruk£ní hodnota
ri (x, y, z)
ri (x, y, z) = d (x, y, z, tslice ) ri−1 (x, y, z) + (1 − d (x, y, z, tslice ))
oi (u, v, 0) f u − u0 , v − v 0 , 0 − n0
X u0 ,v 0 ,n0 ∈D(f )
•
váha
wi (x, y, z) wi (x, y, z) = d (x, y, z, tslice ) wi−1 (x, y, z) + (1 − d (x, y, z, tslice ))
X u0 ,v 0 ,n0 ∈D(f )
•
stá°í
ti (x, y, z)
f u − u0 , v − v 0 , 0 − n0
20
KAPITOLA 4. OBJEMOVÁ REKONSTRUKCE Z EZ
, kde
(x, y, z) = Ti (u0 , v 0 , n0 ).
(u, v, n)
je sou°adný systém jednotlivých vzork·, p°i£emº
u
a
v
jsou sou°adnice udá-
vající pozici vzorku v rovnob¥ºné rovin¥ rovnob¥ºnou s aktuálním °ezem a pozici mimo °ez - tzn. o vzorku
(u, v, 0)
víme, ºe leºí p°ímo ve vstupním °ezu.
je sou°adný systém rekonstruk£ního bueru.
Ti
je transforma£ní matice pro p°evedení
jednoho sou°adného systému na druhý. Transforma£ní matici a translace)
i-tého
Hodnota stá°í
n udává (x, y, z)
Ti
udává poloha (tj. rotace
vstupního °ezu.
ti (x, y, z)
je hodnota na pozici
(x, y, z)
v bueru stá°í, který uchovává
wi (x, y, z) je hodnota z bueru vah, kam se ukládají postupn¥ v²echny váhy, díky nimº se nakonec hodnoty ri (x, y, z) normalizují. Hodnota tslice udává timestamp v dob¥ vloºení °ezu. Funkce d (x, y, z, tslice ) je funkce rozpadu, která vrátí hodnotu v rozmezí h0; 1i. B¥hem £asu funkce klesá k 0. Více v dal²í podkapitole 4.3.3. Po vloºení k °ez· se rekonstruovaná hodnota ik (x, y, z) získá normalizováním rekonstruk£ní hodnoty rk (x, y, z):
timestamp, kdy byl naposledy vloºen nový vzorek. Váha
ik (x, y, z) =
rk (x, y, z) wk (x, y, z)
Rekonstruk£ní algoritmus °ezu je vizualizován na obrázku 4.1. Je nutno pro faktickou p°esnost dodat, ºe rekonstruk£ní ltr je pro názornost vizualizován na obrázku jako Gaussova k°ivka, i kdyº 3D Gauss·v ltr vypadá jinak - viz. obrázek 4.2.
Obrázek 4.2: 3D Gaussovo jádro s vý°ezem a vyzna£enými izoplochami
Buery vah
wi (x, y, z)
a stá°í
ti (x, y, z)
jsou díky vlastnostem vstupních °ez· zís-
kaných s 3 DOF (vyzna£ených na obr. 4.1) implementovány jako 2D buery, protoºe hodnoty vah m¥ru
z)
wi (x, y, z)
a stá°í
ti (x, y, z)
jsou pro v²echny voxely v jedné °ad¥ (v roz-
stejné. Pokud by se uvaºovalo o roz²í°ení na 6 DOF, musel by kaºdý voxel mít
vedle rekonstruované hodnoty je²t¥ vlastní hodnotu váhu a sta°í, tzn. roz²í°it buer vah a stá°í na 3D buer.
4.3. VZDÁLENOSTN
VÁENÁ INTERPOLACE
21
4.3.3 asová prom¥nnost rekonstrukce Díky rozpadové funkci mohou nové vzorky p°i£ítat ke star²ím v náleºitém pom¥ru vzhledem k jejich stá°í. Star²í vzorky jsou postupn¥ p°episována nov¥j²ími. Výhodou tohoto p°ístupu je, ºe jiº p°i vloºení n¥kolika vstupních °ez· existují relevantní rekonstruovaná data, která se s vkládáním dal²ích °ez· zp°es¬ují i s ohledem na star²í data v bueru. Jako rozpadová funkce se pouºívá nap°. jednoduchá klesající exponenciální funkce
d (t) = x−at ,
kde
a
je parametr ur£ující rychlost stárnutí dat a
daná konstanta, pro kterou platí, ºe
x > 1,
x
je n¥jaká, p°edem
aby funkce m¥la klesají tendenci. Dal²í
jednoduchou osv¥d£enou funkcí je nelineární funkce, která po n¥jaký p°edde novaný £as £eká, neº za£ne exponenciáln¥ klesat.
22
KAPITOLA 4. OBJEMOVÁ REKONSTRUKCE Z EZ
Kapitola 5
Povrchová rekonstrukce z °ez· P°i povrchové rekonstrukci [14] se eliminují prostorová data obsaºená ve vstupních °ezech na omezenou oblast zájmu. Dále se ze vstupních °ez· získávají kontury a zbytek (nap°. vnit°ní objem zkoumaného t¥lesa) se zanedbává. V porovnání s objemovými rekonstrukcemi v kap. 4 mají povrchové men²í datový vstup, proto jsou také o poznání mén¥ výpo£etn¥ náro£né. Nevýhodou ale z·stává fakt, ºe redukovaná informace zna£n¥ sniºuje výpov¥dní hodnotu zrekonstruovaných dat. Záleºí proto na konkrétním pouºití daného p°ístupu rekonstrukce ve vztahu ke speci kovaného vy²et°ení. Povrchové rekonstrukce se pouºívají p°edev²ím v porodnictví pro globální vy²et°ení plodu na p°ítomnost vývojových vad. S jejím dal²ím vyuºitím se v budoucnosti po£ítá i nap°. v ortopedii pro zobrazení opot°ebení kloub· nebo v kardiologii pro vizualizaci nap°. srde£ních chlopní. Na za£átku rekonstrukce se data nejprve p°ipravují pomocí
segmentace, nebo jiného
klasi ka£ního algoritmu, £ímº se vyty£í oblast zájmu. V dal²ím kroku se automaticky nebo manuáln¥ analyzují obrazové body v °ezech, ke které struktu°e náleºí. M·ºe se k tomu vyuºít jednoduché prahování, nebo sloºit¥j²í so stikovan¥j²í segmenta£ní metody zaloºené na statistických nebo geometrických vlastnostech analyzovaných vstupních dat. Na obrázku 5.1 je vid¥t ideální výsledek po segmentaci. Proces segmentace je velmi náro£ný a pro kaºdou tká¬ovou strukturu by se mohl nalézt ideální segmenta£ní algoritmus, a´ uº automatizovaný nebo semiautomatický, kdy jsou hlavní rozhodovací operace sv¥°eny operátory. P°ehled pouºívaných segmenta£ních metod shrnuje Nobel [21]. Krom¥
Obrázek 5.1: Ukázka ultrazvukového snímku p°ed a po ideální segmentaci
23
24
KAPITOLA 5. POVRCHOVÁ REKONSTRUKCE Z EZ
segmentace je v £lánku o pouºití knihovny VTK [1] pro ultrazvuková medicínská data popisován i dal²í kroky povrchové rekonstrukce. Tato práce se dále nezabývá segmenta£ními algoritmy. U zde uvedených metod povrchové rekonstrukce p°edpokládáme uniformní vstup ideální kontury. Metody rekonstrukce se d¥lí do dvou, p°ístupem odli²ných, skupin: p°ímé a nep°ímé rekonstrukce.
5.1 P°ímé rekonstrukce P°ímé rekonstruk£ní metody vytvá°ejí p°ímo z kontur sí´ trojúhelník·. Výhodou je, ºe jiº
triangulovaný model je jednoduchý na vykreslení (viz. kap. 6.1). Ale samotné vy-
tvá°ení trojúhelníkové sít¥, kde se jednotlivé trojúhelníky od sebe jen málo li²í, m·ºe být problematické. Pokud totiº p°i rekonstrukci vznikají v trojúhelníkové síti p°íli² odli²né trojúhelníky, má to za následek neºádoucí artefakty p°i vykreslování, konkrétn¥ p°i Gourandov¥ stínování (6.1.2.2), které lineárn¥ interpoluje barvu mezi vrcholy trojúhelník·. Nevýhodou metody p°ímé rekonstrukce je, ºe musí °e²it spoustu mezních situací, které musí být dostate£n¥ o²et°eny, coº efektivní provedení zna£n¥ komplikuje. Na druhou stranu to ale umoº¬uje kaºdý podproblém °e²it speci ckou logikou.
5.1.1 Delaunayova triangulace Triangulace má na vstupu body z kontur °ez· a tyto body dále zpracovává. Delaunayova triangulace (viz. [14]) je duální operace k tvorb¥ Voroninova diagramu (viz. obr. 5.2) ve 3D a je to jedna k nejroz²í°en¥j²ích metod triangulace z bod· libovoln¥ leºících v prostoru. Na Delaunayov¥ triangulaci stojí i algoritmus [3], který prezentuje prov¥°ené a robustní algoritmy produkující sí´ z £ty°úhelník·.
Obrázek 5.2: Delaunayova triangulace z Voroinova diagramu
5.2. NEPÍMÉ REKONSTRUKCE
25
5.2 Nep°ímé rekonstrukce Nep°ímé rekonstruk£ní metody nevytvá°ejí rovnou z kontur triangulovaný model, na rozdíl od p°ímých metod, ale nejprve si vytvo°í ke vstupním konturám tzv.
function
distance
(DF). DF je funkce, která kaºdému bodu v prostoru p°i°azuje vzdálenost od
povrchu rekonstruovaného t¥lesa. Povrch t¥lesa je tedy získán vykreslením izoplochy na hladin¥ o hodnot¥ 0. Hodnoty DF v rovinách kontur jsou interpolovány a práv¥ zp·sob interpolace ur£uje kvalitu a náro£nost celé metody. Konkrétní metody vytvá°ení DF se li²í zp·sobem interpolace dat v DF - tedy sm¥r a druh interpolace: od nejjednodu²²í lineární interpolace p°es sloºité interpolace, které mohou m¥nit sv·j sm¥r v kaºdém bodu prostoru. Výhodou oproti p°ímým metodám je fakt, metody nep°ímé rekonstrukce °e²í díl£í problémy komplexn¥ji neº metody p°ímé rekonstrukce. To ale také znamená, ºe speci cké problémy (nap°. v¥tvení, nekonvexní t¥lesa) nemohou být explicitn¥ ovlivn¥ny pomocí n¥jaké vnit°ní logiky. Podkapitola 5.2.1 se zabývá interpola£ními technikami, kterými se získává DF. Dal²í dv¥ podkapitoly se zabývají dv¥ma r·znými p°ístupy pro zobrazení nulové izoplochy v DF. Podkapitola 5.2.2 popisuje výpo£etn¥ náro£n¥j²í p°ímé vykreslování DF a podkapitola 5.2.3 uvádí výpo£etn¥ rychlej²í metody, kdy se nejprve nulová izoplocha DF trianguluje. Triangulovaná izoplocha se poté vykresluje konzervativními renderovacími metodami popsanými v kap. 6.1.
5.2.1 Výpo£et distance function Pro jednotnost v této práci je zavedena konvence, ºe DF nabývá vn¥ vysegmentovaného objektu nezáporných hodnot a uvnit° záporných hodnot. Nulová izoplocha tedy náleºí k vn¥j²ku. V praxi to ale m·ºe být opa£n¥ a nebo se p°íslu²nost nulové izoplochy m·ºe li²it - náleºí na implementaci. Jako vstupní data se p°edpokládají mnoºiny úse£ek reprezentující danou konturu °ezu. V základním algoritmu
shaped-based interpolation
se vytvá°ení DF nejprve
pro kaºdý °ez dopo£ítá DF v jeho celé rovin¥ pomocí metody Manhattanské vzdálenosti (viz. 2.7) do diskrétní m°íºky. Jednotlivé roviny v prostoru se poté lineárn¥ interpolují. Shaped-based interpolation je nejjednodu²²í postup pro vypo£tení DF, nedává ale p°esné výsledky. Dal²í algoritmy, které se snaºí vytvá°et DF dopl¬ováním Eukleidovské vzdálenosti (viz. 2.8), jsou uvedené zde [14].
5.2.2 P°ímé zobrazení izoplochy P°i p°ímém zobrazení izoplochy se nevytvá°í ºádný model oproti metodách triangulace izoplochy. Tato metoda je výpo£etn¥ náro£n¥j²í, protoºe tu nem·ºe být uplatn¥no stínování jako u triangulovaného povrchu. Navíc se p°i kaºdém posunu, £i oto£ení musí celé zobrazení p°epo£ítat. Izoplocha DF se zobrazí obdobným zp·sobem jako zobrazuje raycasting objemová data (6.2). Nejprve se skrz výsledný pixel na stínítku vy²le paprsek, který projde voxely, které neobsahují pr·se£ík s nulovou izoplochou. Poté se vypo£ítá pr·se£ík paprsku s izoplochou v bu¬ce, která pr·se£ík obsahuje. Nakonec se vypo£te stínování. Tento algoritmus se kv·li nemoºnosti pouºít stínování vyhodnocuje pro kaºdý výsledný obrazový bod.
26
KAPITOLA 5. POVRCHOVÁ REKONSTRUKCE Z EZ
5.2.3 P°ímé zobrazení izoplochy: Triangulace izoplochy 5.2.3.1 Pochodující kostky Jako první krok si p°evezeme DF do 3D m°íºky, kde není hodnota uloºena v bu¬ce m°íºky, ve vrcholech bu¬ky (tedy konverzi z voxel· na objemové bu¬ky). Podle zavedené konvence p°evedeme hodnotu DF na binární hodnotu: vn¥ / vevnit°. P°i pr·chodu p°es 3D m°íºku binárních hodnot kontrolujeme u kaºdé prostorové bu¬ky m°íºky (dále kostka) její hodnoty ve vrcholech. Pokud v²echny vrcholy nabývají stejné hodnoty, je celá kostka vn¥, nebo vevnit° a tudíº není sou£ástí vytvá°eného povrchu. Pokud ale hodnoty ve vrcholech nejsou identické, hodnoty 8 vrchol· kostky jsou indexem v tabulce v²ech 256 (=
28 )
moºných variací kon gurace(na obrázku 5.3 jsou vyobrazeny v²echny unikátní
kon gurace hodnot vrchol·).
Obrázek 5.3: 15 unikátních kon gurací pochodujících kostek (pozn. u p°íklad· na obrázku se p°edpokládá, ºe kon gurace kostek je invertibilní a ºe kostka m·ºe být oto£ena)
Kaºdá, jiº sestavená kon gurace kostky se jiº skládá jen z trojúhelník·. P°esná poloha vrchol· trojúhelníku v rámci hrany se získá lineární interpolací. Dále se dopo£ítají pro trojúhelníky normály interpolací z odhadnutých normál vrchol· kostky [26]. Pochodující kostky je oblíbený algoritmus pro triangulaci, ale jeho nevýhodou je velké mnoºství vygenerovaných trojúhelník·, které se komplikovan¥ eliminují. Dal²ím problémem je, ºe p°i speci cké kon guraci sousedních kostek vznikne v kone£ném modelu díra, coº by m¥l vy°e²it algoritmus obdobný jako tento - pochodující £ty°st¥ny.
5.2.3.2 Pochodující £ty°st¥ny Pochodující £ty°st¥ny je alternativa k algoritmu pochodujících kostek. Tento zp·sob triangulace [26] °e²í problém d¥r v síti trojúhelník· oproti pochodujícím kostkám. Výhoda metody pochodujících £ty°st¥n· je snadný p°evod z m°íºky objemových dat - jedna z metod umíst¥ní £ty°st¥n· do prostoru je na obrázku 5.4. Nevýhodou z·stává vysoký po£et trojúhelník·, který je u tohoto algoritmu je²t¥ vy²²í.
5.2. NEPÍMÉ REKONSTRUKCE
Obrázek 5.4: Rozd¥lení kostky na 5 £ty°st¥n·: ²ed¥ vyzna£en jeden £ty°st¥n
27
28
KAPITOLA 5. POVRCHOVÁ REKONSTRUKCE Z EZ
Kapitola 6
Rendering Rendering neboli vykreslování je zp·sob zobrazení dat [26]. V tomto p°ípad¥ jsou uvedeny speci cké zp·soby renderingu pro speci cké výstupy rekonstrukce: rendering povrchu pro povrchovou rekonstrukci (kap. 5) a rendering objemu a multiplane rendering pro objemovou rekonstrukci (kap. 4).
6.1 Rendering povrchu Tento p°ístup se jinak nazývá
surface rendering a je ur£en pro vizualizaci dat získaných
povrchovou rekonstrukcí. Vstupními daty pro tuto renderovací metodu je triangulovaný model. Podkapitoly se postupn¥ zabývají výslednou reprezentací modelu a stínováním.
6.1.1 Reprezentace Povrch se zobrazuje ve dvou základních reprezentacích: jako drát¥ný model a povrchový model.
6.1.1.1 Drát¥ný model Drát¥ný model (neboli
wire-frame model )je mén¥ výpo£etn¥ náro£ný pro vykreslení po-
vrchu, a tudíº i nejrychlej²í a nejpohotov¥j²í. Povrch se vykresluje jako sí´ £ar. Pouºívá se pro zobrazení nesourodých b°i²ních struktur a speci ckých srde£ních struktur (nap°. defekt· srde£ní p°epáºky). S nár·stem výpo£etních kapacit, které mají nov¥j²í modely sonograf· s prostorovou reprezentací k dispozici, se od pouºívání drát¥ných model· ustupuje, protoºe u sloºit¥j²ích struktur p·sobí drát¥ný model zmate£n¥ a nep°ehledn¥.
6.1.1.2 Povrchový model Vykreslování povrchového modelu (neboli
surface rendering ) se jiº stínuje podle ur£itého
osv¥tlovacího modelu. O stínování více v podkapitole 6.1.2. Povrchový model se nejvíce vyuºívá v echokardiologii a porodnictví. Experimentuje se v²ak i s jeho vyuºíváním mimo jiné i v ortopedii pro zobrazení po²kozených kloub·. 29
30
KAPITOLA 6. RENDERING
Povrchovým modelem se myslí jiº triangulovaný model, tzn. model popsaný sítí trojúhelník·. Aby nedocházelo p°i vykreslování k neºádoucím artefakt·m, m¥lo by být zaji²t¥no pravidlo, ºe v²echny trojúhelníky jsou p°ibliºn¥ stejn¥ velké. P°i zobrazování se vyhodnocuje osv¥tlovací model, pro n¥º je nutná znalost normál. Ideální je znalost normál pro v²echny body na izoplo²e, v praxi se v²ak osv¥tlovací model spokojí s normálou pro kaºdou plo²ku (resp. trojúhelník) na modelu. Tato reprezentace je v dne²ní dob¥ v po£íta£ové gra ce nejpouºívan¥j²í, proto má pro zobrazování ²irokou podporu i u b¥ºných gra ckých akcelerátor·, coº ho hodn¥ zvýhod¬uje oproti objemovým zobrazovacím metodám.
6.1.2 Stínování Stínování (neboli
shading )
je proces, který d¥lá kompromis mezi kvalitou a výpo£etní
náro£ností zobrazení 3D povrchového modelu. Bez pouºití stínování by se p°i vykreslování musela pomocí osv¥tlovacího modelu vyhodnocovat obrazová informace pro kaºdý výsledný obrazový bod. Pokud se v²ak pouºije stínování, tak se p°esná obrazová informace vyhodnocuje jen pro n¥kolik obrazových bod· a ostatní se speci ckou metodou doplní podle konkrétního pouºitého stínování. Proces dopln¥ní jednoho obrazového bodu pomocí stínování je výpo£etn¥ mén¥ náro£ný neº vyhodnocení (£asto velice sloºitého) osv¥tlovacího modelu, proto stínování pro vykreslování znamená zrychlení. Míra urychlení vykreslování závisí mimo jiné na pouºité metod¥ stínování.
Obrázek 6.1: Ukázka uvedených stínovacích metod; zleva: konstantní, Gouraudovo, Phongovo
6.1.2.1 Konstantní stínování
at shading ) se vyhodnotí barva pro jednu normálu kaºdého
P°i konstantním stínování (
trojúhelníku a vyhodnocenou barvou se vyplní celý trojúhelník. To má za následek jasn¥ viditelné hrany trojúhelník· a výsledek nevypadá jako hladké t¥leso, takºe pokud to výpo£etní kapacita dovoluje, doporu£uje se pouºít jiné, sloºit¥j²í stínování. Konstantní stínování je nejjednodu²²ím a nejrychlej²ím stínováním.
6.1.2.2 Gouraudovo stínování U Gouraudova stínování se na rozdíl od konstantního stínování nevyhodnocuje osv¥tlovací model v bod¥ normály trojúhelníku, ale normály vrcholu. Nejedná se o normálu,
6.2. RENDERING OBJEMU: RAY-CASTING
31
jak se normála de nuje, ale o interpolovanou normálu z normál sousedních trojúhelník·. Po vyhodnocení osv¥tlovacího modelu ve vrcholech se barva mezi vrcholy lineárn¥ interpoluje. Tím se dosáhne hladkého stínování p°i relativn¥ malé výpo£etní náro£nosti. Gouraudovo stínování je u star²ích 3D sonograf· nejpouºívan¥j²í stínování. S nár·stem výpo£etní kapacity nov¥j²ích sonograf· s prostorovou rekonstrukcí se ale voln¥ p°echází k náro£n¥j²ímu Phongov¥ stínování (v kap. 6.1.2.3), které dává o n¥co lep²í dojem z prostorové reprezentace.
6.1.2.3 Phongovo stínování U Phongova stínování se pro kaºdý obrazový bod interpoluje normála a vyhodnocuje se osv¥tlovací model. Touto metodou se dosahuje nejhlad²ího stínování ze zde uvedených metod - za cenu vy²²í výpo£etní náro£nosti. P°íklady pro v²echna uvedená stínování jsou vyobrazeny na obrázku 6.1.
6.2 Rendering objemu: ray-casting Metody pro p°ímé zobrazování objemu (
direct volume rendering ) slouºí pro zobrazování
dat, které vznikly rekonstrukcemi popsanými v kap. 4. Nejpouºívan¥j²í metodou je metoda vrhání paprsku (
ray-casting ). S rozvojem technologií p°icházejí nové moºnosti nejen
v zobrazování a tak vznikají experimentální metody jako nap°. stereoskopické zobrazení [10] nebo zobrazování pomocí fraktál· [5]. N¥které z metod objemového renderingu jsou i s ukázkami uvedeny zde [17]. Ray-casting je zobrazovací metoda, kdy se z kaºdého výsledného obrazového bodu vy²le paprsek, který projde 3D m°íºkou reprezentující rekonstruovaná objemová data.
Obrázek 6.2: Metoda vrhání paprsk· neboli ray-casting
32
KAPITOLA 6. RENDERING
P°i letu paprsek sbírá p°ísp¥vky z bun¥k, kterými prolétl (viz. obrázek 6.2). Metodami urychlení ray-castingu a jiných renderingových metod se zabývá Mar²álek [18]. P°ístupy s dal²ím nakládáním s jednotlivými p°ísp¥vky dále rozd¥lují jednotlivé typy ray-castingu [26].
6.2.1 Maximum intenzit Tento typ ray-castingu (
maximum intensity projection ) hledá v posbíraných p°ísp¥vcích
podél paprsku maximální hodnotu, kterou poté promítne na stínítko (tedy do odpovídajícího obrazového bodu).
6.2.2 Suma intenzit Dal²í p°ístup (
summed intensity projection )
získá výslednou hodnotu se£tením v²ech
p°ísp¥vk· podél daného paprsku.
6.2.3 Pr·m¥r intenzit Poslední uvedený p°ístup (
average intensity projection )
je podobný p°edchozímu. Zde
se také se£tou v²echny p°ísp¥vky podél paprsku, ale s tím rozdílem, ºe se poté hodnota vyd¥lí po£tech p°ísp¥vk·. Zobrazí se tedy pr·m¥r ze v²ech p°ísp¥vk·.
6.2.4 Povrchová hodnota Aby ray-casting mohl zobrazit povrchovou hodnotu, musí mít k dispozici vedle zrekonstruovaných objemových dat, také obdobnou m°íºku o stejných rozm¥rech, která ve svých voxelech nabývá binární hodnoty podle toho, zde jsou primární objemová data vn¥ nebo uvnit° zobrazovaného objektu. Takovou binární m°íºku lze získat nap°. metodami, kterými se vytvá°í distance function u nep°ímé povrchové rekonstrukce (viz. 5.2.1) nebo uzp·sobenou metodou segmentace objemových dat, nap°. povaºování kaºdé jasové hodnot¥ (s tolerancí) za povrch, £ímº vznikne mnoºina iso-povrch· [4], z nichº se vybere ten správný. V tomto p°ístupu se do daného obrazového bodu promítne hodnota z primárních objemových dat ze sou°adnic, na kterých je umíst¥ná v binární m°íºce první bu¬ka s p°íznakem vnit°ní struktury (£i povrchu) v dráze letu paprsku.
6.2.5 Vzdálenost povrchu Tento p°ístup je obdobný jako zobrazování povrchové hodnoty (6.2.4) s tím rozdílem, ºe se p°i detekci povrchu v binární m°íºce neuloºí povrchová hodnota, ale hodnota, která vyjad°uje hloubku povrchu v daném bodu. V tomto p°ístupu tedy uchovávání p·vodních zrekonstruovaných objemových dat vedle binární m°íºky ztrácí význam.
6.3. MULTIPLANE RENDERING
33
6.3 Multiplane rendering Multiplane rendering je dal²í zobrazovacím p°ístupem pro zobrazení rekonstruovaných objemových (voxelových) dat. Podstatou multiplane renderingu je zobrazení uºivatelsky navoleného °ezu. Zp·sob výb¥ru a zobrazení °ezu jiº popisuje konkrétní metoda. Mezi dv¥ nejpouºívan¥j²í metody multiplane renderingu pat°í rendering °ez· 6.3.1 a rendering hranic 6.3.2.
6.3.1 Rendering °ez· P°i zobrazování jako renderingu °ez· programové prost°edí umoº¬uje uºivatelovi interaktivn¥ vybrat libovolnou rovinu v objemu, která se následn¥ zobrazí jako °ez rekonstruovaným objemem. Pro lep²í orientaci v prostoru jsou v¥t²inou stále vyobrazeny t°i kolmé °ezy objemem (viz. obrázek 6.3). Pokud je pouºita vhodná objemová rekonstruk£ní metoda, tak by m¥l p°i dostatku vstupních dat libovolný °ez objemem vypadat jako snímek z konven£ního 2D sonografu. Tato zobrazovací metoda se jiº po dlouhou dobou vyuºívá v komer£ní sfé°e.
Obrázek 6.3: Schéma zobrazení objemových dat renderingem °ez·. Vlevo: kolmé zobrazovací roviny a uºivatelsky zadaný (£árkovaný) volný °ez. Vpravo: zobrazení objemových dat podél zadaného °ezu.
6.3.2 Rendering hranic Rendering hranic neboli
texture mapping
je dal²í multiplane rendering metoda, kde jsou
rekonstruovaná data zobrazena jako mnohost¥n, na jehoº kaºdou stranu je namapovaná textura odpovídající °ezu v daném míst¥. Uºivatel m·ºe hranicemi posouvat rovnob¥ºn¥ s p·vodními, ale i na ²ikmo. Namapování nových °ez· probíhá real-time. S mnohost¥nem (viz. obrázek 6.4)lze volno pohybovat a otá£et.
34
KAPITOLA 6. RENDERING
Obrázek 6.4: Schéma zobrazení objemových dat renderingem hranic mnohost¥nu. Vlevo: mnohost¥n obalující oblast zájmu s texturami namapovanými na jeho st¥ny; £árkovan¥ vyzna£ena posouvající se rovina a sm¥r posunutí. Vpravo: zobrazení mnohost¥nu po posunu roviny.
6.4 Rendering nepravideln¥ vzorkovaných dat Rendering nepravideln¥ vzorkovaných dat rovnou zobrazuje vstupní 2D ultrazvukové snímky bez nutnosti rekonstruovat prostorová data. Tyto algoritmy jsou zaloºené na umíst¥ní vstupních °ez· na speci ckou pozici do prostoru podle údaj· o trekování. Tyto renderovací algoritmy h·°e prezentují prostorovou informaci. Dále také mnoºství °ez· umíst¥ných v prostoru m·ºe p·sobit zmate£n¥, coº se s nár·stem vstupních °ez· jen zhor²uje. Metody pro vykreslování nepravideln¥ vzorkovaných dat jsou nap°. [11] [19] a [20].
Kapitola 7
Záv¥r Cílem této práce je zmapovat metody snímání a zpracování ultrazvukových dat pro prostorové zobrazení. Metody snímání jsou rozd¥leny do 3 skupin podle typu ultrazvukové sondy a podle rozloºení sníma£· na sond¥. Základní rozd¥lení tedy je na metody snímaní 1D sondou, 2D maticovou sondou a ultrazvukovým tomografem. Jak je v práci popsáno, zp·sob získávání elementárních dat 1D sondou a 2D sondou se neli²í. Tato práce se nezabývá sestavením elementárních signál·, tudíº p°edpokládá jako výstup snímání 1D sondy 2D °ez, který se dále zpracovává. Obdobn¥ výstupem snímání 2D sondou jsou 3D objemová data. Zpracování elementárních nasnímaných signál· u ultrazvukového tomografu je podstatn¥ sloºit¥j²í, protoºe u tomografu jsou zachyceny krom¥ p°ímo odraºených signál· i signály odraºené ²ikmo, odklon¥né a pr·chozí skrz. Proto se rekonstrukcí dat z ultrazvukového tomografu práce více nezabývá. Podrobn¥ji tedy práce zpracovává hlavn¥ metody rekonstrukce 2D °ez· získaných 1D sondou s pouºitím n¥kterého z uvedených trekování. Rekonstrukce prostorové informace z 2D °ez· se vyd¥lily do dvou hlavních skupin podle typu výstupních dat. D¥lí se na povrchové a objemové rekonstrukce. U povrchových rekonstrukcí se r·znými p°ístupy interpolují vysegmentované kontury vstupních °ez· a vzniká 3D povrchový model. Objemové rekonstrukce interpolují celé vstupní °ezy a výstupem jsou objemová data. Výsledek povrchové rekonstrukce je co do obsaºené informace chud²í, neº objemová data vzniklá objemovou rekonstrukcí. Proto se hlavn¥ uvaºuje o objemových rekonstrukcích, které mohou být renderovány jako povrchová data bez ztráty relevantní infromace. Renderovací metody pro objemová i povrchová data jsou v práci také popsány. Tato práce je stru£ným p°ehledovým £lánkem s £etnými odkazy na dopl¬ující literaturu. A£koliv se oblast zpracování prostorových dat velice rychle rozvíjí a mnohé jiº bylo objeveno, zapojení zobrazovacích technologií do b¥ºné praxe je velice dlouhodobý proces. Navíc je výzkum okolo medicínských zobrazovacích systém· velice ²iroký a spletitý. Tato práce by m¥la napomoci zorientovat se v ultrazvukových zobrazovacích systémem s prostorovou rekonstrukcí.
35
36
KAPITOLA 7. ZÁV
R
P°íloha A
Seznam pouºitých zkratek 1D
1 dimension
2D
2 dimensions
3D
3 dimensions
CT
Computed comography
DF
Distance function
DOF
Degree of freedom
FPS
Frames per seconds
MRI
Magnetic resonance imaging
USCT VUT
Ultrasound computed tomography
Vysoké u£ení technické
37
38
PÍLOHA A. SEZNAM POUITÝCH ZKRATEK
P°íloha B
Obsah p°iloºeného CD B.1 Text • 3d-ultrazvuk.pdf
- PDF soubor obsahující kompletní text bakalá°ské práce 3D
Ultrazvuk
• 3d-ultrazvuk-tex.zip
A
- balík ZIP v²ech zdrojových soubor· sázecího systému
L TEX
B.2 Zdroje lánky, které byly pouºity p°i psaní bakalá°ské práce a jsou dostupné v elektronické podob¥, rozd¥leny v adresá°i
zdroje do podadresá°· podle tématu.
• ostatni :
[34]: Clinical Application and Usefulness of XI VOCAL in Volume Measurement
[27]: Optimization of point spread function in ultrasound arrays [3]: Three-dimensional constrained Delaunay triangulation: A minimalist approach
[21]: Ultrasound Image Segmentation: A Survey [8]: XI VOCAL (eXtended Imaging VOCAL): a new modality for threedimensional sonographic volume measurement
• prehledy-o-ultrazvuku :
[6]: 3D ultrasound imaging: A review [7]: 3D ultrasound imaging: Basic principles, pitfalls, and clinical applications [30]: Medical Imaging by Ultrasound-Computertomography
• rekonstrukce :
[24]: 3D freehand ultrasound imaging system 39
40
PÍLOHA B. OBSAH PILOENÉHO CD
[4]: 3D medical image reconstruction [2]: 3D shape reconstruction using volume intersection techniques [1]: 3D Surface Reconstruction of Gray Level Ultrasonic Medical Images Based on VTK
[22]: Incremental volume reconstruction and rendering for 3D ultrasound imaging
[16]: Interpolation metod pixel nearest neighbour for 3D ultrasound reconstruction
[14]: Rekon²trukcie povrchov z neparalelných rezov s pouºitím interpola£ných metód
• rendering :
[17]: 3D visualizace v léka°ství [20]: A Decomposition Algorithm for Visualizing Irregular Grids [18]: Interactive Volume Rendering [19]: Area and Volume Coherence for E cient Visualization of 3D Scalar Functions
[5]: Fractal Geometry in 2D Matrix Array for Realtime 3D Ultrasound Imaging [11]: Raytracing Irregular Volume Data [10]: Real time Stereo 3D Ultrasound
• snimani :
[28]: 2-D array transducer with row-column addressing for 3-D imaging [32]: 3D-image reconstruction algorithm based on subaperture processing for medical ultrasonic imaging
[31]: A Two-Dimensional Array Probe that has a Huge Number of Active Channels
[12]: Quantitative 3D Ultrasound Imaging Using an Automated Image Tracking Technique
[29]: Two Dimensional Arrays for 3-D Ultrasound Imaging
• all.zip:
Balík ZIP v²ech uvedených £lánk·
Literatura [1] B. Asad¡, D. Zhi-jiang¡, S. Li-ning¡, K. Reza, and M. A. Fereidoun. 3D Surface Reconstruction of Gray Level Ultrasonic Medical Images Based on VTK.
World
Congress on Medical Physics and Biomedical Engineering, pages 31123116, 2006.
[2] J. C. Carr, W. R. Fright, A. H. Gee, R. W. Prager, and K. J. Dalton. 3D shape reconstruction using volume intersection techniques.
national Conference on Volume, 1998. [3] P. R. Cavalcanti and U. T. Mello.
Computer Vision; Sixth Inter-
Three-dimensional constrained Delaunay
triangulation: A minimalist approach. (http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.75.5185&rep=rep1&type=pdf ). [4] V. Cong and H. Q. Linh. 3D medical image reconstruction. . (http://www.fas.hcmut.edu.vn/webhn10/Baocao/PDF/VCong-Imaging.pdf ). [5] M. Ezhilarasi, M. Rajaram, and S. N. Sivanandham. Fractal Geometry in 2D Matrix Array for Realtime 3D Ultrasound Imaging.
Calicut Medical Journal, 2008.
(http://www.calicutmedicaljournal.org/2008/2/e5.pdf ). [6] A. Fenster and D. Downey.
3D ultrasound imaging: A review.
Medicine and Biology Magazine, IEEE, pages 4151, 1996.
Engineering in
[7] A. Fenster and D. Downey. 3D ultrasound imaging: Basic principles, pitfalls, and clinical applications, 2000. (http://www.jradiology.com/arts/20.pdf ). [8] H. A. G. Filho, L. L. D. da Costa, E. A. Júnior, C. R. Pires, L. M. M. Nardozza, and R. Mattar.
XI VOCAL (eXtended Imaging VOCAL): a new modality for
three-dimensional sonographic volume measurement.
Obstetrics, pages 9597, 2006.
Archives of Gynecology and
[9] J. Flusser. Zpracování obrazu a rozpoznávání 1. [10] M. P. Fronheiser, J. R. Noble, E. Light, and S. W. Smith. Ultrasound.
[11] M. P. Garrity.
Graphics.
Real time Stereo 3D
IEEE Ultrasonics Symposium, pages 22392242, 2007. Raytracing Irregular Volume Data.
ACM SIGGRAPH Computer
[12] J. Hossack, T. Sumanaweera, and S. Napel. Quantitative 3D Ultrasound Imaging Using an Automated Image Tracking Technique. pages 15931596, 2000. 41
Ultrasonics Symposium, IEEE,
42
LITERATURA
[13] M. Huptych, V. Chudá£ek, L. Lhotská, and J. ´astný. Úvod do biomedicínského inºenýrství. [14] J. Ilavský. Rekon²trukcie povrchov z neparalelných rezov s pouºitím interpola£ných metód. Master's thesis, MFF UK, Praha, 2008. [15] J. Kybic and J. Matas. Zobrazovací systémy v léka°ství 1, 2009. (http://cmp.felk.cvut.cz/cmp/courses/ZS1/slidy/). [16] P. Lacman and J. Za£al.
Interpolation metod pixel nearest neighbour for 3D
ultrasound reconstruction. (http://www.feec.vutbr.cz/EEICT/2006/sbornik/02-Magisterske_projekty/01-
Elektronika_a_komunikace/10-lacmanek.pdf ). [17] L. Mar²álek. 3D visualizace v léka°ství, 2008.
(http://cgg.mff.cuni.cz/seminar/Med2008-01/2008-01-31-marsalek.pdf ). [18] L. Mar²álek. Interactive Volume Rendering, 2009. (http://cgg.mff.cuni.cz/seminar/Med2009-04/AcceleratingVolRend.pdf ). [19] N. Max, P. Hanrahan, and R. Fraw s. Visualization of 3D Scalar Functions.
Area and Volume Coherence for E cient
ACM SIGGRAPH Computer Graphics, pages
2733, 1990. [20] H. Neeman.
A Decomposition Algorithm for Visualizing Irregular Grids.
SIGGRAPH Computer Graphics, pages 4956, 1990.
ACM
[21] J. A. Noble and D. Boukerroui. Ultrasound Image Segmentation: A Survey. 2006. [22] R. Ohbuchi, D. Chen, and H. Fuchs. Incremental volume reconstruction and rendering for 3D ultrasound imaging. Technical report. (http://www.cs.unc.edu/~fuchs/publications/IncrementalVolReconstr92.pdf ). [23] P. K. Pathak, R. Ji°ík, and J. Jan.
Degradation of reconstructed images under
lower number of equations for 3D Ultrasound transmission computer tomography.
Electrotechnic magazine, 2008.
[24] R. Petrºela and J. Jan. 3D freehand ultrasound imaging system. (http://www.feec.vutbr.cz/EEICT/2004/sbornik/03-Doktorske_projekty/01Elektronika/23-Petrzela.pdf ). [25] R. Petrºela and J. Jan. Metody rekonstrukce medicínských 3D ultrazvukových dat.
M¥°ící a °ídící technika v biomedicín¥, 2003.
[26] J. ára, B. Bene², J. Sochor, and P. Felkel.
Moderní po£íta£ová gra ka.
Computer
Press, ii. p°epracované vydání edition, 2005. [27] M. Sakhaei, A. Mahloojifar, and A. M. b. Optimization of point spread function in ultrasound arrays.
Ultrasonics, page 159165, 2006.
[28] C. H. Seo and J. Yen. 256 x 256 2-D array transducer with row-column addressing for 3-D imaging.
Ultrasonics Symposium, pages 2381 2384, 2007.
LITERATURA
43
[29] S. W. Smith, W. Lee, E. D. Light, J. T. Yen, P. Wolf, and S. Idriss. Two Dimensional
Ultrasonics Symposium,
Arrays for 3-D Ultrasound Imaging.
pages 1545 1553,
2002. [30] R. Stotzka, J. Würfel, T. O. Müller, and H. Gemmeke.
Medical Imaging by
Ultrasound-Computertomography, 2002. (http://www.stotzka.de/Publications/stotzka2002.pdf ). [31] S. Tezuka, S. Hashimoto, T. Togasaki, Y. Miyajima, and Y. Seo. A Two-Dimensional Array Probe that has a Huge Number of Active Channels.
Ultrasonics, pages 960
963, 2003. [32] F. N. Ucar, Y. Yamakoshi, and E. Yazgan. 3D-image reconstruction algorithm based on subaperture processing for medical ultrasonic imaging.
Technology, pages 2126, 2001.
[33] Wikipedia, the free encyclopedia.
Acoustical Science and
Medical Ultrasonography, poslední návst¥va
9.6.2009. (http://en.wikipedia.org/wiki/Medical_ultrasonography). [34] H.-S. Won, S.-J. Lee, and S.-M. Jun.
Clinical Application and Usefulness of XI
VOCAL in Volume Measurement, 2006. (http://www.medisonusa.com/library/48.pdf ). [35] J. Woo. A short History of the development of Ultrasound in Obstetrics and Gynecology, poslední návst¥va 9.6.2009. (http://www.ob-ultrasound.net/history1.html).
