VYSOKÉ UČENÍ TECHNICKÉ V BRNĚ Fakulta elektrotechniky a komunikačních technologií Ústav telekomunikací
Ing. Kamil Říha, Ph.D.
NOVÉ METODY ANALÝZY GEOMETRIE KREVNÍHO ŘEČIŠTĚ V OBRAZOVÝCH SEKVENCÍCH NOVEL METHODS FOR ANALYSIS OF BLOODSTREAM GEOMETRY IN IMAGE SEQUENCES Zkrácená verze habilitační práce
Brno 2014
KLÍČOVÁ SLOVA Zpracování obrazu, ultrazvuk, arterie, detekce objektů, optický tok.
KEYWORDS Image processing, ultrasound, artery, object detection, optical flow.
HABILITAČNÍ PRÁCE JE ULOŽENA:
Vysoké učení technické v Brně Fakulta elektrotechniky a komunikačních technologií vědecké oddělení
© Kamil Říha, 2014 ISBN 978-80-214-4877-3 ISSN 1213-418X
OBSAH 1 ÚVOD ...................................................................................................................... 4 2 CÍL HABILITAČNÍ PRÁCE .................................................................................. 5 3 SOUČASNÝ STAV ŘEŠENÉ PROBLEMATIKY ............................................... 5 4 VOLBA TECHNIKY SNÍMÁNÍ ............................................................................ 8 4.1 Snímání v NIR světle ........................................................................................................... 8 4.1.1 4.1.2
Pořizování testovacích snímků .................................................................................................................. 9 Výsledky pro různé testovací osoby ........................................................................................................ 10
4.2 Snímání termokamerou ...................................................................................................... 10 4.3 Snímání pomocí ultrazvuku ............................................................................................... 11
5 DETEKCE TEPEN ............................................................................................... 12 5.1 Detekce tepny v podélném řezu s pomocí Houghovy transformace.................................. 12 5.2 Pokročilá detekce podélného řezu tepny............................................................................ 15 5.2.1 5.2.2
Úspěšnost SVM ....................................................................................................................................... 15 Aplikace metody RANSAC ....................................................................................................................... 16
5.3 Analýza příčného řezu tepny s pomocí Houghovy transformace ...................................... 16 5.4 Automatická detekce arteriálních kružnic v sekvenci obsahující pulzující pohyb ............ 18 5.5 Automatická detekce arteriálních kružnic pomocí modifikovaného Viola-Jones detektoru ........................................................................................................................................... 19
6 SLEDOVÁNÍ ARTERIÁLNÍ STĚNY S POMOCÍ OPTICKÉHO TOKU ......... 23 7 DODATEČNÉ ZPRACOVÁNÍ VÝSLEDKŮ ..................................................... 25 7.1 Definice inicializační plochy ............................................................................................. 25 7.2 Experimentální výsledky ................................................................................................... 28
8 ZÁVĚR .................................................................................................................. 29 9 SEZNAM POUŽITÉ LITERATURY ................................................................... 31
3
1
ÚVOD
Analýza vlastností krevního řečiště je velmi perspektivní a stále se rozvíjející oblastí lékařských diagnostických postupů. K velmi často řešeným problémům v neinvazivní klinické diagnostice kardiovaskulárních chorob patří automatizace procesu stanovení parametrů oběhového systému, proto je v posledních letech věnována značná pozornost výzkumu možností metod pro analýzu geometrických parametrů krevního řečiště s využitím různých metod akvizice dat, které umožňují snímání 2D statického rozložení krevního řečiště, a které zachycují i jeho dynamiku (videosekvence). Nejdůležitější parametry krevního řečiště jsou obsaženy právě v jeho dynamických změnách a slouží k hodnocení fyziologických parametrů, zejména na základě charakteru změn geometrie při změnách krevního tlaku. V této práci jsou představeny nové možnosti určování statických a dynamických parametrů krevního řečiště s využitím moderních neinvazivních technik snímání medicínských obrazů. Při změnách tlaku v arteriální části krevního řečiště dochází nejen ke změně tlaku v propojené tepenné síti, ale tyto tlakové změny zapříčiňují i změny řady dalších parametrů, jejichž počet je konečný a jsou obecně známy. Patří mezi ně zejména objemové změny artérií, změny tvaru pulzové vlny, rychlost šíření pulzové vlny a další minoritní parametry. Matematický model objemových změn artérií je poměrně složitý, protože arteriální stěna je tvořena několika vrstvami s různou tuhostí a navíc se její vlastnosti mění s časem a stavem subjektu, zejména s rostoucím věkem. V současné době není v praxi známa spolehlivá metodika, která by umožňovala plně automaticky, kontinuálně a neinvazivně měřit změny geometrie dynamicky se měnících částí krevního řečiště ve snímcích, které by bylo možné pořídit neinvazivně běžně dostupným medicínským zařízením. Kromě standardních technik spojitého měření dynamických parametrů krevního řečiště využívajících tlakovou manžetu existuje snaha o určení takových parametrů jinými cestami. Hlavním cílem této práce proto bylo nalezení nových metod extrakce signálů, ze kterých by bylo možné následně stanovovat různé medicínské parametry. Nebylo cílem popsání a sestavení kompletní metodiky pro výpočet takových parametrů, protože komplexní klinické postupy využitelné v lékařské praxi vyžadují dlouhodobou podporu specializovaného lékařského týmu. Cílem, který si vytýčil autor tohoto textu, byl výzkum metod využitelných jako kvalitní technický základ při řešení tohoto komplexního problému, tedy metod pro ustanovení metodiky extrakce biologických signálů pomocí analýzy 2D obrazů a obrazových sekvencí. Na základě předběžných úvah byla za účelem vyhodnocení geometrických změn v krevním řečišti testována možnost využití maticového CMOS snímače citlivého v NIR světelném spektru. Světlo v tomto rozsahu vlnových délek je velmi dobře pohlcováno hemoglobinem, což byl dobrý předpoklad pro snímání krevního řečiště. Základním předpokladem pro využití tohoto principu jako nástroje pro datovou akvizici bylo získání použitelných pokusných obrazů arterií pomocí zobrazování v blízké infračervené části spektra. Výsledky experimentů bohužel nepotvrdily vhodnost takového principu snímání pro zamýšlený účel, protože se nepodařilo získat obrázky s dostatečně ostrými konturami artérií. Zatímco obrazy žil byly relativně kvalitní, arterie se podařilo identifikovat pouze u některých testovacích osob. I u těchto osob však obrysy arterií nebyly dostatečně ostré, kvalita obrazu byla navíc silně závislá na subjektu, ze kterého byl obraz snímán. To souvisí mimo jiné i s nestejnou hloubkou umístění artérií pod povrchem kůže. Z neostrých kontur artérií nebylo možné dostatečně přesně hodnotit tlakové změny, ke kterým v nich dochází. Díky tomuto experimentálnímu výsledku se výzkum dále ubíral jiným směrem: pro analýzu dynamických změn úseku artérie se ukázalo jako velmi vhodné využít data (obrazové sekvence) nasnímaná pomocí ultrazvukového skeneru – sonografu. V další práci pak byla provedena řada experimentů založených na ultrazvukovém snímání obrazů a obrazových sekvencí tepen a hodnocení jejich dynamických změn. Ty vedly k původním řešením (metodám analýzy), z nichž dvě byly registrovány jako patenty a jedno bylo registrováno jako průmyslový vzor. Dosažené výsledky řešení přispěly ke znalostem v oblasti, která je celosvětově předmětem rozsáhlého výzkumu. 4
2
CÍL HABILITAČNÍ PRÁCE
Cílem této habilitační práce je vypracování metodiky pro automatické měření geometrických parametrů arteriální části krevního řečiště s pomocí sekvence snímků pořízených neinvazivní zobrazovací technikou. Fyziologicky mohou těmito částmi být jakékoli tepny, které mají kruhovitý příčný řez a jsou v příslušných řezech snímatelné s pomocí dané snímací techniky. Jedná se tedy zejména o velké tepny uložené relativně blízko povrchu (krční tepna), ale velmi podobné vlastnosti vykazuje i např. aorta, jejíž snímání pomocí navržené techniky je také žádoucí. V teoretické části si práce bere za cíl na prvním místě výběr vhodné zobrazovací techniky, která bude splňovat podmínku neinvazivnosti, přičemž je výhodou schopnost zobrazení tepenných částí krevního řečiště uložených hlouběji v těle (jako je zmiňovaná aorta). Jádro práce představuje zejména návrh nových a spolehlivých metod pro detekci dvou charakteristických řezů tepen, tedy podélného a příčného tak, aby bylo možné s pomocí výsledků detekce specifikovat oblast, kde se nachází arteriální stěny. Další, navazující teoretickou částí je nalezení vhodné metody pro sledování a měření geometrických parametrů tepen, které byly detekovány s pomocí detekční procedury z předchozího kroku. Výstupem sledovací a měřicí procedury je pak křivka srdečního cyklu, u které je okamžitá hodnota vyjadřována v pixelech, které jsou však na základě známého rozlišení sonografu přepočitatelné na základní fyzikální veličinu: délku. Výsledné křivky jsou tedy průběhem okamžité hodnoty daného geometrického parametru vyjádřeného v závislosti na čase, respektive na pořadovém snímku ve videosekvenci (vztah mezi pořadovým číslem snímku a bodem na časové ose je vzhledem ke známému a konstantnímu parametru snímkové frekvence analogický). V praktické části této práce je cílem provedení testování navržených detekčních metod tak, aby bylo možné charakterizovat jejich úspěšnost na databázi referenčních snímků s ručně vyznačenými oblastmi zájmu. U vybrané metody s nejlepšími vlastnostmi je vhodné provést testování na různých typech snímacího zařízení a pro tepny s výskytem aterosklerózy. Cílem pedagogické části habilitační práce je zapojení studentů doktorského studia do systematické vědecké práce vedoucí k nalezení nových technik analýzy obrazu a obrazových sekvencí zejména pro medicínské využití, není však vyloučeno ani využití takových technik analýzy v jiných oborech.
3
SOUČASNÝ STAV ŘEŠENÉ PROBLEMATIKY
Pro kardiovaskulární systém se nabízí celá řada možností signálových analýz. V poslední době například vzrůstá zájem o určení cévní poddajnosti, která se odvozuje z centrální tlakové křivky. Současnými metodikami, využívajícími např. sfygmografii (přístroj Arteriograf, kde je arterie analyzována s pomocí natlakované manžety) nebo aplanační tonometrii (přístroj SphygmoCor, kde je arterie částečně stlačena a tlakový senzor snímá časový průběh tlaku působícího na přítlačnou sondu) je možno získat záznam pulzové křivky pouze z přístupných cév (např. radiální, brachiální, karotická a femorální tepna) a pak složitými matematickými postupy odhadovat přibližný tvar centrální aortální křivky, ze které jsou pak následně vypočítávány indexy jako augmentační tlak, augmentační index, index subendokardiální viability apod. [1]. Do této skupiny patří i možnosti stanovení rychlosti pulzové vlny, kdy v současné době nejčastěji měřený karotido-femorální index, často vydávaný za rychlost šíření pulzové vlny po aortě, ve skutečnosti rychlosti neodpovídá [2]. Z fyziologického i patofyziologického hlediska je zajímavým indexem citlivost baroreflexu. V současné době se celosvětově vypočítává pouze srdeční větev tohoto indexu díky snadné měřitelnosti srdeční frekvence [3]. Baroreflexní regulace ale kromě srdeční frekvence reguluje také srdeční kontraktilitu a průsvit cév. Nejběžnějším onemocněním, při jehož diagnostice může být analýza výše uvedených indexů prvním důležitým krokem, je ateroskleróza velkých arterií se stenózou a trombózou [4]. Včasná diagnóza patologických stavů kardiovaskulárního systému může být přínosná také pro další kardiovaskulární onemocnění, jako jsou ageneze nebo hypoplazie [5],
5
[6], aneuryzma [7] nebo jiná onemocnění, která ovlivňují velké arterie (tumory, blízké hematomy atd.). Problematika zpracování videosekvencí, s cílem extrahovat geometrické parametry objektů v nich obsažených, zahrnuje celou řadu postupů. Každý postup zpracování obrazů či jejich sekvencí (tj. vícerozměrných signálů) vždy začíná jejich předzpracováním, protože se data většinou vyznačují nízkým kontrastem, nelinearitou při snímání, šumem či geometrickými deformacemi. Nejdůležitějším krokem předzpracování je vždy redukce šumu [8]. Například v ultrazvukových (UZ) obrazech je přítomen tzv. speckle šum [9] a jeho vliv je mnohem významnější než vliv aditivního šumu [10]. V současné době se takový šum odstraňuje s využitím metod založených na tzv. Anisotropic Diffusion (SRAD [11], DPAD [12], Fuzzy Anisotropic Diffusion [13]), vlnkové transformaci [14], či na lokální statistice (metody Frost Filter, Lee Filter, Kuan Filter, případně jejich modifikace [15], [16]). Do oblasti předzpracování rovněž spadá problematika stabilizace videosekvence. Stabilizaci je nutné provádět před zpracováním takové sekvence, která byla pořízena bez fixního upevnění snímací sondy. Stabilizace pohybu částečně zapadá do problematiky registrace obrazů. Existují metody založené na analýze podobnosti obrazů (míra podobnosti je vyjadřována některou z metod, které jsou v praxi označovány zkratkami jako např. SSD (Sum of Squared Differences), SAD (Sum of Absolute Differences), CC (Cross Correlation), NCC (Normalised Cross Correlation), apod. [17], [18]), metody založené na znalosti obrazu, mezi něž patří např. SIFT (Scale Invariant Feature Transform) [19] nebo metody založené na analýze optického toku (Optical Flow) [20]). Základním krokem při automatizaci procedur pro určování kardiovaskulárních onemocnění je přesná, efektivní a spolehlivá lokalizace arterie v ultrazvukových obrazech. Detekce tepny v UZ obraze je v podstatě konkrétní příklad často řešené obecné úlohy detekce objektu v obraze. K vlastní detekci objektu v obraze lze přistoupit různými metodami. První možností je nalezení hledaného objektu v analyzovaném obraze na základě matematického modelu jeho geometrických a/nebo texturálních vlastností (analytický přístup). Druhou obecnou možností je využití technik z oblasti tzv. Machine Learning algoritmů, kdy je nejproblematičtější část detekční metody, tedy nalezení vhodných vlastností hledaného objektu (tzv. features), realizována pomocí automatického algoritmu, který na základě pozitivních a negativních vzorků natrénuje samotný klasifikátor. V současné době bývá většinou tepna detekována analytickým přístupem vycházejícím z výrazného kruhovitého tvaru. Za účelem detekce kruhu v digitálních obrazech bylo v minulosti navrženo velké množství přístupů. Mezi nejznámější a nejčastěji využívané patří Circular Hough Transform (CHT) [21], [22]. Tato metoda většinou využívá hranový obraz a je schopna v něm vyhledat kruh se známým i obecněji s neznámým poloměrem. Kruhové vzory lze také lokalizovat korelačními technikami [23], metodami vycházejícími z maximální podobnosti [24], nebo metodami založenými na zkoumání symetrie gradientního pole [25]. V poslední době je také zkoumáno využití genetických algoritmů [26], [27]. Tyto metody vykazují dobré vlastnosti i při okluzích, ale jejich velkou nevýhodou je prozatím velmi výrazná výpočetní náročnost. Typickým příkladem metody detekce tepny v příčném řezu s využitím CHT jsou techniky uvedené ve [28], [29], [30]. Detekce tepny v podélném řezu je řešena také ve [28] opět s pomocí Houghovy transformace, tentokráte pro detekci hran nekruhového charakteru a v [31], kde jsou použity techniky detekce hran tzv. Multiscale Edge Detection a Gradient Vector Flow Snakes. Existují i další metody uváděné jinými autory, které různými způsoby extrahují stěnu arterie. Za tímto účelem je obvykle používaný segmentační proces jako zejména Cannyho detekce hran, vlnková filtrace, techniky tzv. segmentace rozvodím (Watershed) nebo Fuzzy C segmentace popsané a porovnané ve [32] a v navazujících publikacích. Současné metody jsou z principu velmi citlivé na náhodné abnormality arterií. Problematice sledování pohybu tepenných stěn s pomocí techniky porovnání bloků (Block Matching) se věnuje práce [33], stejná technika je použita v kombinaci s Kalmanovým filtrem ve [34], vlastnosti techniky afinního optického toku (Affine Optical Flow) při sledování arteriálních 6
stěn jsou vyhodnoceny v práci [35] a konečně v práci [36] jsou pro stejný účel srovnány vlastnosti metod analýzy optického toku v obraze dle Horna-Schuncka [37], porovnání bloků, afinní model pohybu bloku (Affine Block Motion Model) a metoda analýzy optického toku dle Lucase-Kanadeho [38], přičemž jako nejvýhodnější se na základě popsaných experimentů jeví použití metody dle Lucase-Kanadeho. Výše zmíněné techniky se využívají převážně v situaci, kdy má být vyhledán kruh v jednom snímku. V případě analýzy videosekvence zachycující příčný řez tepnou však je k dispozici větší počet snímků, které zachycující pohyb kruhovité oblasti tepny (arteria carotis communis). Poté je možné do procesu lokalizace kruhu zahrnout informace z několika dostupných snímků ve volitelně dlouhém časovém úseku. Tepna má po celou dobu snímání přibližně kruhovitý charakter s časově proměnným poloměrem. Stěna tepny je patrná v jednotlivých ultrazvukových obrazech jako světlá oblast. Libovolný z obrazů tepny je takto možné přímo využít jako vstupní obraz pro lokalizaci tepny pomocí některé z výše zmíněných metod. Mnohdy ovšem není tepenná stěna zobrazena dostatečně kvalitně, načež tyto metody selhávají. Proto byly zkoumány techniky, které by využily informace o pulzujícím pohybu kruhovité oblasti tepny. V této práci bude níže popsána původní metoda (viz kapitola 6), která využívá informace o pohybu této kruhovité oblasti k její lokalizaci. Konkrétně je využíváno metody optického toku (metoda dle Lucase-Kanadeho), pomocí které je analyzován pohyb jednotlivých bodů mezi každou dvojicí po sobě jdoucích snímků. Další často používané metody, které řeší každá jiným způsobem problém stanovení optického toku ve videosekvenci, jsou algoritmy dle Horna-Schuncka, dle G. Farnebäcka [39] a tzv. Simple Flow algoritmus [40]. V minulosti byly prezentovány metody pro segmentaci tepny zacílené na určování tzv. IntimaMedia Thickness (IMT), tedy tloušťky rozhraní vrstev intima a media, např. s využitím dynamického programování [41], dále technik nazvaných v originále jako Deformable Models [42], [43], [44], Mixtures of Nakagami Distributions a Stochastic Optimization [45], Motion Estimation a Bayesian Model [46] atd. Existují další práce, ve kterých byly ultrazvukové snímky použity při řešení problematik hledání komplexního systému segmentace arterie nezávislého na uživateli [47], stanovení radiálního a podélného napětí na krční tepně [48], detekce a monitorování onemocnění koronární tepny s pomocí techniky dopplerovské vibrometrie [49], segmentace a sledování srdečního svalu s použitím algoritmu Level Set [50]. Pro analýzu geometrických parametrů arterií (např. měření plochy příčného řezu tepny) je také možné použít snímání obrazu technikou digitální angiografie (např. [51]). Problém segmentace hranic arterie v digitálních obrazech může být řešen mnoha způsoby popsanými souhrnně např. ve [52]. Navržená originální metoda, popsaná v kapitole 5.5, je založena na detektoru dle Violy-Jonese [53], [54], který je primárně určen pro detekci obličejů, případně k jejich sledování ve videosekvenci [55]. Detektor je však obecný a lze jej využít i k nalezení jiných objektů než obličejů, jako např. pro detekci ruky [56], gest [57], pro detekci optického disku ve snímcích sítnice [58] nebo je možné tuto metodu použít pro detekci hlav zvířat [59]. Navržená metoda ukazuje nové netypické, ale velmi úspěšné využití originální modifikace tohoto algoritmu pro detekci zcela jiných objektů (tepen) než bylo dosud obvyklé. Některé odkazy na literaturu jsou zmiňovány poprvé nebo jsou citace opakovány průběžně v textu v případech, kdy se jedná o specifickou oblast s úzkou návazností na konkrétní problém popisovaný v dané části práce.
7
4
VOLBA TECHNIKY SNÍMÁNÍ
V této kapitole jsou popsány výsledky experimentů, které posuzovaly použitelnost aktivního infračerveného senzoru pro snímání krevního řečiště v části světelného spektra nazývané jako blízké infračervené světlo (Near Infra Red – NIR). Zamýšleným cílem bylo získání kontrastních snímků takto získaných map krevního řečiště. Připomeňme, že krevní řečiště se obecně skládá z tepen (artérií) a žil (vén). Vzhledem k plánovanému využití snímků jsou mnohem zajímavější obrazy řečiště arteriální části, protože konečným záměrem práce je zachycení časových změn geometrických rozměrů artérií snímaných neinvazivní technikou, přičemž dynamické změny v žilní části krevního řečiště jsou z krátkodobého hlediska nulové, mění se v nich pouze diastolická hodnota tlaku s velmi dlouhou časovou konstantou. Bylo zjištěno, že snímání obrazů artérií v NIR ze skutečných subjektů nedává uspokojivé výsledky. Z tohoto důvodu byla provedena rozvaha dalších možností snímání krevního řečiště a to v IR (Infra Red) spektru tepelného záření a s pomocí technologie ultrazvukového snímání (viz kapitoly 4.2 a 4.3). 4.1
SNÍMÁNÍ V NIR SVĚTLE
Na obr. 4.1 je příslušnými barvami znázorněna ilustrativní demonstrace průběhu typické spektrální citlivosti jednotlivých barevných elementů RGB běžného obrazového snímače. Černou křivkou je pak znázorněna spektrální citlivost monochromatického snímače. Z těchto průběhů je patrné, že takový snímač bude použitelný přibližně do vlnové délky 1 µm, přičemž maximum vyzařování (absolutně černého) tělesa při teplotě lidského těla je přibližně 9,5 µm a první měřitelné hodnoty emitovaného záření se objevují přibližně až od 3 m. účinnost senzoru [‐]
0,35 0,3 0,25 0,2 0,15 0,1 0,05 0,0
Obr. 4.1
400
500
600
700
800
900
1000
λ [nm]
Typický průběh křivek spektrální citlivosti běžného kamerového snímače pro jednotlivé barevné elementy
NIR světelné pásmo má vesměs vlastnosti běžného viditelného světla, pouze je člověk není schopen vnímat. Technika snímání obrazu krevního řečiště v NIR světle je založena na faktu, že pohltivost hemoglobinu obsaženého v krvi je pro blízké infračervené spektrum světla (800 nm – 1000 nm) mnohem větší než pro tkáň, ve které se hemoglobin vyskytuje ve výrazně menším objemu. Za tímto účelem byl použit speciálně upravený snímač s vysokým rozlišením na bázi CMOS s rozšířenou citlivostí i na (pro lidské oko) neviditelné NIR světlo (viz kapitola 4.1.1). V následujícím textu jsou tedy nejprve zdokumentovány experimenty při snímání krevního řečiště v blízkém IR 8
světelném spektru, tedy vyhodnocení dosažených výsledků vzhledem ke stanoveným cílům práce (viz kapitola 2). 4.1.1
Pořizování testovacích snímků
Aby bylo zápěstí prosvíceno, bylo nutné použít NIR světlo s poměrně velkým výkonem, proto se nabízelo využití zábleskového zařízení, které během krátkého okamžiku vyzáří velký světelný výkon v široké oblasti spektra. Pro zamýšlené využití, tj. sledování rychlých změn geometrie artérií, je tedy zábleskové snímání jednoznačně výhodnější, protože doba trvání záblesku je velmi krátká (mnohem kratší než jsou expoziční časy použitelné pro zachycení pohybujících se arteriálních stěn) a při otevřené uzávěrce určuje i expoziční dobu snímání. Použití zábleskového zdroje tak vylučuje případné rozmazání ve výsledném snímku způsobené pohybem ve scéně. Všechny snímky uvedené v kapitolách 4.1.1 a 4.1.2 byly pořízené snímacím zařízením Canon EOS 350D s vyjmutým IR blokačním filtrem, s citlivostí ISO 800 a objektivem Canon EF 100 mm f/2,8 Macro USM. Jako osvětlení byl použit blesk Olympus FL–36, směrné číslo 36 m (katalogový údaj pro ISO 100 a clonu = 1), ohnisková vzdálenost: 42 mm. Při snímání bylo osvětlení, snímač a zápěstí konfigurován tak, že výkonný blesk vždy zápěstí na velmi krátký okamžik prosvítil a snímač byl exponován s otevřenou závěrkou. Získané snímky nebyly v této fázi experimentu komprimovány ani jinak upravovány. V této kapitole je popsán experiment, kdy je zápěstí prosvíceno pomocí zábleskového osvětlení, které obsahuje široké světelné spektrum, a na snímač jsou aplikovány různé filtry, které selektují jeho jednotlivé části. Snímání bylo provedeno s pomocí výše zmíněného výkonného blesku, otevřené uzávěrky, různé clony a v naprosté tmě. Testovací osobou byla TO_01. Při porovnání výsledných snímků je vidět, že pro další snímání bylo vhodné použití zábleskové techniky, v úplné tmě, s otevřenou závěrkou a se snímačem bez jakéhokoli filtru (nejkontrastnější snímek s velkou hloubkou ostrosti vyplývající z možnosti použít vyšší clonové číslo). Na snímcích je značkou (černým křížem) označena oblast, kde byl hmatný tep na a. radialis.
Obr. 4.2
Snímáno bez filtrů (clona 6,3)
9
4.1.2
Výsledky pro různé testovací osoby
Tento experiment byl vzhledem k účelu snímání klíčový. Cílem bylo prokázat, zda je možné u všech (nebo alespoň u většiny) osob jasně identifikovat obrys 2D průmětu artérie. Byl tedy sestaven soubor pokusných osob různých věkových i fyziologických kategorií. Každé osobě byl nahmatán tep a místo, kde byla a. radialis nahmatána, bylo označeno značkou (černým křížem). Snímání bylo provedeno pro různé osoby s využitím výkonného blesku, otevřené uzávěrky, různé clony, v naprosté tmě a bez jakéhokoli filtru. Výsledky snímkování zápěstí všech pokusných osob shrnuje tab. 4.1. Tab. 4.1. Tabulka výsledků snímkování Pokusná osoba TO_01 TO_02 TO_03 TO_04 TO_05 TO_06 TO_07 TO_08 TO_09 TO_10 TO_11
Věk [roky] 33 28 28 57 27 28 58 26 30 30 63
Váha Výška [kg] [cm] 84 181 80 193 74 187 105 178 95 182 68 178 92 182 60 168 90 182 96 190 112 184
Pohlaví Obrys artérie muž muž muž muž muž žena muž žena muž muž muž
zřetelný zřetelný zřetelný nezřetelný nezřetelný nezřetelný zřetelný nezřetelný nezřetelný málo zřetelný málo zřetelný
Z těchto výsledků vyplývá, že u některých osob nebyl obrys artérie po prosvětlení IR světlem vůbec zřetelný, protože jejich artérie se nachází příliš hluboko pod povrchem tkáně a rozptyl světla, nastávající ve tkáni mezi artérií a povrchem těla blíže ke snímači, zobrazení znemožňuje. Hloubka umístění artérie je individuální u každého jedince a hodnota rozptylu světla je natolik vysoká, že u 5 z 11 testovacích osob byly obrysy artérie subjektivně neidentifikovatelné. Závěrem této kapitoly, ve které byla zejména zkoumána vhodnost snímání v blízkém NIR části světelného spektra pro snímání parametrů krevního řečiště, je možné konstatovat stěžejní výsledek, a to sice že hodnota rozptylu světla ve tkáni je pro zamýšlené využití dané cílem práce příliš velká. Kvalitní kontrastní snímky získané touto technikou budou obsahovat použitelně pouze obrysy řečiště žilního, nikoli arteriálního, které je však důležitější. Dále tedy bylo nutné hledat jiné možnosti akvizice obrazových dat, které splní požadavky na zajištění dostatečně kontrastních snímků artérií s možností snímání časových sekvencí snímků. Rozbor dalších možných metod je popsán v následujících kapitolách. 4.2
SNÍMÁNÍ TERMOKAMEROU
Posouzení vlastností tohoto typu snímání bylo provedeno pro zamýšlené zpracování obrazu krevního řečiště v čistě termální části IR pásma, ve které vyzařují předměty s teplotou blízkou teplotě lidského těla [65]. Toto snímání už nebylo možné provést s pomocí klasického CMOS senzoru, proto byla použita kamera ThermaCAM PM575 s udávanou citlivostí lepší než 0,1 °C. Cílem bylo ověřit vhodnost této metody snímání pro získání použitelného obrazu arteriální části krevního řečiště. Na obr. 4.3 lze sice rozlišit místa s rozdílnou teplotou, avšak obrysy tepen nejsou pro zamýšlené využití dostatečně zřetelné. Protože tepny rozvádějí do těla kromě živin a kyslíku také 10
teplo, vytvoří se na povrchu tkáně v blízkosti tepny teplejší oblast patrná i na snímcích. Kontury této oblasti však souvisejí spíše se šířením tepla v daném místě a hrany tepny jsou neostré.
Obr. 4.3
4.3
Snímek krku testovací osoby (zepředu s bradou mírně pootočenou vpravo); barevná škála zobrazuje teploty v rozsahu 33,0– 34,9 °C; teplota v místě označeném křížem (přibližně v místě krční tepny) je 34,2 °C
SNÍMÁNÍ POMOCÍ ULTRAZVUKU
Vzhledem k nedostačujícím výsledkům snímání arteriální části krevního řečiště pomocí NIR a IR části světelného spektra byla hledána jiná technika, která by splňovala požadavky na poskytování neinvazivního snímku arterií uvnitř těla s možností záznamu časové sekvence snímků. Takovou technikou je ultrazvukové snímání, které je navíc v lékařské praxi velmi běžným vybavením. V následujícím textu je tedy uvedeno základní hodnocení vlastností ultrazvukového snímání, resp. jeho různých variant pro zamýšlené využití. Při zobrazení ve standardním zobrazovacím B-módu obsahují výsledné snímky morfologickou informaci o odrazivosti pro ultrazvukový paprsek v dané oblasti. Na obr. 4.4 a obr. 4.5 jsou ilustrační snímky z videosekvence zobrazující podélný a příčný řez krční tepny v důležitých okamžicích srdečního cyklu (systola a diastola, tedy v okamžiku maximálního a minimálního tlaku). Sonograf umožňuje nasnímat pulzující tepnu v podélném i příčném řezu. Na snímcích je jasně patrná změna geometrických rozměrů tepny reagující na tlakové změny v krevním oběhu: dosáhla-li hodnota tlaku maxima, bude mít zobrazená tepna maximální průměr a analogicky: dosáhne-li tlak minima, bude minimální i průměr tepny. Z výsledků experimentů vyplynulo, že pro dosažení hlavního cíle práce není možné použít obraz krevního řečiště snímaný v NIR části světelného spektra. Poté, co bylo prokázáno, že tato technika není vhodná pro zamýšlené účely, byl proveden rozbor dalších možností neinvazivního snímání parametrů krevního řečiště, které by poskytly dostatečně kvalitní obrazová data pro dosažení stanoveného cíle. Na základě tohoto rozboru byla jako nejvhodnější vybrána technika ultrazvukového snímání, která splňuje všechny předpoklady hledané metody: zachycuje ostře konturu tepny, umožňuje dostatečně rychlé snímání časových sekvencí a při použití vhodného typu sondy i zobrazení orgánů hluboko ve tkáni.
11
Obr. 4.4
Podélný řez krční tepnou ve fázi systoly (vlevo) a diastoly (vpravo)
Obr. 4.5
Příčný řez krční tepnou ve fázi systoly (vlevo) a diastoly (vpravo)
5
DETEKCE TEPEN
V následujících kapitolách budou postupně popsány jednotlivé části metodiky, které představují de-facto samostatně použitelné metody zapadající do řetězce algoritmů pro analýzu geometrických změn artérie v závislosti na čase z ultrazvukových snímků. Díky složitosti prezentovaných metod a zejména díky nutnosti provádění průběžného testování vlastností dílčích algoritmů bylo nutné kapitolu značně rozčlenit a uvést několik dílčích závěrů. Autor textu věří, že systematické rozčlenění této části přispěje k přehlednosti rozsáhlého a komplikovaného obsahu, popisujícího výsledky několikaletého výzkumu. Pro detekci arteriální stěny byly použity dva základní geometrické řezy ultrazvukových snímků v B-módu: podélný a příčný. Díky odlišné geometrii tepen v těchto řezech bylo nutné hledat různé, geometricky přizpůsobené, komplexní metody analýzy morfologie tepen. 5.1
DETEKCE TEPNY TRANSFORMACE
V
PODÉLNÉM
ŘEZU
S
POMOCÍ
HOUGHOVY
V této části řešení stanoveného cíle práce byla zpracovávána videosekvence získaná z medicínského sonografu Sonix OP za účelem měření změn vzdálenosti stěn krční tepny v podélném řezu [67]. Jak vyplývá ze stanoveného cíle práce, hlavním účelem tohoto zpracování je vyhodnocení geometrických změn arterie zapříčiněných proměnlivou hodnotou krevního tlaku uvnitř artérie. Pro detekci arteriálních stěn, které mají v tomto řezu přibližně lineární charakter, je na místě použít Houghovu transformaci, která je vhodná zejména pro detekci jednodušších tvarů v digitálních obrazech. Bohužel sama o sobě není dostatečně robustní, protože výsledek detekce mohou ovlivnit 12
mnohé další parametry obrazových dat a chyby se mohou objevit například díky svalovým artefaktům (např. při pohybu testované osoby během snímání vedoucímu k deformaci tepny). Z tohoto důvodu byla navržena postprocessingová metoda pro překonání těchto nevýhod Houghovy transformace. Na obr. 5.1 je 238. snímek v testovací ultrazvukové videosekvenci po aplikaci výřezu oblasti zájmu. Jeho velikost je 459 459. Před aplikací Houghovy transformace na tento snímek pak byly aplikovány kroky předzpracování. Nejdříve byla na tento snímek použita z důvodu nízkého dynamického rozsahu snímku ekvalizace histogramu. Poté byl na daný snímek aplikovaný mediánový filtr, jehož velikost je 13 13 za účelem redukce šumu v obraze. Poté byla použita iterativní prahovací technika pro předběžné rozlišení arteriálních a ostatních oblastí. Na základě výsledku prahování je použit Cannyho algoritmus pro detekci možných hran artérie. Výsledek tohoto řetězce zpracování (a tedy mezivýsledek celé metody) je na obr. 5.2.
Obr. 5.1
238. snímek v testovací ultrazvukové videosekvenci
Obr. 5.2
Výsledek po použití Cannyho detektoru hran
Houghova transformace byla použita na obr. 5.2 pro měnící se v rozsahu od -649 do 649 a měnící se v rozsahu od 90° do 90° . Poté, co bylo nalezeno globální maximum v parametrickém prostoru, jsou body v obdélníku o velikosti 60 10, jehož střed je bodem maxima, nastaveny na nulu. Parametr byl zvolen 5. Detekované přímky ukazuje obr. 5.3.
Obr. 5.3
Přímky získané pouze s použitím Houghovy transformace (bez dodatečného zpracování) 13
Poté byla na celou videosekvenci aplikována metoda dodatečného zpracování, kdy po jejích 5 iteracích nebyla detekována žádná abnormální přímka. Obr. 5.4 znázorňuje výsledné nalezené přímky.
Obr. 5.4
Přímky získané s použitím dodatečného zpracování
davg [px]
Konečně obr. 5.5 ukazuje křivku vzdálenosti arteriálních stěn měnící se s časem po použití dodatečného zpracování v celé videosekvenci. 150
145
140
135
130
125
Obr. 5.5
0
1
2
3
4
5
6
7
t [s]
8
Křivka popisující vzdálenost arteriálních stěn v závislosti na čase po aplikaci postprocessingu
V této kapitole byla prezentována metoda používající Houghovu transformaci pro detekci hran v podélném řezu krční tepny a měření vzdáleností mezi nimi v závislosti na čase. S použitím pouhé Houghovy transformace není výsledek detekce ideální a nacházejí se v něm vždy nějaké anomálie. Proto byla s uvážením charakteru zpracovávaných obrazových dat vyvinuta speciální postprocessingová metoda pro zlepšení výsledků Houghovy transformace a zvýšení přesnosti detekce arteriální stěny. Experimentální výsledky ukazují, že je postprocessingová metoda efektivní až na několik málo částí, ve kterých se stále vyskytuje šum, jehož eliminaci je možné uskutečnit například dodatečnou mediánovou filtrací průběhu finální křivky.
14
5.2
POKROČILÁ DETEKCE PODÉLNÉHO ŘEZU TEPNY
V této kapitole je představen pokročilý přístup k detekci tepny v obraze jejího podélného řezu, který doplňuje předchozí kapitolu 5 o robustnější aparát, který zlepšuje efektivitu analýzy tohoto typu dat [69]. Jelikož má ve většině případů zkoumaná arterie (a. carotis communis neboli Common Carotid Artery – CCA) v podélném řezu lineární charakter (pouze v některých případech je arterie mírně zahnutá), lze této skutečnosti využít jako významné informace pro lokalizaci. Navržená pokročilá metoda je založena na lokální analýze obrazu s využitím klasifikátoru označovaného jako Support Vector Machine (SVM). Následný postprocessing je proveden s využitím principu metody Random Sample Consensus (RANSAC), který je použit při finální lokalizaci arterie.
Obr. 5.6
5.2.1
(a)
(b)
(c)
(d)
(e)
(f)
(a) originální obraz, (b) maska vytvořena odborníkem (využita pouze pro účely vyhodnocení), (c) ukázka klasifikace jednotlivých pixelů, (d) zvýrazněny pixely, které byly klasifikovány jako pixely tepny, (e) přímky nalezené pomocí RANSAC algoritmu, (f) selekce pouze bodů, které vyhovují modelu zvolenému v RANSAC algoritmu
Úspěšnost SVM
K ověření přesnosti natrénování klasifikátoru SVM byla využita disjunktní testovací množina, která byla složena z 10 obrazů s příslušnou maskou. Maska nese informaci o přesné klasifikaci, která byla vyznačena ručně odborníkem. V rámci výzkumu bylo ověřeno rozšíření klasického přístupu SVM klasifikátoru o využití tzv. jádra s radiální bází (označováno jako RBF). Z výsledků výzkumu je patrné, že využití RBF jádra je vhodné, neboť zvyšuje úspěšnost klasifikátoru. V našem případě se úspěšnost korektně klasifikovaných prvků pozitivní třídy (body uvnitř tepny) zvýšila ze 74,9 % na hodnotu 94,4 %, zatímco počet falešně pozitivních detekcí (vzorky klasifikované jako uvnitř tepny, i když se nacházejí mimo plochu jejího řezu) se snížil ze 13,2 % na 10,8 %. Takto dobrá úspěšnost klasifikace usnadňuje další postprocessing zajištěný algoritmem RANSAC. Srovnání úspěšnosti jednotlivých přístupů v podobě matice záměn (tzv. confussion matrix) je shrnuto v tab. 5.1 a tab. 5.2.
15
5.2.2
Aplikace metody RANSAC
Díky vysoké úspěšnosti navrženého SVM klasifikátoru a z toho vyplývajícího nízkého počtu chybně klasifikovaných bodů, je činnost RANSAC algoritmu značně usnadněná. Jelikož tepna je oproti ostatním strukturám v obraze (mnohdy podobným tepně) dostatečně široká a prochází celým obrazem, je využití právě RANSAC algoritmu velmi úspěšné. V testovací databázi byla tepna korektně (bez falešně pozitivně detekovaných oblastí) označena ve 28 ze 30 obrazů. Tab. 5.1. Vlastnosti výsledného detektoru s použitím lineárního SVM přístupu detekce reference body mimo tepnu body uvnitř tepny
vzorky klasifikované jako body mimo tepnu
vzorky klasifikované jako body uvnitř tepny
86,8 %
13,2 %
25,1 %
74,9 %
Tab. 5.2. Vlastnosti výsledného detektoru s použitím RBF mapování detekce
vzorky klasifikované jako body mimo tepnu
vzorky klasifikované jako body uvnitř tepny
reference body 89,2 % 10,8 % mimo tepnu body 5,6 % 94,4 % uvnitř tepny V této kapitole byla představena nová pokročilá metoda pro lokalizaci podélného řezu tepny, využitelná v řetězci pro analýzu ultrazvukových videosekvencí. Navržená metoda potlačuje největší nedostatky obdobných metod, které jsou v současné době používány, jako například nemožnost lokalizace tepny, která není v horizontální poloze, nebo mírně zakřivené tepny. Při implementaci byl využit klasifikátor SVM u kterého bylo otestováno využití RBF nelineární transformace. Při jejím využití došlo k významnému zvýšení přesnosti klasifikace, která byla otestována na nezávislé testovací databázi. Výsledná úspěšnost klasifikace korektně pozitivních vzorků byla na nezávislém souboru testovacích dat 94,4 %. Při aplikaci navrženého algoritmu jako celku na testovací databázi, která čítala 30 snímků, byla tepna přesně (bez falešně pozitivních detekcí) lokalizována ve 28 z nich. 5.3
ANALÝZA PŘÍČNÉHO TRANSFORMACE
ŘEZU
TEPNY
S
POMOCÍ
HOUGHOVY
V této kapitole je popsán základní princip metody pro detekci plochy průřezu artérie v jejím příčném (kolmém) řezu [73]. Hlavními komponentami této metody jsou zejména cirkulární Houghova transformace (CHT) [21], [22] pro detekci parametrů inicializační kružnice a metoda diskriminačního umělého imunitního systému (Discrimination Based Artificial Immune System – DAIS) [74] pro klasifikaci uvnitř a vně tepny se nacházejících pixelů. Zdrojový obraz (viz obr. 5.1) pro tuto proceduru zpracování obrazu je ultrazvukový obraz v B-módu. Hlavním cílem zůstává nalezení křivky srdečního cyklu krevního tlaku v ultrazvukové videosekvenci, která obsahuje vzorek (několik vteřin) pulzací geometrických rozměrů a. carotis communis v čase.
16
Obr. 5.1
Kolmý řez arterie v ultrazvukovém obraze
Příčný řez snímanou arterií se vyznačuje výrazným arteriálním kruhem, který je vhodné využít jako referenci pro hrubou klasifikaci (dělení) dat v závislosti na jejich umístění: uvnitř nebo vně snímané arterie. Za tímto účelem je použita metoda CHT modifikované Houghovy transformace pro detekci středu a poloměru inicializační kružnice. S využitím této reference pak byla aplikována druhá, diskriminační, metoda DAIS [74], za účelem provedení jemného třídění pixelů v každém snímku. Poté je vypočten finální výsledek: křivka udávající množství pixelů označených jako nalézající se uvnitř arterie v každém snímku (časovém vzorku) ve videosekvenci. Po aplikaci všech kroků zpracování je možné přistoupit k finální proceduře extrahování počtů pixelů umístěných uvnitř ultrazvukového obrazu kolmého řezu arterie. Hlavním cílem celé práce je získání informace o ploše uvnitř arterie za účelem analýzy časových změn arterie ve vztahu ke krevnímu tlaku. Obr. 5.2 ukazuje výsledek části zpracování obrazu řešeného problému: relativně vyjádřená (v pixelech) vnitřní část arterie v závislosti na čase. Čas je odvozen od snímkovací frekvence (Frames Per Second – FPS) dané videosekvence, která je rovna 43 snímků za sekundu. Ultrazvuková videosekvence byla sejmuta na dobrovolníkově arterii carotis communis s použitím sonografu Sonix OP s lineární sondou L 14–5/38 od stejného výrobce.
počet detekovaných pixelů uvnitř arterie ‐
28000 27000 26000 25000 24000 23000 22000 0
Obr. 5.2
2
4
6
8
10
t s
Finální křivka srdečního cyklu jako závislost plochy příčného řezu arterie v závislosti na čase
V této kapitole byly prezentovány výsledky metody zpracování obrazu pro měření vnitřní plochy arterie v příčném řezu. Metoda primárně používá Houghovu transformaci (pro počáteční inicializaci) a následně algoritmus klasifikace pomocí umělého imunitního systému DAIS (pro 17
selekci buněk uvnitř a vně arterie) jako dvě hlavní metody pro detekci arteriální kružnice a klasifikaci vnitřní/vnější plochy arterie. Řetězec selekce obrazových dat je po počáteční inicializaci na prvním snímku (Houghova transformace) aplikován na jeden každý snímek ve videosekvenci a výstupní počty pixelů vnitřní plochy arterie vytvářejí křivku srdečního cyklu v závislosti na čase. Výsledky zpracování touto metodou nebyly příliš uspokojivé (malá úspěšnost detekce a špatná spojitost výsledné křivky), proto byly pro sledování arteriální stěny a pro detekci jejího příčného řezu hledány další metody. 5.4
AUTOMATICKÁ DETEKCE ARTERIÁLNÍCH KRUŽNIC V SEKVENCI OBSAHUJÍCÍ PULZUJÍCÍ POHYB
Detekční krok má zásadní vliv na přesnost a spolehlivost měření parametrů tepny ve videosekvenci. V této kapitole budou proto popsány výsledky výzkumu, jehož cílem bylo nalezení samostatné metody pro detekci kruhovitého objektu (artérie v příčném řezu) v ultrazvukové videosekvenci, vykazujícího pulzující pohyb [76]. Metoda pro automatické nalezení arteriální kružnice je významná pro plné zautomatizování výsledného postupu kontinuálního měření geometrických parametrů tepny. Výchozím faktem popisované metody je, že kruhovitá oblast snímané tepny v příčném řezu vykazuje pulzující pohyb a tohoto pohybu je možné využít v sekvenci snímků k její lokalizaci. Navržená metoda vychází z analýzy pohybu pomocí optického toku. Je předpokládán pouze lokální pulzující pohyb uvnitř videosekvence, proto je nutné před vlastní aplikací optického toku využít kompenzaci globálního pohybu (koregistraci) některou z technik, které jsou popsány např. v [17], [18], [19], [20], [77], [78], [79]. Po aplikaci optického toku a dalších úpravách je využito Houghovy transformace pro lokalizaci kruhu. Je také využito Bayesova klasifikátoru pro vyhledání pouze kruhů, které vykazují očekávané vlastnosti. Nakonec je upřesněna poloha hledaného arteriálního kruhu v konkrétním snímku sekvence pomocí analýzy průměrného jasu v různých oblastech. Navržená metoda detekce tepny byla testována na sadě čítající celkem 250 videosekvencí. Tyto videosekvence byly pořízeny při vyšetření tepen několika různých osob, při různých nastaveních sonografické stanice i s různou míru pohybu přítomnou při snímání. Takovou testovací sadou (budeme ji označovat reálná testovací sada (sada A)) byly přibližně simulovány reálné podmínky. V této testovací množině jsou přítomny i mnohé sekvence, které jsou velmi nekvalitní, s výskytem obrazového šumu a (nebo) je v nich přítomno velké množství globálního pohybu. Tyto faktory snižují úspěšnost (spolehlivost) systému. Dále byly navržené algoritmy testovány na druhé testovací sadě, která je podmnožinou původní sady a neobsahuje ty sekvence, které jsou znehodnoceny translačním pohybem. Tuto testovací sadu budeme označovat testovací sada bez pohybu (sada B). Takové sekvence by měly být zpracovávány, jestliže bude snímání bez nežádoucího pohybu. Při vyhodnocování finální detekce kruhů (viz tab. 5.1) bylo možné konstatovat, že pokud byl kruh algoritmem detekován, byla jeho lokalizace v drtivé většině případů dostatečně přesná (chyba se pohybovala v řádu jednotek pixelů). V ojedinělých případech, kdy byla lokalizace nepřesná (kruh sice detekován byl, ale určení pozice středu či poloměru se lišilo od manuálně zadané reference o desítky procent rozměru tepny), byla detekce započítána jako neúspěšná. Tab. 5.1. Úspěšnost detekce počet snímků vstupní sekvence 20 30 40 50
18
úspěšnost (sada A) 78,1 % 79,2 % 82,5 % 83,0 %
úspěšnost (sada B) 82,1 % 83,7 % 85,1 % 85,1 %
průměrný čas zpracování 1730 ms 2300 ms 2950 ms 3720 ms
Časová náročnost představené metody narůstá lineárně s délkou zpracovávané videosekvence (s počtem snímků), protože většina kroků zpracování je aplikována vždy na dvojici po sobě jdoucích snímků. Na testovacím hardwaru (Intel Core 2 Duo E8400, 3GHz) se například čas potřebný pro zpracování 40 snímků pohyboval v rozmezí 2,6 – 3,2 s (doba zpracování mírně závisí také na zpracovávaných datech). Hlavní část tohoto času je využita k výpočtu optického toku a pro kompenzaci pohybu vstupních obrazů. Pokud algoritmus pracuje s daty snímanými v reálném čase, musí být uvažován navíc i čas potřebný pro akumulování požadovaného počtu snímků do vyrovnávací paměti. Tento čas se projeví při zpracování jako konstantní zpoždění, které je závislé na délce zpracovávané sekvence a na snímkovací frekvenci snímacího zařízení. V této kapitole byly uvedeny výsledky jednoduchého testování metody pro detekci pulzujících kružnic v medicínských snímcích. Tato metoda analyzuje pulzující pohyb ve zdrojové videosekvenci a zlepšuje spolehlivost metod detekce používající statické obrazy. Začleněním této metody do řetězce analýzy geometrických změn artérie v závislosti na tlaku z ultrazvukových snímků je dosaženo plné automatičnosti celého postupu. Metoda dosahuje srovnatelných výsledků i na souboru sekvencí obsahujících komplikující faktory (nekonzistentní tvary, pohyb obrazu). Z výsledků testování je zřejmé, že čím delší sekvence se použije (více vstupních snímků), tím vyšší úspěšnosti je dosaženo. Tento fakt vychází ze skutečnosti, že v delší sekvenci jsou v důsledku průměrování potlačeny některé minoritní pohyby, které krátkodobě generují nenulový optický tok i v místech mimo pulzující oblast. Větší počet inicializačních snímků má i určitou nevýhody: zvyšuje se doba potřebná k uložení požadovaného počtu snímků do vyrovnávací paměti a i zpracování těchto obrazů je náročnější. Nárůst úspěšnosti však není lineární (viz tab. 5.1), a proto by použití dalších inicializačních snímků nepřineslo další významné zvýšení úspěšnosti. Úspěšnost této metody je bohužel stále dosti nízká a výpočetní náročnost neumožňuje použití v reálném čase. Z toho důvodu byla hledána další metoda, která by zvýšila úspěšnost detekce a snížila výpočetní čas. 5.5
AUTOMATICKÁ DETEKCE ARTERIÁLNÍCH MODIFIKOVANÉHO VIOLA-JONES DETEKTORU
KRUŽNIC
POMOCÍ
V této kapitole je popsán základní princip a výsledky testování nové metody pro velmi přesnou a efektivní lokalizaci příčného řezu krční arterie v ultrazvukových snímcích [81], [82], [83], [84]. Prezentovaná metoda se vyznačuje vysokou úspěšností, která činí 97 %. Na rozdíl od analytických metod, které vycházejí z geometrického popisu hledaného objektu, navržená metoda dokáže pokrýt velkou oblast tvarových variací hledané tepny, které běžně nastávají při vyšetření díky tlaku na vyšetřovanou tkáň, náklonu sondy, nastavení parametrů přístroje a podobně. Prezentovaná metoda je založena na detektoru Viola-Jones, který byl speciálně upraven pro účel efektivní detekce příčného řezu krční tepny. Tento algoritmus je trénován na souboru labelovaných snímků s pomocí trénovacího algoritmu AdaBoost a Haarových příznaků s využitím Matthewsova koeficientu. Pro realizaci detektoru tepny byl trénovací algoritmus upraven s pomocí evolučních algoritmů. Metoda trénování kaskády klasifikátorů dosahuje na množství pozitivních a negativních trénovacích dat (asi 500 snímků) vysoké úspěšnosti a přesnosti s využitím strojového času, které připouští provádění detekce v reálném čase. Testování bylo prováděno na sekvencích nasnímaných u různých osob, pro různé ultrazvukové přístroje a za různých podmínek (nastavení) tak, aby byl vyvinutý algoritmus použitelný v široké radiologické praxi. Při testování úspěšnosti výsledného detektoru byly použity čtyři evolučně natrénované kaskády, každá s jinými parametry nastavení fitness funkce. Důvodem změny nastavení parametrů a bylo vyzkoušení vlivu upřednostnění falešně pozitivních oproti falešně negativním detekcím a obráceně. Volba hodnoty těchto parametrů ovlivňuje i celkovou úspěšnost detektoru, proto bylo na místě vyhodnotit tento vliv a vybrat kaskádu s nejlepšími vlastnostmi pro zamýšlené využití. Samotná 19
úspěšnost detekce byla stanovena jednoduše jako poměr počtu správně detekovaných tepen k počtu všech testovacích snímků, na kterých testování proběhlo. Z hlediska dodatečného zpracování detekcí (detekovaných podoken) je možné vyhodnocovat úspěšnost ve dvou různých módech: - s povolením detekce více tepen v jednom obraze, kdy je možné vyhodnocovat index správných detekcí označovaný jako TPR (true positive rate) a index falešně pozitivních detekcí FPR (false positive rate). Tyto hodnoticí koeficienty jsou stanoveny jednoduše jako počet procent daného druhu detekcí vztažený k celkovému počtu snímků v testovací databázi obrazů; výsledky tohoto způsobu testování jsou uvedeny v tab. 5.1., - s povolením pouze jedné detekované tepny v jednom obraze, kdy je algoritmem vybrána pouze oblast s největším počtem vícenásobných detekcí, a proto je vyhodnocován pouze index TPR; výsledky tohoto způsobu textování jsou uvedeny v tab. 5.2. Všechny čtyři druhy kaskád byly testovány na trénovací sadě („sloupec trénovací data Sonix“), což je údaj pouze doplňkový, protože testovací data by měla být na datech trénovacích nezávislá. Výsledky pro nezávislá testovací data jsou v tabulce uvedeny pro každý zdrojový přístroj zvlášť, ve sloupci „testovací data Sonix“ jsou tedy uvedeny výsledky pro 538 testovacích snímků pořízených přístrojem Sonix OP a analogicky ve sloupci „testovací data Toshiba“ jsou uvedeny výsledky pro 433 testovacích snímků pořízených přístrojem Toshiba. Z výsledků uvedených v tab. 5.1 vyplývá, že čím větší je hodnota poměru , tím bude mít natrénovaná kaskáda větší úspěšnost, ovšem za cenu velkého počtu falešně pozitivních detekcí . Tab. 5.1. Úspěšnost detekce kaskád s povolením detekce více tepen v jednom obraze trénovací data Sonix (283) TPR FPR [%] [%] 99,64 67,14
testovací data Sonix (538) TPR FPR [%] [%] 100,00 84,01
Testovací data Toshiba (433) TPR FPR [%] [%] 96,99 28,18
1,
0
10,
1
99,29
19,43
98,51
24,16
95,61
14,09
2,
1
97,17
11,66
94,84
12,83
86,14
4,16
1,
1
95,75
11,31
93,49
11,90
92,14
4,39
Tab. 5.2. Úspěšnost detekce kaskád s povolením pouze jedné detekované tepny Trénovací data Testovací data Testovací data Sonix (283) Sonix (538) Toshiba (433) TPR [%] TPR [%] TPR [%] 1,
0
98,93
97,21
96,99
10,
1
98,58
95,00
96,30
2,
1
94,34
93,68
91,68
1,
1
92,22
88,84
93,99
Z výsledků testování metody pro detekci pouze jedné tepny, uvedených v tab. 5.2, vyplývá, že největší úspěšnosti dosahuje kaskáda, která byla trénována pouze pro dosažení co možná nejmenšího počtu falešně negativních detekcí, tedy tak, aby byl maximalizován počet správných detekcí s tím, že falešně pozitivní detekce nejsou důležité. Zde bylo dosaženo nejlepších výsledků na nezávislých testovacích datech: 97,21 % pro databázi z přístroje Sonix a 96,99 % pro databázi z přístroje Toshiba. 20
Vzhledem k zamýšlenému využití, kdy připadá v úvahu prakticky jenom detekce a analýza jedné tepny, je možné tyto výsledky považovat za finální. Tab. 5.3. Třídy použitá pro uložení parametrů každé detekované arteriální stěny testovací data Sonix
testovací data Toshiba
testovací data Toshiba
startovní rozměr okna 72×72
startovní rozměr okna 72×72
startovní rozměr okna 48×48
13 ms
9 ms
17 ms
průměrná rychlost detekce
č
ý
%
Za účelem vyhodnocení přesnosti výsledků navrženého algoritmu byly vyhodnoceny odchylky mezi ručně zadanými hodnotami a výsledky detekce pro kaskádu s nejlepší úspěšností (viz tab. 5.2, první řádek). Průměrná přesnost detekce prezentované metody je 97,21 % pro testovací sadu z přístroje Sonix a 96,99 pro testovací sadu z přístroje Toshiba, což znamená zlepšení při porovnání s výsledky uváděnými ve [28], kde je přesnost zmiňována jako větší než 96 %. Na obr. 5.3 je zobrazena četnost výskytu odchylek od referenčního středu pro vertikální i horizontální směr. Z výsledků je patrné, že nejčastěji byla tepna detekována s chybou menší než přibližně 1 mm pro horizontální směr a menší než přibližně 0,5 mm pro vertikální směr. Měření odchylek probíhalo na testovacích snímcích z obou ultrazvukových přístrojů. Na obr. 5.4 je uveden histogram euklidovských vzdáleností mezi detekovanou pozicí středu a ručně zadanou referencí. Nejčastěji byly tepny detekovány s hodnotou euklidovské odchylky přibližně 0,7 mm od zadaného středu. Dále byly zjištěny odchylky průměrů detekovaných tepen od zadaných průměrů tepen (viz obr. 5.5). Ze všech hodnot je patrné, že chyba navržené metody je velmi malá, protože rozměry běžné tepny dospělého jednice se pohybují v rozmezí přibližně 7 – 10 mm (v závislosti na fázi srdečního cyklu).
Obr. 5.3
ě
mm
ě
mm
Odchylky určení pozice středu pro vertikální a horizontální směr
V tab. 5.3 jsou uvedeny výsledky měření výsledné rychlosti detekce tepny v testovacích obrazech. Tato měření byla provedena na osobním počítači vybaveném procesorem Intel Core i5– 21
680 s frekvencí 3,6 GHz. Z výsledků je patrné, že uvedený algoritmus může pracovat v reálném čase i pro nejhorší případ, tedy pro detekci menších tepen s použitím startovního rozměru okna 48×48. 16
četnost výskytu %
14 12 10 8 6 4 2 0 0
Obr. 5.4
1
rozdíl mm
2
3
Četnost výskytu euklidovských vzdáleností mezi pozicí detekovaného středu a ručně zadanou referencí
četnost výskytu %
35 30 25 20 15 10 5 0 0
Obr. 5.5
1
2
3
rozdíl mm
4
Četnost výskytu hodnot chyby určení průměru tepny
Hlavním přínosem metod popsaných v této kapitole k řešení stanovených cílů práce je nová, velmi přesná a efektivní metoda pro detekci tepen v ultrazvukových obrazových datech, která je 22
založena na Viola-Jones detektoru. Navržená úprava detektoru založená na evolučních algoritmech zvyšuje jeho odolnost vůči chybám zejména v případech, kdy snímky obsahují vysokou úroveň šumu nebo při deformacích detekovaného objektu díky přítlaku či natočení sondy, případně díky silovým účinkům okolní svalové tkáně. Při testování byla vytvořená metoda aplikována na soubor ultrazvukových dat (videosekvencí) s výskytem faktorů znesnadňujících detekci tak, jak je běžné v lékařské praxi a dosahuje běžně úspěšnost detekce nad 96 %, což je výrazně více než u metod popsaných v kapitolách 5.3 a 5.4 využívajících Houghovu transformaci a vyhodnocení pulzativního pohybu v sekvenci, kde je dosahováno menší úspěšnosti při výpočetní náročnosti vyšší o několik řádů. Navržená metoda navíc potřebuje pro takové spolehlivé nalezení příčného řezu tepny pouze jeden snímek, přičemž výpočetní náročnost bez problémů umožňuje zpracování v reálném čase.
6
SLEDOVÁNÍ ARTERIÁLNÍ STĚNY S POMOCÍ OPTICKÉHO TOKU
V rámci plnění stanoveného cíle této práce byla hledána spolehlivá technika pro sledování arteriální stěny v průběhu videosekvence, která by byla odolná vůči nežádoucím, přesto poměrně běžným jevům ve snímaných ultrazvukových videosekvencí v B-módu. Mezi tyto jevy patří zejména změna pozice sonografické sondy vůči analyzované arterii, její natočení, posun, přitlačení apod. Pokud by měla být měřena plocha arterie v každém snímku zvlášť pouze s pomocí vyhodnocení velikosti automaticky detekovaného arteriálního kruhu, jak bylo popsáno v předchozích dvou kapitolách, byla by výsledná křivka značně nepřesná a nespojitá. Výsledky výzkumu popsaného v předchozích dvou kapitolách byly tedy dále rozvíjeny s cílem odstranění nespojitostí při měření geometrie arteriální stěny a v této kapitole je popsána metoda sledování, díky níž je možné získat spojitější křivky bez rušivých nespojitostí [89], [90]. Při zpracování je opět využito přímého zpracování obrazu v B-módu za účelem sledování hranic arterie a analyzování jejich změn v čase (v ultrazvukové videosekvenci po sobě jdoucích snímků). Tato závislost (geometrické parametry na čase nebo na čísle snímku ve videosekvenci) může být následně použita pro různé analýzy, zejména pak pro ty které se vztahují ke krevnímu tlaku a elasticitě arterie. Smyslem práce při vývoji této metody bylo tedy pokud možno automatické spojité měření příčného řezu arterie v sonografické videosekvenci, výpočet jeho plochy a vynesení do grafu. Hlavní výhody prezentované metody spočívají ve faktu, že nepotřebuje nastavení mnoha parametrů. Je téměř automatická, vysoce přesná a spolehlivá pro různé kvality obrazu. Hranice arterie nejsou obvykle příliš patrné, což dělá detekci velmi obtížnou. Metoda pro svoji funkci nutně nepotřebuje sledovat jasně zřetelnou a propojenou hranu, což zvyšuje její spolehlivost. Může sledovat měřenou arterii, i když se senzor pohybuje, kterýžto pohyb zapříčiňuje celkový pohyb v obraze. Na počátku vývoje algoritmu byly stanoveny některé vlastnosti hledané metody. Metoda by měla být pokud možno neparametrická, automatická, přesná a spolehlivá. Na začátku zpracování (sledování) je nutné nejdříve přesně a spolehlivě detekovat arteriální kružnici v prvním obecném snímku. Přitom je třeba počítat s tím, že arteriální kružnice se může nalézat ve kterékoli části obrazu. Takový detekční krok je možné realizovat aplikací plně automatických procedur detekce příčného řezu popsaných v kapitole 5.4 a 5.5. Následný proces určení plochy arterie ve videosekvenci během srdečního cyklu je v souladu se stanoveným cílem práce tedy také plně automatický.
23
Obr. 6.1
Kompletní zdrojový ultrazvukový obraz
Celá metoda se skládá z několika navazujících kroků zpracování obrazu. Hlavní myšlenka spočívá ve sledování pohybu tkáně poblíž arteriální stěny. Toto je realizováno pomocí detekce výrazných obrazových útvarů nalézajících se na stěně arterie. Tyto útvary jsou vybrány v podobě význačných bodů (tzv. good features to track [91]), které jsou sledovány v průběhu celé videosekvence. Výsledný řez arterií je stanoven jako plocha těmito body vymezená. Finálním výsledkem zpracování je křivka závislosti aproximované plochy řezu arterie na čase. Bohužel je však velmi obtížné získat ground truth informaci, se kterou by bylo možné tento průběh porovnat. Jako tlaková křivka nejméně zatížená chybou měření připadá v úvahu zejména invazivně získaná křivka tlaku, která by musela být získána souběžně při snímání UZ sondou ve stejném místě, tedy v krční tepně. Náročnost získání takového záznamu je však značná a vyžaduje spolupráci specializovaných lékařů při invazivním zavádění katetru do tepny. Další možností je neinvazivní snímání s pomocí sfygmografie, která využívá tlakové manžety, měření však může být již zatíženo chybou, nehledě na případné potíže při tlakování manžety kolem krku a souběžném snímání téhož místa sonografem. Vzhledem k těmto obtížím nebylo provedeno porovnání výsledných signálů s žádnou ground truth informací. Příklad typické křivky získané popsanou metodikou bez jakéhokoli dodatečného zpracování hodnot plochy proložených elips je uveden na obr. 6.2. Je možné konstatovat, že se na této křivce vyskytuje znatelný dikrotický zářez a poblíž vrcholu je možné rozpoznat ze změny strmosti křivky i časovou pozici odražené vlny. Jsou zde tedy patrné všechny důležité tvarové příznaky, které jsou třeba pro další analýzu tlakových projevů křivky srdečního cyklu. Kvalita vyvinuté metody spočívá zejména ve schopnosti aproximovat arteriální stěnu v místech, kde není v originálním UZ záznamu zřetelná.
24
aproximovaná plocha řezu arterie px
4200
odražená vlna dikrotický zářez
4000
3800
3600
3400 0
Obr. 6.2
0,5
1
1,5
2
2,5
3
3,5
4
t4,5 s
Konečný výsledek: křivka srdečního cyklu
V této kapitole byla prezentována metoda sledování tepenné stěny založená na optickém toku. Tato metoda je odolná vůči potížím se zpracováním sekvencí s (lokálně) nejasnými obrysy arteriálních stěn a částečně i vůči nežádoucímu pohybu ve videosekvenci. Na základě subjektivních pozorování je možné konstatovat, že výsledek neobsahuje šum (tedy skokové změny průběhu v oblastech, kde je očekávána hladká tlaková křivka) do jisté míry i pro méně kvalitní sekvence zatížené nežádoucími pohyby sondy vedoucími k deformaci tepny. Navržený algoritmus byl subjektivně testován na desítkách krátkých sekvencí, které obsahovaly přibližně 5 sekund (160 snímků), s použitelnou obrazově-anatomickou dynamickou informací pro analýzu křivky srdečního tlaku.
7
DODATEČNÉ ZPRACOVÁNÍ VÝSLEDKŮ
V této kapitole je uveden popis metody publikované ve [93] pro dodatečné zpracování výsledků získaných s využitím postupu měření plochy příčného řezu tepny popsaného v kapitole 6. Inicializační procedura detekující tepnu má za úkol definovat oblast, ve které se s jistotou vyskytuje tepenná stěna. Často však může nastat situace, kdy se velikost inicializační kruhovité plochy liší pro snímek jedné tepny v přibližně stejném čase. Takové rozdíly mohou být způsobeny například volbou detekční procedury (např. volbou procedury popsané v kapitole 5.4 nebo 5.5), nebo dokonce i při použití jedné procedury, protože dva mírně odlišné snímky mohou díky šumu obsahovat mírně odlišné význačné body, jejichž aproximací vznikne větší či menší inicializační plocha. V této kapitole je proto hledána metoda normalizačního přepočtu za účelem kompenzace velikostních rozdílů ve vybrané inicializační ploše příčného řezu tepny. Po normalizaci jsou křivky srdečního cyklu porovnány s využitím jednoduchých statistických metod. 7.1
DEFINICE INICIALIZAČNÍ PLOCHY
Dvě různé inicializace pro jeden zdrojový snímek je možné simulovat jednoduše dvěma různými způsoby definice velikosti prstencových oblastí, ve kterých jsou pak následně detekovány jiné význačné body. V této kapitole budou uvedeny přístupy, které vycházejí z metod popsaných v kapitolách 5.4 a 6. Pro účely testování přepočtu hodnot, který bude představen v následujícím textu, není příliš podstatné, jak vznikne daný inicializační prstenec. Důležité je, abychom měli 25
k dispozici dva prstence s rozdílnými velikostmi, ve kterých budou následně detekovány význačné body. Tyto význačné body jsou v ultrazvukovém snímku umístěny kolem stěny příčného řezu arterie a definují uzavřenou křivku kruhovitého tvaru. Příklad obrázků zachycujících inicializační krok jsou na obr. 7.1. První z nich, obr. 7.1 (a) ukazuje příklad zdrojového snímku příčného řezu arterie, na obr. 7.1 (d) jsou v tomto snímku význačné body pro následující sledování ve videosekvenci spolu s aproximovaným kruhovitým obrysem plochy. Tyto body byly detekovány automaticky, ovšem na základě inicializačního manuálního kroku, kdy operátor definuje kruhový prstenec (vyznačený na obr. 7.1 (c)) překrývající arteriální stěnu. Plně automatická metoda nalezení tepny (viz kapitola 5.4) produkuje po fázi detekce význačných bodů na arteriální stěně jiné body, než metoda s manuálním nastavením oblasti hranice tepny, jak je vidět z obr. 7.1 (b). Rozdílné inicializační plochy se promítnou i do výsledných křivek obou metod vynesených v grafu na obr. 7.2.
Obr. 7.1
(a)
(b)
(c)
(d)
Inicializační snímky ze vzorové ultrazvukové videosekvence: (a) zdrojový inicializační snímek, (b) zdrojový snímek s automaticky detekovanými význačnými body a aproximovanými hranicemi tepny v příčném řezu, (c) zdrojový snímek s manuálně definovanou prstencovou maskou, (d) zdrojový snímek s poloautomaticky vybranými význačnými body (body jsou detekovány automaticky, s využitím ručně definované prstencové masky) a aproximovanými hranicemi tepny v příčném řezu
Na základě dvou různých skupin význačných bodů (viz obr. 7.1 (b) a (d)) je sledována arteriální stěna ve videosekvenci a v každém snímku je změřena velikost aproximované plochy řezu arterie. Je zřejmé, že mírně odlišná inicializace způsobuje odlišné výsledky, které se liší zejména v úrovni stejnosměrné (SS) složky výsledných signálů (viz obr. 7.2 (a)). Hlavní problém při srovnání výsledků měření s různými inicializacemi, které by měly ideálně dávat výsledky stejné, tedy spočívá v nalezení způsobu normalizace těchto křivek s uvážením geometrické podstaty daného měření.
26
S px2
5000 4500 4000 3500
(a)
3000 2500 2000
S ‐ Savg px2
500 300 100
(b)
‐100 ‐300
∆S px2
‐500 400 200
(c)
0 ‐200 ‐400
∆r px
1,5 1 0,5
(d)
0 ‐0,5 ‐1 ‐1,5
Obr. 7.2
t s
Křivky srdečního cyklu: (a) plochy příčného řezu arterie měřené metodou s ruční inicializací ( ) a s plně automatickou inicializací ( ), (b) plochy příčného řezu arterie po odstranění SS složky, (c) rozdíly ploch příčného řezu arterie vztažené k průměrům vypočteným v okně, (d) rozdíly poloměrů arterie vztažené k průměrům vypočteným v okně
27
7.2
EXPERIMENTÁLNÍ VÝSLEDKY
Experimentální testování bylo provedeno na deseti videosekvencích. Každá sekvence byla zpracována oběma výše zmíněnými metodami a výsledky byly porovnány pomocí statistického vyhodnocení míry rozdílnosti dvou množin hodnot. První z nich – míra (root mean square error) je vypočtena jako: ∑ kde ∆ Míra
∆
(7.1)
,
jsou prvky vypočtené z naměřené množiny dat sekvence (normalised root mean square error) je vypočtena jako ∆
kde ∆
∆
∆
resp. ∆
a∆
ze sekvence (7.2)
∙ 100,
.
je maximální resp. minimální hodnota z obou sekvencí ∆
a∆ .
Tab. 7.1. Experimentální výsledky vzorek
hodnocení 1 2 3 4 5 6 7 8 9 10
RMSE [px] 0,081 0,139 0,027 0,042 0,039 0,041 0,052 0,015 0,341 0,356
NRMSE [%] 2,98 4,26 0,94 1,30 1,18 1,68 2,31 0,92 10,22 10,05
poznámka svalové artefakty
pohyb sondy pohyb sondy
Tab. 7.1 obsahuje výsledky pro deset testovacích videosekvencí. Výsledky byly pro obě metody velmi uspokojivé pro sekvence bez výskytu globálního pohybu obrazu (vzorky 3–8), kde byla míra velmi nízká a výsledné křivky byly prakticky identické. Oproti tomu vzorky, u kterých obraz vykazoval silný pohyb způsobený svalovou aktivitou testované osoby ve snímané oblasti nebo velký globální pohyb způsobený pohybem sondy v průběhu měření, dávají po zpracování nejhorší výsledky (vzorky 2, 9 a 10 v tab. 7.1). Výsledky naznačují, že před zpracováním je vhodné použít některou z technik pro stabilizaci (registraci) obrazů před procesem normalizace, čímž se omezí vliv globálního pohybu v obraze. Potlačení vlivu pohybu svalstva během vyšetření na použitelnost výsledků je však problematické. V této kapitole byla popsána srovnávací studie, ze které vyplynula potřeba zavedení normalizačního přepočtu, při kterém jsou potlačeny nízkofrekvenční složky spektra předmětných signálů pomocí průměrování v okně a hodnoty změn plochy tepny vůči takovýmto průměrovaným hodnotám jsou přepočítány na změny poloměrů tepny. Přepočet z plochy na poloměr je založen na předpokladu zanedbatelnosti vlivu elasticity tepenné stěny (ztenčení stěny tepny při systole) v oblastech, kde je analyzovaný optický tok, a na předpokladu, že kolmý řez zkoumané tepny je kruhový (mírná eliptičnost řezu arterie je zanedbána). Experimentální výsledky ukázaly, že hlavním problémem spolehlivosti určování křivky srdečního cyklu z geometrie tepenné stěny v ultrazvukové videosekvenci je pohyb sondy při snímání (relativně snadno odstranitelný pomocí stabilizace obrazu
28
– viz např. [78], [79]) a svalové artefakty, které značně zkreslují výsledky (obtížně odstranitelné, protože dochází k přímým deformacím analyzovaného objektu).
8
ZÁVĚR
V habilitační práci byl prezentován přehled a řešení problému extrakce biologických signálů odvozených od geometrických změn tepenné části krevního řečiště z obrazových dat získaných vhodnou zobrazovací technikou. Byl prezentován přehled možností snímání včetně úvodních experimentů zkoumajících možnost využití NIR světelného spektra s negativním výsledkem. Úvodní rešerše i pokusy vedly ke zvolení ultrazvukového principu snímání v prostém B-módu. Z hlediska měření změn geometrie tepny bylo výhodnější snímat větší arterii, proto byla zvolena krční tepna, která je bez problémů dostupná a pro podobné experimenty bývá často používána (např. ve [36]). Dále bylo v práci popsáno několik původních metod pro detekci podélného a příčného řezu tepny v ultrazvukových snímcích od relativně jednoduchých technik až po sofistikované samoučící se přístupy. Vlastnosti vyvinutých metod byly průběžně testovány, aby byla zřejmá jejich použitelnost ve finálním automatickém řetězci pro měření geometrických parametrů tepny. Jako nejlepší detekční technika byl díky svým vlastnostem vybrán algoritmus modifikovaného objektového detektoru podle metody Violy-Jonese, který byl speciálně upraven a natrénován pro detekci příčného řezu tepny v reálném čase. Přestože vykazuje tato metoda velkou úspěšnost detekce a přesnost určení středu a poloměru tepny, není možné ji využít pro kontinuální měření, ve kterém i malá nepřesnost detekce může znamenat znehodnocení výsledků (výskyt skokových změn ve tvaru křivky). Z toho důvodu byl implementován postup sledování tepenné stěny s pomocí analýzy optického toku metodou dle Lucase-Kanadeho, s jehož pomocí je možné sledovat průběh změn geometrie tepenné směny ve videosekvenci na základě prvotní inicializace (detekce tepny). Tato technika umožňuje navíc aproximovat tepennou stěnu i v neúplné a zašuměné podobě, která se v ultrazvukových záznamech běžně objevuje. V závěru práce byla prezentována metoda pro normalizační přepočet výsledků měření tak, aby byly co možná nejméně závislé na přesnosti detekční procedury. Využití výsledných metod se nemusí nutně omezit na zpracování snímků zachycujících arterie, ale po úpravách mohou být použity pro analýzu jiných prostorově či časově se měnících objektů, například prostorových sekvencí z tomografických zařízení (CT, NMR). Metody je možné považovat za moduly, jejichž jádrem je sledování objektu a vyhodnocování jeho tvaru v průběhu videosekvence na základě sledování význačných bodů. Inicializační moduly jsou metody pro detekci určitého obrazového objektu, který může mít pro různá využití různé tvary. Metoda je tedy rozšiřitelná s podmínkou nalezení vhodné detekční metody pro daný tvar objektu a s podmínkou výskytu význačných bodů na hraně objektu, který bude sledován. Práce spadá do rámce několikaletého výzkum týmu, který se zabýval problematikou nových metod zjišťování parametrů oběhového systému a pokročilými metodami analýzy obrazu. V části zabývající se hledáním vhodné snímací metody spolupracoval autor textu s Ing. Radimem Čížem, Ph.D., zaměstnancem ÚTKO FEKT, v části zabývající se detekcí podélného řezu tepny s pomocí Houghovy transformace a detekcí příčného řezu s využitím algoritmu umělého imunitního systému se jedná o společnou práci autora a týmu prof. Dongmei Fu z Pekingské vědecko-technologické univerzity (USTB), v části zabývající se detekcí podélného řezu tepny s pomocí technik SVM a RANSAC a detekcí tepny v příčném řezu s pomocí analýzy pulzativního pohybu se jedná o společnou práci autora a Ing. Radka Beneše, interního doktoranda ÚTKO FEKT, na problematice detekce příčného řezu tepny pomocí techniky modifikovaného detektoru dle Violy-Jonese spolupracoval autor s Ing. Janem Maškem, interním doktorandem ÚTKO FEKT a problematiku sledování arteriálních stěn řešil autor ve spolupráci s Ing. Igorem Potúčkem, Ph.D., zaměstnancem ÚTKO FEKT.
29
Práce vznikla za podpory projektů MŠMT 2B06111 – „Nové diagnostické metody zjišťování parametrů oběhového systému založené na infračerveném snímání obrazu“ (2006–2011) [1] a ME10123 – „Výzkum algoritmů pro zpracování digitálních obrazů a obrazových sekvencí“ (2010–2012) [95], jichž byl autor této práce spoluřešitelem. Právní ochrana dosažených výsledků byla provedena formou jednoho užitného vzoru [96] a dvou patentů [97], [98]. Výsledky byly průběžně prezentovány na mezinárodních vědeckých konferencích a ve vědeckých časopisech, včetně časopisů s impaktním faktorem.
30
9
SEZNAM POUŽITÉ LITERATURY
[1] TOMIYAMA, H.; YAMASHINA, A. Non-invasive Vascular Function Tests: Their Pathophysiological Background and Clinical Application. Circ J, Jan 2010, 74(1), pp. 24–33. [2] NOVÁKOVÁ, Z.; ROMAN, R. Praktická cvičení z fyziologie. Brno: Masarykova univerzita, 2011. 118 s. ISBN 978–80–210–4391–6. [3] ZAVODNA, E.; HONZIKOVA, N.; HRSTKOVA, H.; NOVAKOVA, Z.; MOUDR, J.; JIRA, M.; FISER, B. Can We Detect the Development of Baroreflex Sensitivity in Humans Between 11 and 20 Years of Age? Can J Physiol Pharmacol, Dec 2006, 84(12), pp. 1275–1283. [4] DE BORST, G.J.; MOLL, F. Biology and Treatment of Recurrent Carotid Stenosis. J Cardiovasc Surg, Feb 2012, 53(1), pp. 27–34. [5] TASAR, M.; YETISER, S.; TASAR, A.; UGUREL, S.; GONUL, E.; SAGLAM, M. Congenital Absence or Hypoplasia of the Carotid Artery: Radioclinical Issues. Am J Otolaryngol, Sep–Oct 2004, 25(5), pp. 339–349. [6] JENG, J.S.; YIP, P.K. Evaluation of Vertebral Artery Hypoplasia and Asymmetry by ColorCoded Duplex Ultrasonography. Ultrasound Med Biol, May 2004, 30(5), pp. 605–609. [7] BREKKEN, R.; MULLER, S.; GJERALD, S.U.; HERNES, T.A. Simulation Model for Assessing Quality of Ultrasound Strain Estimation in Abdominal Aortic Aneurysm. Ultrasound Med Biol, May 2012, 38(5), pp. 889–896. [8] FINN, S.; GLAVIN, M. AND JONES, E. Echocardiographic Speckle Reduction Comparison. IEEE Trans Ultrason Ferroelectr Freq Control, Jan 2011, 58(1), pp. 82–101. [9] MASSAY, R. J.; LOGAN-SINCLAIR, R. B.; BAMBER, J. C.; GIBSON, D. G. Quantitative Effects of Speckle Reduction on Cross Sectional Echocardiographic Images. Br Heart J, Oct 1989, 62(4), pp. 298–304. [10] ZONG, X.; LAINE, A. F.; GEISER, E. A. Speckle Reduction and Contrast Enhancement of Echocardiograms via Multiscale Nonlinear Processing. IEEE Trans Med Imaging, Aug 1998, 17(4), pp. 532–540. [11] YU, Y.; ACTON, S. T. Speckle Reducing Anisotropic Diffusion. IEEE Trans Image Process, 2002, 11(11), pp. 1260–1270. [12] AJA-FERNANDEZ, S.; ALBEROLA-LOPEZ, C. On the Estimation of the Coefficient of Variation for Anisotropic Diffusion Speckle Filtering. IEEE Trans Image Process, Sep 2006, 15(9), pp. 2694–2701. [13] ZHANG, Y.; CHENG, H. D.; TIAN, J.; HUANG, J. A Novel Speckle Reduction and Contrast Enhancement Method Based on Fuzzy Anisotropic Diffusion. In 17th IEEE International Conference on Image Processing (ICIP), Sep 2010, pp. 4161–4164. [14] PIZURICA, A.; PHILIPS, W.; LEMAHIEU, I.; ACHEROY, M. A Versatile Wavelet Domain Noise Filtration Technique for Medical Imaging. IEEE Trans Med Imaging, Mar 2003, 22(3), pp. 323–331. [15] LEE, J. Digital Image Enhancement and Noise Filtering by Use of Local Statistics. IEEE Trans Pattern Anal Mach Intell, 1980, 2(2), pp. 165–168. [16] BENES, R.; RIHA, K. Speckle Noise Supression in Ultrasound Medical Images. In The 10th International Conference on Knowledge in Telecommunication Technologies and Optics, 2010, pp. 199–204. [17] Hill, D. L.; Batchelor, P. G.; Holden, M.; Hawkes, D. J. Medical Image Registration. Phys Med Biol, Mar 2001, 46(3), pp. R1–R45. [18] HAJNAL, J. V.; HILL, D. L.; HAWKES, D. J. Medical Image Registration. CRC Press, 2001. ISBN 9781420042474. 31
[19] LOWE, D. Distinctive Image Features from Scale-invariant Keypoints. Int J Comput Vis, Nov 2004, 60(2), pp. 91–110. [20] O’DONOVAN, P. Optical Flow:Techniques and Applications. The University of Saskatchewan, Apr 2005. Tech. Rep. 502425. [21] DUDA, R. O.; HART, P. E. Use of the Hough Transformation to Detect Lines and Curves in Pictures, Commun ACM, 1972, 15(1), pp. 11–15. [22] ATHERTON, T. J.; KERBYSON, D. J. Size Invariant Circle Detection. Image Vis Comput, Sep 1999, 17(11), pp. 795–803. [23] CECCARELLI, M.; PETROSINO, A.; LACCETTI, G. Circle Detection Based on Orientation Matching. In 11th International Conference on Image Analysis and Processing, Proceedings, 2001, pp. 119–124. [24] FROSIO, I.; BORGHESE, N. A. Real-time Accurate Circle Fitting with Occlusions. Pattern Recognit, Mar 2008, 41(3), pp. 1041–1055. [25] RAD, A. A.; FAEZ, K.; QARAGOZLOU, N. Fast Circle Detection Using Gradient Pair Vectors. In VIIth Digital Image Computing: Techniques and Applications, 2003, pp. 879–887. [26] AYALA-RAMIREZ, V.; GARCIA-CAPULIN, C. H.; PEREZ-GARCIA, A.; SANCHEZYANEZ, R. E. Circle Detection on Images Using Genetic Algorithms. Pattern Recognit Lett, Apr 2006, 27(6), pp. 652–657. [27] ROTH, G.; LEVINE, M. Geometric Primitive Extraction Using a Genetic Algorithm. IEEE Trans Pattern Anal Mach Intell, Sep 1994, 16(9), pp. 901–905. [28] GOLEMATI, S.; STOITSIS, J.; SIFAKIS, E. G.; BALKIZAS, T.; NIKITA, K. S. Using the Hough Transform to Segment Ultrasound Images of Longitudinal and Transverse Sections of the Carotid Artery. Ultrasound Med Biol, Dec 2007, 33(12), pp. 1918–1932. [29] STOITSIS, J., GOLEMATI, S.; KENDROS, S.; NIKITA, K. S.; ALEXANDRIDI, A.; DAVOS, C. H.; NIKITA, K. S. Automated Setection of the Carotid Artery Wall in B-mode Ultrasound Images Using Active Contours Initialized by the Hough Transform. In 30th Annual International Conference of the IEEE Engineering in Medicine and Biology Society, 2008, pp. 3146–3149. [30] MATSAKOU, A. I.; GOLEMATI, S.; STOITSIS, J. S.; NIKITA, K. S. Automated Detection of the Carotid Artery Wall in Longitudinal B-mode Images Using Active Contours Initialized by the Hough Transform. In 33rd Annual International Conference of the IEEE Engineeringin-Medicine-and-Biology-Society (EMBS), 2011, pp. 571–574. [31] MATSAKOU, A. I.; TSIAPARAS, N.; GOLEMATI, S.; NIKITA, K. S. Multiscale Edge Detection and Gradient Vector Flow Snakes for Automated Identification of The Carotid Artery Wall in Longitudinal B-Mode Ultrasound Images. In 9th IEEE International Symposium on Biomedical Imaging (ISBI), 2012, pp. 1599–1602. [32] JAYANTHI, K.; BANU, R. Carotid Artery Boundary Extraction Using Segmentation Techniques: A Comparative Study. In Proceedings of the 6th International Conference on Information Technology: New Generations, 2009, pp. 1290–1295. [33] GOLEMATI, S.; STOITSIS J.; PERAKIS, D. A; VARELA, E.; ALEXANDRIDI, A.; DAVOS, C. H.; NIKITA, K. S. Carotid Artery Motion Estimation from Sequences of B-Mode Ultrasound Images: Effect of Scanner Settings and Image Normalization. IEEE Trans Instrum Meas, Jul 2009, 58(7), pp. 2102–2112. [34] GASTOUNIOTI, A.; GOLEMATI, S.; STOITSIS, J. S.; NIKITA, K. S. Comparison of Kalman-filter-based Approaches for Block Matching in Arterial Wall Motion Analysis from B-mode Ultrasound. Meas Sci Technol, Nov 2011, 22(11).
32
[35] GASTOUNIOTI, A.; TSIAPARAS, N. N.; GOLEMATI, S.; STOITSIS, J. S.; NIKITA, K. S. Affine Optical Flow Combined with Multiscale Image Analysis for Motion Estimation of the Arterial Wall from B-mode Ultrasound. In Annual International Conference of The IEEE Engineering in Medicine and Biology Society, 2011, pp. 559–562. [36] GOLEMATI, S.; STOITSIS, J. S.; GASTOUNIOTI, A.; DIMOPOULOS, A. C.; KOROPOULI, V.; NIKITA, K. S. Comparison of Block Matching and Differential Methods for Motion Analysis of the Carotid Artery Wall From Ultrasound Images. IEEE T Inf Technol Biomed, Sep 2012, 16(5), pp. 852–858. [37] HORN, B.; SCHUNCK, B. Determining Optical-Flow. Artif Intell, 1981, 17(1–3), pp. 185– 203. [38] LUCAS, B. D.; KANADE, T. Iterative Image Registration Technique with an Application To Stereo Vision. In Proceedings of the 7th International Joint Conference on Artificial Intelligence, 1981, vol. 2, pp. 121–130. [39] FARNEBACK, G. Two-frame Motion Estimation Based on Polynomial Expansion. In Lecture Notes in Computer Science, 2003, vol. 2749, pp. 363–370. [40] TAO, M. W.; BAI, J.; KOHLI, P.; PARIS, S. SimpleFlow: A Non-iterative, Sublinear Optical Flow Algorithm. Comput Graph Forum, May 2012, 31(2), pp. 345–353. [41] WENDELHAG, I.; LIANG, Q.; GUSTAVSSON, T.; WIKSTRAND, J. A New Automated Computerized Analyzing Aystem Simplifies Readings and Reduces the Variability in Ultrasound Measurement of Intima-Media Thickness. Stroke, Nov 1997, 28(11), pp. 2195– 2200. [42] MAO, F.; GILL, J.; DOWNEY, D.; FENSTER, A. Segmentation of Carotid Artery in Ultrasound Images: Method Development and Evaluation Technique. Med Phys, Aug 2000, 27(8), pp. 1961–1970. [43] CHENG, D. C.; SCHMIDT-TRUCKSÄSS, A.; CHENG, K. S.; BURKHARDT, H. Using Snakes to Detect the Intimal and Adventitial Layers of the Common Carotid Artery Wall in Sonographic Images. Comput Meth Programs Biomed, Jan 2002, 67(1), pp. 27–37. [44] GILL, J. D.; LADAK, H. M.; STEINMAN, D. A.; FENSTER, A. Accuracy and Variability Assessment of a Semiautomatic Technique for Segmentation of the Carotid Arteries from Three-dimensional Ultrasound Images. Med Phys, Jun 2000, 27(6), pp. 1333–1342. [45] DESTREMPES, F.; MEUNIER, J.; GIROUX, M. F.; SOULEZ, G.; CLOUTIER, G. Segmentation in Ultrasonic B-Mode Images of Healthy Carotid Arteries Using Mixtures of Nakagami Distributions and Stochastic Optimization. IEEE Trans Med Imaging, Feb 2009, 28(2), pp. 215–229. [46] DESTREMPES, F.; MEUNIER, J.; GIROUX, M. F.; SOULEZ, G.; CLOUTIER, G. Segmentation of Plaques in Sequences of Ultrasonic B-Mode Images of Carotid Arteries Based on Motion Estimation and a Bayesian Model. IEEE Trans Biomed Eng, Aug 2011, 58(8), pp. 2202–2211. [47] DELSANTO, S.; MOLINARI, F.; GIUSTETTO, P.; LIBONI, W.; BADALAMENTI, S.; SURI, J. S. Characterization of a Completely User-independent Algorithm for Carotid Artery Segmentation in 2-D Ultrasound Images. IEEE Trans Instrum Meas, Aug 2007, 56(4), pp. 1265–1274. [48] LARSSON, M.; KREMER, F.; CLAUS, P.; BRODIN, L. A.; D'HOOGE, J. Ultrasoundbased 2D Strain Estimation of the Carotid Artery: an in-silico feasibility study. In IEEE International Ultrasonics Symposium, 2009, pp. 459–462. [49] SIKDAR, S.; SHAMDASANI, V. T.; LIDSTROM, M. S.; BEACH, K. W.; KIM, Y. LowCost Detection and Monitoring of Coronary Artery Disease Using Ultrasound. In 1st 33
Transdisciplinary Conference on Distributed Diagnosis and Home Healthcare, 2006, pp. 55– 58. [50] DYDENKO, I.; FRIBOULET, D.; MAGNIN, I. E.; D'HOOGE, J.; BIJNENS, B. Segmentation and Tracking of the Cardiac Muscle in Echocardiographic Sequences Using a Level Set Approach. In IEEE Symposium on Ultrasonics, 2003, vol. 1, pp. 21–24. [51] MOLLOI, S.; KASSAB, G. S.; ZHOU, Y. Quantification of Coronary Artery Lumen Volume by Digital Angiography – In Vivo Validation. Circulation, Nov 6 2001, 104(19), pp. 2351–2357. [52] JAYANTHI, K. B.; WAHIDA BANU, R. S. D.: Carotid Artery Boundary Extraction Using Segmentation Techniques: A Comparative Study. In Proceedings of the 2009 Sixth International Conference on Information Technology: New Generations, 2009, pp. 1290–1295. [53] VIOLA, P.; JONES, M. Rapid Object Detection Using a Boosted Cascade of Simple Features. In IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2001, vol. 1, pp. 511–518. [54] VIOLA, P.; JONES, M. Robust Real-Time Face Detection. Int J Comput Vision, May 2004, 57(2), pp. 137–154. [55] PRINOSIL, J.; SMEKAL, Z. Robust Real-Time Face Tracking System. In 32nd International Conference on Telecommunications and Signal Processing. 2009, pp. 101–104. [56] KOLSCH, M.; TURK, M. Robust Hand Detection. In Sixth IEEE International Conference on Automatic Face and Gesture Recognition, 2004, pp. 614–619. [57] UL HAQ, E.; PIRZADA, S. J. H.; BAIG, M. W.; SHIN, H. New Hand Gesture Recognition Method for Mouse Operations. In IEEE 54th International Midwest Symposium on Circuits and Systems, Aug 2011. [58] IVANOVICI, M.; SCURTU, V. Optical Disc Detection in Retinal Images. In Proceedings of the 11th International Conference on Optimization of Electrical and Electronic Equipment, 2008, vol. IV, pp. 119–124. [59] ZHANG, W.; SUN, J.; TANG, X. From Tiger to Panda: Animal Head Detection. In IEEE Trans Image Process, 2011, 20(6), pp. 1696–1708. [60] PLANCK, M. On the Law of Distribution of Energy in the Normal Spectrum. Ann PhysBerlin, 1901, 4, p. 553 ff. [61] RIHA, K.; CIZ, R. Blood Vessels Detection in NIR Light. In Proceedings of the 8th International Conference Research in Telecommunication Technology, 2007, pp. 355–358. [62] RIHA, K.; CIZ, R.; BODECEK, K. NIR Light Image Processing for Blood Vessel Detection. International Transaction on Computer Science and Engineering, 2007, 44(1), pp. 115–123. ISSN 1738–6438. [63] RIHA, K.; CHEN, P.; FU, D. Using Fuzzy Entropy Thresholding Method for Segmentation of Infrared Images. International Transaction on Computer Science and Engineering, 2008, 47(1), pp. 130–140. ISSN 1738–6438. [64] LEE, J. C. A Novel Biometric System Based on Palm Vein Image. Pattern Recognit Lett, Sep 2012, 33(12), pp. 1520–1528. [65] RIHA, K.; CIZ, R. Searching for a New Non-invasive Method of Blood Circulation System Diagnostics. In The Third International Conference on Systems, (ICONS), 2008, pp. 156–161. [66] HOSKINS, P.; THRUSH, A. Diagnostic Ultrasound: Physics and Equipment. Cambridge University Press, 2003, ISBN 9781841100425. [67] RIHA, K.; CHEN, P.; FU, D. The Sonographic Video Processing for Measurement of Time Variations of Carotid Artery Walls Distance. In Proceedings of the 2008 international
34
conference on image processing, computer vision, & pattern recognition, 2008, vol. 1, pp. 172– 176. [68] GONZALEZ, R. C.; WOODS, R. E., Digital Image Processing. Pearson Education, 2011. ISBN 9780133002324. [69] BENES, R.; HASMANDA, M. Automatic Artery Localisation in US Images. In Proceedings of the 17th Conference Student EEICT 2011, 2011, vol. 3, pp. 88–92. [70] LIGUORI, C.; PAOLILLO, A.; PIETROSANTO, A. An Automatic Measurement System for the Evaluation of Carotid Intima-Media Thickness. IEEE Trans Instrum Meas, Dec 2001, 50(6), pp. 1684–1691. [71] VAPNIK, V. The Nature of Statistical Learning Theory, Springer-Verlag, 1995.ISBN 0– 387–94559–8 [72] HARTLEY, R.; ZISSERMAN, A. Multiple View Geometry in Computer Vision. Cambridge University Press, 2004, 2nd edition. ISBN 978–0521540513 [73] RIHA, K.; CHEN, P.; FU, D. Detection of Artery Section Area Using Artificial Immune System Algorithm. In Proceedings of The 7th WSEAS International Conference on CIRCUITS, SYSTEMS, ELECTRONICS, CONTROL & SIGNAL PROCESSING, 2008, pp. 46–52. [74] IGAWA, K.; OHASHI, H.; MOHAMMADIAN, M. A Discrimination Based Artificial Immune System for Classification. In International Conference on Computational Intelligence for Modelling, Control & Automation Jointly with International Conference on Intelligent Agents, Web Technologies & Internet Commerce, 2006, vol. 2, pp. 787–792. [75] GARAIN, U.; CHAKRABORTY, P. M.; DASGUPTA, D.: Recognition of Handwritten Indic Script using Clonal Selection Algorithm. In Artificial Immune Systems, 2006, vol. 4163, pp. 256–266. [76] RIHA, K.; BENES, R. Circle Detection in Pulsative Medical Video Sequence. In Proceedings of International Conference on Signal Processing, 2010, pp. 674–677. [77] CHANG, J.; HU, W.; CHENG, M.; CHANG, B. Digital Image Translational and Rotational Motion Stabilization Using Optical Flow Technique. IEEE Trans Consum Electron, Feb 2002, 48(1), pp. 108–115. [78] RIHA, K.; BENES, R. The Processing of Vectors Field for Image Registration. In Recent Researches in Circuits, Systems, Elctronics, Control & Signal Processing, 2010. pp. 28–33. [79] BENES, R.; RIHA, K. Real-Time Motion Compensation Using Optical Flow. In 33nd International Conference Proceeding on Telecommunications and Signal Processing – TSP' 2010, 2010, pp. 166–170. [80] FUKUNAGA, K. Introduction to Statistical Pattern Recognition. Academic Press, 1990. ISBN 9780080478654. [81] RIHA, K.; MASEK, J.; BURGET, R.; BENES, R.; ZAVODNA, E. Novel Method for Localization of Common Carotid Artery Transverse Section in Ultrasound Images Using Modified Viola-Jones Detector. Ultrasound Med Biol, 2013, 39(10), pp. 1887–1902. [82] MAŠEK, J. Detekce objektů v obraze s pomocí Haarových příznaků: diplomová práce. Brno: Vysoké učení technické v Brně, Fakulta elektrotechniky a komunikačních technologií, Ústav telekomunikací, 2012. 72 s [83] MASEK, J. Image Object Detection Using Haar-like Features. In Proceedings of the 18th Conference STUDENT EEICT, 2012, vol. 2, pp. 70–72. [84] KARASEK, J.; BURGET, R.; MASEK, J.; BENDA, O. Genetic Programming Based Classifier in Viola-Jones RapidMiner Image Mining Extension. In 36th International Conference on Telecommunications and Signal Processing, 2013, pp. 872–876.
35
[85] FREUND, Y.; SCHAPIRE, R. A Decision-theoretic Generalization of On-line Learning and an Application to Boosting. J Comput Syst Sci, Aug 1997, 55(1), pp. 119–139. [86] LIENHART, R.; MAYDT, J. An Extended Set of Haar-like Features for Rapid Object Detection. In International Conference on Image Processing, 2002, vol. 1, pp. 900–903. [87] BALLARD, D. H.; BROWN, CH. M. Computer Vision. Prentice Hall, 1982. ISBN 9780131653160. [88] GOLDBERG, D.E. Genetic Algorithms. Pearson Education, 2013. ISBN 9788177588293. [89] RIHA, K.; POTUCEK, I. The Sequential Detection of Artery Sectional Area Using Optical Flow Technique. In Proceedings of The 8th WSEAS International Conference on CIRCUITS, SYSTEMS, ELECTRONICS, CONTROL & SIGNAL PROCESSING, 2009, pp. 222–226. [90] RIHA, K.; CHMELAR, M.; CIZ, R. New Ways of Non-invasive Measuring of Blood Circulation Parameters. WSEAS Transactions on Signal Processing, 2010. ISSN: 1790– 5052. [91] SHI, J. B.; TOMASI, C. Good Features to Track. In IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 1994, pp. 593–600. [92] Bradski, G.; Kaehler, A. Learning OpenCV: Computer Vision with the OpenCV Library. O'Reilly Media, 2008. ISBN: 978–0–596–51613–0 [93] RIHA, K.; BENES, R. Testing of Methods for Artery Section Area Detection. In Recent Researches in Telecommunications, Informatics, Electronics & Signal Processing, 2011, pp. 184–187. [94] ŘÍHA, K.; ČÍŽ, R.; KRAJSA, O.; CHMELAŘ, M.; BENEŠ, R. Nové diagnostické metody zjišťování parametrů oběhového systému založené na infračerveném snímání obrazu krevního řečiště – závěrečná výzkumná zpráva o řešení grantového projektu MŠMT reg. č. 2B06111 za rok 2011. BRNO, VUT. 2011. (186 p.). [95] SMÉKAL, Z.; BURGET, R.; BENEŠ, R.; ŘÍHA, K.; PŘINOSIL, J.; MEKYSKA, J.; ZUKAL, M.; ŠMIRG, O.; ČÍKA, P. Výzkum algoritmů pro zpracování digitálních obrazů a obrazových sekvencí – závěrečná výzkumná zpráva projektu ME 10123. Brno, VUT. 2012. (49 p.). [96] ČÍŽ, R. ČÍŽ, R.; ŘÍHA, K.; BENEŠ, R.; ZÁVODNÁ, E.; Vysoké učení technické v Brně: Zařízení pro analýzu prostorově se měnících objektů. 21907, užitný vzor. Praha (2011). [97] ČÍŽ, R.; ŘÍHA, K.; BENEŠ, R.; ZÁVODNÁ, E.; Vysoké učení technické v Brně: Bodově interpolační způsob analýzy obrazových sekvencí prostorově se měnícího objektu. 303499, patent (2012). [98] ČÍŽ, R.; ŘÍHA, K.; BENEŠ, R.; ZÁVODNÁ, E.; Vysoké učení technické v Brně: Bodově distanční způsob analýzy obrazových sekvencí prostorově se měnícího objektu. 303512, patent (2012).
36
ABSTRAKT V této práci byly hledány nové možnosti určování především dynamických parametrů krevního řečiště s využitím moderních neinvazivních technik snímání medicínských obrazů. Hlavním cílem bylo nalezení metod využitelných jako kvalitní technický základ při řešení komplexního problému extrakce a analýzy geometrických parametrů tepenné části krevního řečiště, které jsou závislé na okamžité hodnotě krevního tlaku. Po úvodním experimentálním rozboru možností snímání obrazů vhodných objektů byla nalezena metodika umožňující detekci tepen, jejich sledování ve videosekvenci, měření geometrických parametrů a pro základní zpracování signálů takto extrahovaných z ultrazvukových videosekvencí zachycujících pulzující tepnu.
ABSTRACT Novel possibilities of determining mostly the dynamic parameters of the blood circulation system were sought in this work, using modern non-invasive techniques of medical image acquisition. The main goal was to find methods that could be used as a high-quality technical background for a complex solution of the problem consisting in the extraction and analysis of the geometrical parameters of the arterial part of the bloodstream, which depend on the actual blood pressure value. After a preliminary experimental study of the possibilities of acquiring images of appropriate objects, a novel methodology was found that enables g the detection of arteries, tracking them in a videosequence, measuring their geometrical parameters, and the basic post-processing of signals extracted from ultrasound videosequences that capture the pulsating artery.
37
Autor práce Ing. Kamil Říha, Ph.D. se narodil 16.10.1978 v Novém Městě na Moravě. Vysokoškolská studia absolvoval na Vysokém učení technickém v Brně, Fakultě elektrotechniky a komunikačních technologií. Magisterské studium absolvoval v oboru Elektrotechnika a sdělovací technika (titul Ing.). Již během svých následných doktorských studií od roku 2003 se v Ústavu telekomunikací věnoval pedagogické práci. V průběhu let se aktivně podílel na přípravě i realizaci laboratorních cvičení několika předmětů, autorsky se podílel na vzniku mnoha učebních materiálů. Doktorská studia oboru Teleinformatika úspěšně dokončil na začátku roku 2007. Jeho disertační práce byla věnována moderním metodám zpracování obrazu pro prostorové zobrazení objektů na autostereoskopické jednotce. Aktivně se podílel na řešení mnoha vědeckovýzkumných projektů, zabývajících se v drtivé většině metodami digitálního zpracování obrazů. V současnosti v Ústavu telekomunikací působí jako odborný asistent a je garantem a přednášejícím předmětu Pokročilé techniky zpracování obrazu. Od roku 2006 se aktivně věnuje výzkumu v oblasti extrakce biologických signálů z medicínských videosekvencí, především z ultrazvukových snímků kardiovaskulárního systému. V této oblasti je autorem a spoluautorem mnoha prací prezentovaných na mezinárodních konferencích a v prestižních časopisech. V rámci vyžádaných přednášek vybrané výsledky své práce prezentoval na univerzitách University of Science and Technology Beijing (Čína) a Amity University (Indie). Profesní praxe: 2006 – dosud Akademický pracovník Ústavu telekomunikací na Fakultě elektrotechniky a komunikačních technologií VUT v Brně 2010 – dosud Vedoucí Laboratoře kamerových a zobrazovacích systémů, regionálního Centra senzorických, informačních a komunikačních systémů (SIX) Odborné zaměření zpracování obrazu a video sekvencí, zpracování dynamických ultrazvukových sekvencí pro medicínské účely, analýza optického toku ve video sekvencích, detekce a sledování objektů ve scéně, akvizice 3D scény a reprodukce 3D obrazu.
38