3D analýza obrazu
Jiří Janáček, odd. biomatematiky Fyziologický ústav AVČR TUL, 20 září 2011
3D virtuální modely
Modely různých struktur konstruujeme kvůli vizualizaci nebo měření. Modely konstruujeme z prostorových dat získaných tomografií, konfokální mikroskopií apod. Vizualizace využívá dostupné počítačové prostředky a lidskou prostorovou představivost.
3D optické obrazy
Viditelné světlo: mikroskopie, optická tomografie. Problémy způsobené útlumem a rozptylem světla. Tlusté řezy bývají náchylnější k deformaci. Specifické barvení buď barvivem pronikajícím dobře do hloubky vzorku nebo genetickou manipulací a zabudováním fluorescentního proteinu.
Konfokální mikroskopie
http://www.microscopyu.com/articles/confocal/confocalintrobasics.html
Placenta, MIP, manuální segmentace
MIP – maximální projekce
Povrchový model
Nakreslené polygony
Gaussian
Marching cubes
Vizualizace povrchu
Kapiláry v mozku potkana Cortex (šedá hmota) Kapiláry barvené intravenózně biotinylovaným lektinem Buněčná jádra barvená propidiumiodidem BioRad 1024, Loma Linda University Hospital, John Archambeau, Vivien Mao, excitace 488 a 567 nm, 40x (N.A. = 1.3), 512 x 512 x 35 voxelů; voxel 0.52 x 0.52 x 2 µm3
Filtrace Zelený kanál Kontrast s hloubkou (1…3). Snížené rozlišení (1/2) 3D Gaussův filtr (σ=2pix). 3D Lipschitzův top-hat filtr (směrnice=2/pix).
Vizualizace Objemová vizualizace: VolumePro 1000 PCI karta.
Různé vzorky
(a)
(b)
Cortex (a) a Corpus callosum (b) Objemová vizualizace, nVidia, OpenGL 3D textura
Kapiláry a jádra buněk
Cortex
Corpus callosum
100 mikrometrů tlusté vzorky, 10% formaldehyd
Povrchová vizualizace
Měření délky v 3D binárních obrazech Croftonův
vzorec (Eulerova charakteristika v kolmých řezech) : Implementace: +
–
Náhodné grafy, N=100 Objem = 256 x 256 x 128. Vrcholy = SSI, d = 15. Délky hran < 30: a) stupně ≤ 3, b) úhly > π/2, c) SSI středy hran d = 10. • Crop 64 horiz., 32 vert. • Kontrakce v Z na 1/2. • Binarizace, Gaussův šum, rozmaz. s = 1. • • •
Délkové hustoty Grafy Err bin. (σ = 35) (σ = 45)
6.68‧10-3, SD = 2‧10-4 –8.92‧10-4, SD = 1‧10-4 5.15‧10-4, SD = 4‧10-5 2.17‧10-3, SD = 1‧10-4
Chyba délkové hustoty 30
40
50
60
70
1.E-01 1.E-02 1.E-03 1.E-04
0.7 1 1.5 2
1.E-05 1.E-06
Délková hustota (y) množiny (>128) Gaussova pole (σ) hladkosti (s).
Hustota Eulerovy charakteristiky. Grafy
1.03‧10-5, SD = 7.1 ‧10-6
Err bin. –7.6 ‧10-8, SD = 4.64‧10-6 (σ = 25) –1.5 ‧10-6, SD = 2.3 ‧10-6 (σ = 35) 3.64‧10-5, SD = 7.9 ‧10-6
Chyba Eulerovy charakteristiky 20
25
30
35
40
1.E-02 1.E-03 1.E-04 1.E-05 1.E-06
0.7 1 1.5 2
1.E-07 1.E-08 1.E-09
Hustota Eulerovy charakteristiky (y) množiny (>128) Gaussova pole (σ ) hladkosti (s).
Skeletonizace Segmentace
prahováním 3D skeletonizace binárního obrazu Úsečky sledováním skeletu mezi body větvení
Délková hustota Celková
délka / objem ROI
(N=6): 1.1±0.2 10-3 µm-2 Corpus callosum (N=4): 0.5±0.1 10-3 µm-2 Cortex
Hustota větvení Počet
větvení / objem ROI
(N=6): 17±2 10-6 µm-3 Corpus callosum (N=4) 6±3 10-6 µm-3 Cortex
Orientace kapilár Chromadepth
kódovaná
hloubka Hlavní směry kapilár?
Růžice směrů Míry
na polosféře Sd-1/{0,1} Úsečka délky L směru v=(b-a)/L : L·(δv + δ-v)/2. (Regularizované) histogramy na Sd-1.
Steinerův zonoid Minkovského
suma centrovaných úseček
Positive definite tensor Strukturní
tenzor: délkově vážená suma přes úsečky T=∑k=1..3 λk·vk⊗vkT.
Vlastní čísla tenzoru
Hlavní směr kapilár je vlastní vektor s největším vlastním číslem. Anizotropie např.: (λmax- λmin) / λavg. Cortex (N=6): 0.4 ± 0.1 Corpus callosum (N=4): 0.6 ± 0.2
Mozaika zorných polí
Skeletonizace
Mapy parametrů: Lv, délka spojek, anizotropie
Kapiláry v kosterním svalu
Prof. Ida Eržen, Medical faculty, Ljubljana
Maximální projekce
3D editace modelu kapilár
Stereoskopické zobrazení modelu a kurzoru řízeného haptickým ukazovátkem. Zpětná vazba – síla úměrná gradientu obrazu – slouží k posílení prostorového vjemu a lepší lokalizaci kurzoru. Pohyb modelu je řízen ovladačem s 6ti stupni volnosti.
3D ovladač a haptické ukazovátko
Anaglyfové stereo
Vzorek z hloubky
Vzorek z povrchu
Comparison of samples
Capillary length [µm], tortuosity [rad µm-1], anisotropy and connectivity. Anisotropy characteristics from the eigenvalues, λ3 > λ2 > λ1 : 2 λ3 / (λ1 + λ2)
Automatic
Manual Muscle length
tortuosity
anisotropy
connectivity
length
tortuosity
anisotropy
Deep
3910
0.029
2.08
11
4060
0.080
1.89
Superficial
4190
0.055
1.56
9
4420
0.092
1.65
3D transmisní elektronová mikroskopie Tlustý řez pod různými úhly (1 osa, 2 osy, kuželový pohyb) 2. Registrace obrazů 3. Tomografická rekonstrukce 4. Analýza 1.
Registrované snímky
3D souřadnice bodů X, Y, Z – 3D souřadnice X’, Y’ – 2D souřadnice α – úhel rotace X’= X cos α + Z sin α Y’= Y
Pár obrazů s vyznačenými body
-30˚
30˚
Body v 3D
Jádrový odhad lokální hustoty s šířkou h
λ (x ) = ∑ e y
−
x− y h
2
Oblasti s vyšší hustotou
Mitochondrie (Ulm)
Rekonstrukce
3D rentgenová tomografie vzorky částečně propustné pro Rentgenovo záření Kosti, i fosilizované Mikro CT, synchrotron 3D
Conchoraptor gracilis Barsbold 1986 (Theropoda, Maniraptora), Dr. Martin Kundrát, Uppsala Pozdní
křída
Conchoraptor gracilis Barsbold 1986 Polsko-Mongolská
expedice 1971, Gobi Institute of Paleobiology of the Polish Academy of Sciences, ZPAL MgD-I/95 Prof. Teresa Maryańska a Prof. Halszka Osmólska
ZPAL MgD-I/95
Conchoraptor gracilis Barsbold 1986
Profil Autor Vladimír Rimbala
Mozkovna
CT sken CT
(Pace Plus; General Electric) na 1. Lf UK Praha
Objemová vizualizace skenu
Rekonstrukce vnitřku mozkovny Interaktivní
segmentace. Triangulovaná plocha (Marching cubes, W. Lorensen). Ellipse (ViDiTo, Slovensko) modul Surface
Vnitřek mozkovny
Anatomie mozku Conchoraptora
Anatomie mozku Conchoraptora
Objem mozku n
V = ∑ d i Ai i =1
V
– objem di – tloušťka i-tého řezu Ai – plocha i-tého řezu
Conchoraptorův mozek 14.6 ml
Rekonstrukce dutin Prahování
kosti, interaktivní segmentace dutin. Triangulovaný povrch. Ellipse
Povrchové zobrazení dutin
Dutiny, Conchoraptor gracilis
Svinka, synchrotron. microCT Dr.
Andreas Ziegler, Ulm
Objemové zobrazení
Segmentace „Graph Cut“ D.M.
Greig, B.T. Porteous, A.H. Seheult (1989) Exact maximum a posteriori estimation for binary images. J. R. Statist. Soc. B 51, 271-279. Y. Boykov, G. Funka-lea (2006) Graph Cuts and Efficient N-D Image Segmentation International Journal of Computer Vision 70(2), 109-131.
Segmentované tergity I.
Segmentované tergity II.
3D rekonstrukce z fyzických řezů +: Používají se tradiční mikroskopické techniky a barvení. - : Obrazy se musí registrovat. Některé mohou chybět nebo být deformované.
Tenký řez
Pštrosí embryo, columela, Dr. Kundrát
Registrace
Program ImagReg1
3D model
Nespojitá registrace
Řeší deformace a trhliny. Korespondence se hledá minimalizací funkcionálu (hladkost – podobnost).
Želví embryo, hlava
Dr. Kundrát, Mgr. Tvarožková
Registrace sekvence Korespondence
se počítá a propaguje v obou směrech. Bod se posouvá do váženého průměru bodů trajektorie.
Před registrací
Po registraci
WWW http://www2.biomed.cas.cz/~janacek/
- image analysis algorithms
3D software ImageJ BioImageXD 3DSlicer Amira VGStudioMax
