___________________________________ ___________________________________ ___________________________________ ___________________________________
Geometrické transformace obrazu a související témata 9. přednáška předmětu Zpracování obrazů
___________________________________ ___________________________________ ___________________________________ ___________________________________
Martina Mudrová 2004
___________________________________ ___________________________________
Téma přednášky
___________________________________
O čem bude tato přednáška?
___________________________________ ___________________________________
• Geometrické transformace obrazu • Interpolace v obraze • Prostorové transformace obrazu • Warping a morphing • Registrace obrazu
___________________________________ ___________________________________ ___________________________________ ___________________________________ 2
M. Mudrová, 2004
___________________________________ ___________________________________
Základní geometrické transformace
___________________________________ ___________________________________
• posunutí (translace) • změna měřítka (scaling) • otočení okolo počátku • zkosení •… Složitější operace jsou realizovány skládáním základních geom. transformací Kartézský souřadnicový systém
r r r ( P, e1 , e2 , e3 ) r r r e1 , e2 , e3 … lineárně nezávislé, … vzájemně kolmé M. Mudrová, 2004
y
e2
P
___________________________________
X
e 2' y'
e 1'
x'
___________________________________
P' e1 x
___________________________________
Afinní souřadnicový systém
___________________________________
r r r ( P, e1 , e2 , e3 ) r r r e1 , e2 , e3 …lineárně nezávislé 3
___________________________________ ___________________________________
___________________________________ Posunutí obrazu
___________________________________ ___________________________________
• nejjednodušší geom. transformace • [x,y]…souřadnice pixelu
___________________________________ ___________________________________
y' [x',y']
x' = x + x0'
y [x,y]
___________________________________
y ' = y + y 0'
___________________________________
x'
[x0',y0'] [x0,y0]
x
___________________________________ 4 M. Mudrová, 2004
___________________________________ ___________________________________
Změna měřítka (Zoom) (1)
___________________________________ ___________________________________
y y'
sx… koeficient změny měřítka v x-ovém směru sy… koeficient změny měřítka v y-ovém směru
0.5 [x,y]
x' = x.s x
[x',y']
[x0,y0]
___________________________________
y ' = y.s y
1.5
___________________________________
x x'
0<|s|<1 … kontrakce |s|>1 … dilatace s<0 … překlopení
___________________________________ ___________________________________
- Změna měřítka mění velikost obrazu !! = převzorkování obrazu 5
M. Mudrová, 2004
___________________________________
___________________________________ ___________________________________
Změna měřítka (Zoom) (2)
___________________________________ ___________________________________
Co když koeficienty sx,y nejsou celá čísla?
___________________________________
y y'
___________________________________ ___________________________________ [x0,y0]
x x'
___________________________________ ___________________________________
- Nutné použití vhodné interpolační metody !!
M. Mudrová, 2004
6
___________________________________
___________________________________ Otočení obrázku kolem počátku
y
___________________________________
x' = x. cos(α ) − y. sin(α )
y' x'
[x0,y0]
___________________________________
___________________________________
y ' = x. sin(α ) + y. cos(α ) x
___________________________________
Otočení okolo bodu [X,Y] : -Složení posunutí a otočení okolo počátku:
___________________________________
x' = X + ( x − X ). cos(α ) − ( y − Y ).sin(α ) y' = Y + ( x − X ).sin(α ) + ( y − Y ). cos(α )
___________________________________ ___________________________________
Pixely se nemapují přesně do pozice jiných pixelů -> nutná interpolace!! 7 M. Mudrová, 2004
___________________________________ ___________________________________
Otočení obrazu
___________________________________
Ale i nový obrázek musí být obdélník, jak se řeší rozměry (velikost) obrazu? 1.
2.
M. Mudrová, 2004
___________________________________ ___________________________________
Ořezání původního obrazu na původní velikost (v pixelech)
___________________________________
Zvětšení rozměrů obrázku podle výsledku, tak aby byl otočený obraz úplný, okolní oblast se vyplní zvolenou barvou 8
___________________________________ ___________________________________ ___________________________________ ___________________________________ ___________________________________
Příkazy Matlabu pro základní geometrické transformace
___________________________________ ___________________________________
imresize
___________________________________
imrotate
___________________________________ ___________________________________ ___________________________________ ___________________________________ M. Mudrová, 2004
9
___________________________________
___________________________________ Interpolační metody v obraze
___________________________________
- Používají se pro výpočet hodnot obraz. funkce v „neměřených“ souřadnicích
___________________________________
Vstup: -body A, B, C,… A(a0,a1), B(b0,b1),…, se známými hodnotami obrazové funkce h(A), h(B),… - souřadnice [i,j] bodu Q, ve kterém chceme znát hodnotu obr. funkce h Výstup: h(Q)
___________________________________ ___________________________________
h… hodnoty stupně šedi v případě intenzitního obrazu 3 funkce – složky R,G,B
___________________________________
Nejběžnější interpolační metody: • metoda nejbližšího souseda • bilineární interpolace • bikubická interpolace • spline interpolace
___________________________________ ___________________________________ 10
M. Mudrová, 2004
___________________________________ ___________________________________
Metoda nejbližšího souseda
___________________________________
- hodnota neznámé obr. funkce daného pixelu je nahrazena hodnotou obr. Funkce nejbližšího známého pixelu = interpolace 0-tého řádu
___________________________________ ___________________________________ ___________________________________
- velmi hrubá, ale: - použitelná pro všechny typy obrazů - jediná metoda, kterou je možno použít pro indexové a černobílé obrazy
___________________________________ ___________________________________ ___________________________________ 11
M. Mudrová, 2004
___________________________________ ___________________________________
Bilineární Interpolace
___________________________________
Jaký je rozdíl mezi bilineární a lineární interpolací?
___________________________________
Bi-lineární znamená dvojí aplikaci stejného principu
___________________________________
Bilinear interpolation
Linear interpolation
A
h(x)
___________________________________
h(B)
j
h(Q)=? x
R
P B
___________________________________
D
h(A) A
Q
B
Q− A h(Q) = h( A) + (h( B) − h( A)). B− A = interpolace prvního řádu M. Mudrová, 2004
Q
___________________________________
C i
___________________________________ 12
___________________________________
___________________________________ Interpolace vyšších řádů
___________________________________ ___________________________________
-Bikubická, spline interpolace:
___________________________________
- užité polynomů 3. stupně místo lineární funkce - vyžadují vyšší počet okolních bodů - vyšší výpočetní nároky
___________________________________ ___________________________________ ___________________________________ ___________________________________ 13
M. Mudrová, 2004
___________________________________ ___________________________________
Použití 2D interpolačních metod
___________________________________ ___________________________________
Co se stane při použití nevhodné interpolační metody? Například: 1. Otočení BW obrazu při použití bikubické interpolační m. –> ztráta ostrosti 2. Změna velikosti indexovaného obrazu (s paletou) –> barevné nesmysly
___________________________________
Jaká metoda je nejvhodnější pro obrázky s vysokým barevným rozlišením?
- Vždy záleží na charakteru a vlastnostech obrazu
___________________________________ ___________________________________
Interpolační metody jsou také jednoduchým nástrojem pro rekonstrukci poškozeného obrazu – s chybějícími částmi
___________________________________
Jaké jsou další možnosti rekonstrukce takového obrazu?
___________________________________
- Metody modelování a predikce signálů ve 2D – AR modely, neuronové sítě, …
M. Mudrová, 2004
14
___________________________________ ___________________________________
Příkazy Matlabu pro 2D interpolaci
___________________________________ ___________________________________
griddata
___________________________________
meshgrid
___________________________________
(interp2)
___________________________________ ___________________________________ ___________________________________ M. Mudrová, 2004
15
___________________________________
___________________________________ Prostorové transformace
___________________________________ ___________________________________
= pokročilé metody geometrických transformací
___________________________________
- použití: odstranění deformací obrazu způsobených - použitím různých optických systémů (čočky) - snímáním obrazů z různých pozic pozorovatele - projekcí prostorových 3D objektů do 2D prostoru (letecké snímky, snímky povrch Země,…) - ...
___________________________________ ___________________________________
Příklady deformace obrazu:
___________________________________ ___________________________________ 16 M. Mudrová, 2004
___________________________________ ___________________________________
Princip registrace obrazu
___________________________________ ___________________________________
- aplikace v případě, že jsou pixely z nějakého důvodu (viz předchozí slide) posunuty ze své správné pozice:
___________________________________ ___________________________________
y
y'
___________________________________
x'
x
- Cíl registrace obrazu: Geometrická rekonstrukce = nalezení takové transformace (včetně jejích parametrů), která vede z daného souřadnicového systému do správného
x' = Tx ( x, y )
Např.:
y ' = T y ( x, y )
x' = c1 x + c2 y + c3 xy + c4 y ' = c5 x + c6 y + c7 xy + c8
M. Mudrová, 2004
___________________________________ ___________________________________
17
___________________________________ ___________________________________
Metody mapování obrazu
___________________________________ ___________________________________
Dopředné mapování:
___________________________________
- procházíme pixely vstupního obrazu A a nacházíme jejich souřadnice ve výstupním obrazu B podle nalezené transformace
___________________________________
- Nutné použití vhodné interpolační metody pro doplnění chybějících částí
___________________________________ Zpětné mapování:
___________________________________
- procházíme souřadnice výstupního obrazu B a hledáme odpovídající body ve vstupním obraze A
M. Mudrová, 2004
___________________________________ 18
___________________________________
___________________________________ Běžné prostorové transformace obrazu
___________________________________ ___________________________________
Jaké jsou nejčastější prostorové transformace obrazu? Jaké mají vlastnosti?
___________________________________
• Lineární konformační (posunutí, otočení, změna měřítka) - přímé čáry zůstávají přímé, rovnoběžky zůstávají roznoběžkami, velikost úhlu je zachována
___________________________________
• Afinní (zkosení) – přímky zůstávají přímkami, rovnoběžky rovnoběžkami, úhly se mění
___________________________________
• Projektivní – přímky zůstávají přímkami, rovnoběžky se mění v různoběžky
___________________________________
• Polynomické - nový systém je popsán křivkami (polynomy 2., 3. nebo vyšších řádů)
___________________________________
• ...
19
M. Mudrová, 2004
___________________________________ ___________________________________
Odhad parametrů transformace
___________________________________ ___________________________________
Jakým způsobem se odhadují parametry zvolené transformace?
-Parametry c1, c2, ... Mohou být určeny z transformace známých bodů z A do B – páry řídicích bodů použitím vhodného kritéria (MNČ)
___________________________________ ___________________________________
Např:
___________________________________
Základní (based) image ... obraz, o němž předpokládáme, že je správný (B) Vstupní obraz ... Měněný obraz A
___________________________________ ___________________________________ 20
M. Mudrová, 2004
___________________________________ ___________________________________
Související pojmy
___________________________________ ___________________________________
Warping
„ obraz je natištěn na listu gumy“ - Obraz je vykreslen na 3D mřížce promítnuté do 2D, stejný způsob změny mřížky je aplikován na každou část textury - Změnou prostorového 3D objektu se mění obraz
___________________________________ ___________________________________
Příkaz Matlabu warp
___________________________________ ___________________________________
Morphing
-Zahrnuje (alespoň) 2 kroky warpingu s hladkou (spline) interpolací between initial and the resulting image - Je „animovaným warpingem“ -Použití především ve filmových efektech M. Mudrová, 2004
___________________________________ 21
___________________________________
___________________________________ Algoritmus registrace obrazu v Matlabu
___________________________________
Cíll: Registrace vstupního (input) obrazu podle základního (base) obrazu
___________________________________ ___________________________________
Algoritmus a příkazy Matlabu: 1.
Načtení vstupního i základního obrazu (imread)
2.
Výběr párů řídicích bodů (cpselect) a jejich uložení v prostředí Matlabu
3.
Upřesnění párů řídicích bodů použitím korelační analýzy (cpcorr)
4.
Výpočet parametrů zvolené transformace a její aplikace (cp2tform, imtransform)
___________________________________ ___________________________________ ___________________________________ ___________________________________ 22
M. Mudrová, 2004
___________________________________
