)

Kató Zoltán: Digitális Képfeldolgozás (Tehetséggondozó program)

1. Képalkotás Kató Zoltán Képfeldolgozás és Számítógépes Grafika tanszék SZTE (http://www.inf.u-szeged.hu/~kato/teaching/)

2


Képalkotás fizikai paraméterei

• Geometriai  

Vetítés típusa (perspectív) Kamera helyzete

• Optikai  

Optika típusa Fókusztávolság, látótér, rekesznyílás

• Fotometriai  

A szenzorra vetített fény típusa, iránya, intenzitása A látványt alkotó felületek fényvisszaverő tulajdonsága

• Szenzor 

Mintavételezés, stb…


3

Perspektív vetítés

Csíkrákos, Erdély Raffles Hotel, Singapore

4


Lyukkamera: perspektív leképezés

Camera obscura (Fizyka, 1910)

Geometriai modell

5


3D pont (X) és képe (x) közötti kapcsolat • Nem lineáris leképezés az Euklideszi térben! • Homogén koordináták  projektív tér, ahol lineáris leképezés lesz.

X 2 x2 X   x2  f 2 X3 f X3

6


A rekesznyílás mérete Hogyan befolyásolja a lyuk (rekesznyílás) mérete a képet?

nagy

• Nagyobb nyílás 

Több fény, de életlen kép

• Kisebb nyílás 



kicsi

Kevesebb fény de élesebb kép Túl kicsi nyílásdiffrakció (elhajlás) miatt újra életlen a kép

• Optimális rekesznyílás a

fókusztávolság függvénye:

f 25

7


Speciális (nem perspektív) leképezések

Omnidirectional central camera

Ultrahang kép

8


Optika • Párhuzamos sugarakat a fókuszpontba vetíti 

Az élesség megőrzése mellett több fényt gyűjt össze  expozíció szélsőséges fényviszonyok között

• Ideálisan egy X pontból érkező valamennyi fénysugár a megfelelő x képpontba érkezik F optical center (Center Of Projection)

focal point

9


Mélységélesség • (Lyukkamera mélységélessége végtelen) • Egy optika által alkotott képen csak azok az objektumpontok vannak fókuszban, amelyek kielégítik az alábbi egyenletet: 1

1 1   f u v

u

v

10


Mélységélesség • Hogyan befolyásolja a rekesznyílás a mélységélességet?

• Kisebb rekesznyílás megnöveli azt a sávot, amelyen belül az objektum jó közelítéssel fókuszban van. Flower images from Wikipedia http://en.wikipedia.org/wiki/Depth_of_field

Slide from S. Seitz

11


A látótér függ a fókusztávolságtól • A fókusztávolság

csökkenésével nagyobb lesz a látótér (nagylátószögű objektív)

• A fókusztávolság

növelésével kisebb lesz a látótér (teleobjektív)

from R. Duraiswami

12


Fotometriai képalkotás

• Fényforrásból érkező fénysugarak visszaverődnek az objektum felszínéről • A visszavert sugarak egy része az optikán keresztül a kamerába jut.

13


Fényvisszaverődési modell: BRDF • BRDF (Bidirectional Reflectance

Distribution Function): f (i ,i ,r ,r ;  ) 





A vi irányból érkező fény λ hullámhosszú komponenséből mennyi verődik vissza a vr irányba. Diffúz felület minden irányban egyformán veri vissza a fényt  konstans BRDF: f d ( ) Csillogás: vi irányból érkező fényt (valamennyi λ komponenst) az si irányba veri vissza.

14


Az expozíciós mechanizmus szerepe

Rolling shutter (redőnyzár)

Global shutter (központi zár)

15


(Folytonos) kép • A képalkotó rendszer által a szenzorra vetített folytonos kép lényegében egy  

I ( x, y) : R  R 2

kétváltozós I(x,y) függvény, amely minden (x,y) pontban megadja (a becsapódó fotonok számával arányos) intenzitásértéket

• A színes kép (vagy általánosabban egy tetszőleges n csatornás kép) hasonlóan egy C(x,y) vektorfüggvény lesz, amely 2  

C ( x, y) : R  R

minden (x,y) pontban megadja az egyes komponensek (~hullámhosszok) intenzitását (egy n dimenziós vektort)

n

16


Folytonos kép digitalizálása

folytonos kép a szenzortömbre vetítve

digitalizált kép: mintavételezés + kvantálás

17


Digitális kép • A folytonos képfüggvény értelmezési tartományának és értékkészletének diszkretizálásával állítjuk elő 

Mintavételezés: Az értelmezési tartomány diszkretizálását a szenzor felépítése határozza meg – tipikusan egy szabályos MxN négyzetrács mentén mintavételezzük a függvényt



Kvantálás: Az értékkészlet diszkretizálását a szenzorhoz kapcsolódó A/D konverter L bitmélysége szabja meg – a mintákat tipikusan 8-12 biten diszkretizáljuk

I ( x, y ) : R 2  R I (i, j ) : [1, M ]  [1, N ]  [0, L  1] • A digitális kép egy I(i,j) elemét pixel-nek nevezzük.

18


Digitális kép mint mátrix j=1

Intenzitás: [0,255]

szélesség 520 i=1

500 magasság I[176][201] = 164

I[194][203] = 37 K. Grauman

19


Kvantálás

• A folytonos kép [0,A] intenzitástartományát az L-elemű, diszkrét értékekből álló {r1,r2,…,rL} (pl. a {1,2,…,L}) halmazra képezzük le.

• Uniform/lineáris: 

a folytonos kép intenzitásait lineárisan képezzük le

objektum intenzitás

•

Logaritmikus: 

nagyobb intenzitásbeli lépték a sötét területeken

kép intenzitás


Kvantálási módok

kép intenzitás

20

objektum intenzitás

21


Kvantálási hiba • Ha a kvantálási szintek száma nem elegendő, akkor hamis kontúrok léphetnek fel

• Tapasztalat szerint egyenletes kvantálás mellett elegendő 256 szürkeségi szint (8 bit/pixel). 256 árnyalat

16 árnyalat

22


Képtípusok kvantálási szintek szerint • bináris/kétszintű (binary/bilevel): 

a képmátrix egy logikai tömb, ahol 0 a fekete, 1 pedig a fehér „színnek” felel meg

• szürkeárnyalatos/többszintű (grayscale/multilevel): 

az intenzitások a [0,L-1] intervallum egészei lehetnek (0: fekete, (L-1)/2: középszürke, L-1: fehér)

• RGB truecolor: 

a képet additív színkeveréssel kapjuk 3 (az egyes színcsatornákhoz rendelt) többszintű képből

• indexelt/palettás (indexed/palette): 

a képmátrix mellett egy (szín)palettát is tartalmaz, ahol a képmátrix elemei palettaindexek


(az egyes színcsatornák intenzitásai normáltak)

RGB truecolor képek


Indexelt képek

indextömb részlete

fekete kék

R

G

B

paletta (az intenzitások normáltak)

25


Mintavételezési frekvencia jelentősége

1024, 512, 256, 128, 64, 32

26


Mintavételezési hibák

• kis objektumok eltűnhetnek

• hosszú, vékony objektumok széttöredezhetnek

• hamis kontúrok léphetnek fel


27

Moire-minta effektus

28


Video szekvencia = 3D képtömb

• Térbeli és időbeli

Y

mintavételezés:

• I(i,j,t) – a t. frame (i,j) pixele

t

X

29


Időbeli mintavételezési hiba • Ha két frame között a 8-küllős kerék 1/16-nál (π/8-nál) keve-sebbet fordul, akkor a kerék előre (jobbra) forgónak tűnik.

Frame 1

Frame 2

30


Időbeli mintavételezési hiba • Ha két frame között a 8-küllős kerék 1/16-nál (π/8-nál) többet (de 1/8-nál, π/4-nél kevesebbet) fordul, akkor a kerék hátra (balra) forgónak tűnik.

Frame 1

Frame 2


Időbeli mintavételezési hiba • Ha két frame között a 8-küllős kerék pontosan 1/8-ot (π/4-et) fordul, akkor a kerék állónak (mozdulatlannak) tűnik.

Frame 1

Frame 2

32


Pont válasz függvény • Egy pontszerű objektum képe ideálisan szintén pont 





A gyakorlatban azonban nem lehet matematikai Hubble űrtávcső értelemben tökéletes objektívet alkotni PSF függvénye Ponteszerű objektum képe –az optika minőségétől függő mértékben- foltszerű lesz  elmosódott kép Különösen fontos mikroszkópok, távcsövek, speciális orvosi képalkotó rendszereknél (MRI, CT,…)

• A pont válasz függvény (Point Spread Function – PSF) = pontszerű objektum képe 

jellemzi egy optikai rendszer leképezési pontosságát (élességét):

I ( x, y)   PSF ( x, y; u, v) f (u, v)dudv (Konvolúció)

Tökéletes kép

Valós (elmosódott) kép

33


PSF függvény

• Radiálisan szimmetrikus (izotropikus) PSF nem szükségszerű (pl. optikai torzítás, Röntgen, CT,…) • A PSF változhat a képmezőn belül is 

Minden optika a képmező szélei felé elmosódottabb képet ad

34


Zaj és a degradált képmodell • A digitális kép minőségét a PSF által jellemezhető elmosódáson túl a szenzor illetve az A/D konverter által generált zaj is befolyásolja 

Ezt modellezhetjük egy megfelelő eloszlású (általában 0 középértékű Gauss) véletlen szám hozzáadásával a tényleges intenzitásértékhez – additív zaj

• A degradált képmodell tehát az alábbi alakú:

I ( x, y)   PSF ( x, y; u, v) f (u, v)dudv   ( x, y)

Ideális kép

Zajos képek

35


Digitális kamera színérzékelése: Bayer rács • A színinformáció harmadát képes Bayer rács

rögzíteni, a többit interpolációval állítjuk elő 



Különböző számításigényű, különböző minőségű képet produkáló algoritmusok RAW formátumú képből külső programmal tetszőleges algoritmussal is dolgozhatunk

Demosaicking: Hiányzó elemeket a szomszédokból becsüljük. Source: Steve Seitz

36


Digitális kamera színérzékelése: X3 szenzor • Hasonlóan a hagyományos színes filmhez 3 réteg a 3 alapszín rögzítésére    

Szilikonlapka fényelnyelő tulajdonságán alapszik Minden képpontban 3 színérték Vékony rétegek  elhanyagolható fókuszálási hiba Az alsó réteg kevesebb fényt kap  nagyobb zaj alacsony fényerő esetén

37


Digitális kamera színérzékelése: 3CCD • 3 különálló CCD szenzor + speciális prizma a 3 alapszín rögzítésére    

Nincs szükség interpolációra Minden pixelben 3 értéket rögzít Jobb képminőség, kisebb zaj Drágább konstrukció (3 szenzor 1 helyett + speciális prizma)


38

Digitális kamera képalkotó folyamata

39


Felhasznált anyagok • Palágyi Kálmán: Digitális Képfeldolgozás /pub/Digitalis_kepfeldolgozas

• Trevor Darrell: C280, Computer Vision http://www.cs.cmu.edu/afs/cs/academic/class/15385s06/lectures/ppts/

• Richard Alan Peters: EECE/CS 253 Image Processing http://www.archive.org/details/Lectures_on_Image_Processing

• További források az egyes diákon megjelölve

)

Recommend Documents