Köszönetnyilványítás Digitális képelemzés alapveto˝ algoritmusai Csetverikov Dmitrij
A kurzus megírásában az alábbi munkatársaim segítettek: Verestóy Judit
Eötvös Lóránd Egyetem, Budapest
[email protected] http://vision.sztaki.hu
Lerch Attila Szabó Zsolt
Informatikai Kar
A kurzus témái
Képelemzés feladatai és alkalmazásai
Képelemzés és képszurés ˝ alapfogalmai
1
Bevezetés Alapfogalmak Képelemzés tipikus alkalmazásai Képek és feladatok példái Képelemzés és felismerés fázisai
2
Képszurés ˝ Korreláció és konvolúció
3
Irodalom
Képszurés ˝ Megfeleltetés és mintaillesztés Élek és sarkok detektálása Képküszöbölés Vázreprezentációk és távolság-transzformáció Morfológiai képfeldolgozás Alakelemzés
Alapfogalmak
Számítógépes grafika és képelemzés
Image Processing
terület képfeldolgozás képelemzés alakfelismerés számítógépes látás
bemenet képek képek képleírások képek
kimenet feldolgozott képek képleírások objektum osztályok 3D-s modellek
Képek: kép, képhalmaz, vagy video Számítógépes látás: képfeldolgozás, képelemzés, alakfelismerés
Image Analysis Image
Description Graphics
˝ kép Számítógépes grafika: matematikai modellbol direkt probléma, szintézis
˝ matematikai modell Képelemzés: képbol inverz probléma, analízis bonyolultabb
˝ kép Képfeldolgozás: képbol
Digitális kép
˝ céljai Számítógépes látás fobb
Két- vagy többdimenziós mátrix: Tárgy, színtér vagy egy másik kép sík- vagy térbeli reprezentációja Intenzitás kép (világosság- vagy színkód) a felület által visszavert, kamera által érzékelt elektromágneses energia ˝ látható vagy láthatatlan tartományban (pl. homérséklet)
Távolság kép (range image) a felület és az érzékelo˝ közötti 3D-s távolság
Szimbolikus kép képponthoz hozzárendelt osztálycimke, index, vagy szimbolum ˝ pl. talajtípus, mezogazdasági felhasználás típusa
Ismert objektumok detektálása és felismerése Ismeretlen objektumok 3D-s modellezése Pozició- és orientáció-meghatározás Geometriai tulajdonságok mérése távolságok, méretek, stb.
Mozgáselemzés Szín- és textúraelemzés
Képelemzési alkalmazások 1/3
Alkalmazások Levél szortírozás, cimkeolvasás, banki papirok feldolgozása, szövegolvasás, muszaki ˝ rajzok értelmezése Tumordetektálás, belso˝ szervek mérét- és alakmérése, kromoszóma-elemzés, vérsejtek számlálása Alkatrész-felismerés szereléshez, ˝ ˝ hibadetektálás, minoségellen orzés Tárgy- és környezet-felismerés, vizuális alapú mozgásirányítás
Képelemzési alkalmazások 2/3
Területek Dokumentumfeldolgozás Orvosi
Ipari automatizálás Robotika
Területek Térképészet, térinformatika Bunüldözés, ˝ biztonság Ember-gép interakció Térmegfigyelés
˝ Ellenorzés és vizsgálat
Képelemzési alkalmazások 3/3
Alkalmazások Kép- és video alapú színtér-rekonstrukció, fotórealisztikus modellezés Kép és video alapú keresés, indexelés; alakzat, textúra és mozgás reprezentációja és kódolása Célkeresés és -azonosítás, légi jármüvek és rakéták irányítása ˝ Multispektrális képelemzés, idojárás ˝ ˝ elorejelzés, városi, mezogazdasági és vízi területek megfigyelése és osztályozása
Alkalmazások ˝ Térképek készítése fényképekbol, ˝ idojárás-térképek készítése, épületek és utcák 3D-s modellezése Ujjlenyomat illesztés, arcfelismerés, járáselemzés, más biometrikus mérések, például, fül, irisz Arckifejezés-elemzés, szemmozgás-követés, gesztus-felismerés Autók és emberek követése, események és tevékenységek elemzése
Területek Film- és játékipar, kulturális örökség Multimédia adatbázisok
szilánk üveg alján
˝ kozetrepedés
szövethiba
ferritmag repedés
ultrahang. talajkép
kábel ker.metszet
Radarképek feldolgozása Távérzékelés
Bel- és kültéri színterek, képi adatbázisok
Orvosi képek
bel. sztereó 1
bel. sztereó 2
kül. sztereó 1
kül. sztereó 2
logó
fénykép
ikon/festmény
ujjlenyomat
Dokumentumok
folyóirat oldal
MRI (térd)
sejtek (radiológia)
bikaspermium
röntgen (szív)
mammogram (mell)
vizelet
Képelemzés lépéseii 1/2
térkép
kézírás
˝ Képalkotás (imaging): Kamerák és más érzékelok, ˝ világítás, fényvisszaverodési modellek ˝ Képjavítás (enhancement): Képminoség javítása, képkorrekció, zavaró vagy fölösleges információ eltüntetése zajszurés, ˝ kontrasztemelés
˝ kiemelés (feature extraction): Sajátság (jellemzo) ˝ Jellemzopontok meghatározása, lokális képleírások hozzárendelése képelemekhez képküszöbölés, éldetektálás
bankszámla
muszaki ˝ rajz
Képelemzés lépései 2/2
Régió alapú szegmentálás (region-based segmentation, ˝ grouping): Hasonló tulajdonságokkal rendelkezo, összefüggo˝ képrészek kiemelése összefüggo˝ komponensek (connected components), élláncok (edge linking)
Régió leírás: Régiók geometriai, szín- és -textúra leírása, régiók közötti rélációk meghatározása terület, súlypont, orientáció, méretek, görbület, szín, textúra
Megfeleltetés, illesztés (correspondence, matching): Modell és kapott képleírás megfeleltetése, képértelmezés betufelismerés ˝ beturészek ˝ megfeleltetése alapján
Rekurzív és nemrekurzív operátorok
Nemrekurzív lokális operátor ˝ függ az eredmény csak a bemenet aktuális környezetétol ˝ a muködés a kimenet el van választva a bemenettol: ˝ során a bemenet nem módosul a muvelet ˝ hatása korlátozódik a környezetre
Rekurzív operátor ˝ és az eloz ˝ o˝ az aktuális eredmény a bemenettol ˝ is függhet eredményektol ˝ a muködés a kimenet nincs elválasztva a bemenettol: ˝ során a bemenet módosul a muvelet ˝ hatása nem korlátozódik a környezetre hasznos, de sokkal bonyolultabb
Csak a nemrekurzív operátorokkal foglalkozunk
Lokális operátorok
Az (x, y ) pontban az eredmeny a ˝ (ablaktól) függ: pont környezetétol
x’
x
g(x, y ) = T [f (x, y )] f (x, y ) a bemeneti (input) kép, g(x, y ) a kimeneti (output) kép T egy, a környezeten definiált operátor
Feltételezzük, hogy csak a közeli képelemek korrelálnak egymással korreláció csökken távolsággal nem igaz periodikus képek esetén
y’ (x,y)
Image y
Egy 3 × 3-as ablak az (x, y ) pontban. x ′ , y ′ : lokális koord.
Általános nemrekurzív operátor
g(x, y ) = φ[x, y , f (x ′ , y ′ ) : (x ′ , y ′ ) ∈ N(x, y )] f (x, y ) a bemeneti kép, g(x, y ) a kimeneti kép N(x, y ): az (x, y ) valamely környezete (pl. ablak) (x ′ , y ′ ): lokális koordináták a környezeten belül f (x ′ , y ′ ) : (x ′ , y ′ ) ∈ N(x, y ) a környezbeli értékek listája ˝ (adaptív operátor) φ függhet x, y -tol az N(x, y ) környezet változhat az eredmény kiszámítási módja is változhat
φ nemlineáris is lehet lineáris operátor A: A(αp + βq) = αAp + βAq
Korreláció
Konvolúció
Lineáris eltolás-invariáns operátor a bemeneti értékek lineáris kombinációja: az f képnek a w maszkkal való kereszt-korrelációja . g(x, y ) = (f ⊗ w)(x, y ) =
X
Az f kép és a w maszk konvolúciója X . g(x, y ) = (f ∗ w)(x, y ) = f (x − x ′ , y − y ′ ) · w(x ′ , y ′ ) (x ′ ,y ′ )∈W (x−x ′ ,y −y ′ )∈F
f (x + x ′ , y + y ′ ) · w(x ′ , y ′ )
(x ′ ,y ′ )∈W (x+x ′ ,y +y ′ )∈F
W az ablakon belüli, F a képen belüli poziciók halmaza ˝ a W ablak és a w(x ′ , y ′ ) súlyok nem függnek az x, y -tol
A W ablakot az ellenkezó sorrendben olvassuk be. Szimmetrikus maszkokkal fogunk dolgozni. ⇒ nem lesz különbség korreláció és konvolúció között
w: súlymátrix, maszk (angolul kernel, mask )
Konvolúció tulajdonságai 1/2
Konvolúció tulajdonságai 2/2 Asszociativitás: (f ∗ w) ∗ v = f ∗ (w ∗ v )
˝ Tetszoleges f , g képekre és w, v maszkokra Korreláció a tükrözött maszkkal való konvolúció: f ⊗ w = f ∗ w ∼, . ahol w ∼ (x, y ) = w(−x, −y ) ˝ Kommutativitás (tetszoleges sorrend): w ∗v =v ∗w
w ∗ v : a w maszkot nullákkal körülvett képnek tekintjük és a v maszkkal konvolváljuk az eredmény egy nagyobb maszk asszociativitás ⇒ gyors megvalósítás
Disztributivitás: (f + g) ∗ w = f ∗ w + g ∗ w ˝ Homogénitás: tetszoleges α konstansra (αf ) ∗ w = α(f ∗ w)
A kurzusban felhasznált irodalom
1
E.Trucco, A.Verri, "Introductory Techniques for 3-D Computer Vision", Prentice Hall.
2
R.Klette, P.Zamperoni, "Handbook of Image Processing Operators", J.Wiley and Sons.
3
I.Pitas, "Digital Image Processing Algorithms", Prentice-Hal.
4
R.C.Gonzales, R.E.Woods, "Digital Image Processing", Addison-Wesley.
5
R.M.Haralick, L.G.Shapiro, "Computer and Robot Vision", Addison-Wesley, volumes I-II.
6
A.K.Jain, "Fundamentals of Digital Image Processing", Prentice-Hall.
Más hasznos irodalom és a kurzus diái
1
Álló G., "A Digitális Képfeldolgozás Alapproblemái", Akadémiai Kiadó, 1989.
2
M.Sonka, V.Hlavac, R.Boyle, "Image Processing, Analysis and Machine Vision", Thomson.
3
B.Jähne, "Digital Image Processing", Springer.
4
W.K.Pratt, "Digital Image Processing", J.Wiley.
5
A.Rosenfeld, A.C.Kak, "Digital Picture Processing", Academic Press, vol. I-II.
A kurzus diái: Lásd Csetverikov Dmitrij honlapját Google Csetverikov vagy Chetverikov
