Számítógépes retina-modell fejlesztése és alkalmazásai

Bevezetés

A szem korlátai

Számítógépes modell

Alkalmazások

Számítógépes retina-modell fejlesztése és alkalmazásai

Dr. Horváth András Dömötör Gábor Széchenyi István Egyetem Fizika és Kémia Tsz.

Lux & Color Vespremiensis Szimpózium 2012. október 30.

Tervek

Bevezetés

A szem korlátai

Számítógépes modell

Alkalmazások

Motiváció

A látás összetett dolog. A feldolgozhatóság érdekében sok egyszer¶sítés történik. ⇒ Sokszor nehéz megmondani, mit is észlelhetünk ténylegesen a

látóterünkbe es® dolgokból.

Egy könyv lapján mekkora részt tudok egy pillantással elolvasni? Este, szembejöv® forgalom mellett látható-e a gyalogos? Hány xációval lehet egy keresztez®dés tábláit végigolvasni? A képerny® bal fels® sarkára nézve milyen részletek látszanak a jobb alsóból? ...

Tervek

Bevezetés

A szem korlátai

Számítógépes modell

Alkalmazások

Az észlelés korlátainak forrása

szemlencse retina fels® rétege, fotoreceptorok: változó s¶r¶ség rodopszin termelése és lebomlása

kapcsolatok a retina alsóbb rétegeiben: több érzékel® jelének összevonása hely- és id®beli változástól függ® jeltovábbítás

Cél: minél többet szimulálni ezekb®l a hatásokból.

Tervek

Bevezetés

A szem korlátai

Számítógépes modell

Érzékel®k a retinán

Pálcikák és csapok változó s¶r¶sége.

Alkalmazások

Tervek

Bevezetés

A szem korlátai

Számítógépes modell

Alkalmazások

A felbontóképesség irányfüggése

Receptorok változó s¶r¶sége + szomszédok jelének összevonása ⇒ irányfügg® felbontóképesség.

Nappali látás

Éjszakai látás Forrás: WebVision

Tervek

Bevezetés

A szem korlátai

Számítógépes modell

Alkalmazások

A felbontóképesség irányfüggésének hatásai

Változó felbontóképesség: csak középen látunk élesen. Vakfolt: egy-egy terület teljesen kimarad. Retina betegség: területfügg®en csökken® érzékel®s¶r¶ség.

Ezek miatt: A részletek észleléséhez a szemünket új és új irányba kell pozicionálni (xáció). Bizonyos részleteket nem veszünk észre.

Tervek

Bevezetés

A szem korlátai

Számítógépes modell

Példa: egy könyvoldal teljes felbontásban

Alkalmazások

Tervek

Bevezetés

A szem korlátai

Számítógépes modell

Példa: kb. ezt látjuk, ha egy helyre nézünk

Alkalmazások

Tervek

Bevezetés

A szem korlátai

Számítógépes modell

Alkalmazások

A rodopszin-szintek változása

Három f® folyamat: a rodopszin ... termel®dése spontán bomlása fotonok által kiváltott bomlása ⇒ jel az agyba Ezek határozzák meg a rodopszin-szint változását: er®s megvilágítás ⇒ kevés rodopszin ⇒ kis érzékenység gyenge megvilágítás ⇒ sok rodopszin ⇒ nagy érzékenység Mindez színenként és látóterületenként függetlenül zajlik.

Tervek

Bevezetés

A szem korlátai

Számítógépes modell

Alkalmazások

Példa: ha sokáig belebámulunk egy lámpába...

Tervek

Bevezetés

A szem korlátai

Számítógépes modell

Alkalmazások

... a látómez®nk közepén sötét folt marad egy ideig

Tervek

Bevezetés

A szem korlátai

Számítógépes modell

Alkalmazások

Tervek

A rodopszin-szintek matematikai modellje

Egyszer¶ lineáris modell:

p: relatív rodopszin-szint dp dt

=

1 τ

−

p τ

−

I p · I τ 0

p = 0-ból p = 1, ha nem lenne bomlás. I : az a retina-megvilágítás, amikor egyensúlyban p = 1/2. τ : ennyi id® alatt lenne 0

Megoldás: (p (0) = p0 kezd®feltételb®l)

p (t ) =

1

b

1 − (1 − p0 b)e −tb/τ , 

b =1+

I I

0

(1)

Bevezetés

A szem korlátai

Számítógépes modell

Alkalmazások

A rodopszin-szintek matematikai modellje

Konstans megvilágítás esetén

pe = 1/b szintre áll be.

Ide τ /b karakterisztikus id®vel exponenciálisan közelít. Csapokra: τ ≈ 120 s.

Tervek

Bevezetés

A szem korlátai

Számítógépes modell

Alkalmazások

A rodopszin-szintek matematikai modellje

Észlelt jel: indukált bomlások számával arányos.

J =D ·I ·p

Egyensúlyban: Je = D · I /b = II0 /(I + I0 ) Egyensúlytól távol jelent®s eltérések lehetnek! (Káprázás, id®leges elvakulás.) Ezt a modellt minden érzékel®re külön-külön alkalmazni kell.

Tervek

Bevezetés

A szem korlátai

Számítógépes modell

Alkalmazások

Alapséma

Modell-érzékel®: több, szomszédos csap egyesített jelét modellezi. Inicializálás: 1 2 3

érzékel®-rács generálása háromszögháló generálása (Delanuay-triangularizáció) kezd® rodopszin-szint feltöltés pL , pM , pS .

Tervek

Bevezetés

A szem korlátai

Számítógépes modell

Alkalmazások

Alapséma

Módszer: (nem precíz leírás!) 1 2 3 4

5 6 7 8

Bemenet: álló vagy mozgókép; R (x , y , t ), G (x , y , t ), B (x , y , t ) Linearizálás: gamma-korrekció Rl (x , y , t ), ... L, M, S-re váltás: (IL , IM , IS ) = T(Rl , Gl , Bl )T Rodopszin-szint számítás: A fenti matematikai modellb®l pL , pM , pS frissítése. Érzékel®k jele: JL = pL IL , JM = pM IM , JS = pS IS Interpoláció: érzékel®kb®l a hálóra Látott kép lineáris változata: (Rl , Gl , Bl ) = T−1 (JL , JM , JS )T Kimenet: (Rl , Gl , Bl ) fordított gamma-korrekcióval

Tervek

Bevezetés

A szem korlátai

Számítógépes modell

Alkalmazások

Hiányosságok, pontatlanságok

egy érzékel® csak egyféle színt érzékel (L, M, S) a különféle érzékel®k s¶r¶sége eltér® módon változik nem ismert, milyen interpolációval közelíthet® a receptorok közti terület az érzékel®k nem pontszer¶ek pupillaméret-változással nem számolunk

Mindezen korlátok ellenére egy jó áttekintést ad a fent vázolt modell.

Tervek

Bevezetés

A szem korlátai

Számítógépes modell

Alkalmazások

A modell megvalósítása

Eszközök: C++, Qt, OpenGL Windows és Linux alatt is fut A háromszög-háló megjelenítése OpenGL-lel: 3D gyorsítókártyák kihasználása (anélkül lassan fut). Egy er®sebb grakus kártyán real-time átalakítás DVD min®ség esetén. A program bemutatása...

Tervek

Bevezetés

A szem korlátai

Számítógépes modell

Alkalmazások

Ugyanaz a szöveg 2 fonttal kiszedve

Arial

Teljesen azonos méretezés.

Times

Tervek

Bevezetés

A szem korlátai

Számítógépes modell

Alkalmazások

Ezt látjuk:

Arial

Times

Tervek

Bevezetés

A szem korlátai

Számítógépes modell

Alkalmazások

Mit ismer fel ebb®l egy program?

mmáazxfgzs 3.-.-:,-.:1- s FEJ; utasra: egy-E: i-xoYp n hm." Aimn I-IC: mg,- ma; . wss a; eme-Jut w, alam- 5.11 eerls ruoz-l - rsvssoíya -, meéságasd

A r mind. r: zug-Ar- a vág: rzfhs (de. cg; '.. zrkaua" a fedi; u adu: '-'§íl:'. és; nugurdú nagmi r. f. be "cm: é: :s'-'hhun. . u. '- gxoixélg:.cg' k

A: I='"31'§:PS:.'ÍE=ek'-y'5:. ar-ryé kell hozzá, hogy képes légy teljes eúlyxműal a: űdcs gazzal az elhatározással, hogy nem baj, ha fáj ' 1.99 irgyöíű ha nem sikerül elhibázni a földel, akkor fog. A íegtűtb utcának nem sikerül, és ha tényleg lelkiismeretesen urábákkrmvzv, 1 ty":- walúaünübbé válik, hogy úgysem sikerül. "-2333: SÍÉÉÉÍ: a második rész, az elhibázás a nehéz. M egye"): :!'TPL:NÍ-K':8 az hogy teljesen véletlenül kell elhibázom. Sarum: (szekta EF9Í4SBP gxáaáigami, mert úgysem sikerül. Az a hcqy 1-."r-ízz/en ávcvnia a Egyeímed és ne zs gondol; Pasa-t: a sz-bwasra "egy 3 vagy ami. menrrgire midaünan I-rsr. m. rtrügsnra rántva:

2.- cgy ma: Juj-Él - inasai

22 z áa-i lesz kánya"; Hír-áss r: annyi kell honát. hogy képes teljes Súbífódxi e 257%: "védni. arra! az elhatározással, hogy nem hzii, ha (Bír-i ' Ugvmii ha nem sikerül elhibázni a földet. akkor fog. A. ing . ártsa-na): nem sikerül, és ha tényleg lelkiísmerclcscn [irűbalznamab |'_l_'_-'ZÍ' a z-lászinühbé hogy úgysem sikerül. ' íaááítaía a zrcásodik rész, az elhibázás a nehéz. Az z-gyii; ' aljasan véletlenül kell clhilzeázznud. Scmmá éu-eízxv -. . - íváágumi. mert íxgiscn) sikerül. Az a lényeg. hogy íééeve vala-m círzciczz elvonja a ügyeluzed és ne Ír: gurdali lux-e")! .x "a-iuuíras 2235 a zíiaiztz. vagy arra, xrscnsayírc íi:a'.21:r.-..: Ivar. N ugatta alá-na: :L

Arial

Times

Jelent®s különbség a felismert bet¶k száma között. Többféle fonttal, felbontással teszteltük.

Tervek

Bevezetés

A szem korlátai

Számítógépes modell

Alkalmazások

Jelenség

Jelent®sen eltér® szín¶ részek határán irreálisan éles színeket látunk. Ok: a szemünk kicsit ide-oda ugrál ⇒ egy érzékel®re es® szín jelent®sen változik. Ez a rodopszin-szintek változása miatt olyan jelet eredményezhet, ami irreálisan élénk színnek felel meg.

A program képes ezek detektálására, kiemelésére. (Él® bemutató.)

Tervek

Bevezetés

A szem korlátai

Számítógépes modell

Alkalmazások

Fejlesztési irányok

Közeljöv®: Pontos kalibrálás. Érzékel®-csoportok kezelése. Retina bels® kapcsolatainak szimulálása, lényegkiemelés.

Végcél: egy olyan szoftver, mely megmutatja, adott körülmények között mi érzékelhet®, mi nem.

Tervek

Bevezetés

A szem korlátai

Számítógépes modell

Alkalmazások

Lehetséges alkalmazások

Fontok olvashatóságának számszer¶sítése. Figyelemfelkelt® élénk színjelenségek detektálása. Közlekedésbiztonsági alkalmazások. Segédlet áttekinthet® oldalak, weblapok tervezésében. Retinát érint® szembetegségek szimulálása.

Tervek

Bevezetés

A szem korlátai

Számítógépes modell

Köszönjük a gyelmet!

Alkalmazások

Tervek