Techniky pořízení obrazu, kamery Václav Hlaváč České vysoké učení technické v Praze Centrum strojového vnímání (přemosťuje skupiny z) Český institut informatiky, robotiky a kybernetiky Fakulta elektrotechnická, katedra kybernetiky http://people.ciirc.cvut.cz/hlavac,
[email protected] Poděkování: Vladimír Smutný.
Objektivy, jejich parametry.
Osvětlovače.
Fotokonverze, CCD, CMOS. Kamery, pohled uživatele.
Zobrazovací řetěz.
Osnova přednášky:
Různé.
Zobrazovací systémy 2/39
Pohled na celek: od pozorované vlastnosti přes záři (radiance) L a ozáření (irradiance) E k elektrickému signálu a nakonec k digitálnímu obrazu.
Přímé zobrazování – existuje jednoznačná korespondence mezi bodem ve 3D scéně a jeho 2D obrazem (např. paprsek v projektivní transformaci).
Dvě možnosti pořízení obrazu:
Nepřímé zobrazování – také poskytují prostorově závislou zář, ale bez jednoznačné korespondence mezi 3D a 2D (např. radar, tomografie, techniky spektrálního zobrazení, magnetická rezonance).
Polarizace světla (1)
V teorii elektromagnetického pole je záření vyjadřeno jako oscilující elektrické a magnetické pole.
Vektorová pole popisující intenzitu elektrického pole E a intenzitu magnetického pole B jsou řešením systému Maxwellových lineárních diferenciálních rovnic.
V obecném případě se 3D směr vektoru E mění. Např. Slunce díky krátkým emisním jevům a žhnoucí žárovky jsou zdrojem převážně náhodné směsí vln E všech orientací, tzv. nepolarizované světlo.
3/39
Polarizačním filtrem lze ze směsi vybrat jen vlny v jedné rovině, tzv. lineárně polarizované světlo.
Polarizace světla (2)
Harmonická rovinná vlna je zvláštním řešením Maxwellových rovnic ve volném prostoru (bez elektrických potenciálů a proudů).
Nepolarizované světlo, např. ze slunce, je polarizováno po průchodu světla polarizačním filtrem.
Přírodním polarizačním filtrem je např. dvojlomý vápenec.
Prakticky používané polarizační filtry se skládají z rovnoběžných vláken dlouhých molekul orientovaných v jednom směru.
4/39
Příklad použití: polarizované brýle pro rybáře. Polarizovaný filtr na objektiv fotoaparátu.
Zdroje světla podle emise (1) 5/39
Denní osvětlení – nebliká, časově i barevně nestálé, velmi dobré podání barev. Žárovka – nebliká, hřeje, velký příkon a náběhový proud, časté výměny, dobré barevné podání. Halogenová žárovka – nebliká, hřeje, velký příkon a náběhový proud, časté výměny, dobré barevné podání (lepší než žárovka), menší než žárovka. Zářivka – bliká (lze budit vysokou frekvencí nebo synchronizovat), spec. napájení, doba mezi výměnami dlouhá, špatné barevné podání, blízká plošnému zdroji.
Zdroje světla podle emise (2) 6/39
LED – modulovatelné osvětlení, nehřeje, malé rozměry, nízká spotřeba, nízká intenzita, monochromatické (interferenční jevy možné) i bílé, dlouhá životnost. Laser (akronym: Light Amplification by Stimulated Emission of Radiation). Zařízení pro vytváření paprsku silného světla o jedné velmi čisté barvě. Modulovatelný, monochromatický,koherentní, velmi malá divergence svazku (mm na 1km), problémy s interferencí, malý příkon, dlouhá životnost (u polovodičových laserů) Výbojky – např. xenonové, pro zábleskové aplikace s velkým výkonem, velmi drahé.
Zdroje světla podle rozložení (1) 7/39
Bodové – například halogenová žárovka, LED, laser. Zdůrazňují drsnost povrchu. Silné odlesky. Plošné, difuzní – například odraz od bílých stěn, papíru, světlo s velkými matnicemi, zářivky. Potlačují drsnost povrchu. Zadní difúzní – výhodné tam, kde nás zajímá jen obrys předmětu a pozorovaný předmět je tenký (snímání tvaru plechu, kůže, . . . ). Velmi používané v aplikacích, protože maximálně zjednodušuje segmentaci na objekty a pozadí. Vhodné pro měření rozměrů.
Zdroje světla podle rozložení (2) 8/39
Zadní telecentrické – osvětlovače s kolimátory. Použitelné jen pro malé předměty (do průměru vstupního členu objektivu), kombinovat s telecentrickými objektivy. Výhodné tam, kde nás zajímají jen obrysy objektů, jejichž tloušťka je nezanedbatelná. Temné pole – šikmé osvětlení, kdy paprsky přímo nemíří do objektivu, na předmětu se odráží do objektivu.
Optické triky 9/39
Monochromatický filtr může potlačit okolní osvětlení, sníží vliv barevných vad. Polarizační filtr odstraní nebo vybere polarizovaný obraz (například odlesk krycího skla přístroje).
Vliv polarizačního filtru 10/39
Před kameru bylo svisle umístěno čiré sklo skloněné k optické ose o zhruba 45◦. V obou obrazech je vidět dvojitý lom na skle.
Svislá polarizace. Odraz okna ve skle.
Vodorovná polarizace. Odraz ve skle zmenšen. Je vidět skrz.
Směrové osvětlení
Jas matného (ideální případ: lambertovského) povrchu závisí na směru. Proto lze určovat sklon povrchu (shape from shading). Jednou z prvních aplikací bylo zjišťování tvaru kosmických těles.
Hrany mezi stěnami objektu mohou způsobovat stíny. Ty se mohou plést s hranicemi objektů.
11/39
Zrcadlová složka odrazivosti povrchu způsobuje odlesky. Pro ně se většinou směrové osvětlení nehodí.
Rozptýlené (difúzní) osvětlení
Přirozené denní světlo při zatažené obloze, mlha.
Technická realizace: prstenec LED, polokoule z LED.
12/39
Hodí se i na povrchy s významnou zrcadlovou složkou odrazivosti. Velké hrany mezi stěnami způsobují částečně ztmavlé oblasti = polostíny (angl. penumbra).
Zadní osvětlení
Zvláště vhodné, hledá-li se obrys plochého neprůhledného objektu. Zjednodušuje segmentaci.
Zajímavé pro poloprůhledné objekty, kde lze pozorovat škálu interakcí světla s hmotou (lom, pohlcení, rozptyl světla). Jsou vidět místní nehomogenity hmoty.
13/39
Příklady: rentgen. Též spektrální analýza u spektrálně závislé pohltivosti.
Osvětlení ve světlém poli
Osvětlovač svítí přímo do kamery.
Objekty mezi osvětlovačem a kamerou jsou vidět tmavěji díky lomu, pohlcení, rozptylu. Objekty jsou tmavé na světlém pozadí.
14/39
Používá se pro pozorování malých částic.
Osvětlení v temném poli
Paprsky osvětlovače kamera přímo nevidí.
Vidět je odraz, rozptyl, lom světla, který dopadne do kamery. Objekty jsou světlé na tmavém pozadí.
15/39
Používá se pro vizualizaci malých částic, kovové povrchy v mikroskopii (hliníkové vodiče v mikroelektronice).
Telecentrické osvětlení
Kolimátor zajistí rovnoběžné paprsky.
Použití čoček o velkém průměru (často Fresnelovy čočky = stupňovitá čočka ze soustředných prvků).
16/39
Měření rozměrů invariantní ke vzdálenosti od kamery telecentrickým objektivem.
Obvyklý objektiv 17/39
Vzdálenost objektu ohnisková vzdálenost. Normální, širokoúhlý, teleobjektiv.
Èip Objekt F
Objektiv
Ostrost obrazu 18/39
odclonìno
objektiv
chip
zaclonìno F
Mikroskopický objektiv 19/39
Obraz zvětšen, typicky krátká pracovní vzdálenost (cca 1 mm), ale může být i velká (cca 100 mm). Typicky je úhel pozorování velký a malá hloubka ostrosti.
Pøedmìt
Objektiv
F Èip
Telecentrický objektiv 20/39
Použity jen hlavní paprsky, tj. rovnoběžné s optickou osou. Vstupní čočka musí mít větší průměr než měřený objekt. Výhodné tam, kde se mění poloha objektu na optické ose nebo objekt je “tlustý”
Kolimátor
F Zdroj svìtla Èip Clona
Pøedmìt Objektiv
Parametry objektivů (1) 21/39
Ohnisková vzdálenost – pevná, transfokátor (zoom), nastavitelná motorem či ručně. Světelnost – nejmenší a nejvetší nastavitelná clona. Clona – pevná, ručně nebo motoricky nastavitelná.
C – vzdálenost zadního čela objektivu od čipu cca 17 mm.
CS – cca 12 mm, ostatní parametry stejné.
Připojení objektivu
Objektiv pro C kameru lze přizpůsobit k CS kameře mezikroužkem tloušťky 5 mm, opačně nelze.
Parametry objektivů (2) 22/39
Ostření – Pevně nastavené zaostření (např. web kamery), ruční nebo motorické ostření. Vzdálenosti, na které ostří – lze za cenu zhoršení optických vlastností měnit mezikroužky. Formát – jaký největší čip lze použít. 1”, 2/3”, 1/2”, 1/3”, 1/4”. Závit na filtr – čirý filtr se používá na ochranu objektivu. Radiální zkreslení – neuvádí v katalogu, ale je důležité pro měřicí aplikace. Objektivy s krátkou ohniskovou vzdáleností typicky větší zkreslení (několik pixelů).
Princip fotopřeměny v polovodičích
Příchozí záření (fotony) se v hmotě polovodiče mění na nábojové páry elektron-díra.
Polovodič je ve statickém elektrickém poli, což nábojové páry přemění na krátký proudový impuls.
23/39
Proudový impuls se musí zesílit a zpracovat. Např. v CCD se použije k nabití kondenzátoru.
Fotodioda a MOS struktura 24/39
Průřez dvěma hlavními principy pro generování proudu a uschování náboje.
Architektury CCD 25/39
CCD čip, vlastnosti technologie 26/39
+ Linearita: CCD senzory pracují na principu přeměny fotonu na pár elektron-díra a integrování získaného náboje. + Nízký šum: je dán integrační povahou měření. Nechlazený čip při televizním vyčítání má SNR asi 60 dB. + Účinnost: Současné senzory mají vysokou účinnost asi 40%, tj. pár elektron-díra je generován zhruba každým třetím fotonem. – Vyčítání: jen celého čipu najednou. – Omezený rozsah intenzit: je dán maximální kapacitou jednotlivého kondenzátoru.
CMOS čip, vlastnosti technologie 27/39
http://www.ims-chips.de/products/vision/hdrc alt/hdrc ima.html http://www.imec.be/bo http://www.vector-international.be/C-Cam/cmosccd.html + Logaritmická citlivost: CMOS senzory pracují na principu fotodiody. Měří se protékající proud v okamžiku vyčítání. + Vyčítání: lze v jakémkoliv pořadí, např. můžeme číst oblast zájmu. + Kamera i procesor na 1 čipu: CMOS technologie je dobře zvládnutá (procesory, paměti). Chytrá kamera (smart camera). – Vyšší šum:
Kamery, hledisko uživatele (1)
Prostorové rozlišení: počet pixelů ve sloupci a řádku. TV CCIR/PAL 768×576. TV RS170/NTSC 640×484. Netelevizní kamery až 2000x2000, stále se zvyšuje, velmi drahé.
Rozlišení v jasu: pro digitální se udává počet bitů, výstup typicky 8 bitů. Pro analogové SNR, obvykle >50 dB.
Citlivost: v luxech. Nutno přepočítat podle uváděné clony a AGC.
AGC: automatická regulace zesílení, ano, ne, vypínatelná, ručně řízené zesílení.
28/39
Závěrka: běžně od 1/50 s do 1/10000 s.
Kamery, hledisko uživatele (2)
Formát: velikost čipu, udává se jednak v palcích ekvivalentního průměru vidiconu, jednak v milimetrech. 1/2” odpovídá 4.8x6.5 mm.
Rozměr pixelu: čtvercový i nečtvercový.
Výstup pro automatickou clonu:
AWB: Automatic White Balance. Automatické vyrovnání bílé. Mění poměr R a B vůči G.
Gama korekce: vypínatelná/pevná. Přímý signál γ = 1. Typicky γ = 0, 45 (zdůrazňuje černou). Kompenzuje charakteristiku obrazovky a citlivost lidského oka.
29/39
Závit: C mount / CS mount.
Prokládané/neprokládané řádkování 30/39
1
1
768
1
1
2
2
3
3
4
4
574
574
575
575
576
576
Prokládané řádkování.
768
Neprokládané řádkování.
Signál, prokládané/neprokládané řádkování 31/39
field
frame
frame
odd even odd even odd even odd even
1 3 5
…
575
~
2 4 6
…
Prokládané řádkování.
576
1 2 3
…
576
Neprokládané řádkování.
Elektronická závěrka 32/39
Zkrácená expozice se používá buď, když je mnoho světla nebo pro snímání rychlých dějů (podobně jako u fotoaparátu).
I
exposition
frame (noninterlaced) field (interlaced)
t
Blesk a potlačení okolního světla
ambient light intensity
Závěrka kamery se zkrátí. Záblesk se nastaví do doby otevření závěrky.
I
Poměr integrálu jasu okolního osvětlení po dobu otevření závěrky a integrálu jasu záblesku po dobu otevření závěrky nám udává vliv okolního osvětlení v obraze.
33/39
Jako zábleskové zařízení se často používá LED dioda.
t
I flash intensity
t
I exposition
t
I flash contribution ambient light contribution
t
Typy kamer 34/39
Řádkové V B/W i barevném provedení se používají v průmyslových aplikacích, skenerech, faxech a kopírkách. TDI Varianta řádkové určená k synchronnímu snímání pohyblivé scény více řádky. Zvýšená citlivost. Televizní černobílé CCIR – 50 Hz, 625 řádků, 768x576; RS-170 (EIA) – 60 Hz, 525 řádků, 648x484. Televizní barevné PAL, SECAM – 50 Hz; NTSC – 60 Hz. Progressive scan neprokládané řádkování. Digitální obsahují přímo A/D převodník, kvalitní a drahé pro průmysl, nekvalitní a levné pro multimedia.
Uspořádání barevných kamer
Ruční výměna barevných filtrů před objektivem ručně.
Tříčipové – optické oddělení pomocí filtrů a (polopropustných) zrcadel.
35/39
Jednočipová s filtry na čipu. Barevné rozlišení je menší než odpovídá počtu pixelů.
Rozložení barevných filtrů u jednočipové kamery
36/39
R
G
R
G
C
Y
C
Y
G
B
G
B
M
G
M
G
R
G
R
G
C
Y
C
Y
G
B
G
B
M
G
M
G
Aditivní barevný model.
Subtraktivní barevný model.
Barevný skener 37/39 pøedloha
osvìtlení
zrcadlo
optika
èip
sklo
smìr pohybu
Fire wire (i.Link u Sony)
Rychlá sériová sběrnice. IEEE 1394.
38/39
2 typy přenosu: 1. isochronní, např. pro obrázky;
Disky, kamery, propojení dílů spotřební elektroniky navzájem (audio věž Sony).
Netelevizní kamery. Příklad: barevná kamera 1200× 1024, 15 snímků/s, 40 tis. Kč.
Dva typy konektorů. 4 kolíkový. 6 kolíkový i s napájením.
Kabel max. 4,5 m. Opakovače.
2. asynchronní, např. předávání parametrů zařízením.
Mladším konkurentem IEEE 1394 je USB 2.
Novější sběrnice 1394b
Podstatná inovace. Rychlosti až do 3,2 Gb/s.
Vzdálenost až 100 metrů po metalických kabelech. Po optických kabelech libovolně daleko.
39/39
Plně zpětně kompatibilní s nyní používanými specifikacemi 1394-1995 and 1394a.
