Obrazové senzory
Obrazové senzory - dělení fotokonduktivní snímací elektronky vidikon polovodičové
CCD CID CMOS IR fotoodpory, fotodiody, fototranzistory
Vidikonová kamera
Vidikonová kamera
Schéma vidikonu
fokusa ční cívky
síťka
katoda
modula ční elektroda
anody
vychylovac í cívky
signální elektroda
Princip akumulace: •
využíván většinou obrazových senzorů
•
využití dopadajícího záření po celou dobu akumulace → zvýšení citlivosti snímače
•
princip (viz. obr) využívá se u fotokonduktivních snímacích elektronek
komutátor
fotovodivá vrstva
C
R
C
R
elektronový svazek
C
R
C
R
signální elektroda
Vidikonová kamera popis principu akumulace používaného u fotokonduktivních snímacích elektronek :
1. kapacitor C je nabit na max. hodnotu elektronovým svazkem → doba komutace
2. dopadající záření mění hodnotu R (fotoodporu), který vybíjí kapacitor C → doba akumulace 3. opětovné dobití kapacitoru C na max. hodnotu, velikost dobíjecího proudu (náboje) = míře lokálního osvětlení
Graf závislosti UC na čase – jedna perioda
Fotokonduktivní snímací elektronky - vidikon Hlavní části: • rozkladová elektroda – tvořená fotovodivým materiálem (CdS, PbO, SbSe, atd.) • termokatoda – vytváří elektrony pro elektronový svazek • anody – tvoří elekronově optickou soustavu • vychylovací cívky – magneticky vychylují elektronový paprsek ve směru x a y • kovová mřížka – snižuje kinetickou energii dopadajících elektronů tzv. elektronka s pomalým svazkem
Vidikonová kamera Elektronové dělo Urychlení a fokusace el. svazku Síťka před fotocitlivou vrstvou – ochrana anody (fotocitlivé vrstvy) je to vlastně el. čočka, korekce fokusačních chyb, odrazů, kolmý dopad na fotocitlivou vrstvu. Potenciál těsně nad potenciálem anody. Terč – typicky antimon trisulfid. Dvě fáze činnosti – akumulační a vybíjecí Anoda – kovový kroužek na konci trubice
Vidikonová kamera Do osmdesátých let dominantní senzor, později nahrazeno CCD. Aplikace např. kosmické sondy (Voyager, Viking, Mariner – váha ovšem až 40kg), Apollo – fot. Film, nyní CCD, TV, atd. Nyní – speciální aplikace – IR, lékařství, bezpečnostní, vědecké, apod. Výhoda - spektr. citlivost blízká lidskému zraku, lze i jiné sp. oblasti (IR, RTG + převaděč) – volba materiálu Nevýhoda – malé pr. rozlišení (max asi TV), pomalé, paměťový efekt (oslnění kamery, trvalý záznam do fotocitlivé vrstvy), výskyt bloomingu, nelineární převodní charakteristika materiálu.
Vidikonová kamera
Náhradní schéma vidikonu Dopadající světlo vyvolá fotoelektrický jev ve fotocitlivé vrstvě, kladné nabití její zadní části. El. svazek ji dobíjí na původní hodnotu. Negativní modulace jasového signálu. Kapacity – akumulace kl. Náboje na zadní části fotocitlivé vrstvy Odpor – fotoodpor, vybíjení kapacity, cca 100 nA.
Vidikonová kamera - aplikace
Hamamatsu – IR kamera až k 1800nm
The Holy Family and Saints", painted by Niccolo di Bartolomeo Pisano, photo courtesy of Worcester Art Museum, Worcester, Massachusetts, USA. Paul Haner, Chief Conservator.
Fotografický film – viditelná oblast
IR kamera
Vidikonová kamera - aplikace
Hamamatsu – IR kamera až k 1800nm
Srovnání spektrální citlivosti různých snímačů
Obrazové senzory a jejich dělení
CCD senzory
úplný přenos - Full Frame (FF) snímkový přenos - Full Frame Transfer (FFT) řádkový přenos - Interlane Transfer (IT)
CMOS senzory
pasivní aktivní
Senzory CCD (Charge Coupled Devices) nábojově vázaná zařízení (kapacitory). • CCD senzory byly poprvé vyrobeny v 70. letech 20. století, W. Boylem a G. Smithem v Bellových laboratořích • principem je odebírání volných nosičů náboje vzniklých dopadajícím zářením do místa potenciálové jámy,která je vytvořena
CCD jednotka +U oblast potenciálové jámy
kovová elektroda vsrtva oxidu
elektrony
pod elektrodou (oblastí dopadu fotonů
substrát typu P
může být substrát nebo elektroda) dopadající záření
Senzory CCD (Charge Coupled Devices) nábojově vázaná zařízení (kapacitory). • CCD senzory byly poprvé vyrobeny v 70. letech 20. století, W. Boylem a G. Smithem v Bellových laboratořích • principem je odebírání volných nosičů náboje vzniklých dopadajícím zářením do místa potenciálové jámy,která je vytvořena pod elektrodou (oblastí dopadu fotonů může být substrát nebo elektroda)
Velikost akumulovaného náboje
- E [W/m2] – intenzita ozáření
e tη E S Q = [C ] hν
- S [m2] – plocha pixelu - h [J.s]– Planckova konstanta - ν [Hz] – frekvence fotonu - e =1,6*10-19 [C] – náboj elektronu - t [s] – doba akumulace - η – kvantová účinnost
Struktura CCD senzoru • fotocitlivá část – pole fotocitlivých buněk (pixelů), které snímají dopadající záření • čtecí část – skládá se z vertikálních a horizontálních registrů, které přesouvají (transportují) el. náboj z fotocitlivé oblasti do oblasti zpracování • část zpracování el. náboje – zde jsou obvody, které upravují a převádějí el. náboj na jinou veličinu (U,I), která se pak digitalizuje prostřednictvím A/D
Příklad skutečného CCD senzoru nad každou buňkou je vytvořena mikročočka, která fokusuje dopadající záření do fotocitlivé oblasti buňky → zvyšuje tím činitel plnění
Super CCD (IV. generace)- Fuji
Super CCD - čip
Princip čtení náboje ze struktury • náboj je z fotocitlivé buňky čten metodou přelévání náboje z jedné buňky do druhé pomocí různých napěťových potenciálů • podle typu přesunu náboje můžeme dělit CCD senzory na 2, 3 a více fázové
pixel2
f3 f2 f1 f3 pixel1
• příklad 3 fázového čtení, náboje sousedních bodů musí být od sebe jednoznačně odděleny jinak dojde ke ztrátě informace v daném bodě
f2 f1
1
f1 f2 f3 U1
U2
1
U1
U1
f1 f2 f3
f1 f2 f3 U1
U2 U1-U2 U1
2
U1
U2
3
U2
U1
f1 f2 f3 U1 U2-U1 U2
4
U1
3
2
f1 f2 f3 U1
U1
5
U2
U1
4
5
6
7
Dělení CCD senzorů podle způsobu čtení • FULL FRAME TRANSFER Přenos celého snímku do pomocné „CCD paměti“ •Prokládané snímače (Interlaced scan) Původně pro videotechniku, liché a sudé sloupce • Progresivní snímače (Progressive scan) •FTD (Frame Transfer Device) Pomocné registry, vyčtení buněk, velmi drahé • Řádkové čtení Vyčítání pomocí sériového přístupu ve zvláštní řádce
FULL FRAME TRANSFER Princip snímkového přenosu -Frame Transfer (FT) – senzor je složen ze dvou identických fotocitlivých částí z nichž jedna je trvale zatemněná, v okamžiku čtení informace je veškerý náboj z fotocitlivé části přesunut do části zatemněné odkud je dále zpracován jako u FF
(není odstraněno rozmazání
obrázku z důvodu stále expozice, vyšší rychlost zpracování, někdy je senzor rozdělen na dvě oddělené části) Split Frame Transfer
FULL FRAME (FF)
Princip úplného přenosu -Full Frame (FF) akumulované náboje jsou postupně přesouvány do horizontálního (čtecího) registru, nevýhodou tohoto typu je rozmazávání obrázku dané soustavnou expozicí (pokud není použita mechanické závěrka)
INTERLINE TRANSFER (IT)
• Princip řádkového přenosu - Interline Transfer (IT) – senzor má vytvořeny zatemněné sloupce buněk, které tvoří vertikální čtecí registry. Náboj je z fotocitlivých buněk přesunut do buněk vertikálního registru odkud je posléze poslán do horizontálního registru (nevýhodou je poloviční rozlišovací schopnost, odstranění rozmazání tzv. panning) pozn. V praxi se vyskytují různé modifikace jednotlivých základních výše popsaných principů např. Frame Interline Transfer (FIT)
Parametry CCD senzorů • poměr signál/ šum (S/N) - je definován jako střední kvadratická hodnota proudu signálu k součtu variací jednotlivých šumových zdrojů • zdroje šumu
S / N ( SNR) =
i2
σ i2
vstupní signál
výstupní signál
- celkový šum detektoru
fotonový šum šum a detektoru vazebního fotoelektronový obvodu šum
šum Au a A/D
2 2 2 N RMS = N 2fotonový + N det + N + N ektoru resetovací Au , A / D
Závislost šumu snímače na citlivosti
Tepelný šum (Dark current) Exponenciální závislost na teplotě Tento šum je možné značně snížit ochlazením CCD prvku. Používají se teploty okolo -30 C až -40 C. CCD prvky pro astronomické účely používají dokonce až -90C. Tepelný šum je redukován o 50% každých 60C jak je vidět z grafu.
Kvantová účinnost QE (Quantum Efficiency) QE je definována jako pravděpodobnost, že jeden foton dopadající na senzor generuje pár nosičů elektron-díra, které přispívají k proudu detektorem.
η = (1 − R )ζ [1 − exp(− αd )]
kde • (1-R) – faktor představuje vliv odrazivosti na povrchu senzoru • ζ – faktor udává podíl elektron-děrových párů, které přispívají k užitečnému fotoproudu • [1-exp(-αd)] – faktor vyjadřuje relativní část fotonového toku absorbovaného v objemu materiálu
Kvantová účinnost QE (Quantum Efficiency) QE je definována jako pravděpodobnost, že jeden foton dopadající na senzor generuje pár nosičů elektron-díra, které přispívají k proudu detektorem.
η = (1 − R )ζ [1 − exp(− αd )]
kde • (1-R) – faktor představuje vliv odrazivosti na povrchu senzoru • ζ – faktor udává podíl elektron-děrových párů, které přispívají k užitečnému fotoproudu • [1-exp(-αd)] – faktor vyjadřuje relativní část fotonového toku absorbovaného v objemu materiálu
Přenosová účinnost CTE (Charge Transport Efficiency) vyjadřuje míru dokonalosti přesunu náboje z jedné elektrody pod elektrodu sousední – v praxi se pohybuje CTE v rozmezí 99,99 až 99,9999 %
CTE =
Q' *100[%] Q
Doplňky CCD senzorů • antiblooming • blooming (kvetení) je efekt, který vzniká při přeplnění buňky obrazového bodu el. nábojem. Přebytečný náboj pak proniká do sousedních obrazových buněk viz. obr. a zkresluje obrazovou informaci (projevuje se jako rozpitý bod) • antiblooming tomuto jevu zamezuje • vytvořením kanálků, které odvádějí přebytečný náboj • řízení doby expozice, tak aby nemohlo dojít k přeplnění buněk
pronikající elektrony ze sousedního pixelu
oblast pixelu
oblast pixelu
oblast pixelu
Doplňky CCD senzorů antiblooming
Bez Bloomingu
Blooming
pixel binning - vzájemné slučování jednotlivých obrazových bodů tento princip se využívá při nižších intenzitách osvětlení z důvodu zkrácení expoziční doby (tepelný šum je úměrný délce expozice). Binningem se eliminuje velikost šumu detektoru na úkor jeho rozlišovací schopnosti (tento princip je využíván i lidským zrakem při malé intenzitě osvětlení)
mikrokanálová destička mikrokanálová destička v kombinaci s CCD senzorem tvoří zařízení, které je schopno pracovat s nízkou hodnotou osvětlení (tzv. noční vidění). Mikrokanálová destička zesiluje zbytkové záření (zesílení až 20 000 x) a CCD senzor zaznamenává obraz
Senzory CMOS (Complementary Metal Oxide Semiconductor)
• koncem 20. století v Jet Propulsion Laboratory (JPL) byl vyroben první obrazový senzor využívající technologie CMOS • základním prvkem je fotocitlivý PN nebo PIN přechod, kapacitor a spínací tranzistor • strukturu senzoru můžeme rozdělit do dvou částí: • fotocitlivá oblast – tvořená maticí fotocitlivých bodů (pixelů) • transportní oblast – tvořená obvody (registry), které se podílejí na přepravování el. veličiny, která je přímo úměrná dopadajícímu záření z obrazového bodu do oblasti dalšího zpracování
Princip CMOS
CMOS – Sensors Principle: Photodiode → Current (un)charges Capacitor → Voltage can be read out
Reset is done by applying VDD to the diode
Princip CMOS
Srovnání se CCD CCD:CCD proud fotonů nabíjí kondenzátor během časové periody. Expoziční čas je určován elektronickou závěrkou. Očekávaný vztah mezi výstupním napětím a intenzitou světla je lineární. CMOS:Naproti tomu CMOS senzory jsou založeny na fotocitlivých diodách, které jsou spojeny rezistory v sérii. Proud diodou nepřetržitě mění výstupní napětí.
Princip CMOS
300W halogenová žárovka se vzdálenost 5cm
Vztah mezi výstupním napětí a intenzitou světla je nelineární. Následkem toho, obrazové senzory, které ukazují takovouto nelineární charakteristiku, jsou nejlepší ve snímání ostrého (prudkého) světla.
Struktura fotocitlivého bodu (pixelu)
princip: • nabití kapacitoru na Uref • expoziční doba → vybíjení kapacitoru diodou • doba čtení zbylého náboje z kapaciru
Dělení CMOS struktury podle zpracování signálu CMOS senzory používají ke zpracovávání signálu zesilovače, které jsou součástí senzoru. Podle způsobu implantování zesilovače do struktury dělíme CMOS senzory na : • pasivní – zesilovače jsou v oblasti sloupcových registrů → signál je zesilován jednotným zesílením. • aktivní – zesilovače jsou implantovány do každé fotocitlivé buňky a dokáží individuálně řídit zesílení signálu jednotlivých buněk → eliminují šum
Pasivní a aktivní struktura CMOS senzorů sloupcový výběr
nábojový zesilovač
sloupcový výběr
řádkový výběr
řádkový výběr
spínací tranzistor
fotocitlivá oblast
fotocitlivá oblast výstupní nábojové zesilovače Pasivn í struktura CMOS
výstup do vertikálního čtecího registru
Aktivn í struktura CMOS
Pasivní a aktivní struktura CMOS senzorů
Active Pixel Sensor Array APS Min. 3 Transistor / Pixel Fast, higher SNR Larger Pixel, lower fill factor
spínací tranzistor
sloupcový výběr
nábojový zesilovač
sloupcový výběr
řádkový výběr
Passive Pixel Sensor Array PPS Small pixel, large fill factor Slow, low SNR
řádkový výběr
fotocitlivá oblast
fotocitlivá oblast výstupní nábojové zesilovače Pasivn í struktura CMOS
výstup do vertikálního čtecího registru
Aktivn í struktura CMOS
Výhody a nevýhody CMOS senzorů • výhody - malá energetická spotřeba - přímý přístup do struktury (adresovatelnost) - obvody pro zpracování (A/D, DSP) vytvořeny na senzoru - nízká cena - odolné vůči bloomingu
• nevýhody - nižší činitel pnění - horší šumové vlastnosti
Comparison CCD vs. CMOS
CCD:
high quality optimized photo detectors high QE, low dark current very low noise | no noise introduced during shifting very low fixed pattern noise (nonuniformity) no FPN shifting Good dynamic range
CMOS:
introduced by
other analog or digital circuits can be integrated, e.g., for clock generation, control, or A/D conversion Low power consumption Very cheap to produce due to the standardized manufacturing processes for CMOS integrated circuits Windowing is very easy due to the direct accessible pixels Blooming is easy to control Very fast read out -> high frame rates
Zvláštní CMOS snímače - Foveon
Senzory CID (Charge Injection Device) • princip je obdobný jako v případě CCD senzoru • v PN přechodu je vytvořena potenciálová jáma, která je plněna nábojem, který vzniká vnějším dopadajícím zářením • po odpojení napětí z elektrodu, které vytvářelo potenciálovou jámu je nábojový balík odsát do substrátu odkud je pak dále zpracován elektrody elementární buňka CID
izolant
P N
Komutovaná pole • fotoodporů • fotodiod • fototranzistorů
Speciální obrazové senzory pro IR oblast •
IR oblast – 800 až 15 000 nm
1. Mikrotermočlánek – bezkontaktní snímání teploty a její intenzity materiál – BiSb nebo SiAl 2. Fotoodpory nebo fotodiody • fotoodpory – PbS (rozsah 1 až 3,6 µm) – PbSe (rozsah 1,5 až 5,8 µm) – InAs (rozsah 1 až 3,1 µm) – InSb (rozsah 1 až 5,5 µm) •
•
fotodiody - Ge (rozsah 0,8 až 1,8 µm, nechlazená, citlivá na t>200°C IR kamery: 1. InSb+CMOS - rozsah 8 až 12 µm, teplota -20 až 150 °C, citlivost 0,02°C 2. PtSi+CMOS - rozsah teploty -10 až 1500 °C, citlivost 0,1 °C
Princip snímání barevné informace
prostřednictvím hranolu s dichroickými zrcadly a tří snímačů
How to get Color? Color Sequential Three separate exposures for every primary color
Three Chip Color The Beam is splitted up to three color beams and every beam hits one ccd
Integral Color Filter Arrays The Bayer Mosaic RGB - CFA
Two green filters in a 2x2 block due the response of the human eye
CMY – CFA
Complementary Colors are used, so more light can permeate to the sensor
prostřednictvím jednoho snímače a použití mozaikového filtru (CFA)
Integral Color Filter Arrays Comparison CMY vs. RGB CFA
Major advantage of the CMY – CFA is the increased sensitivity due to the fact that only one dye is used to filter the light instead of two.
The disadvantage is that he color correction matrix required to convert CMY data to the RGB data adds more noise than the matrix for RGB data, but the systems collects much more light so the SNR can be increased
Interpolační metody
neadaptivní metody
nejbližší soused (Nearest Neighbor Replications) bilineární interpolace hladký barevný přechod (Smooth Hue Transition)
adaptivní metody metoda detekování hran (Edge Sensing Interpolation) lineární Interpolační metoda s Laplaceovou korekcí (Linear Interpolation with Laplacian second-order correction) Interpolace metodou rozpoznávání vzoru (Pattern Recognition Interpolation)
G12 =
G7 + G17 + G11 + G13 4
Princip interpolací:
výpočet chybějící barevné (RGB) informace pro každý bod
G1 R2 G3 R4 G5
příklad Bilineární interpolace interpolace zelených bodů:
G7 + G17 + G11 + G13 G12 = 4
B6 G7 B8 G9 B10
interpolace modrých a červených G11 R12 G13 R14 G15 ......
B16 G17 B18 G19 B20 G21 R22 G23 R24 G25
bodů:
R16 + R18 R12 + R22 , B17 = R17 = 2 2
......
B6 + B8 + B16 + B18 R12 + R14 + R22 + R24 ,B12 = R18 = 4 4
Experimentální část
simulace interpolačních metod a jejich srovnání subjektivní
srovnání objektivní srovnání metodou RMSE
testované obrázky
konve.tif
šachovnice.tif
subjektivní porovnání
Integral Color Filter Arrays The Fuji Super CCD
Honeycomb structure of the Pixels Slightly different (from Bayer CFA) color filtering Pixel Size is bigger than comparable CCD’s: Kodak KAF 3200E: 2/3” size -> pixel size 6,8 µm Super CCD III: 1/1.7“ size pixel size 10,75 µm
FOVEON Chip
New Technology launched by Foveon company. One Pixels detects all three colors
Light of different wavelengths penetrates silicon in different depths No filters → more light at the photodiodes Pixel size can be changed easily by putting Pixels together
Současná situace obrazových senzorů srovnání senzoru s RGB filtrem a senzoru Foveon X3
objektivní porovnání
• návrh metody měření barevné věrnosti digitálního fotoaparátu měřené fotoaparáty: Canon Ixus V2, Minolta Dimage5,Olympus µ400 digital a digitální kamera Panasonic NV-GS3EG
princip metody • převod z prostoru sRGB ∆ELab =
XYZ
L*a*b*
(L *R − L *O )2 + (a *R −a *O )2 + (b *R −b *O )2 sRGB
L*a*b*
výsledky měření
