Beágyazott elektronikus rendszerek (P-ITEEA_0033)
Érzékelők I:
Fizikai világ érzékelése Fizikai szenzorok 2. előadás 2015. Február 18.
Áttekintés • A fizikai világ érzékelése • Szenzorok jellemzői – – – – – –
Affin szenzor modell Mérési tartomány Dinamika tartomány Kvantálás Zaj Mintavételezés
• Fizikai szenzorok – Mozgás – Távolság
Embedded system Embedded system
user
power Electronic hw components: • Processor • Memory • Other circ. comp.
Software: • Application • Real-time OS
Physical world
host machine
Internet
Interface to physical world sensors
Communication
actuators
Érzékelés • Érzékelő: kapcsolat a fizikai világ és a kiber tér között • A mért érték lehet fizikai (hőmérséklet), kémiai (ph), biológia (egyedszám) vagy származtatott (esőszenzor) • Szenzor kimenete: – Skalár – Vektor – Mátrix
Szenzor modell • Lineáris szenzor (pl. feszültségmérő) f(x(t)) = a x(t)
• Affin szenzor (pl. hőmérő) f(x(t)) = a x(t)+b ahol x(t): a fizikai mennyiség f(x(t)): a szenzor által mért érték a,b: konstans
• Nemlineáris szenzor – Logaritmikus – Utólag linearizált
Mérési- és dinamika tartomány • Mérési tartomány – A legkisebb és a legnagyobb mérhető érték közti tartomány
• Dinamika tartomány – A legkisebb és a legnagyobb mérhető érték hányadosa
ahol
D: dinamika tartomány L, H: alsó és felső mérhető értékek (általában 0 és 1) p: felbontás (két szomszédos mérhető mennyiség különbsége)
Kvantálás • Kvantálás – A mérhető fizikai mennyiséget először egy analóg szenzor analóg feszültséggé alakítja (folytonos megfeleltetés) – Ezt követően egy AD konverter digitális jelet készít
– n bites szenzor dinamika tartománya:
Szenzor pontossága és zaja • Pontosság – A szenzor relatív pontossága a mért értéktől függ • A kvantálási hiba ±0,5 bit • A skála legalján 100% hiba • A skála tetején ez 1/2n (n bites szenzornál)
• Zaj – A szenzor által mért érték és a valós érték közti különbség • Lehet: – – – –
Konstans Időbeli Függ az éppen mért értéktől (munkapont) Szenzor beállításaitól
Mintavétel • Kvantálás – Az analóg érzékelő folyamatosan követi a jelet (ha a sávszélessége nagyobb) – Az AD konverter egy-egy adott pillanatban vesz mintát – Gyorsan változó jelnél erre figyelni kell! Nyquist kritérium!
Szenzorok típusai • Fizikai: – – – – – – – – – – –
Feszültség Hőmérséklet Fényerő Mágnesesség Ellenállás Fogyasztás Tömeg Hang Gyorsulás Elfordulás Távolság
• Kémiai: – ph – Anyag koncentráció – Összetétel
• Biológiai: – Káros anyag tartalom – Fajta meghatározás – Sugárzás kártékony hatása
• Komplex: – Esőszenzor – Mosolyszenzor – Álmosság mérő
• Képalkotók: – Kamerák különböző hullámhossz tartományban – Orvosi képalkotók
MEMS accelerometer
11
MEMS accelerometer
12
MEMS accelerometer
13
Draper Tuning Fork Gyro • The rotation of tines causes the Coriolis Force • Forces detected through either electrostatic, electromagnetic or piezoelectric. • Displacements are measured in the Comb drive
14
Inercia szenzorok • Gyorsulás és giroszkóp kombinációja (6D) • A differenciális jelek egyszeres (sebesség) vagy kétszeres integrálása (elmozdulás) • Felbontás: milli g
15
Optikai távolság mérés • Fényimpulzus “repülési” ideje (time-offlight) • 1ns: 30cm (15 cm oda-vissza) • cm-es pontosság: 66ps felbontás • Sok-ezer impulzus kiadása és átlagolása esetén mérhető • Egyetlen pont detektor: geodézia, építészet 16
Beágyazott elektronikus rendszerek (P-ITEEA_0033)
Érzékelők II:
Képérzékelő szenzor tömbök (Imagers) 2. előadás 2015. Február 18.
Áttekintés • A fény mértékegységei • Érzékelő típusok – – – –
Elektroncsöves kamerák CCD szenzor CMOS szenzor Speciális szenzorok és kamerák
• Színes képérzékelés • Hőszenzorok
Az ember által érzékelhető fény mértékegységei •
Lumen (fény teljesítmény, SI): – A látható tartományra eső elektromágneses sugárzás teljesítménye – Egysége: 1 lm amelynek teljesítménye: 1/683 W – 1 lm = 1 cd·sr = 1 lux·m2 (sr az egység gömb felszíne adott térszögben)
•
•
Candela (kibocsájtott fény sűrűsége egy adott térrész irányába, SI): – 1 steradianba kibocsátott 540 nm-es fény teljesítmény – Egysége: 1 cd (egy gyertya által kibocsátott fény teljesítménye a látható tartományban, 1/683 W/sr) Lux (fény sűrűség egy felületen, SI): – Felületi teljesítmény sűrűség a látható tartományban – Egysége: 1 lux (10 lux: egy tárgyat egy láb távolságból egy gyertyával megvilágítunk)
•
Ablak: – Egy folytonos frekvenciájú jelet mérünk egy véges frekvenciaablakon keresztül. – A frekvenciaablak a szemünk vagy a műszer érzékenysége. – A frekvenciaablak burkológörbéjét a műszer kvantumhatásfoka és szűrő ablaka határozza meg.
Lux: egységnyi felületre eső fényenergia mennyiség, a szem spektrális érzékenységi görbéjének ablakán keresztül mérve (sötétkék).
Fényforrások Kiadott fényteljesítmény 0,66W 1,2W 1,6W 2,3W
Kísérlet: melyik fényforrás erősebb? I1(d1)
d1
I2(d2)
d2
I(d)~ d2
Tipikus megvilágítás értékek Erős napsütés
32,000–100,000 lux
TV stúdió megvilágítás
1000 lux
Napkelte, napnyugta (felhőtlen)
400 lux
Irodai megvilágítás
200–400 lux
Lakás megvilágítás
50-100 lux
Gyertya 30 centiről
10 lux
Telihold
0.25 lux
Negyed hold
0.01 lux
Holdmentes sötét (tiszta) éjszaka
0.001 lux
Holdmentes sötét (borús) éjszaka
0.0001 lux
Két további fontos szenzor mérőszám: Egy képen belüli átfogás (intra-frame) (szem: ~80dB, 1:10,000) A szenzor teljes átfogása (inter-frame) (szem: ~120dB, 1:1,000,000)
Elektroncsöves kamerák • • • •
Első elektroncsöves képérzékelők: 1910 Sorfolytonos jelkimenet Videojel Vidicon: 1930 – – – – – – – – –
Nagy érzékenység Kevés zaj Kis felbontás Törékeny Drága Nagy méret A túl erős fény kiégeti Ma már ritkán használt Kiszorította a CCD és a fotoelektron sokszorozó
Analóg videó jel (sor)
Analóg videó jel (teljes kép)
CCD technológia és szenzorok • • • •
CCD: Charge Coupled Device 1974 Bell Laboratórium 1980-tól folyamatosan leváltja az elektroncsöves kamerákat Jelenleg a kamerák jelentős részében CCD található – A CMOS hamarosan kiszorítja
• Alkalmazás – Ipari kamerák • Viszonylag kis sebességet (videó sebesség), de nagy érzékenységet és alacsony zajszintet megkövetelő ipari alkalmazások
• Viszonylag olcsó félvezető technológia • Gyártási technológiája nem kompatibilis a CMOS technológiával
CCD érzékelők működése I • Érzékelő mátrix (szemben a vidicon-nal, itt térben diszkrét pixelekből építkezik -> diszkretizálás) • Beeső fotonok szabad elektronokat gerjesztenek • A túl kis energiájú (infravörös) nem gerjeszt elektront • A túl nagy energiájú (ultra ibolya) hamar elnyelődik, nem ér el a megfelelő mélységbe • Kvantum hatásfok (tipikusan 70%) • Ezek az elektronok az előre elkészített potenciál lyukakban (zsebekben) gyűlnek (2-100,000 db elektron) • Zsebek túlcsordulása: “Blooming”
CCD érzékelők működése II • Kiolvasás:
Három fázisú órajel
• Az első CCD kamerákba mechanikus shutter kellett, amely gátolta, hogy a tömb fényt kapjon kiolvasás alatt • Ma a töltés továbbító regisztersor elkülönül a fényérzékelőtől, így shutterre nincs szükség, de a fill factor csökken.
A CCD kiolvasása
Exponálás, kiolvasás • Működés: – A CCD tömb inicializálása (reset) – Integrálás (shutter open) – Kiolvasás (shutter closed)
• Shutter (mindig global shutter): – Mechanikus (fizikailag kinyílik) – Elektronikus shutter • Frame transfer • Interlaced
• Integrálási idő – Min: 10-5 sec – Max: 1/frame rate
A CCD tipikus hibái • “Reset” zaj – A “reset” feszültség, amely a cellákat inicializálja, változik cellánként
• Sötét áram (szivárgási áram) • Ellenállások termikus zaja • ADC kvantálási hiba • “Smear” effektus – Túlcsordulás (blooming) a teljes oszlopban
enw 4kTRB
Tipikus CCD kamera paraméterek • Tér-időbeli felbontás: – – – – –
762x526 videó kamera 30 Hz 1980x1024 HD kamera 60Hz 1280x1024 ipari kamera 15 Hz 3000x4000 digitális fényképezőgép 1 Hz 12000x12000 katonai, űrkutatási alkalmazások 0.1 Hz
• CCD pixel órajel: – 10MHz (12 bit felbontás) – 1MHz (16 bit felbontás)
CCD kamera • Mivel a CCD kamerában nincsenek bent a különböző időzítők, erősítők, exponálási időt automatikusan beállító áramkörök, AD konverterek, stb, ezért csak sok chipet tartalmazó kártyákon lehet azokat integrálni. Mobil telefonok, webkamerák ezért nem is alkalmazzák.
CMOS technológia és szenzorok • 60-as évektől ismert az elv: - foto-elektromos átalakítás a szilícium felületen
• A NASA Jet Propulsion Laboratórium - 93-ban készítették az első működő példányt • CCD-CMOS érzékelők versengése - alkalmazási terület függő, hogy melyik a megfelelőbb - manapság szinte minden területen a CMOS átvette a vezető szerepet, kivéve a global shutteres ipari alkalmazásokat
Érzékelő cella architektúrák • Standard CMOS technológia-> tág játéktér • Néhány architektúra: – Standard lineáris integráló cella (aktív pixel CMOS szenzor, ez legegyszerűbb és a legelterjedtebb) – Nagydinamikájú cella • Logaritmikus • Több, különböző érzékenységű szenzor egy pixelben • Többször indított integrálás
– Nagydinamikájú lokálisan adaptív szenzor (“inter-pixel”) • Lokális integrálási idő kontrol
– Irány szelektív, vagy mozgás szelektív szenzorok – Retina emuláló architektúrák – Érzékelő processzorok • Q-Eye, SCAMP, …
Nagy dinamika, “blooming”
Nagy dinamikájú CMOS: nincs telítésben, de alacsony a kontraszt
Lineáris sensor: telítésbe kerül, de a kontrasztok jobbak. Nincs “smear effect”
Alap CMOS érzékelő architektúra: Active pixel sensor
• Működés:
– Reset (a kapacitások inicializálása) – Integrálás (a fotoáramok az intenzitásuktól függően kisütik a kapacitásokat) – Kiolvasás (sorok és oszlopok címzése)
Column select multiplexer
Tipikus hibák • “Fix pattern” zaj • Oszlop “offset”
Érzékelt
Zaj
Kompenzált kép
Basic CMOS sensor architecture • Active pixel: – Pixels can be individually addressed – Region of interest (ROI) – Integrated AD converter
Kiolvasás • Egy vagy néhány AD-n osztozik a tömb (30-100FPs) • Minden oszlopban egy AD (1,000 FPs) – Multiplexelt kimenet – Párhuzamos kimenet
• Minden cellában egy AD (10,000 FPs)
“Noise floor”,
avagy hogyan kapunk a zajból kiemelkedő jelet Jellemző
CCD (CCD47-10, e2V)
CMOS (IBIS5)
Hány elektront viszi telítődésbe? [e-]
100 000
50 000
Sötét áram @ 20Celsius [e-/s]
115 (átlag)
410 (átlag)
Sötét áram hány fokonként kétszereződik?
4
8
Hány elektron az LSB?
2
35
Teljes dinamika
50 000:1
1 600:1
Quantum hatásfok
80%
30%
1000 foton
800 e- (400LSB)
300 e- (8LSB)
Maximális integrálási idő (hiba kisebb mint 10%) Hőmérséklet
CCD (CCD47-10, e2V)
CMOS (IBIS5)
-40C
200 000s (51 óra)
1810s
-20C
10 000s
320s
0C
900s
56s
20C
85s
10s
40C
8s
1.8s
Rolling Shutter vs Global Shutter • Gyorsan mozgó tárgyak alakja változik • A kamera mozgása esetén a tárgyak elhajlanak •
http://www.diyphotography.net/everything-you-wanted-to-know-about-rolling-shutter/
beginning of the frame
end of the frame
captured image
43
Speciális CMOS szenzorok:
Logaritmikus működés • A dióda árama egy logaritmikus ellenálláson folyik át • Időben folytonos jel
Speciális CMOS szenzorok:
Több, különböző érzékenységű szenzor egy pixelben • Területtel arányos érzékenység – Erős megvilágítás -> két nagyobb telítésbe megy, kicsi mér – Közepes megvilágítás -> legnagyobb telítésbe megy, kicsin még alig van jel – Gyenge megvilágítás -> két kisebb alig van jel, nagy mér
• Megjelenítéshez utóprocesszálás szükséges • Pixel méret, tömb méret “trade-off” • “Aliasing” u
Az egyes szub-pixelek karakterisztikái, egy adott megvilágításnál.
t
Speciális CMOS szenzorok:
Többször indított integrálás • A fényesebb helyeken újraindítjuk az integrálást, hogy elkerüljük a telítődést reset Lineáris integráló szenzor
u
2 bit memória
komparátor
Reset szint
um
um ½T
¾T
T
Speciális CMOS szenzorok:
Nagydinamikájú látvány • Integráló típusú lineáris kamerával felvett képsorozat: (int. idő:1ms230ms) • 16 bites képet nem lehet megjeleníteni (display 7-8 bit)
Logaritmikusan tömörített kép (szimuláció)
Lokálisan adaptív nagydinamikájú szenzor
Pixelenként állítható integrálási idő (szimuláció)
Speciális CMOS szenzorok:
Locally Adaptive Sensor Array: Measurement Results
Strongly, asymmetrically The same image captured illuminated face captured by the sensor array with by the sensor array with global local integration time integration time control control
Integration time map (controls local adaptation)
Speciális CMOS szenzorok:
Irány szelektív, vagy mozgás szelektív szenzorok • 20% pontos elmozdulás szenzor: optikai egér • “Motion blur” kiküszöbölése
CMOS kamera felépítése • Néhány olcsó elemből összerakható egy digitális kamera • Mobiltelefon, webkamera, HD video kamera mind CMOS CMOS szenzor, ADC-vel kommunikáció
processzor
memória
Tipikus CMOS kamera paraméterek • Térbeli felbontás – 128x128-tól 4000x6000-ig
• Pixel órajel: 20-160 Mpixel/sec • Ablakozhatóság • “Frame-rate” arányos az ablakmérettel
• “Frame-rate” (időbeli felbontás) – 15-1000-ig ablakozás nélkül – Akár 10,000 ablakozva
• Pontosság (lineáris integráló) 6-10 bit
Csillagfény erősítésű kamerák (Image intensifyers) • 50,000-szeres erősítés • Nappal: Tized nanoszekundumos gating – (cm pontos távolság mérés)
• Közel megapixeles felbontás
Modern képerősítő
Színes szenzor technikák - színcsatornára bontás • Időben : – Szín kerék, color wheel
kamera
• Térben – “Bayern pattern”
• Szenzor szám növelés
CCD
– 3 szenzoros rendszer (3 CCD camera) CCD CCD
Színes kép interpoláció “Bayern patterns” megoldásnál • Mind a CMOS, mind a CCD kamera ezt használja (kivéve a 3CCD)
Vertikális színszűrő szenzor tömb – egy új technológiai irányvonal: Foveon
A Foveon cég piacon van. Működő szabadalmaztatott technológia, versenytársa a másik
kéttechnológiának.
Hőszenzorok • Nem szilícium bázisú hőszenzorok • MEMs alapú szenzorok • Nano-technológiás IR szenzorok
Infravörös tartomány felfedezése William Herschel - az Uranus bolygó felfedezőjének - kísérlete (1800)
A színek “hőmérséklete” nő az ibolyától a vörösig, és a vörösön túl is!
Az infravörös tartomány
MWIR (5-8mm) Near IR (0.8-2mm) Near infrared
0.8-2mm
Short wave IR (SWIR)
2-5mm
Middle wave IR (MWIR)
5-8mm
Long wave IR (LWIR)
8-12mm
LWIR (8-12mm)
Nem szilícium bázisú érzékelők
• Félvezetők más anyagokból – Pl: InGaAs
• Hűtött szenzorok
Mikro-bolométer • Standard CMOS technológia • Vékony amorf szilícium lapkát ér a fény • Melegedés hatására változik az ellenállása • Akár megapixeles felbontás • Nem hűtött • „Olcsó”, manapság elterjedt
25
Nanoantenna detektor 1 mm
• Jelenleg még csak laboratóriumban • A fény hullámtermészetét használja ki • THz-es frekvencia, szilíciumon nem kezelhető • Detektoros “rádió” pixelenként • Nem hűtött
Nano MOM tranzisztor
Optikai távolságmérő tömb
63
Kinect
Canesta távolság mérő tömb
• 160x120-as tömb • Minden pixel két detektorból áll • A detektorok a megvilágítás fázisában vannak kapcsolva (ellentétes fázisban) 64
Canesta távolság mérő tömb • Aktív pulzusos megvilágítás • A detektorok a megvilágítás fázisában vannak kapcsolva (ellentétes fázisban) • Sok ezer pulzus integrálása • Detektorok DC szintje: háttér világítás • Detektorok differenciája: arányos az objektum távolságával 65
66
Járdaszegély detekció
• Automatikus parkolás 67
