Áttekintés Beágyazott elektronikus rendszerek
• A fizikai világ érzékelése • Szenzorok jellemzői
(P-ITEEA_0033)
– – – – – –
Érzékelők I:
Fizikai világ érzékelése Fizikai szenzorok
Affin szenzor modell Mérési tartomány Dinamika tartomány Kvantálás Zaj Mintavételezés
• Fizikai szenzorok – Mozgás – Távolság
2. előadás 2016. Február 17.
Embedded system
Érzékelés
Embedded system user
power Electronic hw components: • Processor • Memory • Other circ. comp.
Software: • Application • Real-time OS
Communication
Internet
Interface to physical world sensors
host machine
actuators
• Érzékelő: kapcsolat a fizikai világ és a kiber tér között • A mért érték lehet fizikai (hőmérséklet), kémiai (ph), biológia (egyedszám) vagy származtatott (esőszenzor) • Szenzor kimenete: – Skalár – Vektor – Mátrix
Physical world
Szenzor modell
Mérési- és dinamika tartomány
• Lineáris szenzor (pl. feszültségmérő) f(x(t)) = a x(t)
• Affin szenzor (pl. hőmérő) f(x(t)) = a x(t)+b ahol x(t): a fizikai mennyiség f(x(t)): a szenzor által mért érték a,b: konstans
• Nemlineáris szenzor
• Mérési tartomány – A legkisebb és a legnagyobb mérhető érték közti tartomány
• Dinamika tartomány – A legkisebb és a legnagyobb mérhető érték hányadosa
ahol
D: dinamika tartomány L, H: alsó és felső mérhető értékek (általában 0 és 1) p: felbontás (két szomszédos mérhető mennyiség különbsége)
– Logaritmikus – Utólag linearizált
1
Kvantálás
Szenzor pontossága és zaja • Pontosság
• Kvantálás
– A szenzor relatív pontossága a mért értéktől függ
– A mérhető fizikai mennyiséget először egy analóg szenzor analóg feszültséggé alakítja (folytonos megfeleltetés) – Ezt követően egy AD konverter digitális jelet készít
• A kvantálási hiba ±0,5 bit • A skála legalján 100% hiba • A skála tetején ez 1/2n (n bites szenzornál)
• Zaj – A szenzor által mért érték és a valós érték közti különbség • Lehet: – – – –
– n bites szenzor dinamika tartománya:
Konstans Időbeli Függ az éppen mért értéktől (munkapont) Szenzor beállításaitól
=
Mintavétel • Kvantálás – Az analóg érzékelő folyamatosan követi a jelet (ha a sávszélessége nagyobb) – Az AD konverter egy-egy adott pillanatban vesz mintát – Gyorsan változó jelnél erre figyelni kell! Nyquist kritérium!
Szenzorok típusai • Fizikai: – – – – – – – – – – –
MEMS accelerometer
11
• Kémiai:
Feszültség Hőmérséklet Fényerő Mágnesesség Ellenállás Fogyasztás Erő Hang Gyorsulás Elfordulás Távolság
– ph – Anyag koncentráció – Összetétel
• Biológiai: – Káros anyag tartalom – Fajta meghatározás – Sugárzás kártékony hatása
• Komplex: – Esőszenzor – Mosolyszenzor – Álmosság mérő
• Képalkotók: – Kamerák különböző hullámhossz tartományban – Orvosi képalkotók (Ultrahang, PET, Röntgen, CT, MR)
MEMS accelerometer
12
2
MEMS accelerometer
Draper Tuning Fork Gyro • The rotation of tines causes the Coriolis Force • Forces detected through either electrostatic, electromagnetic or piezoelectric. • Displacements are measured in the Comb drive
13
14
Optikai távolság mérés
Inercia szenzorok • Gyorsulás és giroszkóp kombinációja (6D) • A differenciális jelek egyszeres (sebesség) vagy kétszeres integrálása (elmozdulás) • Felbontás: milli g
• Fényimpulzus “repülési” ideje (time-offlight) • 1ns: 30cm (15 cm oda-vissza) • cm-es pontosság: 66ps felbontás • Sok-ezer impulzus kiadása és átlagolása esetén mérhető • Egyetlen pont detektor: geodézia, építészet
15
16
Áttekintés Beágyazott elektronikus rendszerek (P-ITEEA_0033)
Érzékelők II:
Képérzékelő szenzor tömbök (Imagers) 2. előadás 2016. Február 17.
• A fény mértékegységei • Érzékelő típusok – Elektroncsöves kamerák – CCD szenzor – CMOS szenzor – Speciális szenzorok és kamerák
• Színes képérzékelés • Hőszenzorok
3
Az ember által érzékelhető fény mértékegységei •
Lumen (megvilágítás fotometriai mértéke, SI): – A látható tartományra eső elektromágneses sugárzás teljesítménye – Egysége: 1 lm amelynek radiometriai teljesítménye: 1/683 W – 1 lm = 1 cd·sr = 1 lux·m 2 (sr az egység gömb felszíne adott térszögben)
•
Candela (fényerősség egy térszögben, SI alapmértékegység): – Pontszerű forrásból kibocsájtott fényerősség egy térszögbe – Egysége: 1 cd (egy gyertya által kibocsátott fény teljesítménye a látható tartományban, 1/683 W/sr) Lux (fényáram, SI): – Felületi teljesítmény sűrűség a látható tartományban – Egysége: 1 lux (10 lux: egy tárgyat egy láb távolságból egy gyertyával megvilágítunk)
•
•
Fényforrások Kiadott radiometrikus fényteljesítmény 0,66W 1,2W
Ablak:
1,6W
– Egy folytonos frekvenciájú jelet mérünk egy véges frekvenciaablakon keresztül. – A frekvenciaablak a szemünk vagy a műszer érzékenysége. – A frekvenciaablak burkológörbéjét a műszer kvantumhatásfoka és szűrő ablaka határozza meg.
2,3W
Lux: egységnyi felületre eső fényenergia mennyiség, a szem spektrális érzékenységi görbéjének ablakán keresztül mérve (sötétkék).
Tipikus megvilágítás értékek Kísérlet: melyik fényforrás erősebb? Erős napsütés
I1(d1)
TV stúdió megvilágítás
I2(d2)
Napkelte, napnyugta (felhőtlen) Irodai megvilágítás
32,000–100,000 lux 1000 lux 400 lux 200–400 lux
Lakás megvilágítás
50-100 lux
Gyertya 30 centiről
10 lux
Telihold
d1
d2 I(d)~ d2
Elektroncsöves kamerák • • • •
0.25 lux
Negyed hold
0.01 lux
Holdmentes sötét (tiszta) éjszaka
0.001 lux
Holdmentes sötét (borús) éjszaka
0.0001 lux
Két további fontos szenzor mérőszám: Egy képen belüli átfogás (intra-frame) (szem: ~80dB, 1:10,000) A szenzor teljes átfogása (inter-frame) (szem: ~120dB, 1:1,000,000)
Analóg videó jel (sor)
Első elektroncsöves képérzékelők: 1910 Sorfolytonos jelkimenet Videojel Vidicon: 1930 – – – – – – – – –
Nagy érzékenység Kevés zaj Kis felbontás Törékeny Drága Nagy méret A túl erős fény kiégeti Ma már ritkán használt Kiszorította a CCD és a fotoelektron sokszorozó
4
Analóg videó jel (teljes kép)
CCD technológia és szenzorok • • • •
CCD: Charge Coupled Device 1974 Bell Laboratórium 1980-tól folyamatosan leváltja az elektroncsöves kamerákat Jelenleg a kamerák jelentős részében CCD található – A CMOS hamarosan kiszorítja
• Alkalmazás – Ipari kamerák • Viszonylag kis sebességet (videó sebesség), de nagy érzékenységet és alacsony zajszintet megkövetelő ipari alkalmazások
• Viszonylag olcsó félvezető technológia • Gyártási technológiája nem kompatibilis a CMOS technológiával
CCD érzékelők működése I • • • • • •
•
Érzékelő mátrix (szemben a vidicon-nal, itt térben diszkrét pixelekből építkezik -> diszkretizálás) Beeső fotonok szabad elektronokat gerjesztenek A túl kis energiájú (infravörös) nem gerjeszt elektront A túl nagy energiájú (ultra ibolya) hamar elnyelődik, nem ér el a megfelelő mélységbe Kvantum hatásfok tipikusan 70% (egy fotonból hány elektron lesz?) Ezek az elektronok az előre elkészített potenciál lyukakban (zsebekben) gyűlnek (2-100,000 db elektron) Zsebek túlcsordulása: “Blooming”
CCD érzékelők működése II • Kiolvasás:
Három fázisú órajel
A CCD kiolvasása
• Az első CCD kamerákba mechanikus shutter kellett, amely gátolta, hogy a tömb fényt kapjon kiolvasás alatt • Ma a töltés továbbító regisztersor elkülönül a fényérzékelőtől, így shutterre nincs szükség, de a fill factor csökken.
Exponálás, kiolvasás • Működés: – A CCD tömb inicializálása (reset) – Integrálás (shutter open) – Kiolvasás (shutter closed)
• Shutter (mindig global shutter): – Mechanikus (fizikailag kinyílik) – Elektronikus shutter • Frame transfer • Interlaced
• Integrálási idő – Min: 10-5 sec – Max: 1/frame rate
5
Tipikus CCD kamera paraméterek
A CCD tipikus hibái • “Reset” zaj – A “reset” feszültség, amely a cellákat inicializálja, változik cellánként
• Sötét áram (szivárgási áram) • Ellenállások termikus zaja
enw 4kTRB
• ADC kvantálási hiba • “Smear” effektus
• Tér-időbeli felbontás: – – – – –
762x526 videó kamera 30 Hz 1980x1024 HD kamera 60Hz 1280x1024 ipari kamera 15 Hz 3000x4000 digitális fényképezőgép 1 Hz 12000x12000 katonai, űrkutatási alkalmazások 0.1 Hz
• CCD pixel órajel: – 10MHz (12 bit felbontás) – 1MHz (16 bit felbontás)
– Túlcsordulás (blooming) a teljes oszlopban
CCD kamera • Mivel a CCD kamerában nincsenek bent a különböző időzítők, erősítők, exponálási időt automatikusan beállító áramkörök, AD konverterek, stb, ezért csak sok chipet tartalmazó kártyákon lehet azokat integrálni. Mobil telefonok, webkamerák ezért nem is alkalmazzák.
CMOS technológia és szenzorok • 60-as évektől ismert az elv: - foto-elektromos átalakítás a szilícium felületen
• A NASA Jet Propulsion Laboratórium - 93-ban készítették az első működő példányt • CCD-CMOS érzékelők versengése - alkalmazási terület függő, hogy melyik a megfelelőbb - manapság szinte minden területen a CMOS átvette a vezető szerepet, kivéve a global shutteres ipari alkalmazásokat
Érzékelő cella architektúrák
Nagy dinamika, “blooming”
• Standard CMOS technológia-> tág játéktér • Néhány architektúra: – Standard lineáris integráló cella (aktív pixel CMOS szenzor, ez legegyszerűbb és a legelterjedtebb) – Nagydinamikájú cella • Logaritmikus • Több, különböző érzékenységű szenzor egy pixelben • Többször indított integrálás
– Nagydinamikájú lokálisan adaptív szenzor (“inter-pixel”) • Lokális integrálási idő kontrol
Nagy dinamikájú CMOS: nincs telítésben, de alacsony a kontraszt
Lineáris sensor: telítésbe kerül, de a kontrasztok jobbak. Nincs “smear effect”
– Irány szelektív, vagy mozgás szelektív szenzorok – Retina emuláló architektúrák – Érzékelő processzorok • Q-Eye, SCAMP, …
6
Alap CMOS érzékelő architektúra: Active pixel sensor
Tipikus hibák
• Működés:
• “Fix pattern” zaj • Oszlop “offset”
– Reset (a kapacitások inicializálása) – Integrálás (a fotoáramok az intenzitásuktól függően kisütik a kapacitásokat) – Kiolvasás (sorok és oszlopok címzése)
Érzékelt
Kompenzált kép
Zaj
Column select multiplexer
Kiolvasás
Basic CMOS sensor architecture
• Egy vagy néhány AD-n osztozik a tömb (30-100FPs) • Minden oszlopban egy AD (1,000 FPs)
• Active pixel: – Pixels can be individually addressed – Region of interest (ROI) – Integrated AD converter
– Multiplexelt kimenet – Párhuzamos kimenet
• Minden cellában egy AD (10,000 FPs)
“Noise floor”, avagy hogyan kapunk a zajból kiemelkedő jelet Jellemző
CCD (CCD47-10, e2V)
CMOS (IBIS5)
Hány elektront viszi telítődésbe? [e-]
100 000
50 000
Sötét áram @ 20Celsius [e-/s]
115 (átlag)
410 (átlag)
Sötét áram hány fokonként kétszereződik?
4
8
Hány elektron az LSB?
2
35
Teljes dinamika
50 000:1
1 600:1
Quantum hatásfok
80%
30%
1000 foton
800 e- (400LSB)
300 e- (8LSB)
Maximális integrálási idő (hiba kisebb mint 10%) Hőmérséklet
CCD (CCD47-10, e2V)
CMOS (IBIS5)
-40C
200 000s (51 óra)
1810s
-20C
10 000s
320s
0C
900s
56s
20C
85s
10s
40C
8s
1.8s
7
Rolling Shutter vs Global Shutter
Speciális CMOS szenzorok:
Logaritmikus működés • A dióda árama egy logaritmikus ellenálláson folyik át • Időben folytonos jel
• Gyorsan mozgó tárgyak alakja változik • A kamera mozgása esetén a tárgyak elhajlanak •
http://www.diyphotography.net/everything-you-wanted-to-know-about-rolling-shutter/
beginning of the frame
captured image
end of the frame
43
Speciális CMOS szenzorok:
Speciális CMOS szenzorok:
Többször indított integrálás
Több, különböző érzékenységű szenzor egy pixelben • Területtel arányos érzékenység
• A fényesebb helyeken újraindítjuk az integrálást, hogy elkerüljük a telítődést
– Erős megvilágítás -> két nagyobb telítésbe megy, kicsi mér – Közepes megvilágítás -> legnagyobb telítésbe megy, kicsin még alig van jel – Gyenge megvilágítás -> két kisebb alig van jel, nagy mér
reset
• Megjelenítéshez utóprocesszálás szükséges • Pixel méret, tömb méret “trade-off” • “Aliasing” u
Lineáris integráló szenzor
Az egyes szub-pixelek karakterisztikái, egy adott megvilágításnál.
u
2 bit memória
komparátor
Reset szint
um
um ½T
¾T
T
t
Speciális CMOS szenzorok:
Nagydinamikájú látvány •
•
Integráló típusú lineáris kamerával felvett képsorozat: (int. idő:1ms230ms) 16 bites képet nem lehet megjeleníteni (display 7-8 bit)
Lokálisan adaptív nagydinamikájú szenzor
Logaritmikusan tömörített kép (szimuláció)
Pixelenként állítható integrálási idő (szimuláció)
8
Lokálisan adaptív nagydinamikájú szenzor dinamikus adaptációja
szimuláció
Speciális CMOS szenzorok:
Locally Adaptive Sensor Array: Measurement Results
Strongly, asymmetrically The same image captured illuminated face captured by the sensor array with by the sensor array with global local integration time integration time control control
Speciális CMOS szenzorok:
Integration time map (controls local adaptation)
CMOS kamera felépítése
Irány szelektív, vagy mozgás szelektív szenzorok
• Néhány olcsó elemből összerakható egy digitális kamera • Mobiltelefon, webkamera, HD video kamera mind CMOS
• 20% pontos elmozdulás szenzor: optikai egér • “Motion blur” kiküszöbölése
CMOS szenzor, ADC-vel
processzor
memória
kommunikáció
Tipikus CMOS kamera paraméterek • Térbeli felbontás – 128x128-tól 4000x6000-ig
• Pixel órajel: 20-160 Mpixel/sec • Ablakozhatóság • “Frame-rate” arányos az ablakmérettel
Csillagfény erősítésű kamerák (Image intensifyers) • •
50,000-szeres erősítés Nappal: Tized nanoszekundumos gating
Modern képerősítő
– (cm pontos távolság mérés)
•
Közel megapixeles felbontás
• “Frame-rate” (időbeli felbontás) – 15-1000-ig ablakozás nélkül – Akár 10,000 ablakozva
• Pontosság (lineáris integráló) 6-10 bit
9
Színes szenzor technikák - színcsatornára bontás
Színes kép interpoláció “Bayern patterns” megoldásnál
• Időben : – Szín kerék, color wheel
kamera
• Mind a CMOS, mind a CCD kamera ezt használja (kivéve a 3CCD)
• Térben – “Bayern pattern”
• Szenzor szám növelés
CCD
– 3 szenzoros rendszer (3 CCD camera) CCD CCD
Vertikális színszűrő szenzor tömb – egy új technológiai irányvonal: Foveon
Hőszenzorok • Nem szilícium bázisú hőszenzorok • MEMs alapú szenzorok • Nano-technológiás IR szenzorok
A Foveon cég piacon van. Működő szabadalmaztatott technológia, versenytársa a másik kéttechnológiának.
Infravörös tartomány felfedezése
Az infravörös tartomány
William Herschel - az Uranus bolygó felfedezőjének - kísérlete (1800)
MWIR (5-8mm)
Near IR (0.8-2mm) A színek “hőmérséklete” nő az ibolyától a vörösig, és a vörösön túl is!
Near infrared
0.8-2mm
Short wave IR (SWIR)
2-5mm
Middle wave IR (MWIR)
5-8mm
Long wave IR (LWIR)
8-12mm
LWIR (8-12mm)
10
Mikro-bolométer
Nem szilícium bázisú érzékelők
• Standard CMOS technológia • Vékony amorf szilícium lapkát ér a fény • Melegedés hatására változik az ellenállása • Akár megapixeles felbontás • Nem hűtött • „Olcsó”, manapság elterjedt
• Félvezetők más anyagokból – Pl: InGaAs
• Hűtött szenzorok
Nanoantenna detektor
Optikai távolságmérő tömb
1 mm
• Jelenleg még csak laboratóriumban • A fény hullámtermészetét használja ki • THz-es frekvencia, szilíciumon nem kezelhető • Detektoros “rádió” pixelenként • Nem hűtött
25
Nano MOM tranzisztor
Kinect 64
Canesta távolság mérő tömb
Canesta távolság mérő tömb • •
• • • • •
160x120-as tömb Minden pixel két detektorból áll A detektorok a megvilágítás fázisában vannak kapcsolva (ellentétes fázisban) 65
•
Aktív pulzusos megvilágítás A detektorok a megvilágítás fázisában vannak kapcsolva (ellentétes fázisban) Sok ezer pulzus integrálása Detektorok DC szintje: háttér világítás Detektorok differenciája: arányos az objektum távolságával 66
11
Járdaszegély detekció
• Automatikus parkolás 67
68
12
