Az intraorális lenyomatvételi eljárások matematikai, informatikai háttere Passzív- és aktív háromszögelési módszer Időmérésen alapuló módszer
Papp Ildikó, DE-IK, 2017
Az intraorális lenyomatvételi eljárások matematikai, informatikai háttere 1. rész (2017. 02.20.)
Vázlat
3D szkennelés és alkalmazásai Pontfelhő Poligonháló/Háromszögháló Felületmodell Passzív háromszögelés o Sztereo látás o epipoláris geometria Aktív háromszögelés- Struktúrált fény-alapú technika o Lézerpont vetítése o Fénycsík(ok) vetítése (Single-axis encoding) o Statikus minta vetítése(Double-axis encoding) o Bináris kódolás o Színes kódolás Time of Flight AMCW
3D szkennelés Egy létező térbeli objektumról digitális modellt készítünk valamilyen eszközzel, amely alkalmas arra, hogy az objektum pontjainak térbeli koordinátáit kimérje, vagy szoftver segítségével kiszámolja.
Széles körben alkalmazható: • Digitális dokumentáció készítése • Restaurálás • Archiválás • Reverse engineering Sense 3D testszkenner működés közben • Robotika • Valós objektumok megjelenítése VR környezetben • Egészségügy… Egy Sense szkennerrel készült modell megtekinthető a skövetkező oldalon: https://sketchfab.com/models/81842e8c66ee4681918e65cdf842e64b
3D szkennelés Egy 3D szkenner működése különféle fizikai, matematikai, informatikai megoldások együttesén alapul. Befolyásoló tényezők: • Mekkora tárgyat kell szkennelnünk? • Mennyire tudjuk megközelíteni? • Kompakt eszközt szeretnénk? • Van-e szükség utólagos feldolgozásra?
A heti témakörök: • Passzív háromszögelés • Aktív háromszögelés • Time of Flight technika Egy arc szkennelése: https://youtu.be/nSYtattHcVc https://en.wikipedia.org/wiki/3D_scanner
A 3D szkennelés eredménye A szkennelés eredménye: több ezer pont térbeli koordinátája Ebből szükség szerint pontfelhő jeleníthető meg, vagy a feldolgozás során poligonhálóvá alakítható.
Pontfelhő
Poligonhláló
Pontfelhő A pontfelhő egy mintavételezésből származó, térbeli pontok nem strukturált halmaza egy koordinátarendszerben. Minden pont ebben a koordinátarendszerben a az X, Y, Z koordinátákkal írható le. Megjelenítve a felület illúzióját kelti, de a pontok között nincs kapcsolat, nincs klasszikus értelemben vett felületünk. A pontfelhő közvetlenül nem kezelhető, ezért poligonhálóvá szokás alakítani. Ekkor a pontok egy részét elvetjük, és a maradék pontok között összeköttetéseket hozunk létre. https://en.wikipedia.org/wiki/Point_cloud
Poligonháló A poligonhálót jellemzően egy felület megjelenítésére használjuk. A felületi lapok (facet) élek esetében a egy csúcsban több (változó számú) poligonlap is találkozik. (A hálók nem feltétlenül jelentenek háromszöghálót.) A leíró adatstruktúra: • A csúcsok listája (a csúcsok koordinátákal megadva) • Lapok tárolása a csúcsok és az élek felsorolásával. MeshLab : A háromszöghálók szerkesztésére szolgáló szoftver. (köv. hét gyakorlata)
A 3D szkennelés eredménye A „jelenet” Renderelt felületmodell a háromszögháló alapján Textúrázott felületmodell
Passzív háromszögelési technika Sztereo kamerarendszer alkalmazása: • Két különböző irányból készítünk képet a tárgyról, épületről. • Egy térbeli pont helyzete kiszámítható, ha azok mindkét képen beazonosításra kerültek. A legnehezebb az azonosított pontpárok megtalálása, amely nehezen automatizálható. • Passzív: a képek készítése után „bárhol”, és „bármikor” elvégezhetők a számítások, nem azonnal történik a képek feldolgozása.
A sztereo kamerarendszer paraméterei P
• A képek egymáshoz viszonyított helyzete. • A kamerák egymástól mért távolsága. (O1 és O2 távolság)
• A képek középpontjai (a kamerák merőleges vetülete a képen). P1
O1
P2
• A kamerák képsíktól mért távolsága. O2
+ Történt-e valamilyen nagyítás, vagy kicsinyítés a kép készítése után, és ha igen, akkor annak az aránya.
Epipoláris geometria A sztereo képekkel történő számítások alapja az epipoláris geometria. P
Epipoláris sík
P1
Epipoláris egyenesek
E1 O1
Epipólus (O2 képe O1-ből vetítve)
Epipoláris sík: A jelenet P pontja és az O1, O2 vetítési középpontok feszítik fel. Epipoláris egyenesek: P2 Az epipoláris sík és a képsíkok metszésvonalai. E2 Epilólusok: O2 Az O1 és O2 vetítési Epipólus (O képe O -ből vetítve) középpontok képe a másik képsíkon. 1
2
Epipoláris geometria A sztereo képekkel történő számítások alapja az epipoláris geometria. Tapasztalat: A P1 pont mögötti térbeli pontok képei a jobb oldali felvételen egy egyenesre illeszkednek. (Ez az epipoláris egyenes!) P1
O1
O2
Epipoláris geometria A vetítősugarak visszaállítása során szinte minden esetben van valamilyen mértékű számolási pontatlanság. Ennek következménye, hogy a kiszámolt sugarak elkerülik egymást. Az eredeti metszéspontot helyettesítő pont: • a két egyenestől egyenlő távolságra van O2 O1 • Az ilyen tulajdonságú pontok közül ez van legközelebb az egyenesekhez.
Rektifikálás: a képek „kiegyenesítése”
A számolások egyszerűsítése érdekében a képeket „kiegyenesítjük”: az optikai középpontok által meghatározott egyenessel párhuzamos síkra leképezzük azokat úgy, hogy az epipolárisok egyetlen vonalat alkossanak.
Rektifikálás: a képek „kiegyenesítése” Rektifikálás előtti képek
Rektifikálás utáni képek
Gyakorlati alkalmazás • Magyar fejlesztésű mobil app (Androidra) • Passzív háromszögelésen alapszik. • Nem felhőalapú, nem kell feltölteni a képeket, és a számolás sem a felhőben történik. • http://scann3d.smartmobilevision.com/ • A „hivatalos” videó: https://youtu.be/TSIwDTDvc68 • A tárgyat körbe kell fényképezni, legalább 20-25 kép kell, melyek átfedőek legyenek. A direkt megvilágítás nem jó a keletkező árnyékok miatt, egy napsütéses napon a szórt fényben teljesít legjobban. • Az eddig legjobb szkennem: https://youtu.be/mmPlS1fqkPg • Letölthető a Google Play-ről:
Aktív háromszögelési technika Kamera
Fényforrás
d
A fényforrás-kamera rendszer adatai • Bázistávolság (fényforrás-kamera távolsága). • A kibocsátott fénysugár bázisvonallal bezárt szöge: • A jelenet egy pontjába mutató sugár bázisvonallal bezárt szöge: • Ezen adatokból számítható a vizsgált pont kamerától mért távolsága.
A jelenet egy P pontja
Struktúrált fény alapú technika
Két kamera helyett egy kamerát és egy fényforrást alkalmazunk. Egy jól ismert mintázatot (pontrácsot, vonalat, vonalrendszert) vetítünk az alakzatra, a minta deformálódik a felületen. Feladat: egy adott mintázat dekódolása. http://wiki.david-3d.com/user_manual/3d_laser_scanning
Szkennelés egyetlen fénycsík vetítésével
Digital Michelangelo Project http://graphics.stanford.edu/projects/mich/
Cyberware® arc- és fejszkenner
Egyirányú / kétirányú kódolás
Egyirányú kódolás esetén egy térbeli pont beazonosítása: egy egyenes és egy sík metszéspontja.
Kétirányú kódolás esetén egy térbeli pont beazonosítása: két egyenes metszéspontja.
Bináris kódolás alapelve
A kiválasztott pixel kódja 3 minta alkalmazása után: 101 További finomítással az egyre keskenyebb sávok jobban azonosítják a vetített mintázatot.
Időben egymás után vetítve
… Minta 3 Minta 2
Minta 1
Bináris kódolás alapelve Nagy kontraszt → könnyű szegmentálás n db vetített minta – n bites kód – 2n db sáv A vetített minták számát befolyásolhatja az alakzat térbeli kiterjedése, többnyire a képen látható 32 sáv még nem eredményez elég vékony vonalazást.
Színes kódolás alapelve
A mintázat érzékelése a legtöbb esetben a szokásos RGB színcsatornákon történik. Így lehetőség van külön mintázatok megadására csatornánként, melyek egyfajta kombinálására lesz a vetített mintázat.
Aktív háromszögelési technika
• egyetlen fénycsík • sok kép • lassú • nagyon pontos modell
• több fénycsík • több kép • közepesen lassú • eléggé pontos modell
Digital Michelangelo Project: http://graphics.stanford.edu/projects/mich/
• strukturált mintázat • egy kép • gyors • kevésbé pontos modell
Lehet-e olcsón szkennelni? Szkennelés árnyékkal: • Lámpa a megvilágításhoz • Pálca, amely az árnyékot veti majd a tárgyra • Fényképezőgép • Feldolgozó szoftver
TOF – Time of Flight technika
Az ötlet forrás a természetben: echolokáció A denevérek (delfinek) a visszavert hang segítségével határozzák meg az előttük lévő akadályok vagy a táplálék helyét, helyzetét.
TOF – Time of Flight technika Környezetből érkező fények
Fényforrás
Idő mérése Mélység
Érzékelő
A TOF kamera részei • Fénykibocsátó egység (infravörös LED vagy lézerdióda) • Optika feladata visszaverődő fény összegyűjtése, infravörös tartományra való szűrés, háttérzajok kiszűrése • Képalkotó feladata: a megtett út kiszámítása a kép minden egyes pixelére. • Vezérlő elektronika biztosítja a fénykibocsájtó és a képalkotó nagyon gyors működését. https://en.wikipedia.org/wiki/Time-of-flight_camera http://www.depthbiomechanics.co.uk/?p=102
AMCW - Amplitude Modulated Continuous Wave Moduláló jel Vivő jel
Amplitúdó modulálás
Az üzenet az amplitúdóba van kódolva. A vivő jel frekvenciája nagyobb, mint a moduláló jelé.
Amplitúdó modulált jel
Fényforrás
Fáziseltolódás mérése Mélység
Érzékelő
http://www.depthbiomechanics.co.uk/?p=102
Mélységi térkép (Depth map) A szkennelés eredményeként mért mélységi információk egy kétdimenziós tömbben tárolódnak. A mélységi térkép megjeleníthető egy szürkeárnyalatos képként.
