Fakulta Aplikovaných věd
Multimediální a hypermediální systémy
Multitouch display
Plzeň 2013
Vojtěch Frič A12N0044P
Zadání Cílem práce se je sestavit multi-touch vstupní zařízení pro ovládání PC, založené na optickém principu.
Multi-touch technologie Jako multi-touch zařízení jsou označována zařízení, která dokáží zpracovat více než jeden vstupní bod. Díky tomu umožňují uživateli širší možnosti při interakci s ovládaným zařízením. Multi-touch technologi lze rozdělit do 3 hlavních kategorií, podle principu na kterém fungují: ∙ kapacitní a rezisitivní technologie – tyto technologi jsou založeny na sledování změn elektrického pole v místě dotyku senzoru ∙ optické technologie – tyto technologi jsou založeny na zpracování optiké informace. Senzory registrují změnu intenzity záření. ∙ zvukové/ultrazvukové technologie – technologi se technologicky částenčně protnínají s technologiemi optickými, narozdíl od optických prvků však využívají prvky (ultra-)zvukové V dnešní době jsou multi-touch technologie nejvíce rozšířené v mobilních telefonech a tabletech. Postupně se však začínají prosazovat i v přenosných počítačích.
Optické technologie Optické technologie, které jsem při zkoumal jsou všechny založené na zpracování odraženého světla, které snímá kamera. Příslušný software poté zpracuje obraz z kamery a získaná data vyexportuje pro další použití. Výstupem je obvykle soubor souřadic jednotlivých lokalizovaných bodů.
FTIR Zkratka FTIR odpovídá anglickému Frustrated Total Internal Reflection, což by se dalo volně přeložit jako narušený úplný vnitřní odraz. Úplný odraz Úplný odraz je optický jev, který nastává pokud světlo přechází z opticky hustšího prostředí do opticky řidšího. Optická hustota prostředí je popisována indexem lomu 𝑛. Kde 𝑛, je poměr rychlosti světla ve vakuu a rychlosti světla ve zkoumaném prostředí. Při přechodu světla mezi dvěma materiály dochází k lomu, úhly paprsků popisuje Snellův zákon (1). 𝑛1 sin 𝛼 = (1) sin 𝛽 𝑛2 𝛼 a 𝛽 představují úhel dopadu a úhel lomu a 𝑛1 , 𝑛2 představují indexy lomu obou prostředí. 1
Obrázek 1: Princip FTIR S rostoucím úhlem dopadu se zvětšuje i úhel lomu, ovšem při překročení mezního úhlu se světlo přestane lámat, ale začne se odrážet – nastává úplný vnitřní odraz [1]. Velikost mezního úhlu 𝛼𝑚 je závislá na optických vlastnostech obou materiálů, mezi kterými světlo přechází. Tohoto jevu se využívá například v optických vláknech využívaných v komunikačních technologiích. Optické vlákno, které má na obvodu materiál s nižší optickou hustotou než ve středu, díky tomu dochází k úplnému vnitřnímu odrazu. Tento jev je možné pozorovat například při plavání pod vodou, pokud je hladina dostatečně klidná, jeví se při sledování pod vhodným úhlem jako zrcadlo a odráží dno. Dalším příkladem využití úplného odrazu je briliantový výbrus diamantů. Využití FTIR Multi-touch zařízení založená na FTIR využívají princip popsaný výše[3]. Základem zařízení je akrylátová deska, která slouží jako světlovod. V místě dotyku se lokálně změní optické vlasnosti a úplný odraz je přerušen. Světlo odrážené uvnitř světlovodu se pak odráží do senzoru, který toto vyhodnotí jako dotyk. Princip je znázorněn na (obr. 1)
Light Plane Laser Light Plane Tato technologie stejně jako FTIR využívá senzoru, který zaznamenává odražené světlo. Způsob vytváření odrazů je však jiný. V případě LLP je osvětlován prostor nad dotykovým panelem pomocí laserových paprsků[4]. V místě dotyku dochází k přerušení paprsků a dochází k odrazu světla do senzoru. Technologie LLP sebou nese jisté komplikace. Především je třeba dosáhnout rovnoměrného rozptýlení světla laseru. K tomuto účelu je možné použít speciální optické čočky. Další možností by bylo vytvářet plochu pomocí zrcátka a mechanického oscilátoru.
2
Obrázek 2: Princip LLP LED Light Plane Z důvodu technických komplikací při práci s laserem se často využívá obdobný systém, který však pro nasvícení plochy používá LED diody, umístěné po obvodu panelu[5]. Tento systém poskytuje rovnoměrnější nasvícení celé plochy a celkově je jednodušší. Jistou nevýhodou je vysoký rozptyl světla v porovnání s laserem. Díky rozptylu světelného kužele se může v obraze objevit nežádoucí šum. Systém je pak také citlivější ve větší vzdálenosti od dotykové plochy. Na (obr. 4) je zřetelně vidět problém s identifikací prstů.
Praktická část V praxi se pro účely optických multi-touch zařízení využívá infračervených optických prvků. Použití infračervených prvků umožňuje propojit dotykové zařízení přímo se projektorem nebo jiným zobrazovacím zařízením, protože člověk infračervené světlo nevidí. Skutečnost, že IČ záření není vidět, ale sebou nese problém se pořízením vhodného senzoru.
Webkamera V komunitě, která se zabývá domácí výrobou multitouch zařízení se hojně vuyžívají webové kamery. Důvody jsou zřejmé - nízká pořizovací cena a snadné použití. Kameru stačí pouze připojit pomocí USB k počítači, případně je nutné doinstalovat ovladač. Optické čipy používané v domácích webkamerách mají poměrně široký záběr, co se přijímaných vlnových délek týče. Do spektra přijímaného těmito čipy spadají i infračervené vlny. Z tohoto důvodu obsahují webové kamery IČ filtry, aby se vylepšila kvalita obrazu. Běžným postupem při stavbě multi touch zařízení tedy je odstranění IČ a jeho nahrazení filtrem, který blokuje viditelné světlo. Tím je možné vyrobit domácí IČ kameru. Já jsem při stavbě svého multi touch zařízení mohl tento krok vynechat, protože se mi na podařilo získat web kameru A4ech PK-333E, která je už z výroby uzpůsobena pro práci v infračerveném spektru. Během testování jsem na kameru připevnil filtr pro blokování viditelného světla pro zlepšení kontrastu získaného obrazu. Jako filtr mi posloužilo krycí sklíčko z vyřazeného dálkové ovládání pro TV.
3
Dotykový panel Dotykový panel je tvořen akrylátovou deskou umístěnou v dřevěném rámu. Deska silná 6 mm, aby umožnila prosvícení ze stran. Při výběru desky je nutné aby řezy byly co nejvíce hladké a nebránili prostupu světla. Já jsem pořídil desku řezanou laserem, takže hrany byly čiré už z výroby. Při pořizování desky je vhodné udělat průzkum trhu, protože desky se standartně vyrábí v rozměrech 2×3 metry a na požadované rozměry je desku uříznout. Dalším parametrem při výběru dodavatele je samozřejmě také cena. Cena se pohybuje v rozmezí 500-1800 Kč za 1𝑚2 , v závisloti na zvolené značce a tloušťce materiálu. Osvětlení celého rámu sestává ze 120 IČ-LED diod zapojených serio-paralelně. Pro návrh zapojení jsem využil generáto na webových stránkách [2]. Jednotlivé diody jsou běžné IČ diody v kulatém pouzdru, průměr 5mm. Vlnová délka vyřazovaného světla je 850𝑛𝑚, což je dostatečně blízko viditelnému spektru, aby kamera byla schopna toto světlo zaznamenat. Napájení celého obvodu zajišťuje spínaný zdroj 12V/2A o maximálním výkonu 24W. Výběr zdroje jsem přizpůsobil podle parametrů vypočtených pomocí generátoru zmíněného dříve.
Konstrukce Při návrhu konstrukce byla hlavním požadavkem přenosnost celého zařízení. Nakonec jsem se rozhodl vyrobit nohy stolu z papírových trubic o průměru zhruba 10 cm. Tyto trubice jsem získal v místní tiskárně, kde jsou používány pro skladování tiskařského papíru. Tiskárna trubky po spotřebování likviduje jako odpad, proto nebyl problém je získat. Mezi hlavní výhody papírových trubic patří především nízká hmotnost a vysoká pevnost. Přibližně uprostřed se náchází sešroubovaný rám, který zpevňuje celý stůl a zvyšuje celkouvou stabilitu. Ve spodní části stolu je umístěna deska, určená k připevnění web kamery a případně dalšího příslušenství.
Použitá technologie Při původním návrhu jsem chtěl multi touch stůl založit na technologii FTIR. Bohužel se při testech ukázalo, že tento přístup nefunguje. Obraz měl velmi špatný kontrast a nebylo možné rozpoznat ve kterých místech se uživatel dotýká desky. Najpravděpodobnější příčinou je špatně zvolený materiál dotykového panelu. Z důvodu neúspěchu s technologií FTIR jsem dotkyový panel přestavěl na technologii LED Light Plane. Jednalo se o jednoduchou úpravu kdy stačilo akrylátouvou desku podložit, tak aby diody namísto skrz desku svítily těsně nad ní. Konstrast se okamžitě zlepšil a celý systém začal fungovat. Vzhledem k použití LED diod je u systému problém detekce prstů, jelikož je nasvícena větší část prstu, ne jenom špička, tak se na v obraze objevují obrazce nepravidelného tvaru, namísto dobře vyhraněných bodů. Tento problém by bylo pravděpodobně odstranit přespáním jádra detekčního systému. Použití technologie LED Light Plane sebou nese jednu velkou výhodu a to je možsnot využití jiných objektů pro ovládání PC. Počítačový program pro zpracování obrazu dispobuje modulem pro rozpoznávání tvarů, takže by bylo možné napsat aplikaci, která by byla ovládána pomocí objektů namísto prstů; kruh by mohl sloužit jako kurzor, čtverec by mohl ovládat hlasitost atd. 4
Obrázek 3: Sestavený stůl Praktické využití takové aplikace mě nenapadá, ale myslím, že by mohla posloužit jako výukový prostředek pro seznámení s technologií multi touch.
Uživatelská příručka Pro používání zařízení je třeba mít počítač vybavený softwarem CCV - Community Core Vision. Jedná se o komunitou vyvíjený software určený pro zpracování obrazu a detekci dotyků. Tento program má otevřený zdrojový kód dostupný na webu projektu [7]. Ačkoliv komunitní forum je stále aktivní poslední oficiální verze CCV vyšla v roce 2011. Program neumožňuje výběr kamery, poskytující obraz, proto je vhodné nejprve v nastavení operačního systému zakázat ostatní kamery připojené k počítači a teprve poté spustit CCV. CCV slouží pouze jako mezikrok mezi hardwarem a softwarem. Vstupem do CCV je obraz z video kamery a výstupem je stream dat obsahující jednotlivé dotykové události. CCV umožňuje generovat události v protokolu TUIO [6], Flash XML a binárním formátu. Ve své práci jsem se ovšem soustředil na HW část a netestoval jsem žádný software s podporou multi touch. 5
Obrázek 4: Uživatelské rozhraní CCV
Závěr Ačkoliv se mi nepodařilo zprovoznit FTIR podle původního návrhu, postavený stůl funguje velmi dobře. V současném stavu je stůl použitelný spíše pro výukové účely, než pro praktické ovládání PC. Dalším krokem ve vývoji zařízení by bylo vyvinutí aplikace s využitím dostupných API a frameworků, která by otestovala funkčnost stolu v praxi. Dalším krokem by také mohla být instalace projektoru, což by umžnilo přirozenější práci se stolem.
Reference [1] Úplný odraz světla. online, http://fyzika.jreichl.com/main.article/view/440-uplnyodraz-svetla [2] LED series/parallel array wizard. online, http://led.linear1.org/led.wiz [3] FTIR. online, http://peauproductions.com/ftir.html [4] LLP. online, http://peauproductions.com/llp.html [5] LED-LP. online, http://peauproductions.com/ledlp.html [6] TUIO. online, http://www.tuio.org/ [7] Community Core Vision. online, http://nuicode.com/projects/tbeta/files
6
