Bakalářská práce
2006
Tomáš Satinský
Prohlašuji, že jsem tuto bakalářskou práci vypracoval samostatně pod vedením Ing. Jana Pačivy Uvedl jsem všechny literární prameny a publikace, ze kterých jsem čerpal.
V Brně dne 26.4.2006
Tomáš Satinský
Abstrakt Tato práce se zabývá návrhem a realizací programu pro tvorbu vizuálního doprovodu k hudbě. Oním vizuálním doprovodem k hudbě se rozumí obraz měnící se v čase, který je promítán na plátno na kulturních akcích jako jsou vystoupení kapel a dýdžejů. Dotváří tak scénu, na které vystoupení probíhá. Program, který je výsledkem této práce jej umožňuje vytvářet v reálném čase. Architektura programu je navržena pomocí objektově orientovaného přístupu. Vstupy programu jsou obrázky, videosoubory a obraz z kamery. Ty jsou v programu upravovány a kombinovány. Dalším vstupem je audiosignál sloužící k modulování a generování obrazu. Nejvýraznějším rysem uživatelského rozhraní je použití virtuálních zařízení pro zpracování obrazu, které je možno propojovat. Uživatel tak získá vysokou flexibilitu programu, která je ještě podpořena možností přidávat další virtuální zařízení jako moduly programu. Navržen je jako přenositelný mezi operačními systémy Windows a Linux. Implementován je na OS Windows. Klíčová slova: VJ, VJing, vizualizace, FFMPEG, OpenGL, Qt, FMOD, OpenCV
Abstract This work considers by design and realization of program for composing visual entourage to music. This visual entourage mean picture changing in time, wich is projected to canvas on cultural events as band performance a DJ shows. Put the finishing touch to performance in progress. This program make possible to create it in real-time. Program architecture is designed by object oriented way. Inputs are: pictures, videos a videosignal from camera. Those can be edited and combined. Next input is audiosignal for picture generating and modulating. User interface uses virtual devices for picture processing, wich can be connect trough. User acquire flexible program with possibility to add new virtual devices as plugins. Is designed as portable between operation systems Windows a Linux. Implemented is on OS Windows. Key Words: VJ, VJing, visualization, FFMPEG, OpenGL, Qt, FMOD, OpenCV
Obsah 1 Úvod 2 Specifikace programu 2.1 Multimediální vstupy programu 2.2 Výstup programu 2.3 Úpravy a mixování videosignálu 2.4 Uživatelské rozhraní 2.5 Modularita 2.6 Kód programu a přenositelnost 2.7 Nároky na hardware 2.8 Distribuce a licence 3 Použité programové prostředky 3.1 GNU C++ 3.2 Sada nástrojů Qt 3.2.1 Modul pro tvorbu uživatelských rozhraní 3.2.2 Modul OpenGL 3.2.3 Systém signálů a slotů 3.2.4 Podpora projektů 3.2.5 Systém zásuvných modulů a dynamických knihoven 3.3 Knihovna OpenGL 3.4 Knihovna FFMPEG 3.5 Knihovna OpenCV 3.6 Knihovna FMOD 4 Návrh programu 4.1 Uživatelské rozhraní 4.2 Architektura programu 5 Výsledný program 5.1 Struktura adresářů, spuštění, kompilace 5.2 Uživatelské rozhraní, ovládání 5.3 Implementovaná virtuální zařízení 5.4 Tvorba nových modulů 5.4.1 Třída nového virtuálního zařízení 5.4.2 Třída nového modulu 5.4.3 Projektový soubor modulu 5.5 Výsledky testování 6 Závěr 7 Literatura 8 Přílohy 8.1 Licence OpenCV 8.2 Data na CD
1 Úvod Cílem této práce je navrhnout a zhodnotit program pro tvorbu a mixování vizuálního doprovodu k hudbě. Vizuálním doprovodem k hudbě je myšlen obraz měnící se v čase, který je promítán na plátno na vystoupeních kapel a dýdžejů. Může být promítán i na stěny či objekty zavěšené ve vzduchu. Doplňuje se tedy s dalšími prostředky pro zpestření scény jako je barevná hudba a jiné světelné a kouřové efekty. Nabývá na důležitosti hlavně na scéně elektronické hudby, kde často schází výrazný prvek živě hrajících interpretů. Vizuální doprovod k hudbě bude dále nazýván vizualizací. Vizualizace může být předem připravená nebo tvořena v reálném čase tvůrčí osobou nejčastěji nazývanou VJ (z anglického Video Jockey, čte se „vídžej“), samotné tvorbě se říká VJing(„vídžejing“). Tvorba vizualizace vychází z předem připravených obrázků, videjí a obrazů z videokamery, která je umístěna přímo na konkrétní kulturní akci. VJ tedy musí disponovat prostředky, jenž mu umožní tyto vstupy kreativně zpracovávat a kombinovat. V dnešní době bývá tímto prostředkem především osobní počítač vybavený potřebným softwarem. Již mnoho let disponují počítače dostatečným výkonem při zpracování multimédii a tak je spojení PC a potřebného programu levnou a efektivní variantou. Právě dostupnost prostředků na bázi PC umožnila rozvoj tohoto oboru. Program, který bude výsledkem této práce tedy umožní vytvářet vizualizace v reálném čase přímo na místě kulturní akce, či jen tak pro zábavu kdekoli jinde. Existovala a existují i jiná řešení používající speciální hardwarové prostředky pro kombinování obrazu z videií, videokamer či speciálních DVD přehrávačů, ale tyto se uplatňují v menší míře a jsou finančně mnohem náročnější. Struktura tohoto dokumentu. Tématem této práce není nějaké obecné téma, ale úkol vytvořit konkrétní program. Tento dokument je koncipován jako záznam životního cyklu daného programu od specifikace přes návrh až po zhodnocení vytvořeného aplikace. Druhá kapitola se zabývá specifikací, tedy obecnými požadavky které klademe na výsledný program. Jelikož program se skládá z několika poměrně komplikovaných součástí, je zcela nezbytné použít předem připravené nástroje a knihovny, které umožní vytvořit funkční program v odpovídajícím časovém intervalu. Vybranými prostředky se zabývá třetí kapitola. Čtvrtá kapitola je návrhem programu. Důraz je kladen na uživatelské rozhraní, prostřednictvím kterého probíhá interakce mezi programem a uživatelem. Dále je navržena architektura programu udávající vnitřní dělení, uspořádání a principy činnosti programu. Jak bylo zmíněno, je cílem této práce také vytvoření funkčního programu. Pátá kapitola se zabývá hodnocením procesu tvorby i hotového díla. Následuje závěr, použitá literatura a přílohy.
Strana 1.
2 Specifikace programu 2.1 Multimediální vstupy programu Hlavními vstupy programu by měly být: obrázky a videa uložené v počítači, obraz z připojených kamer a zvukový signál. U obrázku je důraz kladen na rastrové formáty. Hlavně by mělo být podporováno načítání obrázků typů PNG(Portable Network Graphics), BMP a JPEG(Joint Photographic Experts Group). Rozhraní by mělo poskytovat náhled u jednotlivě otvíraných souborů. U video-souborů musí být možné otevření a přehrávání několika soborů zároveň. Náhled by měl být rovněž k dispozici. Mezi podporovanými formáty by měly být hlavně sobory komprimované metodou MPEG(Moving Picture Experts Group). Dále je zde externí zvukový signál přijímaný prostřednictvím zvukové karty z mikrofonu nebo přímo ze zvukové aparatury daného představení. Ten nalezne uplatnění při tvorbě obrazu přímo v programu. Takto se nejčastěji tvoří obraz abstraktního charakteru. Program by měl umožňovat tvorbu alespoň jednoho abstraktního obrazu na základě této zvukové složky. Výhodná by byla také možnost modulovat obraz na podle této zvukové složky (například jas podle amplitudy). Velmi důležitým vstupem je obraz z připojených kamer. Program by měl umožňovat jeho využití se zachováním kvality obrazu a snímkovací frekvence.
2.2 Výstup programu Výstupem je obraz kombinující použité vstupy a generovaný obraz za použití různých způsobů směšování a filtrace obrazu. Je tvořen v reálném čase. Program musí být schopen zachovat vysokou rychlost snímkování (min. 20 snímků za sekundu) i v případě přehrávání a úpravy několika videí, obrázků a obrazů z kamery. Pokud se má program uplatnit v praxi, musí zde existovat možnost výstupu obrazu na jiný než primární obrazový výstup počítače. V současné době disponují i levné grafické karty kromě běžného výstupu na monitor ještě minimálně jedním dalším S-video výstupem nebo digitálním výstupem na LCD, na který je možno připojit projektor. Právě tento by měl být použit pro hlavní obrazový výstup programu.
2.3 Úpravy a mixování videosignálu Existují dvě základní operace s obrazem, kterými bude výsledný program disponovat. Je to úprava obrazu(např. změna kontrastu) a slučování dvou obrazů do jednoho(např. prolínání). Možná je i kombinace obou dvou typů operací. Úpravy, které by měly být k dispozici: • Změna jasu a kontrastu • Transformace – posunutí, rotace, zmenšení/zvětšení a deformace obrazu Požadované typy slučování: • Jednoduché prolínání • Kombinace s matematickou operací(např. sečtení jasových složek obrazů) • Sloučení s trojrozměrným efektem pro demonstraci možností 3D grafiky.
Strana 2.
2.4 Uživatelské rozhraní Zcela zásadní roli hraje v podobných programech uživatelské rozhraní. Uživatelské rozhraní mnoha podobných programů z nich dělá jednoúčelově zaměřené a neflexibilní nástroje. S lepším uživatelským rozhraním by byl jejich potenciál mnohem větší. Musí být intuitivní, přehledné a jednoduché. Zároveň však nesmí uživatele omezovat. A právě to je největší výzvou - navrhnout program s uživatelským rozhraním, které dokáže plně využít možnosti programu i tvůrce. Důraz je kladen na následující: jestliže program disponuje možností určitých úprav a kombinování obrazů, pak musí umožnit uživateli tato prostředky libovolně kombinovat. To je handicap mnoha existujících programů. Nabízí například řadu filtrů a kombinátorů obrazu ale použít lze vždy jen jeden. Kombinace jsou nemožné.
2.5 Modularita Je velmi pravděpodobné, že se najdou uživatelé, kteří nejsou zcela spokojeni s možnostmi, které program nabízí. To se právě v případě programu tohoto typu děje až podezřele často. Není výjimkou situace, kdy si skupiny zabývající se tvorbou audiovizuálního obsahu vyvíjejí každá svůj program takříkajíc „na míru“. Komerční či volně šířitelné produkty jim jednoduše neposkytují požadovanou funkčnost. Jak zajistit aby se daný software nestal jen dalším programem „na míru tvůtci“? Je možné si povšimnout, že velice úspěšnými se stávají programy umožňující rozšíření pomocí zásuvných modulů. Funkčnost programu je pak možno snadno rozšiřovat. Každý aktivnější uživatel pomocí modulu přidá to, co mu v programu chybí. Pokusím se vyhovět tomuto požadavku a umožnit uživateli vytvořit či stáhnout z internetu modul, který doplní program o potřebnou funkcionalitu. Důkazem o vhodnosti tohoto přístupu jsou například programy: Firefox, Winamp či Miranda, pro něž existují snad stovky rozšíření formou modulů.
2.6 Kód programu a přenositelnost Program by měl být napsán s objektově orientovaným přístupem a měl by být přenositelný. Přenositelností se myslí schopnost programu fungovat pod více operačními systémy. Hlavním důraz je kladen na nejrozšířenější operační systémy Windows a Linux. Na Windows pracuje většina současných uživatelů. Komunita okolo Linuxu zase disponuje lidmi ochotnými spolupracovat na cizích projektech. Podporou operačního systému Linux se tedy zvyšuje počet potenciálních tvůrců přídavných modulů.
2.7 Nároky na hardware Program by měl být plně funkční na jakémkoli multimediálním počítači. Nutná je zvláště přítomnost grafického akcelerátoru v systému. Minimální parametry počítače, který zajistí plnou funkčnost programu: • procesor 1 Ghz • grafická karta ekvivalentní s nVidia Riva TNT2 • 256 MB operační paměti
Strana 3.
2.8 Distribuce a licence Program bude distribuován jako volně šiřitelný – tedy zdarma a s přístupným zdrojovým kódem. Vyhovující je často používaná licence GPL(verze 2) vytvořená Free Software Foundation. Základní vlastnosti které musí splňovat software distribuovaný pod licencí GPL • je zdarma dostupný všem uživatelům včetně zdrojového kódu • kdokoli jej může šířit i za poplatek • jiný program založený na tomto programu (např. používající část zdojového kódu) musí být opět šířen pod touto licencí.
Strana 4.
3 Použité programové prostředky Tato kapitola se zabývá všemi programy či knihovnami, které budou použity při tvorbě programu. Při tvorbě programu bude třeba vyřešit řadu problémů. Použití dostupných knihoven a nástrojů umožňuje rychlejší postup v práci. Další výhodou je, že knihovny bývají dobře otestované uživateli, kteří je používali před námi. Oblasti které je takto třeba pokrýt jsou hlavně: Grafické uživatelské rozhraní, modularita, načítání videí a obrázků, přístup k pokročilým funkcím grafické karty, vstup videosignálu z kamery a vstup audiosignálu prostřednictvím zvukové karty. To vše se splněním podmínky přenositelnosti, což situaci dále komplikuje.
3.0 GNU C++ Pro programování projektu byl vybrán objektově orientovaný přístup(OOP). Nejpoužívanějším objektově orientovaným jazykem je C++, který v sobě zahrnuje programovací jazyk C. V důsledku značného rozšíření existuje mnoho knihoven pro tyto jazyky. V případě volby jiného jazyka by byl výběr knihoven podstatně menší. Zvoleno tedy bylo C++ a to také proto, že právě s tímto programovacím jazykem má autor programu největší zkušenosti. Jako kompilátor C++ byl zvolen GNU C++. Hlavním důvodem je, že tento existuje ve stejné podobě na mnoha operačních systémech včetně Windows s Linux, na které je podle specifikace kladen důraz. Jeho použití je zdarma.
3.1 Sada nástrojů Qt Sada nástrojů (toolkit) Qt je produktem firmy Trolltech. Ta při distribuci Qt používá takzvaný duální model. To znamená, že Qt je dodáváno ve dvou hlavních verzích – komerční a open-source. Každá z verzí má vlastní licenční ujednání. Pro tento projekt je důležitá zejména open-source verze. Její použití se řídí podmínkami licence GPL, což vyhovuje tomuto projektu, který bude šířen pod stejnou licencí. Duální model firmě poskytuje jak potřebné finanční zajištěni nutné k existenci stálého týmu, tak spoluúčast členů open-source komunity na testování. Na knihovně Qt je založen například okenní systém Linuxu - KDE. Testování je tedy opravdu důkladné. Qt je přenositelné - poskytuje identickou funkčnost na platformách Windows, Linux, UNIX a Macintosh. Současná open-source verze 4.0.1 obsahuje tyto součásti: • Modul jádra (QtCore). Ten obsahuje: • Základní datové typy a soubor tříd kontejnerů a iterátorů • Třídy pro víceváknové programování • Třídy pro časování • Systém zásuvných modulů • Systém slotů a signálů • Modul pro tvorbu uživatelských rozhraní(QtGui) • OpenGL modul(QtOpengl) • Modul pro práci v síti(QtNetwork) • XML modul(QtXml) • Databázový modul(QtSql) • Podporu projektů • Editor uživatelských rozhraní - Qt Designer • Nástroj pro podporu více jazyků v programech – Qt Linguist • Obsáhlá kolekce příkladů použití • Podrobná dokumentace • Zdrojový kód všech součástí
Strana 5.
Jak se vidno, Qt pokrývá mnoho oblastí. Prakticky všechny součásti toolkitu jsou provázány. Uživatelské rozhraní používá datové typy a kontejnery Qt. OpenGL je možno použít v součinnosti s uživatelským rozhraním. Komunikace mezi prvky GUI může probíhat pomocí slotů a signálů atd. Z toho důvodu je vhodné použít prostředky Qt všude, kde je to možné a vhodné. Vyhneme se tak zbytečným konverzím dat a „zůstaneme uvnitř“ léta testovaného a prověřeného systému. Tomu bude učiněno za dost a toolkit Qt se stane základem této aplikace. Popsány budou použité součásti.
3.1.1 Modul pro tvorbu uživatelských rozhraní K dispozici jsou prakticky všechny základní i složitější ovládací prvky formou tříd. Z těch je možné odvozovat vlastní typy s rozšířenou funkcionalitou. Jak je zvykem i z jiných prostředí, jsou ovládací prvky strukturovány do stromů. Kořenem stromu je hlavní okno. Potomky jsou prvky v tomto okně, které můžou rekurzivně obsahovat další potomky. Vzhled
V programu
hlavní okno
panel1
Hlavní okno -rodič není -potomci: panel1, panel2 panel2 Panel1 -rodič - hlavní okno -potomci tlačítko1, tlačítko2
Panel2 - rodič - Hlavní okno - potomci nejsou
tlačítko1 tlačítko2
Tlačítko1 - rodič panel1 -potomci nejsou
Tlačítko2 - rodič panel1 -potomci nejsou
obrázek 3.1 Identické rozmístění a vzhled prvků je garantováno na všech podporovaných operačních systémech. Rozmístění může být zadáno přesnou polohou prvku relativně ke svému rodiči a nebo pomocí tzv. layoutů. Layout neboli „rozvržení“ určuje rozmístění prvků na ploše prvku, ke kterému je přiřazen. Jedním typem je pomyslná mřížka pokrývající celou plochu prvku, ke kterému je přiřazen. Do buněk v mřížce se vkládají ovládací prvky. Jak se prvky rozmístí záleží na několika parametrech. Prvek může mít určenou minimální a maximální velikost a způsob chování, tzn. jestli se „snaží“ pokrýt co největší či nejmenší možnou plochu nebo zda mají velikost pevně danou. Nutno poznamenat, že výše uvedené vysvětlení je mírně zjednodušené. Jednotlivé parametry a způsoby chování je možno určovat odděleně v horizontálním a vertikálním směru. Existuje ještě zásobníkový typ layoutu. Ze všech prvků do něj vložených je vždy viditelný pouze jeden. Jeho použití je například u záložek, kde se viditelný prvek určuje podle označené záložky. Do layoutů leze vkládat nejen ovládací prvky, ale i další layouty. Možné je také navržení uživatelského rozhraní v programu Qt Designer. Uživatelské rozhraní v Qt nepoužívá standardní funkce pro vykreslování oken a tlačítek daného operačního systému. Všechny ovládací prvky jsou navrženy jako třídy a jejich vykreslování provádějí další speciální třídy. To s sebou přináší řadu výhod. Identický vzhled je tímto garantován a daný operační systém nemůže vzhled ovlivnit. Je možno dodat vlastní typ vykreslovací třídy pro nový vzhled ovládacích prvků a oken. Dále je možno z tříd ovládacích prvků odvozovat vlastní typy s přidanou funkčností, což přináší možnosti objektově orientovaného přístupu i tam, kde by to prostředky operačního systému nemusely podporovat.
Strana 6.
3.1.2 Modul OpenGL Umožňuje vkládat do uživatelského rozhraní prvky využívající akcelerovanou práci s grafikou prostřednictvím OpenGL. Tento prvek zajišťuje veškerou režii spojenou s inicializací včetně vytvoření OpenGL kontextu. Jelikož právě OpenGL bude použito pro zpracování a výstup obrazu, je podpora výhodou. Rozhraní OpenGL je realizováno funkcemi. V Qt jsou k dispozici třídy, umožňující přístup k OpenGL pomocí objektů. Jsou to tyto: • QGLContext – Zapouzdřuje renderovací kontext OpenGL. • QGLWidget – Je prvek uživatelského rozhraní používající k vykreslování OpenGL akceleraci. Jedná se o jednoduchou obdélníkovou oblast. Může mít svůj vlastní renderovací kontext nebo jej může sdílet s dalšími prvky uživatelského rozhraní. • QGLColormap – Barevná paleta pro QGLWidget. OpenGL může pracovat například s formátem barev RGBA na 32 bitech a výstup v uživatelském rozhraní můžeme pomocí této třídy redukovat například na 16 barev či odstíny šedi. • QGLFormat – zapouzdřuje konfiguraci renderovacího kontextu.
3.1.3 Systém slotů a signálů Tento systém rozšiřuje komunikaci mezi objekty C++. Jeden objekt vyvolá signál a druhý jej přijme pomocí slotu. Scénář použití je následující. Máme-li objekt A, který chce posílat zprávy objektu B, musí mít třída objektu A v deklaraci ve speciální sekci „signals:” definovánu metodu s určením parametrů – signál. Tato nemá tělo. Třída objektu B musí mí v sekci „slots:” definovánu metodu se stejnými parametry – slot. Deklarace obou tříd musí obsahovat makro Q_OBJECT – viz příklad. Po vytvoření objektů A a B je nutno spojit signál objektu A se slotem objektu B pomocí funkce „connect”. K poslání zprávy musí objekt A vyvolat signál se zadáním parametrů. Ten je přijat slotem objektu B a obsloužen. Signál je emitován jednoduše: za klíčovým slovem „emit” volání metody signálu s parametry. Je třeba dodat, že sekce „slots” i „signals” musí být „public”, „private” nebo „protected” podle způsobu zapouzdření, který jim chceme přiřadit. Příklad použití: Třída tlačítka uživatelského rozhraní obsahuje signál „stisknuto“, který je emitován při stisku tlačítka. Třídě nějakého objektu použitého v naší aplikaci přidáme slot např. „stisk_ok“ a slot se signálem instancí těchto tříd propojíme. Při stisku daného tlačítka je emitován signál „stisknuto“, který je obsloužen v metodě „stisk_ok“, která je slotem. Zdrojový kód příkladu: class MojeTlacitko { Q_OBJECT private: void libovolna_fce(); public signals: void stisknuto(); };
class MojeTrida { Q_OBJECT public slots: void stisk_ok(); };
void MojeTlacitko::libovolna_fce() { emit stisknuto() }
void MojeTrida::stisk_ok() { //obsložení události }
int main() { tlacitko MojeTlacitko; objekt MojeTrida; connect(&tlaitko, SIGNAL(stisknuto()), &objekt, SLOT(stisk_ok())); // nyní se při při volání funkce „libovolna_fce()“ emituje signal // „stisknuto“ a je obsloužen slot „stisk ok“ }
Strana 7.
Systém slotů a signálu je implementován pomocí maker a předzpracování kódu programem qmake, o kterém bude zmínka později.
3.1.4 Podpora projektů Psát Makefile ručně není příliš pohodlné zvláště u větších projektů. Qt disponuje programem, který generuje Makefile podle projektového souboru s příponou „pro“. Generování Makefile na základě projektového souboru má na starost program qmake, který je vlastně interpretem programu projektového souboru. Program očekává naplnění určitých proměnných jako například „SOURCES“ obsahující seznam zdrojových souborů. Je možno použít i podmínky například při přizpůsobování projektu operačnímu systému, na kterém je kompilován. Hlavní očekávané proměnné jsou tyto: • HEADERS – seznam hlavičkových souborů • SOURCES – seznam zdrojových souborů • LIBS – použité knihovny • QT – použité moduly Qt • CONFIG konfigurace Qt • TARGET – název výsledného spustitelného programu či knihovny • DESTDIR – cílový adresář • TEMPLATE – určuje typ výsledku (např. spustitelná aplikace, statická knihovna atd.) Příklad projektového souboru - soubor „hello.pro“: CONFIG += qt debug HEADERS += hello.h SOURCES += hello.cpp SOURCES += main.cpp win32 { SOURCES += hellowin.cpp } unix { SOURCES += hellounix.cpp } !exists( main.cpp ) { error( "Not found") }
#přidání konfigurace pro #generování ladící verze programu #přidání hlavičkových souborů a #souborů a zdrojů #výběr přidávaného zdroje podle #operačního systému
#zahlášení chyby, jesltiže není #nalezen soubor main.cpp
Makefile je vygenerován příkazem „qmake -o Makefile hello.pro“. Kromě toho jsou generovány i soubory s příponou „moc“, které zajišťují fungování systému signálů a slotů. Také dále popsaný systém zásuvných modulů a dynamicky linkovaných knihoven funguje pouze s podporou programu qmake. Vygenerovaný Makefile se liší podle operačního systému na kterém je generován. Pomocí parametrů programu qmake je možné vygenerovat různé výstupy pro podporované operační systémy a ty porovnat. Qmake je tedy součástí prostředků, které zajišťují přenositelnost Qt. Je možné použít jej i bez použití ostatních součástí Qt.
Strana 8.
3.1.5 Systém zásuvných modulů a dynamických knihoven Umožňuje jednoduchou tvorbu programů s podporou modulů a dynamicky linkované knihovny. Pomoci tohoto je možné rozšiřovat či upravovat aplikace bez nutnosti kompilace celého programu. Moduly a knihovny jsou implementovány jako dynamicky linkované knihovny daného operačního systému. Qt nabízí vývojáři vysokoúrovňové a nízkoúrovňové rozhraní. Vysokoúrovňové rozhraní nabízí rozhraní pouze pro rozšíření možností toolkitu Qt. Lze je rozšířit o: • Podporované formáty obrázků • Vlastní vzhled oken a ovládacích prvků • Podporované znakové sady • Ovladače klávesnic, myší a grafiky u vestavěných systémů • Ovladač SQL pro přístup ke specifickým databázím Pomocí nízkoúrovňových prostředků je možné vytvářet přenositelné moduly programu a knihovny. Rozšiřování programu. Rozšířit program je možné o zásuvný modul nebo o funkce dynamicky linkované knihovny. V jiných aplikacích to může být jedno a totéž, ovšem v Qt se jedná o dva odlišné přístupy. Zásuvný modul obsahuje definici jediné třídy s možností vytvořit jediný objekt, který je primárně určen k rozšíření jediné aplikace. Soubor tohoto modulu bude nejspíš umístěn v adresáři oné aplikace. Knihovna poskytuje spíše obecnou funkcionalitu, kterou můžou využívat libovolné aplikace. Její umístění bude tedy v místě určeném operačním systémem pro dynamicky linkované knihovny. Z programu máme přístup k libovolnému exportovanému symbolu knihovny, viz dále. Tvorba zásuvného modulu. Aplikace i zásuvný modul musí znát rozhraní třídy jejíž objekt bude rozšiřovat funkcionalitu aplikace. Jedná se vlastně o abstraktní třídu odvozenou od QObject, která musí být opatřena makrem „Q_OBJECT“. Na konci souboru misí být dalším makrem „Q_DECLARE_INTERFACE“ zadáno, že se jedná o rozhraní. Příklad: soubor „rozhrani.h“: class Rozhrani: public QObject { Q_OBJECT public: virtual void delej_neco() = 0; }; Q_DECLARE_INTERFACE(Rozhrani, "popis rozhrani...");
Moduly jsou samostatné projekty s vlastním projektovým souborem. Obsahují definici třídy, která je potomkem třídy rozhraní. Opět je opatřen makrem „Q_OBJECT“ a také makrem „Q_INTERFACES“ s názvem rozhraní, ze kterého je odvozen. Příklad: soubor „novy_modul.h“: #include class NovyModul: public Rozhrani { Q_OBJECT Q_INTERFACES(Rozhrani) public: void delej_neco(); };
Strana 9.
Dále ve zdrojovém souboru který musí obsahovat těla původně abstraktních metod rozhraní je na konci uvedeno makro „Q_EXPORT_PLUGIN“ informující o exportovaní třídy jako modulu. Příklad: Soubor „novy_modul.cpp“: void NovyModul::delej_neco() { // kód metody s novou funkčností } EXPORT_PLGIN(NovyModul)
Projektový soubor modulu musí mít nasteveno „TEMPLATE“ na „lib“ a proměnná „CONFIG“ musí obsahovat položku „plugin“ Příklad: soubor „novy_modul.pro“: TEMPLATE CONFIG HEADERS SOURCES
= lib += plugin = rozhrani.h \ novy_nodul.h = novy_modul.cpp
Z projektového souboru se vygeneruje Makefile. Přeložením Makefile vznikne dynamicky linkovaná knihovna daného operačního systému, která je modulem. V programu pak můžeme získat ukazatel na jedinou instanci třídy definované v modulu a to pomocí třídy QPluginLoader, které zadáme cestu k souboru s modulem. Příklad: QpluginLoader loader(cesta k soubru); instance = loader.instance();
Tvorba dynamicky linkované knihovny. Dynamicky linkovaná knihovna může být používána více programy i když je v paměti pouze jednou. Programy mají přístup ke všem exportovaným symbolům knihovny. Pro exportování symbolu, tak aby byla zajištěna přenositelnost, můžeme použít makro: #ifdef Q_WS_WIN #define MY_EXPORT __declspec(dllexport) #else #define MY_EXPORT #endif
Příklad vytvoření exportované funkce se zmíněným makrem: extern "C" MY_EXPORT int sum(int a, int b) { return (a + b); } Projektový soubor knihovny musí obsahovat stejné položky jako u zásuvného modulu. K exportovanému symbolu knihovny se v programu dostaneme prostřednictvím objektu QLibrary, která obsahuje statickou metodu „resolve“. Té je zadáno jméno knihovny a exportovaného symbolu a návratová hodnota obsahuje ukazatel na tento symbol. Např.: typedef int (*typ_fce)(int, int); typ_fce suma = (typ_fce) Qlibrary::resolve("jmeno knihovny", "sum"); int s = suma(1, 2);
Strana 10.
3.2 Knihovna OpenGL Jak bylo specifikováno, program by měl využívat výkonu, který poskytují dnešní grafické karty akcelerovanou grafikou. Pro přístup k pokročilým funkcím grafické karty jako je například podpora trojrozměrného vykreslování je nezbytné využití určitého rozhraní, ktré to umožňuje. V dnešní době se v oblasti osobních počítačů uplatňují prakticky pouze dvě rozhraní. OpenGL a DirectDraw/Direct3D, které je součástí rozhraní DirectX. Rozhraní DirectX je použitelné pouze v operačních systémech Windows od společnosti Microsoft, čímž se stává pro tento projekt nevhodné, protože odporuje specifikované přenositelnosti programu. Proto bude použito OpenGL. OpenGL na rozdíl od DirectX poskytuje pouze nízkoúrovňové rozhraní ke grafické kartě. To ovšem není na závadu, protože tento projekt by stejně těžko hledal uplatnění pro vysokoúrovňové funkce DirectX, které usnadňují hlavně vykreslování složitých trojrozměrných scén. Výhodou OpenGL je jednoduché a přehledné rozhraní. Dále je výhodou zmíněná podpora v toolkitu Qt. Aplikace, která chce využívat OpenGL musí nejprve vytvořit tzv. „kontext“, což je jakési napojení okenního systému na knihovnu. Každý kontext má vlastní konfiguraci. K vytvoření kontextu bude využito právě Qt, které umožňuje také sdílení jediného kontextu mnoha prvky uživatelského rozhraní. To umožní vypočítat scénu jedinkrát a následně ji pouze zobrazit jak v okně náhledu, tak v okně výstupu. Je třeba objasnit určité pojmy použité v následujícím textu: • Framebuffer – Jakési plátno v grafické kartě na které je vykreslován obraz. Obrazová data z framebufferu je možno také přesouvat z a do operační paměti počítače. Je třeba určit v jakém formátu budou uloženy pixely ve framebufferu. Pro tento program, kde vstupy mohou používat různé palety či barevné hloubky je nejlepší použít formát, který pro každou složku (červená, zelená, modrá) používá jeden byte nazývaný, tedy „true color“. • Textura – Rastr uložený prostřednictvím v OpenGL použitelný jako povrch vykreslovaných elementů. Pro zachování přijatelného výkonu musí být umístěn v paměti grafické karty. Rozměry v pixelech musí být mocninou dvou. Existují jedno-, dvou- a třírozměrné textury. V tomto projektu naleznou uplatnění pouze 2D textury. Při složitějších úpravách obrazu se může stát, že potřebujeme vypočíst několik obrazů, ze kterých se bude tvořit další. Je třeba zvážit kde budou tyto obrazy „odkládány“, protože framebuffer je pouze jeden. Jednou možností je zkopírovat obraz z framebufferu do textury, která může být použita následně. Dalším možností pro uložení obrazu je použití tzv. „pixel-bufferů“. Jejich nevýhodu je, že jsou podporovány pouze u novějších grafických karet. Výhodou je, že rozměry mohou být libovolné od 1 do určité maximální hodnoty, např. 1024. V tomto programu budou k tomuto účelu použity textury. Vstup obrazových dat do OpenGL. Pro nahrání obrazu do OpenGL je možno: • Vytvořit novou texturu z obrazových dat v paměti. Vytvoření nové textury je výkonově příliš náročné. Tento způsob lze použít pouze u obrazu, který se nemění v čase tj. u statických obrázků. • Kopírovat obrazová data do existující textury. • Kopírovat data z operační paměti přímo do framebufferu. Poslední dvě varianty umožňují kopírovat pouze vybrané obdélníkové oblasti obrazu. Jsou vhodné i pro případy, kdy je nutné přenášet data často, například 25 snímků za sekundu u kamery či videa. Zpracování obrazu v OpenGL. Základní funkcí grafických akcelerátorů je vykreslování trojúhelníků, čar a bodů do framebufferu. Body kterými jsou tyto primitiva definovány se nazývají vertexy. Protože OpenGL umožňuje vykreslování 3D grafiky, jsou vertexy definovány pomocí své polohy v trojrozměrném prostoru, tedy třemi čísly. Z tohoto trojrozměrného prostoru probíhá projekce vertexů do plochy framebufferu, kde je následně jednoduchý objekt vykreslen. Promítání může být perspektivní nebo pravoúhlé. Viz obrázek č 3.2.
Strana 11.
perspektivní promítání vykreslovaný objekt
pravoúhlé promítání
plocha framebufferu
vykreslovaný objekt
Obrázek 3.2 Jak vidno, je pravoúhlé promítání vhodné tam, kde pracujeme pouze ve dvou rozměrech a chceme například kombinovat obrazy „skládáním vrstev“, jak to známe z programů pro práci s rastrovým obrazem (Gimp, Adobe Photoshop, atd.). Viz. Obrázek 3.3. Perspektivní promítání by bylo použitelné u složitějších efektů s 3D grafikou. skládání vrstev obrazu
plocha framebufferu
použité vrstvy
Obrázek 3.3
Strana 12.
Další použitelnou technikou OpenGL je tzv. „blending“. Jedná se o jednoduchý způsob kombinování podkladu, který se již nachází ve framebufferu a právě vykreslovaného objektu. Aplikuje se postupně na všechny barevné složky(červená, zelená, modrá, průhlednost) všech vykreslovaných pixelů. Dále v textu se „hodnotou pixelu“ myslí hodnoty všech jeho složek. Hodnota výsledného pixelu je rovna součtu hodnoty podkladu a vykreslovaného pixelu, které se násobí konstantami. Konstanty jsou uvedeny v následující tabulce 3.4 včetně použitelnosti na podkladový pixel(cíl) nebo vykreslovaný pixel(zdroj). Popis
Nula = černá barva Jedna = beze změny Barva cíle Barva zdroje Jedna mínus barva cíle Jedna mínus barva zdroje Hodnota průhlednosti zdroje 1 - Hodnota průhlednosti zdroje Hodnota průhlednosti cíle 1 - Hodnota průhlednosti cíle Menší z průhledností zdroje a cíle
Použitelnost Zdroj i cíl Zdroj i cíl Zdroj Cíl Zdroj Cíl Zdroj i cíl Zdroj i cíl Zdroj i cíl Zdroj i cíl Zdroj
Tabulka 3.4 Kombinacemi těchto použití těchto konstant lze dosáhnout efektů jako průhlednost, maskování, sčítání a odečítání jasů obrazu a další. Rotace, posun, zvětšování a zmenšování obrazu je možné provádět jednoduše vykreslením obrazu s použitím potřebné transformace, které OpenGL podporuje. Složitější deformace obrazu lze realizovat rozdělením obrazu na mnoho obdélníků, tedy do mřížky, na kterou se provedou potřebné deformace. Viz obrázek 3.5. Mřížka č. 1 je původní, na dalších jsou provedeny zmíněné deformace.
Obrázek 3.5 Dále je použitelný tzv. Opengl Imaging Subset. Je to sada pokročilých funkcí OpenGL pro práci s rastrovým obrazem. Ty jsou realizovány na pixelech ve framebufferu, nebo při přenosu pixelů z nebo
Strana 13.
do framebufferu. Nutno dodat, že ne všechny implementace OpenGL tuto sadu funkcí podporují. Před použitím je třeba zjistit, zda karta podporuje dané rozšíření. OpenGL rozšířené o tyto funkce umožňuje provádět složitější úpravy rastrového obrazu přímo na grafické kartě bez nutnosti přenášet data do operační paměti počítače, následně je upravovat v procesoru počítače a přenášet zpět do grafické karty. To znamená, že umožňují jednodušeji a rychleji provádět zmíněné úpravy. Při přenosu true-color pixelů se mohou na každé složce provést úpravy v pořadí, jak jsou uvedeny: • Přičtení konstanty. • Vynásobení konstantou. • Ořezání hodnoty do intrvalu <0,1>. • Transformace hodnoty pomocí tzv. lookup tabulky. Hodnota složky se vynásobí délkou příslušné tabulky a v tabulce je nalezena hodnota s takto vypočteným indexem. Nalezená hodnota je opět ořezána do rozsahu <0,1> a stává se novou hodnotou dané složky. Viz obrázek 3.4. • Aplikace konvolučního filtru. • Vynásobení konstantou. • Přičtení konstanty. Dále je během přenosu možno zjistit histogram, minimální a maximální hodnotu všech barevných složek.
Strana 14.
3.4 Knihovna FFMPEG Je open-source knihovna slouží pro práci se zvukem a videem na počítači. Umožňuje kódovat, dekódovat a vysílat na internetu. Pro tento projekt je důležité pouze dekódování videa. Použita bude verze 0.4.9-pre1. Je šířena pod licencí LGPL verze 2.1, což ji činí použitelnou v tomto projektu. Výhodou je požadovaná přenositelnost a množství podporovaných formátů pro kódování a dekódování (např. MPEG v. 1, 2 a 4; WMV v. 1, 2; MJPEG) Nevýhodou je absence jakékoli dokumentace minimum příkladů na internetu. Skládá se ze dvou hlavních částí: • avformat – čte nebo generuje obsah podporovaných formátů. • avcodec – kodéry a dekodéry podporovaných formátů.
3.5 Knihovana OpenCV Slouží hlavně k pokročilým analýzám obrazu pro počítačové vidění, jako je např. detekce pohybu atd. (název je odvozen od Computer Vision). Použita bude pouze část pro přístup k obrazu z kamer připojených k počítači – „cvcam“. Použití části „cvcam“ je jednoduché. Nabízí funkce pro zjištění názvů připojených kamer, podle kterých si může uživatel vybrat žádané zařízení. Vybrané kamery jsou nastaveny jako aktivní a je nastavena callback-funkce pro příjem obrázků. Po aktivaci začne příjem obrazů callback-funkcí. Příchozí obrazy jsou opatřeny identifikačním číslem, rozměry, barevnou hloubkou a počtem barevných kanálů. Nyní je možní použít je v programu. OpenCV taktéž o open-source přenositelnou knihovnu, jejíž šíření se řídí vlastními licenčními podmínkami. Hlavní podmínkou použití ať v binární nebo zdrojové podobě je přiložení těchto licenčních podmínek k dokumentaci či zdrojovým kódům.
3.6 Knihovna FMOD Slouží k nahrávání a záznamu zvuku a hudby. Ve verzi xxx, která bude použita obsahuje i některé další funkce jako zjišťování aktuální amplitudy a spektra přehrávaného zvuku. V tomto programu bude sloužit pro vstup externího audiosignálu ze zvukové karty pro generování a modulaci obrazu. Pro šíření používá podobný licenční model jako knihovna Qt. Pro použití v nekomerčních programech jako je tento je zdarma. Komerční použití je zpoplatněno. Je dostupná ve verzích pro Windows i Linux.
Strana 15.
4 Návrh programu 4.1 Uživatelské rozhraní Jak bylo zmíněno dříve, je cílem vytvořit takové uživatelské rozhraní, které nebude omezovat tvůrce svým jednostranným zaměřením a umožní kreativně kombinovat obrazové efekty. Častou koncepcí používanou v podobných programech je tzv. „video-sampler“. Ten pracuje nejčastěji s krátkými videosekvencemi, které se umístí do výstupu po stisknutí klávesy. Na každou video-sekvenci je možno aplikovat jeden filtr a zvolit způsob překrytí podkladu. Tím možnosti končí. Nutno dodat, že to často stačí, ale má-li autor představu o zajímavém výsledku, který by se dal vytvořit kombinací mnoha vstupů s použitím několika filtrů, má zkrátka smůlu. Systém virtuálních zařízení. V tomto programu bude použit jiný způsob práce s videosignálem a to pomocí tzv. virtuálních zařízení pro práci s videosignálem. Tento způsob je inspirován programy pro tvorbu hudby jako je například „Reason“ - viz obrázek 4.1. V tom nacházíme kopie skutečných elektronických zařízení, která je možno propojovat a to vše pouze virtuálně v paměti počítači. Výstup na zvukové kartě odpovídá výstupu virtuálního obvodu.
Obrázek 4.1 Zde bude využit analogický přístup ovšem s použitím přístrojů na zpracování videa propojených kabely, které budou přenášet videosignál. Nebudou použity virtuální kopie skutečných zařízení, ale zařízení smyšlené. Virtuální zařízení obsahují: • Vstupy, kterými do zařízení přichází signál, který může být v zařízení zpracován. Budou vždy na horní straně zařízení. • Výstupy zpracovaného signálu. Budou vždy na dolní straně zařízení. • Uživatelské rozhraní, které obsahuje ovládací prvky zařízení. Mělo by obsahovat popisek s názvem zařízení. Vstupy
Popisek
Rozhraní virtuálního zařírení obsahující nejrůznější tlačítka, popisky atd. Pomocí tohoto se zařízení ovládá
Výstup
Obrázek 4.2
Strana 16.
Zařízení se budou umisťovat na k tomu určenou plochu v programu, kde se propojí kabely a výsledkem bude obvod zpracovávající video. Zařízení mohou být: • Vstupní, tj. ty, kterými videosignál vstupuje do obvodu. Vstupní zařízení budou reprezentovat reálnou kameru, video-soubor, či obrázek uložený v počítači. Do této skupiny patří i zařízení generující obraz například podle externího audio-signálu. • Výstupní. Z těch videosignál z obvodu vystupuje. Reprezentují výstupní okno programu, které bude promítáno na projektor nebo náhled v programu. • Zpracovávající signál. Tyto přijímají videosignály na vstupech, nějak je transformují či slučují a výsledek je k dispozici na výstupu. Uveden příklad obvodu který umožní vytvořit prolínání mezi obrazem z kamery a přehrávaným video-souborem z počítače. Viz obrázek 4.3
Obrázek 4.3 „Kamera“ v obvodu reprezentuje reálnou kameru připojenou k počítači a pomyslný signál vycházející z tohoto virtuálního zařízení odpovídá reálnému signálu z kamery. „Soubor“ produkuje signál přehráváním video-souboru uloženého v počítači. „Prolínač“ zpracovává signály ze vstupů. K těm jsou připojeny připojené zařízení „kamera“ a „soubor“ pomocí virtuálních kabelů. Výstupem je signál obsahující vstupní signály v určitém poměru, který je zadán, pomocí ovládacího prvku na tomto zařízení. Viz obrázek 4.4 „Výstup“ reprezentuje výstup programu, tedy nejspíš určité okno s výstupním obrazem.
prolínání
Obrázek 4.4 – příklad vstupních obrazů a výsledku prolínání
Strana 17.
Tímto způsobem bude božné konstruovat libovolně komplikované obvody. Kreativita tvůrce tak nebude limitována. Propojování zařízení bude realizováno jednoduchým kliknutím na výstup zařízení a přetažením na zvolený vstup s okamžitým náhledem kabelu. Již umístěné kabely bude možné přepojovat. Prvotní verze bude obsahovat několik základních zařízení, které budou demonstrovat možnosti programu. Rozložení prvků uživatelského rozhraní. Uživatelské rozhraní bude obsahovat dvě okna. Hlavní okno programu a výstupní okno. Hlavní okno programu slouží hlavně k editaci virtuálního obvodu. Mělo by obsahovat také náhledový panel zobrazující zmenšenou verzi výstupu. Vždy totiž nemusí být vhodné ani pohodlné, aby tvůrce vizualizace sledoval výsledek přímo na projekční ploše. Dále by zde měl být panel umožňující výběr virtuálního zařízení spolu s náhledem a popisem vlastností tohoto zařízení, které bude možno umístit do obvodu jednoduchým přetažením. Rozvržení prvků hlavního okna: nadpis okna hlavní menu
hlavní plocha pro virtuální obvod
seznam dostupných zařízení
náhled vybraného zařízení
popisek vybraného zařízení
náhled výstupu obvodu
Obrázek 4.5 Obsahem okna výstupu by měl být pouze výstupní obraz s možností roztažení na celou obrazovku, pro finální výstup na projektor.
Strana 18.
4.2 Návrh programu Z důvodu zachování jednoduchosti bude program běžet v jediném vlákně. To se může nepříjemně projevit. Programová tvorba vizualizace musí mít častý přístup k výkonu procesoru a to v intervalu vytváření jednotlivých snímků obrazu. Jestliže na straně uživatelského rozhraní dojde k operaci, která „zaměstná“ procesor na delší dobu, nebude možné obraz periodicky obnovovat, což se může projevit „záseky“ ve výsledné vizualizaci. Na vyřešení tohoto problému by se mohla zaměřit další verze programu. Kritická bude hlavně operace překreslování virtuálního obvodu. Pokud bude mít tvůrce předem připravené virtuální obvody tzn. Nebude třeba překreslovat celou obrazovku během tvorby obvodu, nemusí se tato nedokonalost vůbec projevit. Program bude zhotoven objektově orientovaným přístupem, čemuž musí odpovídat i návrh. Budou popsány základní třídy a jejich rozhraní. Mohou být použity i prvky a terminologie z oblasti návrhových vzorů. Hlavní objekty v programu. Mnoho tříd je navrženo tak, že mají v programu pouze jednu instanci. Na nejvyšší úrovni budou dva objekty přístupné globálně z celého programu. Objekt reprezentující systém pro zpracování obrazu(dále jen Systém) a objekt reprezentující uživatelské rozhraní(dále jen Gui). Tyto dva jsou spolu ve vztahu model/view (viz. Obrázek č.4.6). Model zajišťuje funkcionalitu, view umožňuje stav modelu zobrazit a měnit. Systém je instancí třídy VisSystem, gui je instancí třídy VisGui. Model
View
Systém
Gui
Obrázek 4.6 Tento přístup pomáhá zamezit vytvoření nepřehledné spleti vztahů v programu. Další výhoda se týká možnosti dalších úprav architektury v budoucnu. Objekty by bylo možno oddělit „mostem“ tak, aby každý mohl běžet ve vlastním vlákně. Oba objekty v obsahují další pod-objekty. Gui obsahuje jednotlivá okna programu, která zase obsahují ovládací prvky. Systém obsahuje objekty tématicky postihující určitou oblast. Jsou to: • Oblast zpracování a vykreslování videa v OpenGL • Správce modulů programu • Správa virtuálního obvodu • Přístup k multimédiím – obrázkům, videím, obrazu z kamery a externímu audiosignálu. Oblast zpracování a vykreslování obrazu v OpenGL – třída VisRenderer. Úkolem této třídy je především inicializace a konfigurace OpenGL a zapouzdření některých rutinních operací souvisejících s vykreslováním v OpenGL(nastavení viewportu, projekce, vytváření textur atd.). Dále řídí časování a vykreslování výsledného obrazu do výstupních oken. Správce modulů programu – třída VisDevFactories. Modularita programu je zajištěna možností přidávat další virtuální zařízení použitelná v obvodech. Každý modul je „továrnou“ na tvorbu virtuálních zařízení, která je schopna tvořit instance tříd jednotlivých typů zařízení. Rozhraní modulu by mělo poskytovat: • Informaci o jméně modulu • Seznam jmen zařízení, která obsahuje • Možnost vytvořit zařízení podle jména. Moduly budou realizovány jako zásuvné moduly Qt. Třídy modulů budou vycházet z jediného předka – abstraktní třídy VisAbstractDevFactory, která definuje rozhraní. Způsob implementace potřebných metod už záleží pouze na volbě tvůrce modulu. Základní moduly budou děleny podle typu zařízení například na: vstupní, filtry atd.
Strana 19.
Moduly a jejich zařízení budou realizována v oddělených projektech Qt a proto je třeba zajistit jim rozhraní přístup k funkcím Systému. Rozhraní bude definováno abstraktní třídou s potřebnými metodami, na kterou bude mít odkaz každý objekt virtuálního zařízení. Při tvorbě objektu dostane každé zařízení odkaz na objekt realizující dané rozhraní. Dynamické propojení za běhu programu Modul vstupních zařízení
Správce modulů
Modul filtrů obrazu
Obrázek 4.7 Správa virtuálního obvodu – třída VisCurcuit. Instance této třídy udržuje informace o virtuálním obvodu, tedy o zařízeních a jejich propojeních. Virtuální zařízení jsou realizována objekty, které zajišťují jak funkčnost – tedy operace s obrazem, tak uživatelské rozhraní, kterým se zařízení ovládá. Nutno dodat, že toto odporuje rozdělení architektury programu podle vzoru model/view. Z důvodu zachování přiměřené jednoduchosti programu bude toto tolerováno. Virtuální obvod vlastně tvoří strukturu strom. Kořenem je výstupní zařízení, listy jsou vstupní zařízení. Propojení není definováno přímo pomocí odkazů v uzlech ale pomocí prvků, které reprezentují propojení, tedy kabely ve virtuálním obvodě. Propojení jsou realizována strukturou VisConnection. Ta obsahuje indexy propojených zařízení a indexy použitého vstupu a výstupu. Viz obrázek. Zařízení
kamera
video
filtr
kombinátor obrazů
výstup
propojení
Obrázek 4.8 Autor vizualizace by měl mít představu, že signál jaksi postupuje shora dolů – od vstupních zařízení k výstupu. Při tvorbě obrazu v programu se ovšem postupuje od kořene stromu, tedy zdola
Strana 20.
nahoru. Vykreslení každého snímku zahrnuje průchod celým stromem. Aby se průchod urychlil, bude index propojení určen jako: index zařízení do kterého signál vstupuje + index vstupu. Aby to bylo možné, budou zařízení indexována čísly zvyšujícími se o 10 a maximální počet vstupů bude 9. Viz obrázek: video
kamera
index=10
index=20
propojení 1 index=30(30+0) ze zařízení s indexem 10, výstup 0 do zařízení s indexem 30, vstup 0
kombinátor index=30
propojení 1 index=31 (30+1) ze zařízení s indexem 20, výstup 0 do zařízení s indexem 30, vstup 1
Obrázek 4.9 Tímto přístupem se dosáhne vysoké rychlosti při průchodu stromem od kořene k listům. Opačný postup je pomalejší, protože je potřeba projít všechna propojení, ale to není na závadu, protože to nastane snad v jediném případě a to když bude rušeno určité zařízení a bude třeba zrušit i všechny propojení ve kterých účinkuje. Dále bude mít tento objekt v režii ukládání a načítání obvodu ze souboru. Specifické vlastnosti si budou jednotlivá zařízení ukládat a načítat sama. Přístup k multimédiím – třída VisMedia. Dává zařízením jednoduché rozhraní pro přístup k obrázkům videím, obrazu z kamer a externímu audiosignálu. Objekt této třídy v sobě obsahuje instance objektů pro práce s jednotlivými typy vstupů. V definici třídy jsou použita pouze abstraktní rozhraní. Konkrétní implementace jsou závislé na použité technologii pro danou oblast. Například přístup k video-souboru je definován v abstraktní třídě VisAbstractVideostream. Konkrétní implementaci je realizována pomocí knihovny FFMPEG. Tento způsob dává možnost zvolit v budoucnu jinou implementaci, či volit implementaci podle operačního systému, na kterém se projekt kompiluje. Použité Abstraktní třídy jsou: • VisAbstractVideostream • VisAbstractCamera • VisAbstractSoundIn Obrázky jsou načítány přímo pomocí knihovny Qt. Třídy poskytující obraz musí umožnit vytvoření náhledu obrazu a přesun obrazu do grafické karty pomocí rozhraní OpenGL.
Strana 21.
5 Výsledný program Program byl zatím implementován pouze na operační systém Windows, ale teoreticky nic nebrání tomu, aby byl přenesen i na Linux.
5.1 Struktura adresářů, spuštění, kompilace Struktura adresářů programu v podobě v jaké bude šířen: source filters_plugin generators_plugin input_plugin program release devhelp images plugins sample_project
- adresář zdrojových kódů - zdrojový kód modulu s video-filtry a kombinátory - z. k. modulu, který obsahuje zařízení generující obraz - z. k. modulu vstupních zařízení - zdrojový kód samotného programu - adresář spustitelného programu modulů a potřebných knihoven - nápověda k dostupným zařízením - obrázky potřebné při běhu programu - adresář se zásuvnými moduly - demonstrační projekty i s potřebnými daty
Pro spuštění programu je třeba pouze zkopírovat jej na harddisk a spustit soubor „whizzualizer.exe“ z adresáře „release“. Pokud by se vyskytly problémy s připojením kamery, spusťte soubor „_setup_camera.bat“ v adresáři „release“. Kompilace programu i modulů probíhají stejným způsobem a to spuštěním příkazů „qmake“, který vygeneruje Makefile na základě projektového souboru a „make –f Makefile.Release“ pro kompilaci. To vše v adresáři se zdrojovými kódy kompilované součásti. Pro úspěšné zkompilování musí být v systému nainstalován sada programů Mingw s kompilátorem gcc verze 3.4.2, u jiných verzí nejsou vyloučeny komplikace. Dále musí byt nainstalováno a nakonfigurováno Qt open-source verze 4.1. Hlavičkové statické knihovny použitých knihoven musí být přítomny v adresářích kde je hledá kompilátor. Hlavičkové soubory knihoven jsou hledány v podadresářích: OpenGL v „GL“, OpenCV v „CV“, FMOD verze 3.7.5 v „FMMOD“ a FFMPEG verze 0.4.9-pre v „FFMPEG“.
Strana 22.
5.2 Uživatelské rozhraní, ovládání Hlavní okno programu je na obrázku 5.1. Na hlavní plochu se umísťují virtuální zařízení, která se dále propojují kabely. Výsledný obraz - tvořený v reálném čase virtuálním obvodem - je možno sledovat v okně náhledu. Výstupní okna s finálním výstupem se přidávají pomocí hlavního menu. Hlavní menu také nabízí možnost ukládat a načítat virtuální obvody ze souboru.
Obrázek 5.1 Hlavní menu programu. Struktura hlavního menu a význam jednotlivých položek. • File ➢ New – Vytvoří nový virtuální obvod, který neobsahuje žádná zařízení ➢ Open – Načte virtuální obvod ze souboru ➢ Save – Uloží virt. obvod do souboru ➢ Save as - Uloží virt. obvod do souboru pod novým jménem • View ➢ Preview – Zobrazení/skrytí náhledu výstupu v hlavním okně ➢ Add output window - Přidání dalšího výstupního okna • Help ➢ About – Zobrazení krátké informace o verzi, autorovi atd.
Strana 23.
Panel zařízení. Nachází se ve spodní části hlavního okna. Obsahuje seznam dostupných virtuálních zařízení. Jméno zařízení je ve formátu „<jméno modulu> :: <jméno zařízení>“. Jméno modulu udává modul, ve kterém je zařízení implementováno. Po označení určitého zařízení se napravo od seznamu zobrazí náhled daného zařízení a krátký popis funkce. Virtuální zařízení. Popis zařízení – viz. Obrázek č 5.1.
vstupy
tlačítko pro zrušení zařízení
popisek se jménem zařízení
uživatelské rozhraní s ovládacími prvky
výstup
Obrázek 5.2 Editace virtuálního obvodu. Začíná umístěním virtuálních zařízení na hlavní plochu programu. To se provede jednoduchým přetažením náhledu z panelu zařízení na hlavní plochu. Zařízení lze na plochu umístit, pokud se během přetahování zobrazuje jeho obrys zeleně. Červená znamená, že se kryje s jiným zařízením. Posun všech zařízení se provede stiskem pravého tlačítka myši a tažením. Obvod musí obsahovat minimálně jedno vstupní zařízení a jedno výstupní zařízení, aby měl smysl. Propojovat lze samozřejmě jen výstupy s vstupy zařízení. Propojování začne stisknutím levého tlačítka myši na požadovaném vstupu nebo výstupu či v jeho blízkém okolí. Tím začne tažení kabelu, které se projevuje zobrazením kabelu od označeného vstupu nebo výstupu vedoucího ke kurzoru myši (viz obrázek 5.3). Tažení je ukončeno uvolněním tlačítka myši. Pokud je tlačítko uvolněno na vstupu nebo výstupu, je uskutečněno propojení. Jinak se nestane nic, tažení končí, náhled kabelu mizí. Pokud je levé tlačítko myši stisknuto na vstupu nebo výstupu, do kterému už nějaký kabel vede, tak se tento kabel uvolní do fáze tažení a je možno jej přetáhnout do jiného vstupu nebo výstupu.
Obrázek 5.3 Obvod může obsahovat více výstupních zařízení. Proto je nutné vybrat aktivní výstup tlačítkem „vybrat“ daného zařízení. Pokud není označen výstup, nebo v obvodu chybí vyžadované propojení, nezobrazí se žádný výstup.
Strana 24.
Výstupní okno programu. Slouží k finálnímu výstupu obrazu na projektor, Výstupních oken může být v programu více. Přidávají se pomocí hlavního menu (View – Add output window). Ruší se prostým zavřením. Může pracovat ve dvou módech a to jako normální okno (viz obrázek 5.4) nebo jako okno roztažené přes celou obrazovku. Mód je možno zvolit stiskem pravého tlačítka nad oknem a výběrem módu. Ve Windows se obraz na výstup, na který je připojený projektor přesměruje následovně: V nastavení zobrazení rozšíříme pracovní plochu o obraz dalšího výstupu. Poté výstupní okno přetáhneme na druhou plochu a roztáhneme jej přes celou obrazovku.
Obrázek 5.4
Strana 25.
5.3 Implementovaná virtuální zařízení Modul STANDART. Je zabudován v přímo v hlavním programu. •
OUTPUT – Jediné výstupní zařízení. Svůj vstup do okna náhledu a výstupních oken
Obrázek 5.5 Modul INPUT. Obsahuje vstupní zařízení.
•
•
•
VIDEO – Přehrává videosoubor na výstup. Stiskem tlačítka „load“ se zobrazí dialog pro výběr souboru k přehrávání. První ovládací tlačítko (>) slouží ke spuštění a pozastavení přehrávání. Tlačítko (O) zastaví přehrávání. Zařízení disponuje náhledem na první snímek souboru.
Obrázek 5.6 IMAGE – Načte obrázek a zobrazí jej na výstup. Načítání probíhá obdobně jako u předchozího. Taktéž je zobrazen náhled obrázku.
Obrázek 5.7 CAMERA – Na výstup posílá signál z vybrané kamery připojené k počítači. Tlačítkem „refresh“ se aktualizuje seznam dostupných kamer. „... any ...“ v seznamu znamená že není označena žádná z kamer. Náhled je pořizován v době označení kamery a není aktualizován.
Obrázek 5.8 Modul GENERATORS. Obsahuje zařízení generující obraz: • WAVE – Tvoří obraz vycházející z frekvenčního spektra externího audiosignálu
Obrázek 5.9 Modul FILTERS. Obsahuje zařízení upravující a slučující obraz:
Strana 26.
•
•
•
•
FADER – Tvoří prolínání mezi vstupními signály. Je možné měnit způsob prolínímí („type“) a fázi („phase“)
Obrázek 5.10 CUBE – Na výstup obrazí rotující kostku. Na pozadí je jeden vstupní signál, kostka má obraz druhého vstupu na svých stěnách. Měnit se dá velikost („size“) a rychlost („speed“) kostky.
Obrázek 5.11 LIGHTNESS – Umožní měnit jas obrazu („brightness“) a přidat efekt „vypálení“ („burn out“)
Obrázek 5.12 COLORIZER – Mění poměry složek červené („red“) zelené („green“) a modré („blue“) v obraze.
Obrázek 5.13
Strana 27.
5.4 Tvorba nových modulů Skládá se z tvorby tříd virtuálních zařízení a třídy modulu. Dále je potřeba vytvořit projektový soubor modulu. Moduly se totiž kompilují nezávisle na programu. Na konci podkapitoly je příklad, který je jakousi šablonou pro tvorbu nových virtuálních zařízení a modulů.
5.4.1 Třída nového virtuálního zařízení Třídy všech nových virtuální zařízení musí být potomky třídy VisAbsatractDevice. V té je definováno rozhraní a základní funkcionalita společná všem zařízením. Základem je nastavit počet a polohu vstupů a výstupů a předefinovat metody „init“, „free“ a „getOutput“. Každé zařízení může mít nanejvýš devět vstupů a devět výstupů. Informace o použití a poloze jsou definovány v polích celočíselných hodnot „inputs“ a „outputs“ délky devět. Nula znamená, že není použit, jiné číslo znamená použití a zároveň udává polohu v horizontálním směru. Na začátku jsou všechny hodnoty rovny nule. Příklad je na obrázku č 5.4. inuts[0] = 10; inputs[1] = 45; outputs[0] = 27
45 10
60
27
Obrázek 5.14 Nastavení vstupů a výstupů se děje ve funkci „init“ která je volána po vytvoření zařízení a je určena pro inicializaci. V této metodě se také vytváří grafické rozhraní zařízení, které je stejně jako program postavené na GUI modulu Qt. Na rozhraní zařízení se můžou umístit libovolné ovládací prvky Qt. V Metodě „init“ by měla být nastavená proměnná background, což je ukazatel na Qpixmap. Ta se automaticky používá jako pozadí rozhraní zařízení. Může být načtena ze souboru, nebo je zde možnost použít zděděnou metodu setLook() která pozadí vygeneruje. Podle jména, výškty, šířky a barvy (viz. dále). Dále musí být předefinována metoda „dName“ a chceme-li využít automatické generování pozadí, tak také metody „dWidth“, „dHeight“ a „dColor“. Ukládání a načítání ze souboru zajišťuje třída VisCurcuit. Ta ale ukládá pouze vlastosti společné všem zařízením. Specifické vlastnosti si musí každé zařízení uložis a načíst samo. Ukládané vlastnosti jsou ukládány v textové podobě a jsou definovány jménem. Každé zařízení s potřebou ukládat a načítat data musí předefinovat i metody „save“ (volá se při ukládání obvodu), kde si uloží své vlastnosti a „setProperty“(volá se při načítání obvodu), kde si zpracuje vlastnosti ze souboru (tedy ty, které si samo uložilo). Pro ukládání je definována metoda „saveProperty“ podporující ukládání hodnot typu „bool“, „int“, „double“ a řetězce „char *“ a „QString“. Parametry a návratové hodnoty zmíněných metod jsou k dispozici v příkladu, který bude následovat. Samotná práce s obrazem se děje po jednotlivých snímcích. Standardní scénář je takový, že zařízení si vyžádá snímky ze zařízení, která jsou napojena na jeho vstupy, nějak je zpracuje a poskytne
Strana 28.
výsledný snímek poskytne zařízení které je napojeno na jeho výstup. Jak bylo zmíněno, virtuální obvod je abstraktní datová typ strom. Jestliže zpracování snímku (průchod uzlem stromu) začíná žádostí o obraz ze zařízení napojených na vstupy (synovské uzly), pak se jedná o průchod stromem typu post-order. Zpracování snímku se děje v metodě getOutput, pomocí které se zařízení žádá o poskytnutí výstupu. Snímky(vstupy a výstup při zpracování snímku) jsou uloženy jako textury OpenGL. Pokud s nimi chceme pracovat, musíme nastavit viewport OpenGL, typ promítání, vykreslit do framebufferu výsledný obraz a ten nakopírovat do výstupní textury za použití běžného rozhraní OpenGL a funkcí rozhraní k Systému, které je popsáno v dalším odstavci. Modul a jeho zařízení jsou součástí samostatného projektu nezávislého na hlavním programu a tudíž není možný přístup k proměnným globálně dostupným v programu. Zařízení ovšem potřebují přístup k metodám Systému, který je součástí hlavního projektu. Proto každé zařízení získá po svém vytvoření přístup k rozhraní, které tyto funkce zprostředkovává. Jedná se o ukazatel „sys_ifc” ukazující na objekt s metodami: • „getPixmap” a „freePixmap” pro získání a uvolnění obrázků použitelných v uživatelském rozhraní zařízení. • „getTexture” a „freeTexture” pro získání a uvolnění textur z které je možno použít při tvorbě obarzu • „getVideoStream” vrací ukazatel na objekt umožňující získání obrazu z přehrávaného videosouboru. „freeVideoStream” tento objekt uvolní. • „getCamera” vrací ukazatel na objekt který umožní získat obraz z připojených kamer. • „getSpectrum512” vrací odkaz na pole typu float o délce 512 obsahující frekvenční spektrum externího audio-signálu. • „getDynamicTexture” a „freeDynamicTexture” pro získání a uvolnění dynamických textur, což jsou prázdné textury o velikosti, kterou systém používá pro zprcování obrazu. • „setView” nastavuje viewport OpenGL na potřebnou velikost. • „copyFrameToTexture” kopíruje obraz z farmebufferu do dynamické textury. • „getDevOutput” získá výstupní obraz zařízení, které je napojeno na vstup zařízení. Pomocí této funkce probíhá rekurzivní průchod virtuálním obvodem. • „deleteDevice” pro zrušení zadaného zařízení. • „getElapsed” vrací čas v milisekundách, který uběhl od spuštění aplikace. Dále uvedený příklad ukazuje zařízení kterým které do videosignálu přidá černý obdélník, doprostřed obrazu. Jeho přidáváni je možno zapínat/vypínat tlačítkem. Jeho třída je jmenuje VisNoveZarizeni. Soubor „novezarizeni.h“:
Strana 29.
#ifndef D_NOVEZARIZENI_H #define D_NOVEZARIZENI_H #include "abstractdevice.h" #include class VisNoveZarizeni: public VisAbstractDevice { Q_OBJECT public: // šířka a výška zařízení je definována takto, ale byla dostupná // z třídy modulu bez nutnost konstruovat objekt. enum proportion { devWidth = 100, devHeight = 75 }; // udání vlastností: jména, šířky, výšky, barvy virtual QString dName(){return QString("nove_zarizeni");}; virtual int dWidth(){return devWidth;}; virtual int dHeight(){return devHeight;}; virtual QColor dColor(){return QColor(100, 100, 170);}; // předefinované metody inicializace, uvolnění bool init(); void free(); // předefinované metody uložení stavu a nastavení vlastnosti void save(QTextStream & out); void setProperty(QString & name, QString & value); // metoda vracející výstupní obraz výstupu o zadaném indexu(0-9) GLuint getOutput(int index); private: // tlacitko pro zapinani/vypinani zobrazeni obdelniku QPushButton * tlacitko; // stav zobrazeni obdelniku (ano/ne) bool obdelnik; // dynamicka textura pro vystupni obraz Gluint textura; private slots: // slot pro obsluhu stisku tlačítka void stisknuto(); };
Strana 30.
zdrojový soubor zařízení – „nove_zarizeni.cpp“: #include "nove_zarizeni.h" bool VisNoveZarizeni::init() { // ziskání dynamické textury pro výstupní snímek textura = sys_ifc->getDynamicTexture(); obdelnik = true; // nastavení aktivity a pozice pro jeden vstup a jeden vystup inputs[0]=50; outputs[0]=50; //nastavení tlačítka talcitko = new QPushButton(„zap-vyp“); talcitko->setParent(this); talcitko->move(20, 20); talcitko->resize(50, 15); talcitko->show(); // propojení signálu tlačítka se slotem „stisknuto“ connect(tlacitko, SIGNAL(pressed()), this, SLOT(stisknuto())); }
return true;
// uvolnění použitých zdrojů void VisNoveZarizeni::free() { sys_ifc->freeDynamicTexture(textura); } // uložení stavu void VisNoveZarizeni::save(QTextStream & out) { saveProperty(out, "zobrazen", obdelnik); } // nastavení vlastnosti při načítání ze souboru void VisNoveZarizeni::setProperty(QString & name, QString & value) { if (name == "zobrazen") { bool ok; bool b = value.toInt(&ok); if (ok) obdelnik = (bool)b; } }
Strana 31.
//obsluha stisku tlačítka void VisNoveZarizeni::stisknuto() { obdelnik = !obdelnik; } GLuint VisNoveZarizeni::getOutput(int index) { //získání vstupního obrazu z nultého vstupu GLuint vstup = sys_ifc-> getDevOutput(id, 0); // test na chybu, například nepřipojení kabelu na vstup if (vstup != 0) { sys_ifc->setViewport(); sys_ifc->setOrtho(); // nastavení příznaků opengl glDisable(GL_LIGHTING); glDisable(GL_DEPTH_TEST); glDisable(GL_COLOR_MATERIAL); glEnable(GL_TEXTURE_2D); // vykresleni vstupního obrazu jako podklad glBindTexture(GL_TEXTURE_2D, vstup); glBegin(GL_TRIANGLE_STRIP); glTexCoord2f(0.0, 1.0); glVertex3f(0.0, 1.0, glTexCoord2f(0.0, 0.0); glVertex3f(0.0, 0.0, glTexCoord2f(1.0, 1.0); glVertex3f(1.0, 1.0, glTexCoord2f(1.0, 0.0); glVertex3f(1.0, 0.0, glEnd();
0.0); 0.0); 0.0); 0.0);
glDisable(GL_COLOR_MATERIAL); glEnable(GL_TEXTURE_2D); //vykreslení černého obdélníku, pokud je povolen if (obdelnik) { glColor3f(0.0, 0.0, 0.0); glBegin(GL_TRIANGLE_STRIP); glVertex3f(0.2, 0.8, 0.0); glVertex3f(0.2, 0.2, 0.0); glVertex3f(0.8, 0.8, 0.0); glVertex3f(0.8, 0.2, 0.0); glEnd(); } // zkopírovaní obrazu z framebufferu do výstupní textury sys_ifc->copyFrameToTexture(textura); return textura; } else return 0; }
Strana 32.
5.4.2 Třída nového modulu Využíván je systém modulů Qt. Všechny třídy modulů musí být potomky třídy VisAbstractDeviceFactory, která definuje rozhraní. Třída modulu musí být opatřená makrem Q_OBJECT a Q_INTERFACES s názvem rozhraní modulu, tedy Q_INTERFACES(VisAbstractDeviceFactory). Ve zdrojovém souboru modulu (.cpp) musí být makro Q_EXPORT_PLUGIN2(<popisek s modulu>, <jméno třídy modulu>) Metody které musí být předefinovány: • „typeNames“ vrací jména všech typů zařízení, které modul obsahuje. • „factName“ vrací jméno modulu, které se zobrazí v programu. • „deviceSize“ vrací rozměry zařízení zadaného jménem. • „createDevice“ vytvoří zařízení zadané jménem. Nezáleží na tom, jakým způsobem budou tyto metody implementovány.
5.4.3 Projektový soubor modulu Struktura bude vysvětlena rovnou na příkladu který definuje projekt pro modul z předchozího příkladu. # takto je v projektovém souboru Qt značen komentář # nastavení proměnných projektu pro tvorbu modulu TEMPLATE = lib CONFIG += plugin # cesta pro hledání hlavičkových souborů # zde se kvůli rozhraním jedná o adresář se zdr. kódem programu INCLUDEPATH += ../program # použité hlavičkové soubory HEADERS =../program/abstractdevicefactory.h \ ../program/abstractdevice.h \ novy_modul.h \ nove_zarizeni.h # použité zdrojové soubory SOURCES =../program/abstractdevice.cpp \ novy_modul.cpp \ nove_zarizeni.cpp # určení jména souboru s modulem TARGET = filters # určení kam se má nahrát výsledný modul # zde se jedná o adresář se spustitelným souborem programu DESTDIR = ../../release # použité moduly Qt QT += opengl
Makefile je vygenerován spuštěním příkazu „qmake“ v adresáři se zdrojovým kódem modulu. Kompilace se spustí příkazem „make –f Makefile.Release“ tamtéž. Po spuštění programu by se zařízení z modulu měla objevit v seznamu zařízení.
Strana 33.
5.5 Výsledky testování Kamery. Program byl testován se dvěma kamerami. S oběma byl plně funkční. Jednalo se o fotoaparát FujiFilm FinePix 2600Z ve funkci webkamery a webkameru Logitech QuickCam
Messenger. Formáty videa. Testovány byly soubory komprimované metodou mpeg1, wmv1, wmv2. Dále „avi“ soubory s nejrůznějšími způsoby komprese (divx, xvid). Přehrávání fungovalo bez problémů. Konfigurace počítačů na kterých byl program testován: • Procesor AMD Athlon 1600+, 256 MB paměti, grafická karta GeForce 2 MX 64 MB • Notebook s proc. Intel CM370 1.5GHz, 512 MB paměti, graf. Karta ATI X700 64MB • Procesor Intel Pentium 4 3.3 Ghz, 512 MB paměti, graf. Karta ATI X700 256MB Kromě těchto to byly ještě některé další a všude byl plně funkční. Také testování výstupu na druhý monitor fungovalo bez problému. Výkon. Frekvence překreslování výstupního obrazu byla dostatečná pro udžení dojmu plynulosti i na neslabším z testovaných počítačů a to i v případě přehrávání několika videí, použitím vstupu z kamery a mnoha efektů.
Strana 34.
6 Závěr Výsledný program splňuje požadavky kladené ve specifikaci. Jedná se o program použitelný v praxi s možnostmi dalšího vývoje. Zvláště přidání dalších virtuálních zařízení by zvýšilo míru použitelnosti programu. Virtuální zařízení v současné verzi programu spíše demonstrují možnosti programu, které jsou nemalé. Další možnosti vývoje jsou v oblastech: Uživatelské rozhraní. Výhodná se jeví možnost jiného řešení propojování zařízení. Úsporu místa i vyšší přehlednost by přineslo uspořádání zařízení nad sebe s tím, že vstupy a výstupy by byly umístěny ze zadní strany, kde by probíhalo také propojování. Uživatel by si přepínal pohledy zepředu pro ovládání zařízení a zezadu pro propojování. Místo malých jednoúčelových zařízení by bylo vhodnější vytvořit zařízení komplexnější, kterých by v obvodu bylo méně, čímž by se zpřehlednil. Vlákna. Jak bylo zmíněno v úvodu, program v současné době běží v jednom vlákně, což má za důsledek možná přerušení vykreslování výstupu v případě výkonově náročného požadavku na straně uživatelského rozhraní. To by šlo vyřešit použitím samostatných vláken pro uživatelské rozhraní a systém vykreslování. Ovládání virtuálních zařízení. Přínosné by bylo přidání automatického nastavování ovládacích prvků zařízení například podle předem připravených hodnot na časové ose či podle externího audiosignálu. Přínos programu je hlavně v tom, že ukazuje možnosti zpracování videosignálu v reálném čase za použití grafických akcelerátorů. Program sleduje trend vytváření modulárních programů, které dávají možnost dalším vývojářům přidávat vlastní součásti.
Strana 35.
7 Literatura Při návrhu a tvorbě jsem vycházel z následujících zdrojů:
Hudec, B.: Základy počítačové grafiky Praha, Vydavatelství ČVUT 2001 Segal, M., Akeley, K.: The OpenGL Graphics System: A Specification (Version 1.5) http://www.opengl.org Molofee, j.: OpenGL Windows Tutorials http://nehe.gamedev.net
Strana 36.
8 Příloha 8.1 Licence OpenCV Z licenčních podnímek knihovny OpenCV vyplývá, že může být použita pouze pokud bude následující text uveden v dokumentaci, které ji používají.
IMPORTANT: READ BEFORE DOWNLOADING, COPYING, INSTALLING OR USING. By downloading, copying, installing or using the software you agree to this license. If you do not agree to this license, do not download, install, copy or use the software. Intel License Agreement For Open Source Computer Vision Library Copyright (C) 2000-2005, Intel Corporation, all rights reserved. Third party copyrights are property of their respective owners. Redistribution and use in source and binary forms, with or without modification, are permitted provided that the following conditions are met: * Redistribution's of source code must retain the above copyright notice, this list of conditions and the following disclaimer. * Redistribution's in binary form must reproduce the above copyright notice, this list of conditions and the following disclaimer in the documentation and/or other materials provided with the distribution. * The name of Intel Corporation may not be used to endorse or promote products derived from this software without specific prior written permission. This software is provided by the copyright holders and contributors "as is" and any express or implied warranties, including, but not limited to, the implied warranties of merchantability and fitness for a particular purpose are disclaimed. In no event shall the Intel Corporation or contributors be liable for any direct, indirect, incidental, special, exemplary, or consequential damages (including, but not limited to, procurement of substitute goods or services; loss of use, data, or profits; or business interruption) however caused and on any theory of liability, whether in contract, strict liability, or tort (including negligence or otherwise) arising in any way out of the use of this software, even if advised of the possibility of such damage.
8.2 Data na CD Přiloženo je CD s programem, dokumentací, návodem a knihovnami potřebnými ke kompilaci.
Strana 37.
