DISERTAČNÍ PRÁCE OPRAVENÁ VERZE

FAKULTA APLIKOVANÝCH VĚD

DISERTAČNÍ PRÁCE OPRAVENÁ VERZE

PLZEŇ, 2006

Ing. Petr Císař

Fakulta aplikovaných věd DISERTAČNÍ PRÁCE k získání akademického titulu doktor v oboru kybernetika Ing. Petr Císař Využití metod odezírání ze rtů pro podporu rozpoznávání řeči Školitel: Dr. Ing. Vlasta Radová Datum státní doktorské zkoušky: 2005 Datum odevzdání práce: 2006

V Plzni, 2006

Poděkování Děkuji panu Ing. Miloši Železnému PhD. za jeho vedení a odborné konzultace. Za odborné konzultace také děkuji Ing. Zdeňku Krňoulovi. Dále bych chtěl poděkovat své rodině a všem mým blízkým za podporu a porozumění.

-i-

Prohlášení Disertační práci jsem vypracoval samostatně pouze s použitím literatury a konzultací. Tato práce vznikla v rámci mé činnosti na projektu Grantové agentury akademie věd ČR s názvem “Multimodální zpracování lidské znakové a mluvené řeči počítačem pro komunikaci člověk-stroj“ číslo 1ET101470416.

- ii -

Anotace Využití metod odezírání ze rtů pro podporu rozpoznávání řeči Disertační práce se zabývá problematikou vizuálního a audiovizuálního rozpoznávání řeči. Protože je tato oblast velmi široká je práce zaměřena především na návrh nové vizuální parametrizace a její otestování na rozsáhlé audiovizuální databázi. Motivací k řešení této části problematiky je nedostatečné probádání popisu vizuální složky řeči. Proto je cílem práce prostudovat tvorbu vizuální řeči a metody odezírání ze rtů člověkem a využít těchto poznatků k vytvoření nové parametrizace vizuální složky řeči. Aby mohl být splněn hlavní cíl disertace musely být realizovány jednotlivé pod úkoly nutné pro vytvoření celého systému vizuálního a audiovizuálního rozpoznávání řeči. Nejprve byly tedy nastudovány možnosti parametrizace vizuální řeči a postupy vedoucí k získání těchto parametrizací a vybrány nejlepší metody, které jsou popsány v kapitole 2. Na základě těchto poznatků byla nahrána audiovizuální databáze pro český jazyk, která slouží ke studiu vizuální složky a experimentům pro ověření úspěšnosti navržené parametrizace. Databáze a její zpracování je popsáno v kapitole 3.2. Po získání databáze vhodné pro jednoduché získání obrazových i tvarových parametrizací, byl prostudován princip tvorby vizuální řeči a metod odezírání ze rtů. Informace byly čerpány nejen z dostupné literatury, ale i z osobních konzultací se specialistkami v daných oborech. Na základě studia bylo vybráno několik především tvarově orientovaných příznaků , které by měli zachycovat odlišnosti mezi jednotlivými základními řečovými jednotkami a měli by být nezávislé na řečníkovi. Tyto příznaky byly dále upraveny tak, aby bylo možné je získat nějakou automatickou metodou. Parametrizace popisuje jak tvar rtů (vnitřní i vnější kontura) tak okolí a především vnitřek úst. Celý proces návrhu vizuálních příznaků je popsán v kapitole 3.1. Pro získání navržené parametrizace muselo být vytvořeno několik metod zpracování vizuální složky řeči. Jako první byla vytvořena metoda pro nalezení vnitřní a vnější kontury rtů, založená na metodě ACM (aktivní tvarový model), která byla kombinována s metodou automatického prahování. Kombinace těchto dvou metod zajistily získání popisu tvaru vnitřní a vnější kontury rtů pomocí 10 příznaků. Druhá z metod zpracování vizuální složky měla za úkol určit pozici objektů vnitřku úst ( jazyk, horní zuby, dolní zuby a mezera). Kvalitní určení pozic těchto objektů je velmi důležité pro odlišení souhlásek. Metoda byla založena na barevné analýze úzkého proužku uprostřed rtů. Výsledkem metody je procentní zastoupení jednotlivých objektů vnitřku úst. Aby bylo možné realizovat obě metody musel být nejprve vizuální záznam předzpracován metodou nalezení pozice oblasti zájmu v obraze (oblast kolem úst). Díky vlastnostem scény audiovizuální databáze mohl být použit jednoduchý postup nalezení hlavy pomocí metody eliminace pozadí a následné nalezení pozic očí a úst.Pomocí výstupů popsaných metod je možné získat všechny navržené vizuální příznaky. Jednotlivé metody jsou popsány v kapitole 3.3. V rámci této kapitoly je popsán postup získání základních řečových jednotek pro vizuální složku řeči tzv. vizémů. V poslední části práce jsou popsány provedené experimenty na třech různých audiovizuálních databázích. V těchto experimentech je porovnána nově navržená parametrizace s běžně používanou obrazově orientovanou parametrizací. Přínos navržené parametrizace je ověřena na české i na anglické databází pro úlohu vizuálního a audiovizuálního rozpoznávání. Z výsledků experimentů je zřejmé, že navržená parametrizace zlepšuje úspěšnost rozpoznávání řeči oproti běžně používané parametrizaci. Přednost navržené parametrizace je především v popisu vnitřku úst a tvaru vnitřní a vnější kontury rtů. V závěru je konstatováno, že cíle disertační práce byly splněny.

- iii -

Obsah: 1

2

Úvod................................................................................................................................................ 1 1.1

Vizuální a audiovizuální rozpoznávání řeči........................................................................................... 1

1.2

Struktura audiovizuálního rozpoznávání řeči ........................................................................................ 3

1.3

Cíle disertační práce.............................................................................................................................. 5

Stav poznání................................................................................................................................... 6 2.1 Vizuální parametrizace .......................................................................................................................... 6 2.1.1 Obrazově orientovaná parametrizace................................................................................................. 6 2.1.1.1 Kosinová, Fourierova, vlnková transformace ........................................................................... 6 2.1.1.2 Analýza hlavních komponent (PCA) ........................................................................................ 7 2.1.1.3 Lineární diskriminační analýza (LDA) ..................................................................................... 7 2.1.2 Tvarově orientovaná parametrizace................................................................................................... 8 2.1.2.1 Geometrické příznaky............................................................................................................... 8 2.1.2.2 Příznaky vycházející z modelu rtů ............................................................................................ 9 2.1.3 Kombinace tvarových a obrazových.................................................................................................. 9 2.2 Metody používané pro předzpracování obrazu.................................................................................... 10 2.2.1 Headtracking a lokalizace ROI ........................................................................................................ 10 2.2.1.1 Skin-color ............................................................................................................................... 12 2.2.2 Liptracking ...................................................................................................................................... 13 2.2.2.1 Klasické metody zpracování obrazu bez využití modelu rtů .................................................. 13 2.2.2.2 Deformovatelné vzory ............................................................................................................ 13 2.2.2.3 Snakes ..................................................................................................................................... 14 2.2.2.4 Aktivní tvarový model ............................................................................................................ 15 2.2.2.5 Aktivní vzhledový model........................................................................................................ 17 2.2.2.6 3D liptracking ......................................................................................................................... 18 2.3

Následné zpracování............................................................................................................................ 19

2.4 Rozpoznávání ....................................................................................................................................... 20 2.4.1 Vizuální rozpoznávání ..................................................................................................................... 21 2.4.2 Audio-vizuální rozpoznávání........................................................................................................... 22 2.4.2.1 Kombinace příznaků ............................................................................................................... 23 2.4.2.2 Kombinace rozhodnutí............................................................................................................ 24 2.4.2.3 Nastavování vah...................................................................................................................... 27 2.4.3 Adaptace na řečníka......................................................................................................................... 27 2.5

Databáze .............................................................................................................................................. 28

2.6 Výsledky metod na různých úlohách a srovnávací výsledky parametrizací ......................................... 29 2.6.1 Vizuální ASR................................................................................................................................... 30 2.6.2 Audio-vizuální ASR ........................................................................................................................ 30 2.6.3 Experimenty na databázi IBM ViaVoice......................................................................................... 31 2.6.3.1 Popis systému ......................................................................................................................... 31 2.6.3.2 Výsledky ................................................................................................................................. 33 2.6.3.3 Adaptace na řečníka................................................................................................................ 35 2.6.4 Shrnutí ............................................................................................................................................. 35

3

Vlastní přínos............................................................................................................................... 36 3.1 Parametrizace ...................................................................................................................................... 36 3.1.1 Popis problémů stávajících parametrizací ....................................................................................... 36 3.1.1.1 Obrazově orientované parametrizace...................................................................................... 36 3.1.1.2 Tvarově orientované parametrizace ........................................................................................ 36 3.1.1.3 Kombinovaná parametrizace .................................................................................................. 37 3.1.2 Výběr tvarově orientovaných příznaků............................................................................................ 37 3.1.2.1 Tvorba řeči.............................................................................................................................. 37 3.1.2.2 Odezírání řeči.......................................................................................................................... 40 3.1.2.3 Popis vybraných příznaků....................................................................................................... 44

- iv -

3.2 Audiovizuální databáze........................................................................................................................ 47 3.2.1 Prvotní experimenty ........................................................................................................................ 47 3.2.2 Databáze pro určení vizémových skupin pro český jazyk ............................................................... 49 3.2.3 Laboratorní audiovizuální databáze................................................................................................. 50 3.3 Zpracování databáze............................................................................................................................ 52 3.3.1 Nalezení oblasti zájmu ROI............................................................................................................. 52 3.3.2 Liptracking ...................................................................................................................................... 53 3.3.3 Nalezení vnitřku úst......................................................................................................................... 61 3.3.4 Výpočet obrazových příznaků DCT ................................................................................................ 67 3.3.5 Výpočet akustických příznaků......................................................................................................... 69 3.4

4

Databáze pro určení vizémů ................................................................................................................ 69

Experimenty................................................................................................................................. 71 4.1

Experimenty na databázi XM2VTSDB ................................................................................................. 71

4.2

Experimenty na ruské databázi ............................................................................................................ 73

4.3

Experimenty na databázi UWB-05-HSCAVC ...................................................................................... 74

4.4

Zhodnocení experimentů ...................................................................................................................... 76

4.5

Možná vylepšení................................................................................................................................... 78

5

Závěr............................................................................................................................................. 80

6

Seznam publikovaných prací ..................................................................................................... 82 6.1

Publikace ve sbornících ....................................................................................................................... 82

6.2

Rigorózní práce.................................................................................................................................... 83

6.3

Diplomová práce.................................................................................................................................. 83

7

Literatura..................................................................................................................................... 84

8

Seznam zkratek ........................................................................................................................... 88

9

Přílohy .......................................................................................................................................... 89

-v-

Seznam obrázků: Obrázek 1. Schéma audiovizuálního rozpoznávání ................................................................................ 3 Obrázek 2. Obrazové příznaky. Dva po sobě jdoucí snímky, jejich rozdílový obraz a příznaky optického toku, přejato z [27] ......................................................................................................... 6 Obrázek 3. Geometrické příznaky. Vlevo – parametry šířka a výška rtů pro nalezenou hranici rtů. Uprostřed – Původní hranice a její rekonstrukce při použití 1, 2, 3 a 20 Fourierových koeficientů. Vpravo – Průběhy parametru výška rtů pro dvě různá slova (řádky) a různé řečníky (sloupce), přejato z [68] ................................................................................................................................... 9 Obrázek 4. Headtracking použitím vzorových modelů a jejich vyhledávání v neznámém obraze, převzato z [85]............................................................................................................................... 10 Obrázek 5. Headtracking pomocí přímého vyhledávání významných bodů. Nalezení hlavy a rtů, použití modelu rozložení pro nalezení očí, nalezené body, převzato z [81] ................................. 11 Obrázek 6. Extrakce ROI. Nalezení významných bodů v databázi IBM Via VoiceTM pomocí [77], odpovídající oblasti úst pro jednotlivé řečníky, převzato z [61] ................................................... 12 Obrázek 7. Vlevo – Histogram bodů kůže pro složku CR a CG, Vpravo – Výsledek nelezení hlavy pomocí metody skin-color............................................................................................................. 12 Obrázek 8. Extrakce rtů pomocí barvy a informace o změně jasu mezi následujícími snímky. Složka I, složka H, naprahovaná složka H, rozdílový obraz složek I, výsledný tvar nalezených rtů, převzato z [47] ............................................................................................................................................. 13 Obrázek 9. Extrakce rtů pomocí vzorů. Model vzoru tvořený 6 body, šedotónový obraz rtů, detekce hran v obraze pro levou stranu modelu, výsledky nalezení rtů, převzato z [80] ........................... 14 Obrázek 10. Snakes. Model řízený body definovanými uživatelem, výsledky vyhledávání, převzato z [4] .................................................................................................................................................. 15 Obrázek 11. Extrakce rtů pomocí ASM. Rozložení bodů v trénovací množině, určení změny polohy bodu modelu vzhledem k danému obrazu, přizpůsobení celého modelu, tvar modelu pro změnu prvních tří parametrů vektoru b, převzato z [15]........................................................................... 16 Obrázek 12. Vlevo – Deformace středního tvaru modelu při použití jednotlivých parametrů 1- 4, vpravo – přechod ret-kůže pro daný bod modelu, převzato z [49]................................................ 16 Obrázek 13. Extrakce hlavy řečníka pomocí AAP. Obraz trénovací množiny s označenými 122 body modelu, výsledný model pro změnu prvních 4 parametrů vektoru c (± 3 sd), převzato z [14].... 17 Obrázek 14. Vyhledávání 3D modelu. Původní obraz, mapa objektů v chromatických barvách, nasazení středního modelu, směry deformací modelu, výsledný model, model při natočení hlavy, projekce modelu do roviny xy, převzato z [5]............................................................................... 19 Obrázek 15. Schéma extrakce 3 druhů příznaků následované interpolací příznaků na 100 Hz, normalizací přes celou promluvu, získáním dynamické informace o řeči řetězením vektorů a úpravou příznakového vektoru pomocí LDA a MLLT, převzato z [69] ...................................... 19 Obrázek 16 Strom zaměnitelností pro souhlásky a samohlásky, převzato z [61] ................................. 21 Obrázek 17. Schéma kombinace informací pomocí kombinací příznaků. Pospojování příznaků - AV pospojování, Hierarchická lineární diskriminační extrakce – AV HiLDA, změna audio příznaků AV enhancement, převzato z [69]................................................................................................. 23 Obrázek 18. Schéma kombinace rozhodnutí, převzato z ...................................................................... 25 Obrázek 19. Model HMM pro střední integraci. Vlevo – více proudové HMM synchronní pro jednotlivé třídy a asynchronní pro jednotlivé stavy. Vpravo – odpovídající smíšené HMM, převzato z ...................................................................................................................................... 26 Obrázek 20. Příklady audio-vizuálních databází. Zleva doprava – XM2VTSDB, Huang (infračervená kamera), CUAVE, ViaVoiceTM, převzato z [57],[32],[62],[69].................................................... 28 Obrázek 21. Schéma systému audio-vizuálního rozpoznávání použitého pro experimenty s databází ViaVoiceTM, převzato z [69].......................................................................................................... 32 Obrázek 22. Výsledky rozpoznávání pomocí různých druhů kombinace informace pro úlohy zašuměných dat pro LVCSR a Číslice. Metody AV-enh, AV pospoj a AV-HiLDA představují kombinaci příznaků a metoda AV-MS-joint kombinaci rozhodnutí. Ukazatelem úspěšnosti metod je SNR gain, který je vztažen vždy k hodnotě WER pro audio podmínky 10 db. Všechny metody využití audio-vizuální kombinace vylepšují rozpoznávání při zašuměném audio signálu, převzato z [65] ............................................................................................................................................. 34 Obrázek 23. Řečový trakt, převzato z [41]............................................................................................ 38 - vi -

Obrázek 24. Změna tvaru rtů pří výslovnosti samohlásek od zaostřených po zaokrouhlené, převzato z [41] ................................................................................................................................................ 39 Obrázek 25. Zobrazení překážky výdechového proudu v průběhu výslovnosti vytvořené jazykem. Černá barva představuje místa dotyku jazyka a horního patra, převzato z [41]............................ 39 Obrázek 26. Postavení jazyka při tvorbě samohlásek, převzato z [41] ................................................. 40 Obrázek 27. Vybrané příznaky popisující vizuální složku řeči............................................................ 46 Obrázek 28. Ukázka vizuální databáze pro rozpoznávání izolovaných slov ........................................ 47 Obrázek 29. Ukázka audiovizuální databáze promluv řidiče automobilu............................................. 48 Obrázek 30. Vlevo – Stereo pohled na řečníka s nalepenými body odpovídajícími bodům modelu rtů, nalezené pozice bodů v obraze, rekonstruované 3D souřadnice bodů, vpravo – výsledky nalezení vnější a vnitřní kontury rtů pomocí 3D modelu a její projekce do bočního pohledu .................... 49 Obrázek 31. Vlevo – schéma snímacího zařízení, vpravo – dva pohledy na řečníka složené do jednoho snímku, na obličeji jsou nalepeny reflexní body........................................................................... 50 Obrázek 32. Ukázka audiovizuální databáze UWB-05-HSCAVC ....................................................... 50 Obrázek 33. Rozložení celého snímku na sudý a lichý půlsnímek, na půlsnímcích vpravo je znatelný pohyb rtů během sejmutí půlsnímků a to se projevuje na složeném snímku vlevo....................... 51 Obrázek 34. Vlevo – ukázka nahrávání AV databáze, vpravo nahoře – vzory očí, vpravo dole – ručně vybrané body kůže pro stanovení barvy kůže ............................................................................... 51 Obrázek 35. Nalezení oblasti zájmu, 1 – výběr vzoru pro pozadí, 2 – naprahovaný objekt hlavy, 3 – ořez podle šířky středu objektu, 4 – nalezení očí pomocí vzorů, výběr oblasti výskytu úst a jejich nalezení ......................................................................................................................................... 53 Obrázek 36. Ukázka ROI, 1 – velmi malý horní ret, 2 – přesvětlení některých částí rtů, 3 – podobná barva horního rtu a kůže, 4 – vousy .............................................................................................. 54 Obrázek 37. Ukázka histogramů a zobrazení ROI pro různé reprezentace obrazu (R, G, B, Hue, chromatická červená, chromatická zelená, šedotónová, R/G)....................................................... 55 Obrázek 38. Ukázka nalezení vnitřní a vnější kontury rtů: 1 – ROI, 2 – naprahovaný obraz, 3 – vybrání největšího objektu, 4 – přidání objektů pomocí tvaru rtů z předchozího kroku, 5 – rozšířený konvexní obal vnější kontury rtů, 6 – obraz upravený pomocí vyprahování vnitřku úst a odstranění děr pod a nad hranicí vnitřku úst, 7 – získání vnitřku úst obarvením okolí úst, 8 – hranice vnitřku rtů, 9 –konvexní obal vnitřku úst, 10 – výsledný hrubý tvar rtů, 11 – výsledný tvar rtů upravený pomocí modelu......................................................................................................... 56 Obrázek 39. Nalezení prahu JV a hranic vnitřku úst, 1 – výběr části rtů pro nalezení hranic vnitřku (žlutá čára = hranice vnitřku), 2 – průběh součtů šedi pro jednotlivé řádky výběru, červená = nalezená maxima, modrá = nalezená minima, šedivá = pozice hranic vnitřku úst........................ 57 Obrázek 40. Ukázka rozmístění bodů modelu rtů, 1 – rozmístění bodů na vzorovém tvaru rtů, 2 – umístění bodů vnitřní kontury nezávislé na vnější kontuře, 3 – umístění bodů vnitřní kontury závislé na vnější kontuře ............................................................................................................... 58 Obrázek 41. Ukázka vzorových tvarů rtů obsažených v trénovací množině. Vnější kontura je označena bíle a vnitřní černě......................................................................................................................... 59 Obrázek 42. Ukázka deformace tvaru rtů při změně jednotlivých parametrů řídícího vektoru. ........... 60 Obrázek 43. Ukázka opravy tvaru rtů pomocí modelu, černo – bílý obraz – binární obraz nalezených rtů upravený pomocí konvexního obalu, barevný obraz – výsledný tvar trů po použití modelu rtů ....................................................................................................................................................... 61 Obrázek 44. Nalezení objektů vnitřku úst: 1 – výběr úzkého proužku vnitřku úst, 2 – průběh šedotónových hodnot vybraného proužku s nalezenými extrémy, 3 – nalezené extrémy zanesené do obrazu (zelený křížek = odhad pozice dolních zubů, červený křížek = odhad pozice horních zubů, bílý křížek = nový odhad pozice horních zubů po jejich nalezení), 4 – binární obraz rtů z modelu, 5 – naprahovaný obraz jazyka a mezery (bílá = jazyk, šedivá = mezera), výběr oblastí pro dohledání jazyka (červená) a mezery (žlutá), 6 – nalezené středy a rozměry objektů (bílá = horní zuby, zelená = jazyk, modrá = dolní zuby).......................................................................... 62 Obrázek 45. Nalezení středu úst jako bodu uprostřed vzdálenosti středů horní a dolní vnitřní kontury. ....................................................................................................................................................... 63 Obrázek 46. Ukázka zpracování ROI pomocí DCT transformace, 1 – původní ROI, 2 – ROI zmenšený na velikost 64*64 bodů v šedotónové reprezentaci, 3 – ROI po zpětné Kosinové transformaci (15 DCT) ............................................................................................................................................. 68

- vii -

Obrázek 47. Ukázka zpracování vnitřku úst pomocí DCT transformace, 1 – původní ROI, 2 – vybraná oblast vnitřku úst, 3 – normalizace na velikost 64*64 bodů v šedotónové reprezentaci, 4 – obraz vnitřku po zpětné Kosinové transformaci (4 DCT)....................................................................... 69 Obrázek 48. Vzdálenost tvarů reprezentujících fonémy vykreslená pomocí dendrogramu.................. 69 Obrázek 49 Ukázka databáze XM2VTSDB, 1 – původní videozáznam, 2 – nalezení očí a středu úst, 3 – nalezení vnitřní a vnější kontury rtů........................................................................................... 72 Obrázek 50. Ukázka ruské databáze ..................................................................................................... 73 Obrázek 51. Ukázka nalezení vnitřní a vnější kontury rtů .................................................................... 91 Obrázek 52. Ukázka chybného nalezení vnitřní a vnější kontury rtů.................................................... 92 Obrázek 53. Ukázka nalezení objektů vnitřku úst, bílá – horní zuby, modrá – dolní zuby, zelená – jazyk, černá – mezera .................................................................................................................... 92 Obrázek 54. Ukázka chybného nalezení objektů vnitřku úst, bílá – horní zuby, modrá – dolní zuby, zelená – jazyk, černá – mezera...................................................................................................... 92 Obrázek 55. Ukázka zpracování databáze pro nalezení vizuálních řečových jednotek. ...................... 93

- viii -

Seznam tabulek: Tabulka 1. Typy kombinace příznaků a jejich další možnosti .............................................................. 23 Tabulka 2. Shrnutí metod V ASR. ........................................................................................................ 30 Tabulka 3. Výsledky metod A-V ASR. Výsledky rozpoznávání jednotlivých metod jsou uvedeny ve formátu nezašuměná data / podmínky pro zašuměná data / výsledky pro zašuměná data v daných podmínkách. .................................................................................................................................. 31 Tabulka 4. Audio-vizuální databáze a její rozdělení na jednotlivé části. Části představují trénovací, held-out, adaptační, testovací množiny (vždy je uveden počet promluv, délka trvání celé množiny v hodinách, počet řečníků). Pro úlohu rozpoznávání spojité řeči s velkým slovníkem (LVCSR) a pro úlohu rozpoznávání pospojovaných číslic (Číslice) byla pořízen normální a poškozený záznam. Pro úlohu normální Číslice je množina Held-out a adaptační množina identická. Pro úlohu rozpoznávání z poškozených dat byla z důvodu nedostatku použitelných dat použita metoda adaptace modelů HMM natrénovaných pomocí dat z normální části databáze................ 32 Tabulka 5. Porovnání výsledků rozpoznávání pro různé vizuální příznaky pro úlohu LVCSR nezávislého na řečníkovi. Výsledky rozpoznávání jsou uvedeny jako chyba rozpoznávání v %. Pro rozpoznávání je použita modifikovaná mřížka, která byla předem získána pouze pomocí MFCC příznaků získaných ze zašuměných audio dat (8.5 dB SNR). Pro možnost porovnání je uvedena WER pro charakteristické mřížky (Oracle, Anti-oracle, LM nejlepší cesta založené pouze na jazykovém modelu)........................................................................................................ 33 Tabulka 6. Výsledky audio-vizuálního rozpoznávání pro úlohu LVCSR pro různé metody kombinace informace....................................................................................................................................... 34 Tabulka 7. Výsledky rozpoznávání pro úlohu LVCSR a Číslice pro různé metody na části databáze ViaVoiceTM Poškozené. Výsledky jsou uvedeny v % WER pro rozpoznávání využitím audio (A), vizuální (V) a audio vizuální informace (AV). Metody využívají modelů HMM natrénovaných pomocí Normální části databáze a poté provedou adaptaci pomocí části Poškozené. Metody MLLR a MAP provádí adaptaci modelů HMM, metoda Mat provádí adaptaci celého systému ASR. .............................................................................................................................................. 35 Tabulka 8. Rozdělení hlásek z hlediska místa tvoření, převzato z [43] ................................................ 40 Tabulka 9. Příslušnost fonému k jednotlivým vizémových třídám....................................................... 70 Tabulka 10 Výsledky vizuálního a audiovizuálního rozpoznávání pro obrazově orientované parametrizace. ............................................................................................................................... 75 Tabulka 11. Výsledky vizuálního a audiovizuálního rozpoznávání pro mnou navržené parametrizace kombinující tvarově a obrazově orientované příznaky. ................................................................ 76 Tabulka 12. Výsledky vizuálního rozpoznávání s použitím vizémů a audiovizuálního rozpoznávání při zašuměném akustickém řečovém signálu (0dB). .......................................................................... 76 Tabulka 13. Popis uplatnění zubů, jazyka a tvaru rtů při tvorbě jednotlivých vizémů, 0 = objekt není přítomen ........................................................................................................................................ 90 Tabulka 14. Hodnoty frekvencí u a v pro vybrané DCT příznaky získané z trénovací množiny pro popis ROI. ..................................................................................................................................... 90 Tabulka 15. Hodnoty frekvencí u a v pro vybrané DCT příznaky získané z trénovací množiny pro popis vnitřku úst............................................................................................................................ 90

- ix -

Úvod

1

Úvod

1.1

Vizuální a audiovizuální rozpoznávání řeči

S rozvojem výpočetní techniky a počítačových algoritmů jsme dospěli do bodu v němž bylo nutné začít řešit otázky komunikace mezi strojem a jeho uživatelem, tedy člověkem. Jednou z oblastí komunikace stroj a člověk se stalo automatické rozpoznávání řeči (angl. automatic speech recognition, ASR). Úloha ASR je řešena již od šedesátých let minulého století až do dnešních dnů. Během těchto let došlo k posunu od rozpoznávání řeči na úlohách izolovaných slov s jedním řečníkem přes rozpoznávání spojité řeči s malým a středním slovníkem až po úlohy automatického rozpoznávání řeči s velkým slovníkem (deseti tisíce slov) nezávislé na řečníkovy (angl. large vocobulary continuous speech recognition, LVCSR). Nejlepší metody ASR dosahují v současnosti velmi vysokých úspěšností rozpoznávání. Je však třeba podotknout, že takto vysoká úspěšnost rozpoznávání je často podmíněna dodržením omezujících podmínek pro danou úlohu. Mezi nejčastější omezující podmínky systémů ASR a tím i slabiny těchto metod patří závislost na kanálu, prostředí a typu řeči (rozdíly mezi řečníky). Vlivem prostředí je myšlena úroveň šumu, který degraduje řečový akustický signál. Bylo navrženo mnoho postupů pro eliminaci vlivu kanálu, pozadí a řečníka jako např. filtrace akustického signálu, použití vybraných frekvenčních pásem či kombinace rozhodnutí více klasifikátorů pracujících s odlišnými parametrizacemi. Všechny tyto metody však pracovaly se stále stejným akustickým signálem a proto je jejich využití omezené. Jako další možnost vylepšení výsledků ASR především v prostředí zatíženém šumem se ukázalo využití vizuální složky řeči. Vizuální řečová informace je tvořena viditelnou částí artikulačních orgánů člověka. Mezi tyto orgány patří především rty, tváře, částečně zuby a jazyk a zprostředkovaně i hlasivky (pohyb hlasivek je viditelný na krku pohybem ohryzku). Do vizuální složky je však nutné zahrnout i mimiku obličeje, pohyb hlavy a celého těla řečníka (tato část vizuální informace je však více spjata s prozodií řeči než s informací o promlouvaném textu). Vizuální složka zahrnuje informace o řečové promluvě, informace o řečníkovi a informace o prostředí. Je obecně známo, že člověk pro komunikaci využívá nejen akustickou , ale i vizuální složku řeči. U normálně slyšících osob se využití vizuální složky řeči projevuje především v hlučných prostředích. U lidí s poruchou sluchu či úplně hluchých se využití vizuální složky zdůrazňuje i v prostředích bez akustického šumu. Schopnost člověka rozpoznávat řeč pomocí vizuální složky je nazývána odezírání ze rtů (angl. lipreading1). Příspěvek vizuální složky řeči k porozumění řeči ověřil Sumby již v roce 1954. To, že vizuální složka ovlivňuje výsledné porozumění promluvě , ukazuje tzv. McGurg efekt (McGurk 1976). Důkaz je založen na předkládání odlišné vizuální složky řeči (promluva ga) a akustické složky řeči (promluva ba) posluchači. Posluchač v tomto případě celkový vjem vyhodnotí jako promluvu da. Tím je demonstrováno, že vizuální složka ovlivňuje porozumění řeči. Základní přínos vizuální složky pro rozpoznávání řeči je možné rozdělit do tří oblastí. Jedná se o možnost lokalizace řečníka (pohyb rtů řečníka), informaci o jednotlivých řečových segmentech (slova, fonémy) a informaci o poloze viditelných částí artikulačních orgánů. Při strojovém rozpoznávání řeči z vizuální složky je tato představována většinou videozáznamem řečníka pomocí komerčně používané videokamery. Snímanou scénu představuje čelní pohled na řečníka, kdy je zabírána především jeho hlava. Vizuální informace, jak již bylo zmíněno, je tvořena pouze viditelnou částí artikulačních orgánů, a proto obsahuje méně informace o promluvě než akustická složka řeči. Dosavadní experimenty toto tvrzení potvrzují, neboť rozpoznávání z vizuální složky nedosahuje takové úspěšnosti jako rozpoznávání z akustické složky v prostředí bez šumu [21][58][86]. Vizuální složka není ovlivněna akustickým šumem, a proto se využívá především jako podpora akustického rozpoznávání řeči v hlučných prostředích. První ASR systém využívající obou informací byl vyvinut v roce 1984 [63]. Další postup se soustředil na porozumění zpracování vizuální 1

označení lipreading (čtení ze rtů) není přesné, neboť pro rozpoznávání řeči je využívána celá oblast tváře a proto je vhodnější označení speechreading

-1-

Úvod složky řeči a kombinace vizuální a akustické řečové informace člověkem a aplikace těchto poznatků pro ASR. Bohužel se doposud podařilo porozumět těmto procesům pouze částečně. Mezi hlavní neznámé v úloze audiovizuálního rozpoznávání řeči patří výběr vhodné parametrizace vizuální složky a proces kombinace akustické a vizuální informace. Poznatky z oblasti vizuálního rozpoznávání řeči je možné aplikovat i v oblastech rozpoznávání řečníka, komprese řečového signálu či rekonstrukce akustického řečového signálu. Hlavní motivací této práce je, že stávající metody vizuálního rozpoznávání řeči většinou využívají tzv. obrazovou parametrizaci vizuální složky. Tato parametrizace nejčastěji popisuje obrazové body určité oblasti zájmu (angl. region of interest, ROI) obsahující ústa a okolí pomocí malé množiny příznaků získaných některou z metod komprese obrazu či redukce dimenze příznakového vektoru. Metody nepracují s poznatky z oblasti tvorby řeči či s poznatky expertů na odezírání řeči. U tohoto druhu parametrizace není zřejmé s jakou částí vizuální řečové informace pracuje, neboť z vypočtené parametrizace toto není možné určit. Hluší lidé přitom využívají odezírání ze rtů jako jediný prostředek pro rozpoznání řeči a jejich dovednost odezírat je založena právě na znalosti procesu tvorby řeči z pohledu vizuální složky. To zahrnuje především znalost tvarů rtů, postavení zubů a jazyka či pohyb brady pro danou promluvu. Další motivací je, že systémy vizuálního rozpoznávání řeči jsou vyvíjeny především pro anglický jazyk. Audiovizuálním rozpoznáváním češtiny se v České republice zabývá pouze katedra Kybernetiky fakulty aplikovaných věd na Západočeské univerzitě v Plzni a pracoviště v Liberci. Cílem disertační práce je proto prostudovat zákonitosti tvorby řeči z hlediska vizuální složky řeči a metody lidského odezírání řeči. Pomocí těchto znalostí navrhnout novou parametrizaci vizuální složky řeči a experimentálně vyzkoušet přínos této parametrizace na úlohách vizuálního a audiovizuálního rozpoznávání řeči. Disertační práci jsem rozdělil do pěti základních kapitol: Úvod, Stav poznání, Vlastní přínos, Experimenty a Závěr. V kapitole Úvod je čtenář seznámen s problematikou audiovizuálního rozpoznávání a cíli disertační práce. Část Stav poznání přibližuje metody využívané pro audiovizuální rozpoznávání a uvádí přehled používaných databází a výsledků dosažených v posledních 10 letech výzkumu ve světě. Kapitola Vlastní přínos popisuje mnou navržené či použité metody pro nalezení hlavy řečníka, nalezení vnitřní a vnější kontury rtů a analýzu vnitřku úst, dále kapitola popisuje poznatky získané studiem tvorby vizuální řeči a metod odezírání. Nejdůležitější částí je představení vlastní parametrizace vizuální složky řeči založené především na tvarovém popisu. Kapitola s názvem Experimenty obsahuje popis a výsledky jednotlivých úloh vizuálního a audiovizuálního rozpoznávání porovnávající moji parametrizaci s obvykle používanými parametrizacemi pro různé podmínky. V poslední kapitole Závěr jsou shrnuty hlavní výsledky disertační práce. Tyto výsledky jsou konfrontovány s definovanými předpoklady a je zde proveden rozbor dalších možných vylepšení celého systému audiovizuálního rozpoznávání.

-2-

Úvod

1.2

Struktura audiovizuálního rozpoznávání řeči

Obrázek 1. Schéma audiovizuálního rozpoznávání

Celý proces audiovizuálního rozpoznávání řeči lze rozdělit na 3 základní časti: výpočet akustických příznaků , výpočet vizuálních příznaků a kombinace akustické a vizuální informace plus proces rozpoznávání . Schéma AV rozpoznávání řeči je znázorněno na obrázku 1. Výpočet akustických a vizuálních příznaků probíhá odděleně, jestliže tedy nechceme provádět AV rozpoznávání, ale pouze rozpoznávání řeči z vizuální složky řeči, pak stačí ignorovat akustické příznaky a k rozpoznávání použít pouze vizuální a naopak. Audiovizuální rozpoznávání využívá k výpočtu akustických příznaků poznatků z oblasti rozpoznávání řeči z akustické složky. Tyto postupy jsou osvědčené a je možné je pouze přejmout, neboť výpočet akustických příznaků probíhá odděleně od výpočtu vizuálních příznaků. Blok výpočet akustických příznaků může obsahovat některé další pod bloky jako je například potlačení šumu či kanálu. Akustické příznaky je však možné vypočítat i bez těchto předzpracování. Nejčastěji používaným typem akustických příznaků jsou PLP nebo MFCC koeficienty. Výstupem tohoto bloku je příznakový vektor popisující akustický řečový signál. Vstupem bloku výpočet vizuálních příznaků je videozáznam promluvy řečníka. Obvykle tento záznam obsahuje celou hlavu řečníka z čelního pohledu. Takovýto pohled na řečníka je nejvíce používaný [54][31][47][76]. Vizuální příznaky se snaží popsat viditelnou část artikulačních orgánů během promluvy a čelní pohled obsahující oblast úst a jejich okolí (tváře, brada, krk) toto umožňuje. Existují i jiné možnosti pohledu na řečníka. Například v článku [93] je použit boční pohled. Abychom mohli provést samotný výpočet vizuálních příznaků potřebujeme v každém snímku videozáznamu nalézt oblast zájmu, která již většinou obsahuje artikulační orgány (nejčastěji rty a jejich nejbližší okolí) [45][18][88]. Krok nalezení ROI je založen na metodě sledování hlavy člověka ve videozáznamu (angl. headtracking). Základní metody headtrackingu jsou popsány v kapitole 2.2.1. Nalezení ROI je velice složitou úlohou vezmeme-li v úvahu že hlava řečníka se pohybuje v 3D prostoru, kde se jas a pozadí může měnit velmi rychle. Krok nalezení ROI lze vyřešit i vhodným výběrem pohledu na řečníka, který již obsahuje pouze ROI. V článku [33] je využita kamera upevněná na hlavě řečníka, která snímá pouze oblast úst. Toto zjednodušení zpracování ovšem přináší omezení uživatele takového systému rozpoznávání řeči. Výstupem metody headtracking je tedy nalezená oblast ROI. Další zpracování vizuálního signálu již závisí na typu vizuálních příznaků. Vizuální příznaky je možné rozdělit do tří základních skupin. Jsou to obrazově orientované příznaky [76][89][27][48] (angl. pixel based features), tvarově orientované příznaky [28][18][36] (angl. shape based features) a kombinace obou typů příznaků [21].

-3-

Úvod Obrazově orientované příznaky popisují jas popřípadě barvu každého obrazového bodu v ROI. Získání těchto příznaků je výpočetně nenáročné neboť nevyžaduje žádné předzpracování ROI. Takto získaný příznakový vektor má ovšem většinou velmi velkou dimenzi a není vhodný pro klasifikaci. Jestliže rozlišení ROI bude 80*60 obrazových bodů pak příznakový vektor má dimenzi 4800. Proto dalším krokem při výpočtu obrazově orientovaných příznaků je snížení dimenze příznakového vektoru. Nejčastěji používanými metodami snížení dimenze jsou analýza hlavních komponent (angl. principal component analysis, PCA), diskrétní Kosinova transformace (angl. discrete cosine transform, DCT) či lineární diskriminační analýza (angl. linear discriminant analysis, LDA). Použitím některé z těchto metod dojde ke snížení dimenze příznakového vektoru a odstranění určité části informace. Bohužel však není možné interpretovat takto získané příznaky tak, abychom mohli přesně říci jakou část vizuální složky řeči příznaky popisují. Nemůžeme například říci, že po redukci dimenze příznakový vektor popisuje pouze pohyb levého koutku. Tvarově orientované příznaky se snaží popsat geometrické vlastnosti artikulačních orgánů jako jsou například šířka či výška rtů, okrouhlost rtů či pohyb tváří řečníka. K jejich výpočtu je většinou zapotřebí dalšího předzpracování ROI. Tímto předzpracováním je nalezení vnitřní, vnější nebo obou kontur rtů (angl. liptracking). Liptracking je opět velmi náročná úloha, která musí řešit problémy jako je změna osvětlení, variabilita tvarů a barvy rtů pro různé řečníky či změna tvaru rtů během promluvy. Existuje několik základních typů metod nalezení kontury rtů jako jsou deformovatelné vzory (angl. deformable templates) 2.2.2.2, Snakes 2.2.2.3, active shape model ASM 2.2.2.4, či active appearance model AAM 2.2.2.5. Výhoda tvarově orientovaných příznaků je možnost určit co daný příznak popisuje a určit jakou část artikulačních orgánů postihuje. Poslední typ příznaků, kombinace obou předchozích přístupů, se snaží využít výhod obou metod. Vizuální informaci obtížně popsatelnou pomocí tvarově orientované parametrizace popisuje obrazově orientovanou např. pohyb tváří. Výstupem bloku extrakce vizuálních příznaků je tedy vizuální příznakový vektor. Vstupem posledního bloku kombinace akustického a vizuálního popisu a rozpoznávání je akustický a vizuální příznakový vektor. Abychom mohli pro rozpoznání řeči využít obou složek řeči (akustické a vizuální) musí tento blok provést jejich kombinaci. Existují dva základní přístupy kombinace těchto dvou složek řeči. Metody se liší v místě sloučení řečové informace (před klasifikací, po klasifikaci). První metoda nazývaná kombinace příznaků (angl. feature fusion, FF) 2.4.2.1. Metoda nejprve provede spojení akustického a vizuálního příznakového vektoru. Tento pospojovaný audiovizuální příznakový vektor je poté použit pro klasifikaci jejímž výstupem je rozpoznaný text. Druhá metoda nejprve provede dvě oddělené klasifikace použitím akustického a vizuálního příznakového vektoru. Kombinace řečové informace probíhá až na úrovni výstupů klasifikátorů, tak že se kombinují jejich rozhodnutí. Tato metoda se nazývá kombinace rozhodnutí (angl. decision fusion, DF) 2.4.2.2. Pro klasifikaci se nečastěji používají přístupy používané v rozpoznávání řeči z akustické složky jako jsou HMM či neuronové sítě. Experimenty bylo prokázáno že využití vizuální složky přináší do rozpoznávání řeči novou na akustickém šumu nezávislou informaci o řeči. Největšího přínosu vizuální složky řeči pro rozpoznávání bylo také dosaženo pro úlohy kde je akustický řečový signál degradován šumem. Toto zlepšení se pohybuje kolem 43% WER [61] pro úlohu rozpoznávání spojité řeči kde je odstup šum/řeč 1.5 dB. Výsledky samotného vizuálního ASR (89.2% WER) však zůstávají pozadu za výsledky akustického ASR (13.65% WER) pro stejnou úlohu bez šumu (rozpoznávání spojité řeči). Dosavadní výzkum v oblasti vizuálního ASR ukazuje, že stěžejní body jsou vytvoření vhodné parametrizace a metody kombinace vizuální a akustické složky řeči. Tyto body patří mezi dovednosti člověka, které nebyly doposud dostatečně objasněny a proto lze z těchto poznatků čerpat jen velmi málo. Možným zdrojem informace o využití vizuální složky řeči člověkem jsou zkušenosti sluchově postižených lidí odezírajících z úst či poznatky z oblasti logopedie.

-4-

Úvod Oblast vizuálního ASR je zatím velmi otevřenou, neboť dosavadní výzkum probíhá většinou na úlohách laboratorních, kde se rozpoznávání řeči omezuje na rozpoznávání izolovaných slov a jsou dodržovány příhodné podmínky osvětlení či pohybu hlavy řečníka. Tyto omezující podmínky souvisejí se složitostí metod headtrackingu a liptrackingu. Z tohoto pohledu se vizuální ASR jeví jako složitější než akustické ASR. Ať se již jedná o malé množství či velké paměťové nároky audiovizuálních databází či využívání metod zpracování obrazu pro výpočet vizuální příznaků. Malé množství audiovizuálních databází vede k problémům srovnávání výsledků jednotlivých přístupů vizuálních ASR. Mezi nejrozsáhlejší databáze patří audiovizuální databáze ViaVoice obsahující promluvy spojité řeči pro 290 řečníků v rozsahu 50 hodin. Existuje několik prací provádějících srovnání obrazově orientovaných příznaků a tvarově orientovaných příznaků a různých druhů kombinací vizuální a akustické informace. Nejlepších výsledků rozpoznávání bylo zatím dosaženo s obrazově orientovanou parametrizací založenou na DCT a DF kombinací [61]. Bohužel doposud se jen velmi málo prací zabývalo vytvořením vizuální parametrizace, která by vycházela z poznatků tvorby řeči z pohledu vizuální složky a využití poznatků expertů na odezírání. Důvodem byla zřejmě velká složitost výpočtu takovýchto příznaků.

1.3

Cíle disertační práce

Cílem mé disertační práce je prozkoumání problematiky popisu vizuální složky řeči pro rozpoznávání řeči se zaměřením na vytvoření a otestování nové parametrizace vizuální složky řeči založené především na tvarovém popisu, která by dosahovala lepších výsledků v úlohách vizuálního a audiovizuálního rozpoznávání řeči něž běžně používané parametrizace. Při tvorbě parametrizace budu využívat poznatky získané studiem tvorby vizuální řeči a problematiky odezírání řeči. Hlavní motivací vytvoření takovéto parametrizace je nedostatečné prozkoumání vizuálních parametrizací založených na tvarovém popisu. Úspěšnost celé parametrizace chci ověřit pomocí srovnávacích testů nové parametrizace a běžně používaného typu vizuální parametrizace (DCT) na úloze vizuálního a audiovizuálního rozpoznávání spojité řeči. Mezi další cíle patří vytvoření audiovizuální databáze pro český jazyk vhodné pro návrh a otestování vizuální parametrizace a vytvoření efektivního algoritmu (z hlediska rychlosti a přesnosti) pro získání navržené parametrizace. - prozkoumání tvorby vizuální řeči a metod odezírání ze rtů - návrh vizuální parametrizace založené na získaných znalostech - vytvoření audiovizuální databáze spojitých promluv pro český jazyk vhodné pro návrh a testování vizuálních parametrizací - návrh a implementace algoritmu pro nalezení vnitřní a vnější kontury rtů - návrh a implementace algoritmu pro nalezení pozic objektů (zubů, jazyka, mezery) vnitřku úst - vytvoření základního srovnávacího systému audiovizuálního rozpoznávání využívajícího nejčastěji používanou parametrizaci - porovnání mnou navržené parametrizace a srovnávacího systému na úloze rozpoznávání spojité řeči

-5-

Stav poznání

2

Stav poznání

2.1

Vizuální parametrizace

2.1.1 Obrazově orientovaná parametrizace Získání obrazově orientovaných příznaků většinou nevyžaduje žádné další zpracování nalezené ROI, neboť příznakový vektor získáme tak, že jednotlivé body obrazu poskládáme za sebe. Příznakový vektor tedy obsahuje informace o jasech popřípadě barvách všech bodů ROI. Tento příznakový vektor má však příliš velkou dimenzi pro použití v klasifikaci například pomocí HMM. Při použití ROI o velikost 80*80 bodů bude dimenze vektoru 6400. Proto musíme provést jeho redukci a jako příznakový vektor pro rozpoznávání použijeme vypočítaný vektor s dimenzí výrazně menší (např. 45). Obrazově orientované příznaky nemusí vždy tvořit pouze jas jednotlivých pixelů ROI. Příznakový vektor může být sestaven z bodů rozdílového obrazu nebo z bodů reprezentujících optický tok [27]. Rozdílový obraz vznikne tak, že odečteme hodnoty jasů sobě odpovídajících bodů ve dvou po sobě jdoucích snímcích, viz obrázek 2. Metoda optického toku je velmi podobná metodě rozdílového obrazu ovšem k informaci o změně jasu nám udává i směr změny pro každý bod ROI.

Obrázek 2. Obrazové příznaky. Dva po sobě jdoucí snímky, jejich rozdílový obraz a příznaky optického toku, přejato z [27]

Po získání příznakového vektoru připadá v úvahu hned několik metod pro snížení jeho dimenze. Movellan [59] použil filtraci obrazu ROI dolní propustí s následným snížením rozlišení. Matthews [52] představil vlastní metodu redukce dimenze použitím nelineární dekompozice obrazu nazvanou „image sieves“. Jiným velmi rozšířeným druhem transformace příznakového vektoru jsou metody vycházející z teorie komprese obrazu, kde se předpokládá, že tento postup redukuje pouze ty informace, které jsou pro rozpoznávání řeči nadbytečné. Jedná se o diskrétní kosinovou, Fourierovu, vlnkovou nebo další transformace obrazu. Tyto metody nepracují s příznakovým vektorem, ale pracují s celým obrazem ROI z kterého se vypočítávají příslušné parametry. Další možností je transformace příznakového vektoru z dimenze D do dimenze d (D>>d) pomocí transformační matice P o dimenzi D*d. Matici P je možné získat z L trénovacích dat reprezentovaných vektory x l l = 1 .. L. Transformace příznakového vektoru potom vychází ze vzorce (1), kde x je střední hodnota získaná z množiny měření. xl = x + P * yl (1) Nejpoužívanější metody využívající tento přístup jsou metody LDA a PCA. 2.1.1.1 Kosinová, Fourierova, vlnková transformace Metody transformace obrazu jsou používány i pro kompresy obrazu. Mezi nepoužívanější metody patří diskrétní kosinová transformace (angl. discrete cosine transform, DCT), diskrétní vlnková transformace (angl. discrete wavelet transform, DWT) , diskrétní Fourierova transformace (angl. discrete Fourier tranform, DFT), Hadamarova a Haarova transformace. Použití těchto metod pro získání vizuálních příznaků je stejné jako při klasickém zpracování obrazu.

-6-

Stav poznání V práci [20] je použita Fourierova transformace podobně jako v případě výpočtu MFCC koeficientů. Jednotlivé příznaky jsou počítány z kruhových oblastí z obrazu převedeného pomocí DFT pro M (k1,k2) podle (2).

∑ M (k , k

mi =

1

2

)

(2)

k1 ,k 2 ∈Ri

kde Ri představuje prstencovou oblast okolo středu o poloměru qi a šířce qi-1. Tím je vlastně získána hodnota reprezentující jednotlivé frekvence v obraze. Jako příznaky jsou poté použity hodnoty z této banky filtrů. Výhodou metod založených na kompresi obrazu je možnost jejich rychlé implementace, kde velikost obrazu musí být mocnina dvou (obvykle 16, 32, 64). 2.1.1.2 Analýza hlavních komponent (PCA) Analýza hlavních komponent je hned po DCT jednou z nejpopulárnějších metod pro získávání obrazově orientovaných příznaků pro ASR [20],[27]. PCA zajišťuje lineární transformaci, která 1 umožňuje rekonstruovat transformované vektory ~xl s minimální chybou ε = 2

l

∑x

l

−~ xi

2

, kde

i =1

~ x l = P T * y l . Jestliže máme trénovací množinu {x1 ,.., x l } obsahující L pozorování v prostoru dimenze

D pak metodou PCA získáme matici P, jejíž pomocí můžeme vektor x transformovat na vektor y s dimenzí d<
1 L

L

∑ (x )

(3)

i =1

a poté kovarianční matice R dimenze D*D. R =

1 L

L

∑ (x

i

− x ) * (x i − x )T

(4)

i =1

Nyní provedeme rozklad kovarianční matice R podle vzorce R = A V AT, kde A = [a1 …. ad] představuje matici vlastních vektorů R a V je diagonální matice, která má na diagonále vlastní čísla matice R. Matici P získáme tak, že vybereme D největších vlastních čísel j1..jD z matice V a jim odpovídající vlastní vektory aj1..ajD. Matice P vznikne složením těchto vektorů P=[aj1, .. , ajD]T . Vektor nižší dimenze poté získáme ze vzorce y = P T * (x − x ) (5) 2.1.1.3 Lineární diskriminační analýza (LDA) Lineární diskriminační analýza je založena na transformaci prostoru pozorování do nového prostoru pomocí lineární transformace (diskriminační funkce), tak aby transformovaný prostor zajišťoval lepší diskriminaci než prostor originální. Diskriminační funkce je hledána tak, aby maximalizovala poměr mezi variancí mezi třídami a variancí uvnitř tříd. Transformace způsobuje projekci os stávajícího prostoru do prostoru, kde jsou osy rotovány tak, aby zajistili co největší odchylky mezi třídami. Nejprve je zapotřebí rozdělit trénovací vektory xl do C tříd podle zvolených klasifikačních jednotek. Matice P je určena tak, aby projekce trénovacích vektorů P xl maximalizovala kritérium (6)

-7-

Stav poznání

Q (P ) =

( det (P

) SwP )

det P T SbP T

(6)

kde Sw je rozptyl uvnitř tříd a Sb je rozptyl mezi jednotlivými třídami v prostoru dimenze d určeném vektory y l . Tyto matice vypočítáme jako (7) Sw =

∑ Pr(c )∑(c )

a

c∈C

kde Pr (c ) = Lc / L

Sb =

∑ Pr (c )(m(c ) − m )(m(c ) − m)

T

(7)

c∈C

představuje empirickou pravděpodobnost výskytu jednotlivých tříd, kde

L

Lc = ∑ δ c (l ),c a δ i, j = 1, když i = j jinak 0 , m(c) a ∑(c) představují střední hodnotu a kovarianci l =1

vektorů jednotlivých tříd, m =

∑ Pr (c )m(c )

je celková střední hodnota pro všechny trénovací

c∈C

vektory. Pro výpočet matice P musíme provést výpočet vlastních vektorů a vlastních čísel dvojice matic (Sb,Sw) z rovnice SbA = SwAV . Matice A = [ a1 … ad] představuje matici vlastních vektorů a V je diagonální matice, která má na diagonále vlastní čísla. Matici P získáme tak, že vybereme D největších vlastních čísel j1..jD z matice V a jim odpovídající vlastní vektory aj1..ajD. Matice P potom vznikne jako P=[aj1, .. , ajD]T .

2.1.2 Tvarově orientovaná parametrizace Tvarový popis předpokládá, oproti obrazově orientovanému, že je schopen z vizuálních dat získat informaci o řeči a potlačit informaci irelevantní pro vizuální řeč jako je osvětlení scény, informace o řečníkovy, pozici hlavy řečníka atd. Do této skupiny popisů spadají dva možné typy příznaků a to geometrické příznaky a příznaky vycházející z modelu rtů. Oba typy mohou popisovat vnější a/nebo vnitřní hranici rtů, nebo konturu celého obličeje. Pro nalezení těchto kontur je zapotřebí dalšího zpracování ROI. To je zásadní rozdíl ve zpracování oproti obrazovým příznakům. Mezi základní metody vyhledávání hranic objektů patří jednoduché prahování na základě znalosti barvy rtů a využití metod zpracování obrazu [47], metoda Snakes [39],[4], metoda Templates [78], Active shape model [15] a Active appearance model [14]. Jednou z nejnovějších metod vyhledávání je metoda používající tracking 3D modelu rtů ze záznamu jedné kamery [5]. 2.1.2.1 Geometrické příznaky Tím že provedeme extrakci kontury rtů můžeme na ní měřit vysoko úrovňové příznaky, které jsou snadno srozumitelné člověku. Vysoko úrovňovými příznaky rozumíme příznaky, které popisují tvar pomocí parametrů jako jsou šířka, výška, délka hranice rtů, výstřednost atd. Jestliže vykreslíme průběh těchto parametrů v čase, pak je zřejmé, že pro stejné promluvy jsou tyto průběhy velice podobné. Naopak pro různé promluvy jsou dostatečně odlišné, viz obrázek 3. Z toho lze usuzovat, že geometrické příznaky nesou určitou informaci o dané promluvě. Proto není překvapující, že velké množství prací používá právě tyto příznaky [1],[2],[11],[34],[73],[86],[31].

-8-

Stav poznání

Obrázek 3. Geometrické příznaky. Vlevo – parametry šířka a výška rtů pro nalezenou hranici rtů. Uprostřed – Původní hranice a její rekonstrukce při použití 1, 2, 3 a 20 Fourierových koeficientů. Vpravo – Průběhy parametru výška rtů pro dvě různá slova (řádky) a různé řečníky (sloupce), přejato z [68]

Velkým problémem geometrických příznaků je značná závislost na řečníkovi. Šířka a výška rtů se totiž liší pro jednotlivé řečníky již u rtů v základní poloze (nepohybující se zavřené rty). Abychom tuto závislost částečně potlačili je možné použít dynamické příznaky odvozené právě z geometrických příznaků. Dynamické příznaky již nepopisují rozměry, ale změny velikostí parametrů či pouze typ změny parametrů mezi sousedními snímky. Geometrický popis vychází z kontury rtů. Jestliže ji definujeme jako binární obraz, pak je možné tento obraz popsat pomocí obrazových momentů [18] nebo pomocí Fourierových popisovačů [66]. Normalizované momenty nebo koeficienty Fourierových popisovačů je možné použít jako samostatné vizuální příznaky. Jejich výhodou je nezávislost na natočení, poloze nebo změně měřítka. 2.1.2.2 Příznaky vycházející z modelu rtů Příznaky vycházející z modelu rtů můžeme použít pouze za předpokladu, že jsme pro vyhledávání rtů použili některou z metod používajících právě model rtů (Snakes, Templates, ASM, AAM). Příznaky vycházející z modelu rtů potom závisí právě na použité metodě vyhledávání. Chiou [37] používá jako vizuální příznaky radiální vektory Snakes, Silsbee [79] používá parametry jednotlivých Templates. V dalších pracích [49],[54] jsou jako vizuální příznaky použity přímo jednotlivé body modelu dané vektorem x z rovnice (13).

2.1.3 Kombinace tvarových a obrazových Obrazové a tvarové příznaky představují dva různé druhy vizuální informace o řeči (nízko a vysoko úrovňové informace). Z tohoto důvodu se velmi často používá jejich kombinace. Otázkou je, jak tyto dva typy informace kombinovat. První možností je použít jednu z metod extrakce obrazových a tvarových příznaků a tyto příznakové vektory spojit do jednoho, který poté použijeme pro rozpoznávání. Luettin a Dupont [51],[21] používají kombinaci ASM příznaků a PCA parametrů pro oblast kolem nalezených úst. Chen [36] kombinuje geometrické příznaky s PCA parametry podmnožiny bodů uvnitř úst. Druhou možností je vytvoření takového modelu, který kombinuje tvarové a obrazové příznaky přímo ve své struktuře. Takovým přístupem je aktivní vzhledový model AAM. Tento přístup provádí výpočet PCA koeficientů pouze z oblasti, která představuje právě rty, nebo celou tvář. Koeficienty nejsou počítány z bodů okolí a tím se celý přístup stává robustnějším. Příkladem použití této kombinace jsou práce [61],[54].

-9-

Stav poznání Kombinace obrazových a tvarových příznaků nahrazuje nedostatky současných systémů trackingu. Doposud nebyl představen žádný použitelný systém vyhledávání zubů a jazyka, neboť tato úloha je velmi složitá. Je známo, že právě zuby a jazyk poskytují další použitelnou informaci o dané promluvě. Informaci o tvaru rtů získáme jednou z metod vyhledávání a informaci o postavení zubů a jazyka získáme z parametrů PCA, která je aplikována právě na tuto oblast.

2.2

Metody používané pro předzpracování obrazu

2.2.1 Headtracking a lokalizace ROI Vstupem metody headtracking je videozáznam, který může obsahovat libovolný počet tváří řečníků (v případě AV rozpoznávání většinou jen jednu) a jeho úkolem je lokalizovat jednotlivé obličeje popřípadě vrátit obraz odpovídající pouze bodům tváře. V případě AV rozpoznávání je ještě nutné aby algoritmus nalezl pozici ROI. Výstup vyhledávání hlavy řečníka lze použít i v jiných oblastech, jako je vizuální syntéza řeči, identifikace a verifikace osob či lokalizace řečníka. Existují zhruba dva základní typy metod pro headtracking. Prvním typem jsou metody založené na vyhledávání parametrického modelu hlavy v daném obraze. Druhý typ metod většinou využívá tzv. metody skin-color viz 2.2.1.1 pro nalezení kůže (bodů hlavy) a poté pomocí metod zpracování obrazu dohledává významné body obličeje (oči, nosní dírky či ústa).

Obrázek 4. Headtracking použitím vzorových modelů a jejich vyhledávání v neznámém obraze, převzato z [85]

Typický příklad algoritmu využívajícího parametrický model hlavy je popsán v [85]. Pro funkčnost algoritmu je nejprve třeba vytvořit vzor obličeje a vzor pozadí z trénovací množiny která obsahuje n tváří. Poté se pouze tyto vzory porovnávají s částmi neznámého obrazu a zjišťuje se jejich podobnost viz obrázek 4. Výsledkem je tedy pravděpodobnost, že daná část obrazu je tvář. Parametrický model je tvořen příznakovým vektorem, který popisuje buď tvář či pozadí. Tento vektor je většinou výsledkem některé z metod redukce dimenze příznakových vektorů (DCT, PCA). Neredukovaný příznakový vektor je tvořen všemi body vybrané oblasti. Snížení dimenze vektoru zajistí, že jsou zachovány významné vlastnosti obličeje (rozložení tmavých a světlých oblastí, oči a ústa jsou tmavší než kůže) a potlačeny rozdíly mezi obličeji různých řečníků. Největším úskalím metody je velikost vyhledávaného obličeje a jeho natočení. Vzor obličeje je totiž vytvořen pro určitou velikost a natočení. Problém velikosti je možné řešit změnou velikosti porovnávané oblasti. Jestliže však chceme vyhledávat i obličeje s různým natočením pak je nutné pro tato natočení vytvořit nové vzory a ty použít při porovnávání. Tím se samozřejmě zvyšuje časová náročnost metody. Celý postup je možné zjednodušit, jestliže vstupní obraz obsahuje informaci o barvě. Využije se metody skin-color viz 2.2.1.1 pro nalezení oblastí podobných kůži a poté jsou se vzory porovnávány pouze tyto oblasti.

- 10 -

Stav poznání

Obrázek 5. Headtracking pomocí přímého vyhledávání významných bodů. Nalezení hlavy a rtů, použití modelu rozložení pro nalezení očí, nalezené body, převzato z [81]

Druhý typ metod využívá pro nalezení hlavy metodu skin-color viz 2.2.1.1. Metoda využívá specifické barvy kůže v chromatické reprezentaci barev. Jejím výstupem jsou oblasti, které svou barvou odpovídají barvě kůže. Dalším krokem je nalezení významných bodů na obličeji (oči, nosní dírky, ústa) pomocí metod zpracování obrazu. Často se využívá model rozložení významných bodů na obličeji. Tento model je představován vzájemnými vzdálenostmi jednotlivých významných bodů. Pro nalezení bodů se také využívá jejich umístění vzhledem k pozici obličeje. Ze znalosti pozic nalezených oblastí kůže se určí oblasti výskytu jednotlivých významných bodů. Oči, nosní dírky, špička nosu či ústa jsou poté přesně lokalizovány buď pomocí metod srovnávání se vzorem nebo je využito jejich jasových a barevných vlastností vzhledem ke kůži obličeje či jejich specifického tvaru (špička nosu je většinou nejsvětlejší, nosní dírky jsou tmavé, v barvě úst převládá červená). Příkladem algoritmu založeného na vyhledávání významných bodů je [81]. Výhodou této metody je že není příliš závislá na velikosti a natočení hlavy řečníka. Výstupem metody tedy může být pozice, velikost a natočení oblasti zájmu ROI viz obrázek 6. Mluvíme-li o natočení, je tím myšleno natočení v rovině xy. Jestliže nás zajímá natočení hlavy řečníka v ostatních rovinách pak je nutné pracovat s 3D modelem hlavy. Informace o natočení hlavy ve všech rovinách je pro rozpoznávání velmi důležitá, neboť pohled na řečníka je většinou čelní a proto při rotaci dochází ke změně tvaru rtů. Ve většině případů AV rozpoznávání je však pracováno se záznamy kde je rotace v ose z zanedbatelná. Velikost a tvar oblasti zájmu je doposud předmětem výzkumu a ROI nemusí obsahovat obdélníkové okolí rtů. Existuje řada prací, které zkoumají vliv volby ROI na úspěšnost rozpoznávání. Například práce [18][66] ukazují, že jestliže se do ROI zahrne nejen oblast rtů, ale celá spodní část hlavy, zvýší to úspěšnost rozpoznávání, v [53] je použito jako ROI celé oblasti hlavy řečníka a v [20] má ROI tvar kruhového okolí rtů. Některé práce používají netradiční ROI jako pohled ze strany [93] nebo oblast úst osvětlenou pomocí infračerveného zdroje [32]. Samozřejmě platí, že čím větší oblast zpracováváme tím náročnější bude výpočet.

- 11 -

Stav poznání

Obrázek 6. Extrakce ROI. Nalezení významných bodů v databázi IBM Via VoiceTM pomocí [77], odpovídající oblasti úst pro jednotlivé řečníky, převzato z [61]

2.2.1.1 Skin-color Metoda skin color využívá specifické barvy kůže v chromatické reprezentaci barev CR, CB, CG. Přepočet mezi RGB reprezentací a chromatickou je dán vztahem (8). Metoda je založena na tom, že

CR =

R R+G+B

CG =

G R+G+B

C R + CG + C B = 1

(8)

v chromatické reprezentaci je pro různé osoby i rasy barva kůže podobná a její rozptyl je velmi malý viz obrázek 7 . Z trénovací množiny, která je definovaná ručně, je vypočtena střední hodnota a rozptyl většinou pro složky CR a CG a pomocí těchto hodnot je poté prahován neznámý obraz. Výsledek prahování je znázorněn na obrázku 7.

Obrázek 7. Vlevo – Histogram bodů kůže pro složku CR a CG, Vpravo – Výsledek nelezení hlavy pomocí metody skin-color.

- 12 -

Stav poznání

2.2.2 Liptracking Metoda liptracking se používá jako předzpracování pro výpočet tvarově orientovaných příznaků. Jejím vstupem je většinou obraz rtů a jejich okolí a metoda se snaží nalézt tvar rtů, reprezentovaný vnější, vnitřní nebo oběma konturami rtů. Metody je možné rozdělit zhruba na dvě skupiny. Na metody využívající model rtů a na metody bez jeho využití. Model rtů je soubor informací buď o tvaru rtů a jeho možných deformacích doplněný barvou rtů či informacemi o barevném rozložení přechodu mezi rtem a kůží pro každý bod modelu. Všechny metody využívají specifické barvy či jasu rtů oproti kůži obličeje. Rty jsou většinou tmavší než kůže a jsou více červenější. Největším úskalím metod je velká variabilita tvaru rtů mezi řečníky i během promluvy, osvětlení scény a jazyk. Jazyk má totiž velmi podobnou barvu jako rty a při hledání vnitřní kontury rtů způsobuje nemalé problémy. Mezi nejpoužívanější metody patří klasické metody zpracování obrazu bez využití modelu rtů [47], deformovatelné vzory (angl. deformable templates) [78], Snakes [39],[4], aktivní tvarový model (angl. Active shape model, ASM) [15] a aktivní vzhledový model (angl. Active appearance model, AAM) [14]. Jednou z nejnovějších metod vyhledávání je metoda používající 3D modelu rtů [5]. 2.2.2.1 Klasické metody zpracování obrazu bez využití modelu rtů Nejjednoduššími metodami pro nalezení rtů jsou metody využívající pouze metod zpracování obrazu. Tyto metody jsou velmi rychlé, ovšem méně robustní než metody využívající model. Základním principem je využití specifické barvy rtů a rozdílových obrazů mezi dvěma snímky. V práci [47] je pro nalezení rtů stanovena reprezentace obrazu HI. H = 256 *

G R

a

I=

R+B+G 3

(9)

Obrázek 8. Extrakce rtů pomocí barvy a informace o změně jasu mezi následujícími snímky. Složka I, složka H, naprahovaná složka H, rozdílový obraz složek I, výsledný tvar nalezených rtů, převzato z [47]

Prahováním pomocí ručně definovaných prahů jsou ze složky H vybrány body odpovídající rtům. Složka I slouží k získání rozdílového obrazu. Rozdílový obraz je získán odečtením po sobě jdoucích snímků. Nyní je každému bodu obrazu přiřazena jedna ze čtyř konstant podle hodnoty rozdílového obrazu a prahovaného H. Body, které se pohybují a mají barvu rtů jsou nejlepšími kandidáty na výsledný objekt rtů, viz obrázek 8. Další přístupy využívají informací o směru a velikosti hran v obraze či jiných speciálních reprezentací obrazu pro snadné odlišení barvy rtů a barvy pozadí. Největším úskalím těchto metod je nutnost definovat konstanty, které rozhodují o výběru objektu rtů. Tyto konstanty však mohou být závislé na osvětlení či pozadí dané scény a proto je nejlepším řešením jejich automatická inicializace. 2.2.2.2 Deformovatelné vzory Vzory je možné definovat jako parametrizovanou množinu bodů, křivek a povrchů s množinou parametrů S a penalizační funkcí, která definuje, jak dobře odpovídá množina parametrů danému

- 13 -

Stav poznání obrazu, viz obrázek 9. Vzor je buď vytvořen ručně nebo z trénovací množiny. Penalizační funkce je funkcí parametrů S a obrazu. Energetická funkce nabývá nízkých hodnot, jestliže všechny body vzoru leží na nebo v okolí maxim pole definovaného pro obraz a reprezentujícího příznaky jako hrany, vrcholy nebo údolí objektu v daném obraze a případě, že tvar deformovaného vzoru se blíží tvaru předdefinovanému. Metoda se snaží deformovat vzor podle tohoto pole tak, aby model měl co nejmenší penalizaci. K tomuto účelu lze využít metody sledování gradientu nebo jiné techniky optimalizace. Jestliže nalezneme minimum energetické funkce pak vzor nejlépe popisuje tvar objektu.

Obrázek 9. Extrakce rtů pomocí vzorů. Model vzoru tvořený 6 body, šedotónový obraz rtů, detekce hran v obraze pro levou stranu modelu, výsledky nalezení rtů, převzato z [80]

Pro zvýšení robustnosti metody mohou být aplikována jistá omezení s ohledem na geometrické uspořádání modelu. Velké odchylky od základního tvaru jsou penalizovány úpravou energetickou funkce. K získání obrazového pole můžeme použít několika metod. V práci [80] je model složený ze 6 bodů a je rozdělen na 4 části, viz obrázek 9. Obrazové pole je pak definováno pro každou tuto část. Jedná se vždy o výpočet hran v obraze v daném směru a jejich vyhlazení. Je možné použít i informaci o změně obrazu mezi dvěma sousedními snímky. Pro vylepšení výsledků je místo jednoho vzoru používána banka vzorů popisujících možné tvary objektu [12],[35]. K určení nejlepšího vzoru se používá inicializační funkce, která porovnává obraz s obrazy definovanými pro jednotlivé vzory a zjišťuje jejich podobnosti využitím pyramidové techniky vyhledávání. Největším nedostatkem metody Templates je, že se vzory deformují libovolně podle daného obrazového pole. Vzor postihuje pouze základní tvar objektu, ale ne jeho možné změny a závislosti mezi jednotlivými body modelu. Problémy vznikají i při natočení či změně velikosti objektů. 2.2.2.3 Snakes Metoda Snakes představuje využití modelu, který je tvořen křivkou, pro nalezení objektu v obraze * pomocí minimalizace speciální funkce E snake . Model je tvořen ručně definovanou množinou bodů v (s ) = (x (s ), y (s )) . Tato množina musí co nejlépe popisovat tvar vyhledávaného objektu. Po umístění modelu do blízkosti hranice hledaného objektu se model deformuje tak aby dosáhl lokálního minima * * energetické funkce E snake . Funkce E snake je tvořena třemi různými druhy energií (10) 1

1

∫

∫

0

0

* E snake = E snake (v (s ))ds = E int (v (s ))ds + E obraz (v (s ))ds + E con (v (s ))ds

(10)

kde v(s) představuje křivku tvořenou body (x(s), y(s)), kde s jde od 0 do 1 přes celý obvod křivky. Funkce E int reprezentuje interní energii modelu v průběhu deformace a snaží se model vyhlazovat. Funkce E obraz představuje deformační síly vyvolané daným obrazem. Tyto síly se snaží deformovat model tak, aby se přiblížil významným tvarům v obraze jako jsou přímky, hrany, nebo významné části

- 14 -

Stav poznání objektů. Funkce E con představuje externí síly, které mohou reprezentovat interaktivní požadavky uživatele na deformaci modelu. Interní energie je funkcí první a druhé derivace křivky v s (s ) a v ss (s ) podle vzorce (11)

(

E int = α (s ) v s (s )

2

+ β (s ) v ss (s )

2

)2

(11) kde koeficienty α (s ) a β (s ) určují chování modelu. Koeficient α(s) odpovídá elasticitě modelu a β(s) odpovídá tuhosti modelu. Obrazová energie se skládá ze tří různých typů energií podle vzorce E image = w primky E primky + whrany E hrany + wukonč E ukonč (12) kde w je váhová funkce přičemž E primky zajišťuje, že model se bude snažit postihnout nejsvětlejší nebo nejtmavší kontury objektů, E hrany nutí model zaujmout pozici bodů s největším gradientem a E ukonč postihuje konce přímek a rohy významných objektů v obraze. Jestliže chceme Snakes použít pro tracking pak změna tvaru mezi sousedními snímky musí být dostatečně malá, aby model nezaujal jiné lokální minimum než v předchozím snímku, což představuje spolu s inicializací modelu největší nedostatek metody.

Obrázek 10. Snakes. Model řízený body definovanými uživatelem, výsledky vyhledávání, převzato z [4]

2.2.2.4 Aktivní tvarový model Aktivní tvarový model se snaží řešit nedostatky předchozích přístupů používajících ručně vytvořený model. Metoda vychází z toho, že model by mělo být možné deformovat pouze tak, aby odpovídal vzorovým tvarům z trénovací množiny. Pro vytvoření takového modelu je zapotřebí mít trénovací množinu vzorových tvarů daného objektu, která zahrnuje nejběžnější deformace tohoto objektu. V každém obrazu musí být označeny významné body popisující příslušný objekt. Byly zvoleny tři základní typy bodů podle toho jakou část objektu popisují. 1. body závislé na konkrétním objektu. V případě, že vyhledáváme rty, tak body 1 budou koutky úst, střed horního a dolního rtu. 2. body nezávislé na konkrétním objektu. Jsou to nejvyšší místa objektů pro danou orientaci či extrémy křivek. 3. ostatní body. Body, které je možné získat z prvních dvou typů bodů. Tyto body jsou pravidelně rozloženy na spojnicích předchozích bodů. Pro každý obraz je tedy definována množina bodů xi = (xi ,0 , y i ,0 , x i ,1 , y i ,1 ,....., xi ,n −1 , y i ,n −1 ) kde n je počet bodů. Aby bylo možné získat charakteristické vlastnosti trénovací množiny musíme nejprve transformovat všechny obrazy tak, aby objekty měli stejnou orientaci, rotaci a měřítko. Tím nám vznikne množina kde jednotlivé mraky bodů představují možné tvary hledaného objektu, viz obrázek 11.

- 15 -

Stav poznání

Obrázek 11. Extrakce rtů pomocí ASM. Rozložení bodů v trénovací množině, určení změny polohy bodu modelu vzhledem k danému obrazu, přizpůsobení celého modelu, tvar modelu pro změnu prvních tří parametrů vektoru b, převzato z [15]

Nyní spočítáme střední hodnotu x z vektorů xi a odchylku dxi = xi − x pro každý vektor. Vypočítáme kovarianční matici S těchto odchylek. Matice S má rozměry 2n*2n. Máme tedy 2n parametrů, které mohou ovlivnit tvar modelu. Z trénovací množiny je zřejmé, že určité body se mohou pohybovat více než ostatní a tím i více přispívat ke změně tvaru. Proto použijeme metodu PCA popsanou v 2.1.1.2, která zredukuje počet proměnných jen na ty nejdůležitější podle toho, jak hodně ovlivňují tvar objektu. Získanou matici P využijeme k výpočtu nového tvaru podle rovnice (13) kde b udává odchylku od středního tvaru. − 3 λk ≤ bk ≤ 3 λk

x = x + Pb

(13)

Pomocí vektoru b který má dimenzi t << 2n můžeme ovlivňovat tvar modelu, jak je vidět na obrázku 12. Velikost koeficientů b je omezena podle (13), což zajistí, aby se tvar modelu měnil pouze podle trénovacích dat. Čím větší dimenzi má vektor b tím jemněji dokážeme měnit tvar modelu ovšem vzrůstá časová náročnost výpočtu a klesá schopnost modelu opravovat případné chyby nalezeného tvaru.

Obrázek 12. Vlevo – Deformace středního tvaru modelu při použití jednotlivých parametrů 1- 4, vpravo – přechod ret-kůže pro daný bod modelu, převzato z [49]

- 16 -

Stav poznání Na je ukázán model rtů získaný z trénovací množiny, který je složen z N bodů. Dále je zde ukázáno jak změna jednotlivých komponent vektoru získaného pomocí metody PCA ovlivňuje tvar modelu. Samotné nalezení rtů pomocí modelu probíhá tak, že v prvním kroku je nutné model umístit někam do prohledávaného obrazu a stanovit jeho velikost. Toto umístění a stanovení velikosti se provádí buď na základě informace o pozici a velikosti modelu z předchozího snímku či z informací z headtrackingu. Dále se snažíme zjistit jak změnit tvar modelu tak aby co nejlépe odpovídal tvaru hledaných rtů v obraze. Pro tento krok je možné použít různé metody. Nejčastěji se body modelu vztahují k největším hranám nalezeným v obraze, které se nacházejí na normále daného bodu vzhledem k hranici modelu. Máme tedy model X = M (s, θ )[x ] + X c kde Xc představuje pozici středu modelu. Pro každý bod zjistíme velikost posunutí tohoto bodu a z těchto informací vytvoříme vektor dX = (dX 0 , DY0 ,......, dX n −1 , dYn −1 )T , viz obrázek 11. Nyní spočítáme, jak se má změnit rotace, velikost a střed modelu popsané parametry θ, s a x c tak, aby se model co nejvíce přiblížil novým bodům. Vypočítáme nový vektor dx, který udává odchylku bodů v obraze od nového modelu. Abychom body modelu co nejvíce přiblížili bodům obrazu musíme změnit tvar modelu. Z dx spočítáme db = P T dx . Nový tvar modelu poté vypočítáme jako x = x + P (b + Wb db ) , kde Wb představuje matici vah. Celý proces opakujeme do té doby, dokud dochází ke změně modelu. V porovnání s metodou Snakes je obtížnější vytvořit model objektu neboť pro Snakes nepotřebuje označkovanou trénovací množinu. Ovšem oproti metodě Snakes model ASM může nabývat pouze tvarů, které byly obsaženy v trénovací množině, a proto je proces více robustní. 2.2.2.5 Aktivní vzhledový model Aktivní vzhledový model je ve svém principu velmi podobný aktivnímu tvarovému modelu. Jak však napovídá jeho název model neobsahuje jen informaci o tvaru, ale je v něm zahrnuta i informace o jasu jednotlivých bodů modelu. Přístup tedy vychází z toho, že objekt nacházející se v neznámém obraze má jednak specifický tvar a že tomuto tvaru odpovídá specifický jas nebo barva jednotlivých bodů.

Obrázek 13. Extrakce hlavy řečníka pomocí AAP. Obraz trénovací množiny s označenými 122 body modelu, výsledný model pro změnu prvních 4 parametrů vektoru c (± ± 3 sd), převzato z [14]

Způsob vytvoření modelu je stejný jako v případě ASM. Máme trénovací množinu, ve které musíme jednotlivé objekty označkovat skupinou řídících bodů x obrázek 13. Pomocí metody z ASM získáme matici Ps . Změnou vektoru bs a dosazením do (13) potom můžeme generovat nové tvary . Nyní musíme model natrénovat pro jasy jednotlivých objektů. Abychom vůbec mohli modely porovnávat podle jasu musíme každý objekt transformovat do středního tvaru x , vypočítaného z trénovací množiny, pomocí označených bodů. Z důvodu možného různého osvětlení scény jednotlivých obrazů musíme provést normalizaci jasu. Jeden ze vzorků je zvolen jako referenční, jeho jas se vezme jako základní, a poté je pomocí iterativní metody normalizována hodnota jasu vždy vůči nově vypočtené střední hodnotě.

- 17 -

Stav poznání Na takto upravená data opět aplikujeme PCA a získáme matici Pg a vektor bg . Dosazením do vzorce (14) a změnou bg můžeme vytvořit nové jasové hodnoty pro tvar daný x . g = g + Pg bg (14) Vektor g představuje hodnoty jasů modelu poskládané za sebe do vektoru o velikosti D (počet bodů modelu). Nyní vytvoříme vektor b jehož pomocí můžeme měnit jak tvar tak i hodnotu jasu modelu. T W s bs  Ws Ps (x − x ) = b =   T  bg   Pg (g − g ) 

(15)

Pro každý prvek trénovací množiny můžeme získat vektor b a opětnou aplikací metody PCA na tyto vektory získáme matici Q a vektor c. Jejich dosazením do rovnice (16) můžeme generovat nové tvary a jim odpovídající jasy modelu viz obrázek 13. b = Qc x = x + PsW s Q s c , g = g + Pg Q g c

kde

 Qs  Q =    Qg 

(16)

Nový model je vytvořen tak, že vypočítáme jasy g pro tvar x a tento obraz transformujeme do tvaru daného x. Jestliže chceme pomocí modelu nalézt objekt v neznámém obraze musíme provést minimalizaci ∆ = (δI )2 kde δI = I i − I m . I i představuje skutečný obraz a I m je generovaný model. Minimalizace takovéto funkce je velmi složitý problém, a proto je použita lineární závislost mezi diferencí obrazu a modelu a změnou vektoru c. Vychází se z toho, že máme daný obraz a jemu nejlépe odpovídající model. Změníme-li vektor c o δc změní se i model a rozdíl obrazu a modelu představuje δg . Tyto změny jsou generovány automaticky a z daných vektorů δc a δg odvodíme matici A podle vzorce (17). (17) δc = Aδg Samotné vyhledávání objektu se provádí tak, že stanovíme odchylku modelu a obrazových bodů jako δg . Pomocí (17) vypočítáme δc a provedeme změnu c o δc . Podle (16) vypočítáme nový model a celý postup opakujeme tak dlouho dokud se chyba E = (δg )2 mění. Aktivní vzhledový model má vyšší výpočetní složitost než aktivní tvarový model, ale díky postihnutí jasů objektu se stává robustnějším. 2.2.2.6 3D liptracking Všechny předchozí metody vyhledávání rtů předpokládají, že hlava řečníka se může otáčet pouze v rovině xy (většinou je hlava snímána z čelního pohledu). Je však zřejmé, že v reálných úlohách není možné tuto podmínku dodržet a hlava řečníka se bude pohybovat v 3D prostoru, čímž se bude měnit její velikost, poloha i orientace. Jestliže se na tento video záznam použije jedna z předchozích metod, pak budou nalezeny rty, ale jejich tvar nebude odpovídat skutečnému tvaru rtů řečníka. Proto se pracuje na vývoji metod vyhledávání rtů pomocí 3D modelu z videozáznamu jedné kamery. Právě zde se uplatňuje informace o orientaci a pozici hlavy, kterou je možno získat metodou headtrackingu popsanou v sekci 2.2.1.

- 18 -

Stav poznání

Obrázek 14. Vyhledávání 3D modelu. Původní obraz, mapa objektů v chromatických barvách, nasazení středního modelu, směry deformací modelu, výsledný model, model při natočení hlavy, projekce modelu do roviny xy, převzato z [5]

V práci [5] je popsán 3D model rtů složený z jednotlivých povrchů tvořících rty a jejich okolí a vazeb mezi nimi. Barva segmentů a vztahy mezi body modelu jsou získány pomocí označené trénovací množiny. Samotné vyhledávání rtů poté probíhá tak, že se nejprve získají modely pro barvu kůže a barvu rtů v chromatické reprezentaci obrazu Cr a Cb. Každému povrchu modelu, v závislosti na tom jaké části odpovídá, je přidělena chromatická barva z trénovací množiny. Pro každý neznámý obraz je vytvořena mapa oblastí, které odpovídají rtům a tváři podle natrénovaných modelů. V této mapě je nalezen objekt, který nejlépe odpovídá rtům. Tím je určena informace o pozici rtů. Nyní je využito informace o natočení rtů v 3D tak jako v [10] prostoru a základní model rtů je transformován a promítnut do obrazu. Pomocí iterativní metody deformace modelu podle mapy oblastí je určena deformace modelu nejlépe popisující danou pózu. Protože známe natočení modelu a i jeho tvar můžeme ho promítnout do jakékoliv pozice v 3D prostoru. Celý postup je znázorněn na obrázku 14. Výstupem metody tedy můře být skutečný tvar rtů z čelního pohledu, ale i pohyb rtů v z-ové souřadnici (tento pohyb během řeči projevuje při vyslovování č,š,ř,ů). Většina experimentů AV rozpoznávání je však prováděna na datech kde je pohyb hlavy řečníka velmi omezen a proto lze použít pouze 2D model rtů.

2.3

Následné zpracování

Obrázek 15. Schéma extrakce 3 druhů příznaků následované interpolací příznaků na 100 Hz, normalizací přes celou promluvu, získáním dynamické informace o řeči řetězením vektorů a úpravou příznakového vektoru pomocí LDA a MLLT, převzato z [69]

Jestliže pracujeme s audio-vizuálním rozpoznáváním řeči, pak se musíme zajímat i o akustické příznaky, které jsou extrahovány z akustického záznamu řeči. Nejčastějším typem příznaků jsou Melovské kepstrální koeficienty (MFCC) nebo lineární prediktivní kepstrální koeficienty (LPCC). Akustické příznaky jsou obvykle získávány s frekvencí 100 Hz [65][61][60]. Oproti tomu vizuální - 19 -

Stav poznání příznaky jsou závislé na snímací frekvenci video kamery, která je obvykle 25 nebo 30 Hz. Jestliže kamera pracuje v prokládaném režimu, pak můžeme pracovat s frekvencí dvojnásobnou, samozřejmě na úkor polovičního rozlišení obrazu. Maximální možná frekvence je tedy 60Hz. Většina aplikací audio-vizuálního ASR požaduje, aby pro každý akustický vektor existoval vizuální vektor synchronizovaný s akustickým pro všechny vzorky promluvy. Frekvenci je možné vyrovnat buď interpolací vizuálních příznaků na frekvenci akustických příznaků, nebo opakováním snímků ještě před jejich zpracováním. Vyrovnání frekvence snížením frekvence akustických příznaků se nepoužívá. Dalším krokem úpravy příznakových vektorů je normalizace vizuálních příznaků. V případě klasického audio ASR se často používá normalizace pomocí střední kepstrální hodnoty, což vede ke zvýšení robustnosti v případě závislosti na řečníkovi nebo pozadí [94]. Použití jednoduché normalizace pomocí střední hodnoty příznakového vektoru přes celou promluvu je demonstrováno v pracích [68],[66] pro vizuální ASR. Provede se výpočet střední hodnoty příznaků přes celou zpracovanou promluvu a tímto středem se normalizují všechny příznakové vektory. Zvýší se tím nezávislost na řečníkovi a prostředí. Další možností, kterou použil Vanegas [88] je lineární kompenzace intenzity každého snímku ještě před extrakcí obrazových příznaků. Jednou z nejdůležitějších částí po zpracování příznakových vektorů je zachycení dynamické informace vizuální složky řeči. Informace o dynamice řeči pomáhá člověku při rozpoznávání z vizuální složky řeči [75]. Dynamické příznaky zachycují specifický sled pohybů rtů pro jednotlivé řečové jednotky a proto by měly být méně závislé na řečníkovi než například geometrické příznaky. Získávání dynamických příznaků je opět odvozeno z audio ASR. Jednou z možností je rozšíření příznakového vektoru o jeho první a druhou derivaci [94]. Nebo můžeme sestavit nový příznakový vektor x t tak, že pospojujeme J příznakových vektorů yt podle (18) , kde t je čas, J je šířka okénka, y(t) příznakový vektor v čase t a x(t) nový příznakový vektor.

[

x t = y tT−( J / 2 ) ,..., y tT ,..., y tT+ (J / 2 )−1

]

(18)

Na tento nový příznakový vektor použijeme jednu z metod redukce dimenze, nejčastěji LDA [61],[66]. Posledním krokem před kombinací audio a vizuálních příznaků může být MLLT (Maximum likelihood linear transform). Metoda MLLT se snaží nalézt matici PMLLT pro rotaci dat, která maximalizuje pravděpodobnost pozorování dat v prostoru původních příznaků, za předpokladu diagonálních kovariancí dat v transformovaném prostoru. Matici rotace získáme řešením  PMLLT = arg max det (P )L det diag P ∑ (c ) P T P  c∈C

∏( ( (

)))

−

Lc 2

  

(19)

, kde jsou definovány třídy C do kterých chceme klasifikovat a trénovací množina vektorů xl , kde l = 1..L. Každý z těchto vektorů je přiřazen do jedné z C tříd c(l) ∈ C. Proměnná Σ kovarianci dané třídy c a LC =

∑

L

l =1

δ c (l ),c kde δ i , j je 1 jestliže i=j jinak 0. Metoda MLLT společně s metodou LDA

provádí transformaci dat ve smyslu vylepšení klasifikace a pravděpodobnostního modelování dat. Proces MLLT lze použít v jakékoliv část systému ASR.

2.4

Rozpoznávání

Využití vizuální informace o řeči lze rozdělit na dva základní přístupy. Tyto přístupy se odlišují jak dalším zpracováním informace, tak i oblastí použití. V prvním případě použijeme pro úlohu ASR pouze vizuální řečovou informaci. V druhém případě využijeme jak vizuální tak akustickou složku řeči.

- 20 -

Stav poznání

Rozpoznávání řeči pouze z vizuální informace je úlohou jednodušší. Tento postup nevyžaduje další zpracování příznakového vektoru. Jak je ovšem zřejmé, vizuální složka řeči obsahuje méně informací o promluvě než složka akustická. Proto se tato metoda zaměřuje většinou na rozpoznávání izolovaných slov, neboť při rozpoznávání plynulé řeči je dosahováno špatných výsledků. Metodu rozpoznávání řeči pouze z vizuální informace je však třeba použít všude tam, kde dochází k drastickému poškození akustického signálu vlivem šumu. Rozpoznávání řeči kombinací akustické a vizuální informace dosahuje dobrých výsledků i v úlohách rozpoznávání spojité řeči nezávislém na řečníkovi. Ovšem jakmile chceme kombinovat dva různé druhy informace musíme použít další metody pro zpracování a kombinaci akustického a vizuálního příznakového vektoru.

2.4.1 Vizuální rozpoznávání Problémem vizuálního ASR obecně je volba základních řečových jednotek (řečových tříd, do kterých budeme klasifikovat) a volba metody rozpoznávání. I zde se vychází z poznatků získaných pro úlohu audio ASR. Pro americkou angličtinu existuje 42 základních jednotek (fonémů) [19]. Tyto jednotky byly odvozeny tak, aby postihovaly specifické pozice artikulačních orgánů řečového traktu. Ovšem pouze část těchto orgánů je viditelná a právě ty poskytují vizuální informaci o řeči. Z toho vyplývá, že vizuálních řečových jednotek by mělo být méně než akustických. Tyto základní řečové jednotky jsou nazývány vizémy [82],[8]. Pro získávání vizémů a jejich mapování na fonémy se můžeme držet prací pojednávajících o lidském odezírání ze rtů [36], nebo se můžeme dát cestou statistického shlukování jako Rogozan [74]. Rogozan provedl rozdělení fonémů na vizémy tak, že využil transkripci audio-vizuální trénovací množiny. Pomocí Viterbiho algoritmu stanovil akustické hranice fonémů a ručně je poupravil. Poté byly vzaty v úvahu pouze středy jednotlivých fonémů a jejich okolí o velikosti 140 ms. Tento krok byl proveden proto, že vizuální a akustická složka řeči mohou být asynchronní. Velikost okolí 140 ms modeluje i částečné koartikulace mezi jednotlivými vizémy. Informace o jednotkách byla vzata jako vstup samo-organizující se sítě, která byla trénována pomocí Kohonenova algoritmu. Bylo definováno, že vizém nesmí osahovat zároveň souhlásku i samohlásku. Výsledné rozdělení do vizémových třídy vidíme na obrázku 16.

Obrázek 16 Strom zaměnitelností pro souhlásky a samohlásky, převzato z [61]

Třináct tříd je nejčastěji používaný počet vizémových tříd pro vizuální ASR [61]. Do těchto tříd se přiřazují jednotlivé hlásky právě podle podobnosti jejich vizuální odezvy. Volba řečových jednotek samozřejmě závisí na úloze pro kterou jsou vybírány. Jestliže budeme provádět rozpoznávání izolovaných slov nad malých slovníkem, pak bude možné jako vizémy použít celá tato slova nebo jejich časti. Avšak pro rozpoznávání spojité řeči bude zapotřebí využít kontextově závislých jednotek (např. trivizémů) vycházejících ze základních vizémových tříd.

- 21 -

Stav poznání Nejpoužívanějším klasifikátorem pro ASR jsou skryté Markovské modely (angl. hidden Markov model, HMM) a jejich nejrůznější modifikace [79],[84]. Mezi další možné přístupy patří použití dynamického borcení času (angl. dynamic time warping, DTW) [63], neuronových sítí (angl. artificial neuron network, ANN) [44], kombinace ANN a DTW [7] nebo kombinace ANN a HMM [31]. Protože většina klasifikátorů je koncipována na základě HMM, bude zde uveden popis typického single-stream HMM. Sekvenci vizuálních nebo akustických příznaků představuje ots s dimenzí ds, kde s = A nebo V podle typu příznaků. Emisní pravděpodobnosti jsou modelovány pomocí Gausovských směsí daných Ksc

[

] ∑w

Pr ots | c =

sck ℵDs

(o ; m s t

sck , s sck

)

(20)

k =1

pro všechny třídy c∈C, zatímco pravděpodobnost přechodů mezi jednotlivými třídami je dána jako rs = [Pr [c ′' c ′′] , c ′, c ′′ ∈ C ]T (21) Vektor parametrů HMM představuje

[

],

[

T

T bs =  wsck , m sck , s Tsck 

] , k = 1,..., K

T

 (22) sc , c ∈ C   V rovnicích (20), (21), (22) představuje parametr c kontextově závislé stavy, wsck vyjadřují váhy a s = rsT , bsT

kde

T

jednotlivých směsí, K sc představuje počet směsí a ℵD (o; m, s ) je normální rozložení se střední hodnotou m a diagonální kovarianční maticí s. Pro zajištění maximální pravděpodobnosti (22) se používá EM algoritmus. EM algoritmus provádí reestimaci parametrů HMM vektoru a s( j +1) = arg max Q a sj , a | O s (23)

(

)

a

kde O s představuje pozorování na trénovacích datech o L promluvách Ols , l=1,…,L. Alternativou EM algoritmu pro natrénování parametrů HMM může být metoda diskriminativního trénování. Rozpoznávání je prováděno pomocí Viterbiho algoritmu, který počítá nejpravděpodobnější sekvenci stavů, která generuje dané pozorování.

2.4.2 Audio-vizuální rozpoznávání Audio-vizuální rozpoznávání se řídí obdobnými pravidly a předpoklady jako vizuální rozpoznávání řeči. Pro klasifikaci se používají obdobné metody (HMM, AAN), obdobná je i volba základních řečových jednotek. Akustické příznaky většinou představují MFCC nebo LPCC. Vizuální příznaky jsou dodány jednou z metod extrakce vizuální příznaků. Největším problémem je jak sloučit informace z dvou rozdílných zdrojů. Oba zdroje se totiž liší jak v řečových jednotkách, tak v rozsahu jednotlivých příznaků. Dalším velmi významným úkolem rozpoznávání je adaptace rozpoznávače na daného řečníka. Tato technika přináší zlepšení výsledků rozpoznávání, neboť stejně jako v úloze akustického ASR je vizuální informace pro stejné promluvy u různých řečníků odlišná. Většina prací se snaží vytvořit klasifikátor co nejméně závislý na řečníkovi, ovšem adaptace vždy poskytuje zlepšení. Integrace dvou odlišných typů informace pro klasifikaci je obecným problémem. Existuje mnoho možností jak spojení dvou různých informací provést [7],[68],[74],[86],[21],[61],[36]. Jednotlivé techniky se odlišují jak v samotném designu, tak i v použité terminologii. Některé z metod [86] vycházejí z modelu vnímání řeči člověkem. Existuje základní rozdělení kombinace informačních zdrojů na kombinaci příznaků FF a kombinaci rozhodnutí DF. V prvním případě dochází Typ kombinace Kombinace příznaků:

Audio-vizuální příznaky 1. pospojované příznaky

- 22 -

Úroveň klasifikace Sub-fonetická (brzká)

Stav poznání Jeden klasifikátor, FF

2. transformované příznaky 3. změněné audio příznaky

Kombinace rozhodnutí: Dva klasifikátory, DF

1. sub-fonetická (brzká) 2. fonetická, slovní (střední) 3. promluvová (pozdní)

Oddělené příznaky

Tabulka 1. Typy kombinace příznaků a jejich další možnosti

k pospojování, nebo určité transformaci, audio a vizuálních příznaků do jednoho příznakového vektoru, který je poté použit pro klasifikaci jedním klasifikátorem jako v případě vizuálního rozpoznávání [86],[65]. V druhém případě jsou pro rozpoznávání použity dva klasifikátory pro každý příznakový vektor jeden. Rozhodnutí těchto klasifikátorů se poté kombinuje do jednoho. Nejčastěji se obě rozhodnutí kombinují pomocí lineární kombinace pravděpodobnosti pozorování pro dané třídy každého z klasifikátorů s využitím vah, které představují určitou informaci o zpracovávané promluvě [68],[73],[21],[61]. Pro každou ze dvou základních kombinačních technik existuje několik možností provedení závisejících na tom, jak chceme kombinovat vizuální a akustickou část informace. 2.4.2.1 Kombinace příznaků Kombinace příznaků je jednodušším způsobem kombinace dvou informačních zdrojů. K realizaci je zapotřebí pouze jeden klasifikátor a jeden příznakový vektor, který vznikne sloučením akustického a vizuálního vektoru. Tento přístup předpokládá že akustický i vizuální projev řeči probíhá zcela synchronně. To znamená, že jednotlivé řečové jednotky si vzájemně odpovídají délkou i umístěním v čase. Jestliže máme k dispozici nějakou informaci o degradaci informací v jednotlivých kanálech, pak můžeme využít přístup vážení příznakových vektorů [86],[36]. Pospojováním obou vektorů vznikne nový vektor, jehož dimenze je součet dimenzí jednotlivých vektorů. Pro zmenšení dimenze tohoto nového vektoru lze použít metody extrakce příznaků pomocí metod snížení dimenze příznakového vektoru (angl. Hierarchical discriminiat feature fusion, HiLDA) [69], nebo změnu audio příznaků pomocí audio-vizuálních příznaků (angl. Audio feature enhancement) [3],[24].

Obrázek 17. Schéma kombinace informací pomocí kombinací příznaků. Pospojování příznaků - AV pospojování, Hierarchická lineární diskriminační extrakce – AV HiLDA, změna audio příznaků AV enhancement, převzato z [69]

2.4.2.1.1

Pospojování příznaků

Máme-li dány vektory otA a oVt o dimenzích d A a dV , představující příznakové vektory pro audio a video signál pak pospojováním získáme audio-vizuální vektor

[

]

T

(24) s dimenzí d c = d A + dV . Proces generování sekvencí těchto příznakových vektorů je modelován pomocí single-stream HMM s emisní pravděpodobností otAV = w AotA , wV oVt

- 23 -

∈ R dc

Stav poznání

[

Kc

] ∑w

Pr otAV | c =

ck ℵD

(o

AV t

; mck , s ck

)

(25)

k =1

pro všechny třídy c∈C. Parametry w A a wV představují váhy pro jednotlivé příznakové vektory pomocí nichž lze nastavit vliv video a audio kanálu na výsledné rozpoznávání. Váhy jsou nastavovány v rozmezí 0-1 kde 0 znamená žádný vliv. Tento postup použije jestliže víme, že audio signál je degradován okolním šumem a zhoršil by tak výsledky rozpoznávání. 2.4.2.1.2

Transformace příznaků

Jak je ukázáno v práci [69], vizuální příznaky mají menší schopnost klasifikace řeči než akustické příznaky, mimo případ vlivu šumu na audio záznam. Proto můžeme očekávat, že snížení dimenze pospojovaného příznakového vektoru povede ke stejným nebo lepším výsledkům rozpoznávání než pro použití vektoru vysoké dimenze. Pro snížení dimenze je v článku [69] použita metoda LDA, která provede transformaci z původního prostoru do prostoru nižší dimenze (počet tříd do kterých budeme klasifikovat). Tato metoda je následována metodou MLLT pro vylepšení vlastností jednotlivých tříd pro rozpoznávání. Kombinace těchto metod je nazývána HiLDA. Nové příznaky získáme použitím (26) AV AV AV ötHiLDA = PMLLT PLDA ot (26) AV AV kde matice PMLLT a PLDA jsou získány z trénovací množiny označených dat.

2.4.2.1.3

Zvýhodnění audio příznaků

Tento přístup vychází z předpokladu, že vizuální a akustická informace jsou vzájemně korelovány, protože jsou produkovány stejným hlasovým ústrojím. Proto jestliže máme k dispozici poškozený akustický signál a nepoškozený vizuální signál, lze pomocí vizuálního [3] nebo audiovizuálního [24] signálu opravit poškozenou akustickou informaci. Výsledný příznakový vektor otAEnh o dimenzi původního akustického příznakového vektoru lze získat pomocí lineární transformace AV otAEnh = PENH otAV (27) AV s dimenzí d c * d A získáme tak, že se snažíme najít vztah otAEnh ≈ otAclean podle daného Matici PENH

měření vzdálenosti. Vektor otAclean představuje nepoškozený akustický příznakový vektor. Matice AV PENH je určena tak, aby původní poškozená data transformovala na otAclean .

2.4.2.2 Kombinace rozhodnutí V předchozí sekci jsme se zabývali kombinací informace na úrovni pospojování příznaků. Tento přístup vychází z toho, že oba signály (akustický a vizuální) jsou vždy synchronní. Ukazuje se však, že vztah mezi oběma signály se velmi mění v závislosti na promlouvané větě, akustickém šumu pozadí, degradaci video záznamu a charakteristikách jednotlivých řečníků. K modelování těchto změn se používá kombinace informace pomocí kombinace rozhodnutí, které nám umožňuje postihnout asynchronnost obou signálů.

- 24 -

Stav poznání

Obrázek 18. Schéma kombinace rozhodnutí, převzato z

Metoda kombinace rozhodnutí opět vychází z poznatků z audio ASR, kde se tento postup používá např. ke kombinaci příznaků z bank filtrů. Technika kombinace rozhodnutí se může lišit v několika bodech: použitá architektura (paralelní, kaskádová, hierarchická kombinace), trénování (statické, adaptivní), množství zpracovávaných hypotéz (všechny kombinace, n-nejlepších). Nejpoužívanější architekturu představuje použití paralelní architektury s adaptivním nastavováním vah a N-nejlepšími hypotézami. Tento postup odvozuje nejpravděpodobnější sekvenci slov pomocí lineární kombinace pravděpodobností pro dva oddělené HMM klasifikátory použitím příslušných vah, viz obrázek 18 [67],[86],[21],[61],[31]. Tento postup je někdy nazýván oddělenou identifikací (angl. separate identification, SI). Přístup DF je možné rozdělit do tří základních podoblastí v závislosti na tom na jakém stupni rozpoznávání je informace kombinována viz tabulka 1. Jsou to „brzká integrace“ (angl. early integration, EI) [67],[21],[58],[60], „střední integrace“ (angl. intermediate integration, II) [87],[61],[26] a „pozdní integrace“ (angl. late integration, LI) [84],[17],[61]. Pro kombinaci rozhodnutí existují i přístupy, které místo HMM používají neuronových sítí. Pracují na velice podobném principu. Pro každý informační proud existuje jedna neuronová síť, která nám poskytne informaci o zařazení do příslušné třídy a další neuronová síť provede spojení obou rozhodnutí. Třídy do kterých je klasifikován mezivýsledek, mohou být samozřejmě odlišné [7],[16],[20],[56]. Jinou možností je použití kombinace neuronových sítí a HMM [74] nebo použití master-slave HMM [2], kde vrstva master poskytuje částečnou informaci o promluvě získanou z vizuální složky pro vrstvu slave a omezuje tím prostor tříd, do kterých lze klasifikovat. V případě DF stejně jako v případě FF nemusí informační proudy představovat pouze akustická a vizuální složka řeči. Můžeme je různě kombinovat a použít tak např. pospojované audio-vizuální příznaky a audio příznaky jako dva informační zdroje [73]. 2.4.2.2.1

Brzká integrace : Stavově synchronní multi-stream HMM

Brzká integrace dvou informačních zdrojů představuje kombinaci rozhodnutí na úrovni stavů jednotlivých modelů. Minimalizuje se tím možnost postihnutí asynchronnosti mezi akustickým a vizuálním signálem. Pro modelování se používá dvou proudové HMM kde výsledná pravděpodobnost je dána součinem pravděpodobností pro jednotlivé komponenty, které jsou ovlivněny pomocí příslušných vah. Výslednou pravděpodobnost stavu dvouproudového HMM pro pozorování otAV získáme z (28). Pr

[

otAV

 K sc c =  wsck ℵDs ots ; m sck , s sck s∈{A,V }   k =1

] ∏ ∑

(

  

)

λsct

(28)

V rovnici (28) přestavuje λ sct váhy, jejichž hodnota je kladná a jsou funkcí typu informace s, HMM stavu c ∈ C a času t. Právě použitím těchto vah lze postihnout změnu vlivu akustické a vizuální složky v průběhu promluvy či pro jednotlivé třídy na úspěšnost rozpoznávání. Váhy se často volí jako λ Act + λVct = 1. Pro získání všech parametrů modelů HMM je třeba určit hodnoty a AV ze vztahu (22) a váhy. Pro řešení tohoto problému se používá diskriminační metody trénování [67]. - 25 -

Stav poznání 2.4.2.2.2

Střední integrace : Product HMM

Je známo [6], že pro některé případy aktivita viditelné části řečového ustrojí předchází akustický signál až o 120 ms, což je skoro průměrné trvání fonému. Použití postupu střední integrace nám dovoluje modelovat asynchronnost uvnitř modelu a synchronní chování na hranicích jednotlivých modelů. Pravděpodobnost modelu je dána jako lineární kombinace pravděpodobností na hranici modelu pomocí příslušných vah podobně jako (28) jak je vidět na obrázku 18.

Obrázek 19. Model HMM pro střední integraci. Vlevo – více proudové HMM synchronní pro jednotlivé třídy a asynchronní pro jednotlivé stavy. Vpravo – odpovídající smíšené HMM, převzato z

Rozpoznávání založené na střední integraci zajišťuje výpočet nejlepší posloupnosti stavů pro akustický a vizuální proud uvnitř modelu. Pro zjednodušení výpočtu může být takovýto HMM model reprezentován pomocí smíšeného HMM. Smíšený model je složen ze stavů c ∈ C × C kde výslednou pravděpodobnost modelu vypočítáme jako Pr

[

otAV

 K scs  w sc k ℵDs ots ; m sc k , s sc k c = s s s s∈{A,V }   k =1

] ∏ ∑

(

   

)

λsc s t

(29)

kde c = [c A , cV ]T . Emisní pravděpodobnosti pro jednotlivé stavy získáme z původního modelu tak, že pravděpodobnosti pro jednotlivé stavy rozložíme do sloupců a řádků tak, jak je to znázorněno na obrázku 19. Parametry modelu mohou být trénovány buď odděleně, pro audio a vizuální, nebo společně. Váhy pro jednotlivé proudy musejí být trénovány odděleně. 2.4.2.2.3

Pozdní integrace : Diskriminační kombinační model

Nejvíce používaným typem kombinace rozhodnutí je pozdní kombinace. V případě malých slovníků nebo rozpoznávání izolovaných slov je problém kombinace řešen výpočtem kombinované pravděpodobnosti pro každý model slova ze slovníku podle akustického a vizuálního pozorovaní [84],[17]. Takovýto výpočet pravděpodobností pro všechny prvky slovníku nelze provést pro úlohu rozpoznávání pospojovaných slov nebo LVCSR, protože zde existuje velmi mnoho možných kombinací. Řešením je omezit výpočet kombinované pravděpodobnosti pouze pro N-nejlepších hypotéz. N-nejlepších hypotéz může představovat výběr z audio ASR, pospojovaného audio-vizuálního vektoru, nebo sjednocení výsledků audio ASR a vizuálního ASR. Pro rozhodnutí je nejprve vypočteno N-nejlepších hypotéz pro dané promluvy {h1 ,...h N } představovaných sekvencí fonémů hi {ci ,1 ,...ci , N i } pro audio HMM a vizuální HMM. Hranice jednotlivých fonémů ci , j označíme

[

]

jako tiza, jč,s , tikonec pro s ∈ {A,V } , kde j = 1,.., N i a i = 1,.., n . Výsledná kombinovaná pravděpodobnost je , j,s vypočítána jako (30).

- 26 -

Stav poznání

Pr[hi ] ≈ PrLM (hi )λLM

Ni

∏ ∏ Pr (o , t ∈ [t { } s t

s∈ A,V

zač konec i , j ,s , ti , j ,s

]c ) i, j

λsci , j

(30)

j =1

PrLM (hi ) představuje pravděpodobnost hypotézy hi danou jazykovým modelem.

2.4.2.3 Nastavování vah Jak bylo uvedeno v předchozích odstavcích váhy λ sct je třeba nastavit z trénovací množiny. Pro zjednodušení jejich trénování se váhy často nastavují konstantní pro všechny stavy jednotlivých tříd či pro všechny třídy. Audio vizuální váhy jsou trénovány tak, aby dané modely co nejlépe postihovaly trénovací množinu. Problém nastává při použití takovéhoto systému na reálná data. Jestliže totiž pracujeme s reálnými daty, pak se může velmi měnit kvalita audio-vizuálního záznamu a tím i množství informace obsažené v akustické nebo vizuální složce řeči. Jestliže tedy používáme systém s konstantními váhami, bude úspěšnost rozpoznávání velmi kolísat s měnící se kvalitou záznamu. Ke kompenzaci této závislosti se používá metoda odvození vah v závislosti na kvalitě signálu. Existují dvě základní metody: zjistit kvalitu signálu a poté přepočítat váhy získané z trénovací množiny, nebo nalézt funkční závislost mezi kvalitou signálu a hodnotou vah. V prvním případě musí být nalezeny hodnoty vah z trénovací množiny nebo z held-out dat. Řešení této úlohy je velmi složité a provádí se pomocí metody diskriminačního trénování. Jestliže problém omezíme a používáme globální váhy stejné pro všechny třídy, pak se řešení redukuje na jedno dimenzionální optimalizaci a může být použita metoda „simple grid search“ [25]. Pro natrénování vah rozdílných pro jednotlivé třídy se používá „downhill simplex method“ [61]. Jestliže chceme postihnout kvalitu jednotlivých informačních zdrojů musíme postihnout závislost vah na této kvalitě. Nejvíce rozšířenou metodou je odvození vah z kvality audio kanálu a to v závislosti na hodnotě poměru signál-šum (angl. signal-to-noise ratio, SNR). Předpokládá se znalost SNR pro každou promluvu, nebo je tato hodnota odvozena z audio kanálu [17]. Poté jsou upraveny váhy pro celou tuto promluvu. Techniky nastavení vah podle audio kanálu nepostihují možnost degradace vizuální složky řeči, která může vzniknout při záznamu či při kompresi dat. Modelování této závislosti je poměrně obtížné neboť metoda přímého zjištění degradace obrazu neexistuje. Neti [61] používá měření entropie a odchylky výsledků audio a vizuálního rozpoznávání jako důvěryhodnosti audio a vizuálního rozpoznávače.

2.4.3 Adaptace na řečníka Adaptace na řečníka je velmi často využívána v klasických systémech audio ASR pro vylepšení nezávislosti systému na řečníkovi, jestliže je k dispozici malá množina dat o promluvě daného řečníka. V případě audio-vizuálního ASR je tento problém velmi důležitý, neboť audio-vizuální korpusy jsou často nevyhovující a jejich záznam je drahý. Základní princip metody je v tom, že máme audio-vizuální data potřebná k adaptaci a známé řečníkově nezávislé modely HMM, které se snažíme upravit podle charakteristik získaných z dat tak, aby nové HMM modely lépe postihovaly daného řečníka. Pro adaptaci na řečníky byly vyvinuty dvě základní metody. Metoda „maximum likelihood linear regresion“ (MLLR) a „maximum-a-posteriori“ (MAP). Metoda MLLR pracuje na principu transformace středních hodnot HMM modelů, ovšem kovarianční matice, váhy směsí a pravděpodobnosti přechodů zůstávají stejné. Metoda pracuje pouze s malým množstvím dat o řečníkovi (rapid adaptation). Metoda MAP pak mění jak střední hodnoty, tak hodnoty přechodových pravděpodobností. Nejčastěji se používá kombinace obou metod MLLR a MAP. Tyto metody jsou používány jak v případech kombinace příznaků [65], tak v kombinaci rozhodnutí [70]. Adaptace na řečníka může být provedena již na úrovni po zpracování příznaků a to úpravou matic pro LDA a MLLT a v případě použití kombinace příznaků použitím HiLDA mechanizmu [65].

- 27 -

Stav poznání

2.5

Databáze

Ve světě existuje velmi mnoho korpusů pro audio ASR, které obsahují velké množství řečníků, různé druhy promluv a degradací signálů. V oblasti audio-vizuálního rozpoznává existuje takovýchto korpusů jen velmi málo. Je to způsobeno tím, že oblast audio-vizuálního ASR je poměrně mladá, ale také tím, že vytváření audio vizuálních databází sebou přináší větší problémy při pořizování, skladování a distribuci dat, které se u audio databází nevyskytují. Získávání vizuálních dat s velkým rozlišením, počtem snímků a kvalitou synchronizovaných s audio daty vyžaduje drahý hardware a vyřešení skladování a distribuce. Největším problémem je, že tyto korpusy právě s ohledem na finanční náročnost jejich pořizování vznikají v rámci jednotlivých projektů na jednotlivých univerzitách či u jednotlivých výzkumníků. Takové podmínky negativně ovlivňují kvalitu těchto korpusů. Korpusy nejčastěji obsahují malé množství řečníků, což znemožňuje vyvinout metody spolehlivě fungující pro širokou populaci. Délka promluv je velmi omezená, a to představuje problém nenatrénování statisticky založených modelů či nemožnost odlišit rozdíly mezi jednotlivými přístupy zpracování. V poslední řadě se tyto korpusy používají pro jednoduché úlohy jako je rozpoznávání izolovaných nebo pospojovaných slov s malým slovníkem. Samostatným parametrem databází je variabilita pozadí vizuálního záznamu, změna polohy hlavy řečníka, změna osvětlení scény či přítomnost více osob.

Obrázek 20. Příklady audio-vizuálních databází. Zleva doprava – XM2VTSDB, Huang (infračervená kamera), CUAVE, ViaVoiceTM, převzato z [57],[32],[62],[69]

První databáze použití pro audio-vizuální ASR byla vytvořena Petajanem v roce 1984. Obsahovala 100 izolovaných anglických slov, písmena a číslice, které byly 2-10 opakovány jedním řečníkem při neměnném osvětlení a poloze hlavy řečníka. Velké množství databází se zaměřuje na úlohu rozpoznávání samohlásek (angl. vowels,V), souhlásek (angl. consonants, C) nebo přechody mezi nimi. Například Adjoudani (Adjoudani 1996) představil korpus s jedním řečníkem a 54 promluvami V1CV2CV1 pro Francouzštinu. Su [84] vytvořil jedno-řečníkový korpus aCa pro rozpoznávání 22 anglických souhlásek. Tessier [86] zkompletoval databázi pro rozpoznávání francouzských samohlásek pro jednoho řečníka. Czap [18] provádí rozpoznávání maďarských souhlásek a samohlásek na korpusu s jedním řečníkem a V1CV1, C1VC1 slovech. Dalším typem databází jsou databáze pro rozpoznávání izolovaných či pospojovaných číslic. Databáze Tulip 1 [59] obsahuje nahrávky 12 řečníků promlouvajících číslice 1-4. Databáze M2VTS sestává z číslic 0-9 pro 37 řečníků převážně ve francouzštině [64]. Rozšířená verze této databáze je XM2VTS obsahující promluvy od 295 řečníků kompletně v anglickém jazyce [57]. Dalším korpusem obsahujícím trojice číslic od jednoho řečníka je NATO RSG10. Nejnovější databáze obsahující velké množství řečníků a pospojované číslice byly vytvořeny na Univerzitě v Illinois (100 řečníků) a na Clemsonské univerzitě (36 řečníků, databáze CUAVE) [62]. Rozpoznávání izolovaných či pospojovaných písmen představuje další typ databází. Bregler [7] sestavil databázi německých pospojovaných písmen od šesti řečníků. Krone [44] pracoval na databázi s jedním řečníkem a izolovanými německými písmeny. Jedno nebo dvou řečníkové promluvy

- 28 -

Stav poznání pospojovaných francouzských písmen se objevují v pracích [1],[2],[74]. V pracích [52],[17] se objevuje databáze 10 řečníků a izolovaných anglických písmen. Pospojovaná anglická písmena od 49 řečníků obsahuje práce [68]. Posledním typem rozpoznávání izolovaných jednotek je rozpoznávání izolovaných slov. Silsbee [79] sestavil databázi s jedním řečníkem a pěti sty izolovanými slovy. Izolovaná slova od jednoho řečníka z oblasti ovládání rádia obsahuje databáze v práci [37]. Databáze v článku [36] obsahuje 10 řečníků a izolovaná slova se slovníkem 78 slov. Jedno-řečníková databáze japonských izolovaných slov je použita v [60]. S databází německých izolovaných slov od jednoho řečníka pracuje Kober [40]. Pro rozpoznávání spojité řeči existuje pouze několik málo databází, které jsou omezeny použitím malého slovníku. Databáze TIMIT obsahuje nahrávky od jednoho řečníka, který promlouvá třikrát 150 vět (Goldschen 1996). Chan [34] vytvořil databázi s jedním řečníkem a 400 větami obsahujícími vojenské příkazy. Rozšířená verze této databáze pro více řečníků a slovníkem o 101 slovech je popsána v práci [38]. Další možné dělení audio-vizuálních databází představuje pohled na podmínky video záznamu. Většina prací používá nahrávky v laboratorním prostředí s neměnnou polohou hlavy, kdy je zabírán právě obličej řečníka či pouze rty řečníka při neměnném osvětlení a pozadí scény [6],[59]. Významným kritériem vizuálních dat je zastoupení různých řečníků (barva pleti, brýle, vousy, vlasy) a podpůrná informace, kterou lze využít při rozpoznávání či vyhledávání rtů. Databáze vytvořená Pattersonem [62] představuje řečníky různé barvy pleti, více řečníků v jednom záznamu, více pozadí pro stejné řečníky a promluvy a ručně vybrané vzorky lidské kůže či rtů. Databáze XM2VTSDB [57] obsahuje nahrávky řečníků pro různé pozice hlavy. Cosi [16] používá databázi obsahující vizuální nahrávky ze dvou různých kamer pro získání prostorové informace. Databáze popsaná v článku [95] představuje nahrávky promluv řidiče automobilu při změnách polohy hlavy a osvětlení. Chan [33] používá kameru umístěnou pevně na hlavě řečníka snímající pouze oblast rtů řečníka. Databáze vytvořená Yoshinagou [93] obsahuje promluvy řečníka snímané z bočního pohledu a databáze z práce [32] používá k záznamu kameru zachycující infračervené záření umístěnou pevně na hlavě řečníka. Nejvýznamnější a nejrozsáhlejší databází je databáze IBM ViaVoiceTM. Tato databáze je určena pro rozpoznávání spojité řeči nezávislém na řečníkovi. Databáze představuje záznam celé tváře 290 řečníků z čelního pohledu, kteří promlouvají věty z ViaVoiceTM skriptu, což představuje spojitě čtenou řeč. Video záznam má rozlišení 704*480 pixelů, prokládaně s frekvencí 30 Hz (poloviční počet řádků pro 60 Hz). Barevný záznam je uložen s kompresí Mpeg2 s relativně velkou kompresí. Audio záznam synchronní z video záznamem má parametry 16 Khz a 19.5 SNR. Délka záznamu je 50 hodin a obsahuje 24 325 přepsaných vět se slovníkem o velikosti 10 403 slov. Doplněk databáze představují nahrávky 50 řečníků promlouvajících pospojované číslice. Tato část obsahuje 6689 promluv sedmi či deseti pospojovaných číslic.

2.6 Výsledky metod na různých úlohách a srovnávací výsledky parametrizací Úspěšnost metod použitých pro audio-vizuální rozpoznávání řeči lze porovnat pomocí dosažených výsledků. Jak bylo uvedeno v 2.5, existuje jen velmi málo kvalitních korpusů pro audio-vizuální ASR. Většina prací vytváří databáze specializované pouze na ověření úspěšnosti vyvíjeného přístupu. Jen velmi málo prací se zabývá porovnáním jednotlivých metod výběru a pospojování příznaků na stejném korpusu. Když už je korpus použit v různých pracích, pak jsou často provedeny odlišné typy experimentů. To vede k velmi složitému porovnávání úspěšnosti jednotlivých přístupů. V následujících podkapitolách budou uvedeny výsledky odlišných přístupů na odlišných typech

- 29 -

Stav poznání databází jak pro vizuální, tak pro audio-vizuální rozpoznávání. Z těchto výsledků je možné určit pro jakou úlohu je možné využít daný postup. Největší prostor pro porovnání přístupů audio-vizuálního ASR poskytuje databáze ViaVoiceTM, proto byla vybrána pro provedení srovnávacích testů během Johns Hopkins summer 2000 workshop. Výsledky jednotlivých testů pro vizuální a audio-vizuální rozpoznávání jsou srovnány v kapitole 2.6.1 a 2.6.2 a byly přejaty z prací [61],[23],[50],[54],[69],[66],[24],[25].

2.6.1 Vizuální ASR Úloha

Poč. řeč.

Klasif.

Příznaky

Výsledky % 28 20.2 44 (WER)

Spec.

Odkazy

Izolovaná slova (78)

10

HMM/10

DCT dyn. Stat+dyn

Porovnání DCT, Haar, Hadamar

[76]

M2VTS

37

HMM/39

[49]

17*10 slov

1

HMM/8

Tvarové

87

Použití fourierových popisovačů

[28]

50

HMM/36

DCT

54.04

Obměna DCT

[45]

1

AAN

DCT

28 (WER)

Obměna DCT

[30]

Tulip1

12

HMM/6

Obrazové +tvarové

90.62

Člověk trén. 95.49 Netrénovaný 89.93

[51]

Izolovaná slova (10)

1

HMM/8

ASM+PCA

94

Modifikace PCA

[37]

M2VTS

37

GMM

Obrazové

90

Obrazové příznaky z tvaru

[89]

Izolovaná písmena (A-J)

1

-

Eigensequence

95

Tulip1

12

HMM/5

DCT

94.8

CVC (54)

1

ANN

Tvarové

81

Tulip1

12

HMM

Low-pass +delta

90.6

Izolovaná slova (22) Spojité číslice (10) 708 promluv

[22]

[46] Normalizace jasu a pozice Popis rtů pomocí elips Porovnání obrazových příznaků

[88] [18] [27]

Tabulka 2. Shrnutí metod V ASR.

2.6.2 Audio-vizuální ASR Úloha

Poč. řeč.

Klasif.

Příznaky

Kombinace

Izolovaná lsova (78)

10

HMM

Tvarové (3), LPCC

FFpospojování

M2VTS

-

HMM/ 3-9

[49], PLP

DF-střední

- 30 -

Výsledky %, čisté/SNR dB /zašuměné A-81 AV-82 / 16 / A-9 AV-37 A-3.4 AV-2.6 / 10 / A-54 AV-

Odkazy [33] [22]

Stav poznání

Izolovaná slova (10)

1

HMM/8

Tvarové, MFDWC

DF-pozdní

Spojité číslice (10)

1

NN

DCT, PLP

DF

Izolovaná písmena

10

HMM/ A4 V9

PCA, MFCC

DF-pozdní

Pospojovaná písmena(3-8)

6

MLP/ HMM

ACM, RASTA PLP

DF-střední

Samohlásky (10)

1

HMM

Tvarové, MFCC

aCa (C-22)

1

HMM

Tvarové, RASTA PLP

HMM/5

Tvarové, MFCC

Pospojované číslice (11)

100

Porovnání 3*DF a FF Porovnání DF a FF Výsledky DF DF-střední

23 (WER) A-100 AV-100 / 6 / A-31 AV92 A-4 AV-4 / 3 / A-31 AV-15 (WER) A-90 AV-87 / 5 / A-52 AV-65 A-11 AV-10.1 / 5 / A-56.1 AV48 (WER)

[28] [30] [48] [6]

-

[86]

A-89 AV-91 / 5 / A-16 AV-33

[84]

A-95.6 AV97.2 / 5 / A24.2 AV-53.3

[38]

Tabulka 3. Výsledky metod A-V ASR. Výsledky rozpoznávání jednotlivých metod jsou uvedeny ve formátu nezašuměná data / podmínky pro zašuměná data / výsledky pro zašuměná data v daných podmínkách.

2.6.3 Experimenty na databázi IBM ViaVoice 2.6.3.1 Popis systému Schéma celého systému je zobrazeno na obrázku 21. Jako vizuální příznaky je možné použít buď obrazové nebo vzhledové příznaky. Jako první krok je provedeno nalezení středu a velikosti rtů ve videozáznamu promluvy řečníka s frekvencí 60 Hz pomocí algoritmu popsaného v článku [77]. Tento postup nalezne normalizovanou oblast ROI o dané velikosti. Poté je proveden výpočet příznaků z této oblasti použitím některé z metod popsané v sekci 2.1.1. Na vybrané příznaky je aplikováno několik metod po zpracování příznaků. Nejprve je provedena interpolace z 60Hz na 100 Hz, poté normalizace podle střední hodnoty, která zlepší robustnost při změnách jasu a umístění rtů. Pomocí metod LDA a MLLT se redukuje počet příznaků a následuje zachycení dynamických příznaků řeči pomocí pospojování 15-ti po sobě jdoucích příznakových vektorů. Opětné použití LDA a MLLT opět sníží počet příznaků vizuálního vektoru oVt a zlepší vlastnosti tříd pro statistické modelování dat. Vzhledové příznaky byly pořizovány pomocí metody AAM s frekvencí 30 Hz ze stejného video záznamu promluvy. Tento příznakový vektor obsahuje 6000 obrazových bodů a 134 bodů popisujících tvar modelu. Použitím PCA je snížena dimenze na 86 a následným použitím po zpracování , stejným jako pro obrazové příznaky, na 41 prvků. Pro akustickou část je použito klasických audio příznaků MFCC extrahovaných s frekvencí 100 Hz. Získaný vektor s dimenzí 24 popisuje statické příznaky. Stejně jako pro vizuální příznaky je použita normalizace podle střední hodnoty a pospojování vektorů pro získání dynamické informace. Použitím LDA a MLLT upravíme vektor otA na dimenzi 60. Získaný vizuální a akustický příznakový vektor je nyní možné libovolně kombinovat pomocí metod popsaných v sekci 2.4.2. Podmínky

Úloha

Normální

LVCSR Číslice

Trénovaní množina poč. čas řeč. 17111 34:55 239 5490 8:01 50

Held-out množina poč. čas řeč. 2277 4:47 25 670 0:58 50

- 31 -

Adaptační množina poč. čas řeč. 855 2:03 26 670 0:58 50

Testovací množina poč. čas řeč. 1038 2:29 26 529 0:46 50

Stav poznání Poškozené

LVCSR Číslice

N/A N/A

N/A N/A

50 80

0:11 0:08

1 1

50 60

0:11 0:06

1 1

Tabulka 4. Audio-vizuální databáze a její rozdělení na jednotlivé části. Části představují trénovací, held-out, adaptační, testovací množiny (vždy je uveden počet promluv, délka trvání celé množiny v hodinách, počet řečníků). Pro úlohu rozpoznávání spojité řeči s velkým slovníkem (LVCSR) a pro úlohu rozpoznávání pospojovaných číslic (Číslice) byla pořízen normální a poškozený záznam. Pro úlohu normální Číslice je množina Held-out a adaptační množina identická. Pro úlohu rozpoznávání z poškozených dat byla z důvodu nedostatku použitelných dat použita metoda adaptace modelů HMM natrénovaných pomocí dat z normální části databáze.

Obrázek 21. Schéma systému audio-vizuálního rozpoznávání použitého pro experimenty s databází ViaVoiceTM, převzato z [69]

Pro srovnávací experimenty byla použita již zmíněná ViaVoiceTM databáze. Tato databáze byla rozdělena na několik částí tak, aby bylo možné natrénovat a přizpůsobit modely jednotlivým podmínkám. Rozdělení databáze je znázorněno v tabulce 4. V případě LVCSR i Číslice je pro výpočet matic pro LDA a MLLT a pro natrénování modelů HMM použita trénovací množina. Část Held-out je použita pro vyladění parametrů vztahujících se k audio vizuální kombinaci a dekódování (nastavení vah pro více proudové HMM a jazykový model. Pro zajištění natrénování modelů HMM je použita testovací množina. Adaptační množina může být použita pro nastavení parametrů HMM nebo celého systému tak, aby postihl charakteristiky jednotlivých řečníků. V případě LVCSR úlohy jsou pro části trénovací, Held-out a testovací použita data od různých řečníků a to dovoluje rozpoznávání nezávislé na řečníkovi. V úloze Číslice jsou pro tyto množiny použita data od všech 50 řečníků, a proto se jedná o úlohu více-řečníkových experimentů. V případě Poškozených nahrávek je délka promluv příliš krátká pro úspěšné natrénování HMM modelů a proto se použijí HMM modely natrénované z dat pro normální úlohy LVCSR a Číslice a poté se provede adaptace použitím adaptační množiny poškozených dat. Aby bylo možné zjistit přínos vizuální složky pro audio-vizuální rozpoznávání řeči v hlučných prostředích, byla data uměle zašuměna použitím přídavného nestálého šumu „bubble“ s proměnným SNR. Výsledky mohou být poté prezentovány pro rozsahy [-1.5,19.5] dB pro LVCSR a [-3.5,15.5] dB pro Číslice. Všechna potřebná trénovaní a výpočty matic se provádí pro daná zašuměná data. Oproti audio složce zůstává vizuální kanál nezašuměn. V praxi se však může vyskytnout velké množství různých druhů degradace jako přídavný šum, rozmazání, snížení frekvence snímání a vysoká

- 32 -

Stav poznání komprese obrazu. Některé práce se snaží určit závislost metod Lipreadingu právě na těchto vlastnostech [68],[90]. Pro ASR experimenty byla použita metoda, kdy je nejprve pomocí IBM research dekodéru (Hark) rozpoznána mřížka (lattice) z HMM natrénovaných IBM a ta je poté modifikována použitím trifónových kontextově nezávislých HMM pro rozdílné typy příznaků použitím HTK. Pro tyto potřeby byly vygenerovány tři skupiny mřížek, které jsou založeny na čistých audio (19.5 dB), zašuměných audio a zašuměných audio-vizuálních (8.5 dB) příznacích získaných pomocí HiLDA kombinace. Pro případ LVCSR je použito úplného slovníku (10 403 slov) a trigramového jazykového modelu. Rozpoznávání pospojovaných číslic používá slovník jedenácti číslic („zero“ až „nine“ včetně „oh“). 2.6.3.2 Výsledky 2.6.3.2.1

Vizuální rozpoznávání

Pro rozpoznávání řeči pouze z vizuální složky byla použita audio mřížka, která byla upravena pomocí HMM modelů natrénovaných pomocí několika druhů vizuálních příznaků. Pro rozpoznávání byla použita kombinace tvarových příznaků (AAM příznaky) s příznakovým vektorem o dimenzi 86 a tři druhy obrazových příznaků s příznakovým vektorem dimenze 24: DCT, PCA a DWT. Na všechny vektory byly aplikovány operace následného zpracování viz obrázek 21. Pro DWT příznaky byl použit Daubechian class wavelet filter. Výsledky rozpoznávání pro úlohu LVCSR jsou znázorněny v tabulce 5. Nejlepších výsledků bylo dosaženo použitím DCT příznaků. Je nutné poznamenat, že výsledky nemohou být reprezentovány pouze jako vizuální rozpoznávání, neboť postup využívá audio rozpoznávání následovaného přepočtem sítě rozpoznaných hypotéz pomocí vizuální složky. Všechny obrazové příznaky mají nižší chybu rozpoznávání (angl. word error rate, WER) (max 59.4%) než použití samotného jazykového modelu pro LM nejlepší cestu (62%). Příznaky AAM dosáhly hodnoty WER 64 % což je více než pro jazykový model a mělo by to být způsobeno pod trénováním modelu pro AAM. Forma Metoda WER Metoda WER DCT 58.1 Akustická MFCC(šum) 55.0 DWT 58.8 Oracle 31.2 Vizuální PCA 59.4 Žádná Anti-Oracle 102.6 AAM 64.0 LM nejlepší cesta 62.0 Forma

Tabulka 5. Porovnání výsledků rozpoznávání pro různé vizuální příznaky pro úlohu LVCSR nezávislého na řečníkovi. Výsledky rozpoznávání jsou uvedeny jako chyba rozpoznávání v %. Pro rozpoznávání je použita modifikovaná mřížka, která byla předem získána pouze pomocí MFCC příznaků získaných ze zašuměných audio dat (8.5 dB SNR). Pro možnost porovnání je uvedena WER pro charakteristické mřížky (Oracle, Anti-oracle, LM nejlepší cesta založené pouze na jazykovém modelu).

Výsledky čistě vizuálního rozpoznávání, kdy bylo provedeno přímé rozpoznávání bez použití přepočtu mřížky jsou samozřejmě mnohem horší. WER pro úlohu LVCSR založené na MLLT adaptaci na řečníka dosahuje hodnoty 89.2 % pro použití DCT příznaků [66]. Použitím vetší oblasti pro ROI a více vektorů pro získání dynamické informace lze dosáhnout zlepšení WER na 82.3 %. Výsledky pro úlohu Číslice jsou však mnohem lepší než pro úlohu LVCSR, neboť tato úloha je řádově jednodušší. Nejlepšího výsledku pro tuto úlohu bylo dosaženo použitím MLLT adaptace na řečníka. Chyba rozpoznávání slov byla poté 16.8 %. 2.6.3.2.2

Audio-vizuální rozpoznávání

Všechny experimenty pro audio-vizuální ASR používají systém popsaný v sekci 2.6.3.1 s DCT vizuálními příznaky. Pro určení úspěšnosti audio-vizuálního rozpoznávání byly provedeny dvě sady testů. První pracuje pouze s dvěma druhy audio signálu, a to s čitým audio (19.5 dB SNR) a zašuměným (8.5 dB SNR). Pro čistá data byl použit přístup přepočítání mřížky vygenerované na

- 33 -

Stav poznání základě čistých akustických dat. Pro případ zašuměných dat byla použita mřížka určená z HiLDA příznaků. Výsledky jednotlivých přístupů jsou shrnuty v tabulce 6. Všechny metody využití vizuální informace dosahují lepších výsledků v případě zašuměných dat než samotné audio ASR (Audio-48.1 %, nejhorší AV-40.0 %). V případě rozpoznávání čistých dat došlo ke zlepšení pouze u 4 metod kombinace informace. V případě pospojování vektorů došlo ke zhoršení ze 14.44 % u audio rozpoznávání na 16 %. Použití kombinace rozhodnutí s kombinovaným HMM (AV-MS-PROD) se společně trénovanými audio-vizuálními komponenty vylepšilo rozpoznávání na 14.19 %. Použití kombinace rozhodnutí pomocí více proudového HMM, kde se váhy získávaly pomocí metody průměrného zastoupení hlasu v každé promluvě (AV-MS-UTTER) dosáhlo 13.47 % WER. Metodu pozdní integrace představuje metoda (AV-DMC) s hodnotou 13.65 % WER. Jestliže porovnáme přístupy kombinace příznaků a kombinace rozhodnutí, pak nejlepší výsledek FF je horší než nejlepší výsledek DF. Metoda Bez šumu Zašuměné Metoda Bez šumu Zašuměné AUDIO 14.44 48.10 AV-MS-joint(DF) 14.62 36.61. AV-pospoj(FF) 16.00 40.00 AV-MS-Sep(DF) 14.92 38.38 AV-HiLDA(FF) 13.84 36.99 AV-MS-PROD(DF) 14.19 35.21 AV-DMC (DF) 13.65 -----AV-MS-UTTER(DF) 13.47 35.27 Tabulka 6. Výsledky audio-vizuálního rozpoznávání pro úlohu LVCSR pro různé metody kombinace informace.

Druhý typ experimentů byl proveden pro plné rozpoznávání pro jednotlivé přístupy kombinace informace (není použita předem rozpoznaná mřížka) pro úlohu LVCSR a Číslice. Pro tento experiment bylo použito několik stupňů zašuměného signálu tak jak to popisuje sekce 2.6.3.1 Všechny tři metody kombinace příznaků jsou porovnány s metodou kombinace rozhodnutí, kterou reprezentuje metoda AV-MS-joint. Výsledky experimentů jsou zobrazeny na obrázku 22. Z grafů je zřejmé, že použití HiLDA kombinace příznaků je lepší než použití pospojování příznaků či audio-enhancement. Pro případ čistého audia je WER pro HiLDA 11.59 % oproti pospojován příznaků 12.76 %. WER pro audio rozpoznávání je v tomto případě 12.37 %. V případě zašuměných dat (-1.5 dB SNR) jsou výsledky pro HiLDA 48.63 %, audio 92.16 %, pospojování 50.76 % a audio-enh. 63.45 %. Podobné výsledky jsou prezentovány i pro úlohu Číslice. Při porovnání výsledků rozpoznávání FF a DF vychází lépe metoda kombinace rozhodnutí, kdy pro zašuměná data LVCSR (-1.5 db SNR) je výsledná WER 46.28 %. Jako ukazatel úspěšnosti jednotlivých metod je možné použít SNR gain, který udává hodnotu SNR, o kterou se zlepší podmínky signálu při použití dané metody. Je měřen od hodnoty WER pro audio rozpoznávání pro zašuměná data 10dB. Metoda DF poskytuje zisk 7dB pro úlohu LVCSR a 7.5dB pro úlohu Číslice.

Obrázek 22. Výsledky rozpoznávání pomocí různých druhů kombinace informace pro úlohy zašuměných dat pro LVCSR a Číslice. Metody AV-enh, AV pospoj a AV-HiLDA představují kombinaci příznaků a metoda AV-MS-joint kombinaci rozhodnutí. Ukazatelem úspěšnosti metod je SNR gain, který je vztažen

- 34 -

Stav poznání vždy k hodnotě WER pro audio podmínky 10 db. Všechny metody využití audio-vizuální kombinace vylepšují rozpoznávání při zašuměném audio signálu, převzato z [65]

2.6.3.3 Adaptace na řečníka Pro ověření metody adaptace na řečníka byly provedeny testy s částí databáze ViaVoiceTM Poškozené. Tato data byla namluvena jedním řečníkem a jejich množství nepostačuje k natrénování HMM modelů. Proto na nich lze vyzkoušet metody adaptace na řečníka. Výsledky jednotlivých metod jsou shrnuty v tabulce 7. Rozpoznávání v případě úlohy LVCSR bylo provedeno pouze s omezeným slovníkem 537 slov. Jako první byly implementovány metody MLLR a MAP pro adaptaci HMM modelů. Adaptace byly provedeny pro akustické, vizuální a audio-vizuální příznaky. Metody MAP a MLLR dosahují podobných výsledků. Jestliže je použita metoda MLLR následovaná metodou MAP, pak dojde ke zlepšení z 106.014% pro neadaptované na 41.2% WER pro LVCSR a z 24.801% na 0.99% WER pro Číslice. Jako poslední metoda byla implementována adaptace celého procesu audio-vizuálního rozpoznávání. Kombinace metody změny HMM a matic pro metody LDA a MLLT dosahuje hodnot 41.657% pro LVCSR a 0.99% WER pro Číslice. Úloha Metoda Informace Neadaptované MLLR MAP MAP+MLLR Mat+MAP Mat+MAP+MLLR

LVCSR A 116.022 52.044 52.376 47.624 52.928 50.055

V 136.359 110.166 101.215 95.027 98.674 93.812

AV 106.015 42.873 44.199 41.216 46.519 41.657

Číslice A 52.381 3.770 3.373 2.381 3.968 2.381

V 48.016 16.667 12.103 10.516 8.730 8.531

AV 24.801 0.992 1.190 0.992 1.190 0.992

Tabulka 7. Výsledky rozpoznávání pro úlohu LVCSR a Číslice pro různé metody na části databáze ViaVoiceTM Poškozené. Výsledky jsou uvedeny v % WER pro rozpoznávání využitím audio (A), vizuální (V) a audio vizuální informace (AV). Metody využívají modelů HMM natrénovaných pomocí Normální části databáze a poté provedou adaptaci pomocí části Poškozené. Metody MLLR a MAP provádí adaptaci modelů HMM, metoda Mat provádí adaptaci celého systému ASR.

2.6.4 Shrnutí Jestliže chceme provést srovnání jednotlivých druhů příznaků, narážíme na problémy. Z tabulek v 2.6.3.2.1 a v 2.6.3.2.2 můžeme říci že nejčastější úlohou vizuálního nebo audiovizuálního rozpoznávání je rozpoznávání izolovaných slov (10-100) pro jednoho až dvanáct řečníků, kde se úspěšnost vizuálního rozpoznávání pohybuje kolem 85%. Úspěšnost audiovizuálního rozpoznávání v úlohách bez šumu je maximálně o jedno procento lepší než rozpoznávání z akustické složky. Pro úlohu (6 dB) je úspěšnost audiovizuálního rozpoznávání zhruba o 30 procent lepší než rozpoznávání bez využití vizuální informace. Nejčastějším typem vizuálních příznaků jsou obrazově orientované příznaky založené na DCT. Porovnání příznaků stejného typu je dostupné z mnoha prací [27],[68],[54]. Porovnání příznaků různých typů je problematické neboť vyžaduje implementaci algoritmů pro jejich extrakci. V práci [53] je porovnán přístup AAM s ASM. Aktivní vzhledový model poskytuje lepší výsledky při vizuálním rozpoznávání. Potamianos [68] porovnává několik druhů obrazových příznaků s geometrickými příznaky. Nejlepší výsledky poskytují obrazové příznaky založené na vlnkové transformaci. Tyto experimenty však většinou pracují s malou množinou dat a řečníků a soustřeďují se na problém rozpoznávání izolovaných slov. Matthews [54] porovnává několik druhů obrazových příznaků s AAM na databázi IBM-ViaVoice, která bude popsána dále. Výsledek však nedopadl podle očekávání a všechny obrazové příznaky byly lepší než AAM. Zdůvodněním bylo nedostatečné natrénování modelu pro AAM. Z těchto experimentů je zřejmé, že nelze provést jednoznačné rozhodnutí jaké příznaky jsou nejlepší. Abychom byli schopni rozhodnout, musel by se provést test všech možných přístupů na kvalitní databázi.

- 35 -

Vlastní přínos

3

Vlastní přínos

3.1

Parametrizace

Jak již bylo uvedeno v kapitole 2.1, vizuální parametrizace se rozdělují na tři druhy. Na obrazově orientované, tvarově orientované a kombinaci obou předchozích. Poslední typ (kombinace) je pouze složením parametrizací předchozích dvou druhů. Tyto dva odlišné typy parametrizací vznikly na základě odlišného pohledu na popis vizuální složky řeči. Bez ohledu na typ parametrizace by však popis vizuální složky měl splňovat základní předpoklady jako je nezávislost na řečníkovi, diskriminativnost základních řečových jednotek, nezávislost na změně řečových jednotek vlivem koartikulace2. Dalším kritériem na vizuální parametrizaci je samozřejmě i rychlost výpočtu a závislost parametrizace na osvětlení či nepřesném výběru ROI. Protože cílem disertační práce je návrh nové parametrizace vizuální složky řeči je třeba se seznámit s výhodami a nevýhodami obou metod popisu.

3.1.1 Popis problémů stávajících parametrizací 3.1.1.1 Obrazově orientované parametrizace Tento typ popisu vizuální řečové složky se odvíjí od popisu celé oblasti ROI získané pomocí metody headtracking. Existuje celá řada typů obrazových parametrizací, které se liší pouze metodou výběru N příznaků z M bodů oblasti ROI. Tento výběr nebo také redukce dimenze příznakového vektoru pracuje se šedotónovými nebo barevnými hodnotami všech bodů ROI. Například metoda používající DCT kompresi obrazu provádí frekvenční popis scény obrazu. Výsledkem metody DCT je dvourozměrné frekvenční spektrum, které popisuje danou scénu. Výsledný příznakový vektor je poté vytvořen např. z N koeficientů popisujících frekvence s největší energií. Tyto příznaky většinou odpovídají nízkým frekvencím, které zjednodušeně řečeno popisují souvislé plochy v obraze. Z uvedeného je zřejmé, že jestliže oblast zájmu bude vybírána chybně a bude obsahovat i jiné objekty než pouze ty podle nichž byly příznaky vybrány, bude tento chybný výběr ROI ovlivňovat samotnou parametrizaci. Další vliv na příznakový vektor bude mít i osvětlení scény, které způsobí změnu jasu či barvy popisovaných objektů. Poslední nevýhodou metody je, že není možné určit co přesně jednotlivé příznaky ve vstupním obraze popisují a není tedy možné využít poznatků o tvorbě a rozpoznání vizuální složky řeči u člověka. Na druhou stranu velmi velkou výhodou obrazově orientovaných parametrizací je rychlost jejich výpočtu a to že nepotřebují další předzpracování obrazu ve formě nalezení kontury rtů. V poslední době se začínají objevovat práce, které se soustředí na výběr obrazově orientovaných příznaků tak, aby co nejlépe popisovaly řečovou informaci [76]. 3.1.1.2 Tvarově orientované parametrizace Tvarově orientované příznaky vycházejí z popisu geometrického uspořádání viditelných částí orgánu přispívajících k tvorbě řeči (rty, jazyk, zuby, brada). Jejich výpočet je vždy podmíněn nalezením tvaru a pozice těchto objektů (liptracking). Samotný výpočet parametrizace je již pouze popis pozice či tvaru nalezeného objektu. Metody nalezení tvaru jako liptracking pracují opět s celou oblastí ROI, ovšem jejich úkolem je nalézt jeden vybraný objekt, tak aby jejich funkce nebyla závislá na změnách osvětlení ani na chybném výběru ROI. Popis vycházející z takovéto metody předzpracování je na těchto věcech nezávislý, a to je velkou výhodou. Další výhodou je, že přesně víme co dané příznaky reprezentují, a je proto možné vybrat takové, které nejlépe popisují odlišnosti mezi jednotlivými fonémy a jsou nezávislé na řečníkovi. Pro výběr příznaků je možné využít poznatků z fonetiky a odezírání ze rtů. Není však vždy možné vybrat příznaky tak, aby popisovaly námi požadovaný objekt např. nafukování tváří při výslovnosti fonému b. Velkou nevýhodou tohoto typu parametrizace je právě nutnost dalšího předzpracování obrazu. Toto předzpracování je většinou velmi komplikované a výpočetně náročné. I přesto existují metody nalezení kontury rtů, které pracují 2

vzájemné ovlivňování hlásek během promluvy

- 36 -

Vlastní přínos v reálném čase. Při popisu tvarově orientovaných parametrizací je třeba zmínit, že i když je možné využít znalostí z tvorby řeči a dalších, je většinou výběr příznaků prováděn nepodloženě. Nejpoužívanějšími příznaky jsou šířka a výška vnější či vnitřní kontury rtů. Důraz při návrhu parametrizace je kladen především na jednoduchost metody předzpracování obrazu. Doposud nebyla prezentována práce, která ve vizuální parametrizaci popisovala objekty uvnitř úst, tedy jazyk a horní či spodní zuby. 3.1.1.3 Kombinovaná parametrizace Kombinovaná parametrizace v sobě slučuje obrazově i tvarově orientované příznaky. Kombinovaná parametrizace je pro rozpoznávání používána jen velmi zřídka [21]. Použití tohoto typu parametrizace s sebou přináší výhody i nevýhody jednotlivých popisů. Největším kladem jejího použití je možnost kombinace přesně definovaných tvarových příznaků a jednoduše vypočtených obrazových příznaků. Někdy totiž není možné vytvořit dostatečně spolehlivou metodu, která by zajistila výpočet určitého příznaku. Jestliže bychom chtěli například jako příznak využít pohyb okolí úst, především tváří pak by bylo velmi složité získávat tento pohyb pomocí tvarového popisu. Pomocí obrazové parametrizace však můžeme popsat toto okolí rtů velmi jednoduše. Dalším příkladem může být popis vnitřku úst (jazyk, zuby a mezera), kde se velmi mění jasové podmínky vlivem pohybu rtů, a proto je nalezení pozic jednotlivých částí vnitřku úst velmi obtížné.

3.1.2 Výběr tvarově orientovaných příznaků Pro vytvoření vlastní parametrizace popisující vizuální složku řeči jsem se rozhodl využít poznatků z oblasti artikulační fonetiky a zkušeností lidí, kteří dokáží a jsou nuceni odezírat. Od tohoto přístupu jsem očekával, že parametrizace bude obsahovat příznaky, které eliminují závislost na řečníkovi a budou dostatečně odlišovat jednotlivé fonémy. Toto byly také základní faktory výběru jednotlivých příznaků. Pro získání informací o tvorbě řeči je nutné seznámit se základy funkce řečového traktu, především jeho viditelné části. Při získávání informací o odezírání řeči jsem spolupracoval s Mgr. Věrou Strnadovou, která je sama neslyšící a ke komunikaci využívá odezírání řeči, o jehož metodice publikuje knihy. 3.1.2.1 Tvorba řeči Obor zabývající se procesem vzniku řeči, fyziologií artikulačních orgánů a jejich funkcí se nazývá artikulační fonetika. Jak je uvedeno v [41], na artikulaci, neboli koordinované činnosti mluvidel vedoucí k výslovnosti, se podílí vždy všechny artikulační orgány. Souhra artikulačních pohybů potřebných k vyslovení hlásek, slabik a celých fonetických slov i výpovědí je charakteristická pro jednotlivé jazyky. Z toho vyplývá, že vizuální složka řeči je závislá na konkrétním jazyce. Vlastní řečový trakt je tvořen třemi základními skupinami mluvních orgánů. Jsou to ústrojí dýchací, ústrojí hlasové a ústrojí modifikační (artikulační). Ústrojí dýchací zajišťuje proud vzduchu procházející celým řečovým traktem a tím zajišťuje trvalý tlak v hrtanu, což je důležité pro vznik hlasu. K tvorbě řeči pak dochází při výdechu. Hlasové ústrojí je uloženo v hrtanu a jeho hlavní částí jsou hlasivky. Hlasivky zajišťují vytvoření základního hlasivkového tónu a určují znělost či neznělost dané hlásky. Bohužel činnost hlasivek je viditelná pouze prostřednictvím pohybu ohryzku, který lze jen velmi obtížné popsat, a proto z vizuální informace nelze určit zda se jedná o hlásku znělou či neznělou. Artikulační ústrojí je uloženo nad hrtanem a skládá se ze tří dutin. Jedná se o dutinu hrdelní, dutinu nosní a dutinu ústní viz obrázek 23. Dutina hrdelní se rozkládá nad hlasivkami a končí v místech kde je jazyk při artikulaci nejblíže hornímu patru. Z hlediska vizuální složky řeči je pohyb této dutiny nepozorovatelný. Dutina nosní se uplatňuje při vyslovování nosních hlásek m, n, ň a slouží jako rezonanční prostor. Pro odezírání řeči nelze využít ani dutinu nosní. Nejdůležitější dutinou pro vizuální složku řeči je dutina ústní a její

- 37 -

Vlastní přínos pasivní a aktivní mluvní orgány. Dutina ústní je ohraničena rty a přechází do dutiny hrdelní. Mezi aktivní mluvní orgány patří rty, jazyk, dolní čelist a měkké patro, které je ovšem nepozorovatelné při běžné řeči. Pasivní mluvní orgány představují především zuby a rty viz obrázek 23.

Obrázek 23. Řečový trakt, převzato z [41]

Nyní uvedu základní vlastnosti jednotlivých aktivních mluvních orgánů při tvorbě řeči. Velikost čelistního úhlu má převážně doprovodný charakter, a to hlavně při tvorbě samohlásek kde „a“ je vždy otevřenější než „i“ nebo „u“. Větší čelistní úhel představuje menší napětí artikulačních orgánů. Zavřené samohlásky jsou tedy i napjatější. Velikost čelistního úhlu je velmi dobře pozorovatelná prostřednictvím pohybu brady (např. vzdálenost brady a středu očí). Vliv rtů na tvorbu řeči je dvojí. Díky tomu, že dokáží měnit svůj tvar, mohou ovlivňovat rezonanci ústní dutiny to se projevuje především při tvorbě samohlásek, kdy dokreslují jejich charakteristický zvuk. Při výslovnosti samohlásek dochází buď k zaokrouhlování rtů, kdy se otvor rtů zmenšuje (výslovnost u, ú, o, ó), nebo k zaostřování rtů, při němž se koutky roztahují do stran (výslovnost e, é, i, í). Tvar rtů se mění i při vyslovování souhlásek. Při výslovnosti sykavek (s, z) jsou rty zaostřené a při výslovnosti (š, ž, č) jsou zaokrouhlené viz obrázek 24. Doprovodným jevem zaokrouhlování rtů je i jejich vyšpulení. Druhým vlivem rtů na tvorbu řeči je vytváření překážky proudu vzduchu. Tento jev se projevuje při vytváření některých souhlásek. Při výslovnosti se pak uplatňují oba rty (jedná se o hlásky obouretné b, p, m), nebo pouze spodní dohromady s horními řezáky (hlásky retozubné v, f). Z hlediska vizuální složky je možné určit tvar téměř dokonale. Jestliže ovšem pracujeme pouze s čelním pohledem na řečníka pak není možné určit vyšpulení rtů.

- 38 -

Vlastní přínos

Obrázek 24. Změna tvaru rtů pří výslovnosti samohlásek od zaostřených po zaokrouhlené, převzato z [41]

Jazyk je nejpohyblivějším mluvním orgánem a je aktivní při výslovnosti všech hlásek. Jazyk se rozděluje na několik částí, přičemž artikulace se mohou aktivně účastnit jen tyto části nebo jazyk jako celek. Části jazyka jsou koneček, hřbet a kořen. Jazyk funguje různě při výslovnosti samohlásek a souhlásek. Při tvorbě samohlásek funguje jazyk jako modifikátor tvaru ústní dutiny. Celá hmota jazyka se posunuje v ústní dutině a tím deformuje rezonační prostor ústní dutiny. Při tvorbě souhlásek je jazyk používán k vytvoření překážky výdechového proudu. Existují 4 typy překážek tvořených jazykem. Prvním typem je závěr (okluze). Při závěru dochází k úplnému přerušení výdechového proudu (výslovnost t, g, b). Dalším typem je úžina (konstrikce). Jazyk v tomto případě vytváří neúplnou překážku a výdechový proud může procházet po celou dobu výslovnosti (výslovnost s, ch,). Úžina může být vytvořena buď v ose jazyka nebo napříč ose jazyka (výslovnost l) viz obrázek 25.

Obrázek 25. Zobrazení překážky výdechového proudu v průběhu výslovnosti vytvořené jazykem. Černá barva představuje místa dotyku jazyka a horního patra, převzato z [41]

Třetím typem je polo závěr (semiokluze), který při výslovnosti nejprve vytvoří závěr a v průběhu vyslovování přechází do úžiny (výslovnost c, č). Posledním typem je překážka zvaná kmity (vibrace). V průběhu výslovnosti tvořené kmity dochází ke změně tvaru úžiny a to tak, že se zmenšuje a zvětšuje (výslovnost r). Funkce jednotlivých aktivních mluvních orgánů již byly popsány. Můžeme tedy přejít k rozdělení hlásek podle místa tvoření, které udává jaké aktivní prvky se na promluvě hlásky podílejí a v jakém místě řečového traktu k němu dochází. Základním rozdělením hlásek z hlediska artikulace je rozdělení na samohlásky a souhlásky. Toto rozdělení vychází z principu tvorby těchto skupin hlásek. Zjednodušeně řečeno samohlásky vznikají při otevřeném mluvním ústrojí a souhlásky jsou převážně tvořeny pomocí překážek výdechového proudu. Všechny samohlásky vznikají na stejném základě, kterým je fonace neboli hlas vzniklý v hlasivkách. K rozlišení jednotlivých samohlásek dochází až v dutině ústní pomocí postavení jazyka viz obrázek 26 a tvaru rtů viz obrázek 24. Na výsledné promluvě se podílí i napjatost mluvních orgánů a délka celé artikulace. Právě princip tvoření samohlásek umožňuje jejich velkou variabilitu. Do skupiny samohlásek je nutné zařadit i dvojhlásky jako ou. Z artikulačního hlediska je možné dvojhlásku rozdělit na dvě složky (promluva o + promluva u) ovšem jedna z promluv již ztrácí charakter čisté samohlásky.

- 39 -

Vlastní přínos

Obrázek 26. Postavení jazyka při tvorbě samohlásek, převzato z [41]

Podstatou tvorby souhlásek je vytvoření překážky výdechového proudu. Podle místa a typu překážky se určují jednotlivé skupiny souhlásek. V tabulce 8. je uvedeno rozdělení souhlásek podle místa artikulace, znělosti a způsobu artikulace. Místo artikulace určuje podíl jednotlivých mluvních orgánů na tvorbě souhlásky. Jednotlivá čísla označují následující : 1 - rty proti sobě, 2 - spodní ret proti horním řezákům, 3 - špička jazyka horní plochou proti přední části alveolárního výstupku, 4 - přední část hřbetu jazyka proti zadní části alveolárního výstupku, 5 - střední část hřbetu jazyka proti tvrdému patru, 6 - zadní část hřbetu jazyka proti měkkému patru, 7 – hlasivky. 1 Místo artikulace

2

3

retozubné

přední

retné obouretné

Znělost (+), Neznělost (–)

–

+

5

6

7 hrtanové

zadní

tvrdopatrové

zadopatrové

hlasivkové

–

–

+

–

k

g

dásňové –

+

–

m

nosní

4

+

–

Patrové +

n

+

+

ň

závěrové ústní

p

b

t c

Způsob artikulace

polozávěrové

středové

d

f

v

ť

ď

č

s

z

ř

ř

š

ž

ch

h

kmitavé

r

úžinové

bokové

l

klouzavé (approximativní)

j

Tabulka 8. Rozdělení hlásek z hlediska místa tvoření, převzato z [43]

3.1.2.2 Odezírání řeči Odezírání řeči je název pro činnost rozpoznávání řeči, pouze pomocí zraku. Odezírání řeči je tedy činností, při níž není využíván sluch, a proto je rozšířená jako komunikační prostředek mezi slyšící a neslyšící osobou, kdy se neslyšící snaží porozumět slyšícímu. Odezírání není pouze dominantou neslyšících, neboť je využíváno v běžné komunikaci i slyšícími lidmi. V této komunikaci se jedná o podpůrný prvek porozumění řeči, který se uplatňuje především v hlučném prostředí. Všechny poznatky o odezírání řeči jsem získal především na základě studia knihy “Hádej co říkám aneb odezírání je nejisté umění“ od autorky Věry Strnadové [83]. - 40 -

Vlastní přínos Při dobrých podmínkách pro odezírání je z řeči viditelných asi 30-40% celkové řečové informace [83]. To vede k tomu, že úspěšnost odezírání se pohybuje okolo 50%. Jestliže odezírající člověk může využívat zbytky sluchu pak se úspěšnost takovéhoto rozpoznávání řeči pohybuje v rozmezí 76-90% [83]. O takových úspěšnostech odezírání je však možné hovořit pouze v případě dobrých podmínek pro odezírání řeči. Mezi nejdůležitější podmínky pro odezírání patří celkový stav odezírajícího, osvětlení a kompozice scény, znalost jazyka, dobrá artikulace mluvčího a rychlost řeči. Základní metodou odezírání je pozorování tváře řečníka, kde se odezírající snaží zachytit charakteristické tvary a pohyby při výslovnosti promluvy. Tyto obrazy jsou přiřazovány již viděným vzorům a kombinovány mozkem na základě znalosti gramatiky. Sledování řeči neprobíhá na základě vyhodnocování jednotlivých hlásek, ale většinou na základě větších jednotek jako jsou slova, neboť řeč je velmi rychlá a odezírající není schopen zachytit všechny pohyby artikulačních orgánů. Při rozpoznávání je velmi důležitá znalost kontextu promluvy, neboť velkou část odezírání tvoří právě přiřazování viděné promluvy již viděným vzorům. Odezírající člověk se tedy snaží pozorovat viditelnou část artikulačních orgánů. Při běžném sledování řeči zrakem je velká část mluvních pohybů skryta. Viditelná je pouze vnější část mluvidel, která zahrnuje především pohyb spodní čelisti, pohyb rtů a zřídka viditelný pohyb jazyka či pozice zubů. U některých řečníků je možné pozorovat pouze rty a spodní čelist, neboť jejich artikulace neumožňuje viditelnost zubů ani jazyka (malé mluvní pohyby, rty příliš u sebe). Avšak právě pozice jazyka hraje velkou roli při tvorbě řeči viz 3.1.2.1. Kdyby bylo možné pozorovat jazyk uvnitř ústní dutiny, pak by se odezírání velmi zjednodušilo. Aby bylo zřejmé, jaká část artikulačních orgánů se uplatňuje při odezírání, byly provedeny testy [18], kde bylo k odezírání postupně využito celé tváře, oblasti úst, pouze rtů a elips reprezentujících rty. Každá redukce vizuální složky snížila úspěšnost odezírání zhruba o 10 procent. Je tedy zřejmé, že při odezírání se nelze spoléhat pouze na tvar rtů. Byly provedeny i experimenty s minimální vzorkovací frekvencí videozáznamu. Zde bylo zjišťováno při jaké minimální frekvenci zobrazované promluvy ještě nedochází k zhoršení rozpoznávání [1]. Ukázalo se, že minimální hranice snímkovací frekvence pro rozpoznávání izolovaných skupin hlásek je 5Hz a pro spojitou řeč je to minimálně 15Hz. Při snížení frekvence pod tuto hranici dochází k rapidnímu poklesu úspěšnosti rozpoznávání. Během testů se prokázalo, že komprese obrazu není tak velkou překážkou rozpoznávání jako snímací frekvence. Jak již bylo zmíněno, odezírající člověk se snaží v promluvě zachytit mluvní obrazy reprezentující jednotlivé hlásky. Některé hlásky jako například P nebo V jsou identifikovatelné i pomocí tzv. mluvního pohybu. Protože vizuální složka obsahuje méně informací o promluvě než složka akustická, jsou mluvní obrazy některých hlásek velmi podobné. Takovéto hlásky tvoří skupiny označované jako vizémy. Je tedy možné odlišit jednotlivé vizémy od sebe navzájem, ovšem je velmi obtížné odlišit fonémy spadající do jednoho vizému. Jestliže se budeme zabývat izolovanými hláskami, pak lze definovat 14 základních vizémů. Jedná se o následující vizémové skupiny: - (B, M, P) Souhlásky B, M, P vznikají zablokováním výdechového proudu vzduchu pomocí semknutí rtů. Při odblokování proudu vzduchu vzniká charakteristický pohyb pro výslovnost těchto hlásek, a proto patří tyto hlásky k nejlépe zřetelným. Existují i drobné rozdíly mezi výslovností B, M a P. Při vyslovování B dochází k mírnému nafouknutí tváří. Při výslovnosti P se tváře nenafukují a odblokování je velmi prudké. Při výslovnosti M dochází k většímu semknutí rtů. - (V, F) Viditelnost mluvního obrazu V a F je velmi dobrá, neboť hlásky vznikají tak, že je hrana spodního rtu přitisknuta na horní řezáky a v průběhu promluvy je spodní ret oddálen. Tím vzniká charakteristický mluvní pohyb i mluvní obraz. Rozdíl v promluvě

- 41 -

Vlastní přínos V a F je především v napětí rtů, které je jen obtížně pozorovatelné. Při promluvě F jsou rty více napjaté než při V. - (Č, Š, Ř, Ž) Promluvu této skupiny hlásek provází svalové napětí, které způsobuje charakteristické vyšpulení rtů při obvyklém elipsovitém tvaru rtů. Souhlásky proto mají charakteristický mluvní obraz ovšem nemají mluvní pohyb. Rozdíly mezi hláskami jsou prakticky nepozorovatelné. - (C, S, Z) V průběhu promluvy C, S, Z jsou čelisti sevřené, rty mírně roztažené a pootevřené. Charakteristický je tedy tvar, kdy jsou viditelné skoro se dotýkající horní a dolní zuby. Rozdíl mezi hláskami je v délce jejich výslovnosti. Nejdelší výslovnost má Z potom S a nakonec C. - (L, R) Pro hlásky L a R je charakteristický pohyb jazyka. Při výslovnosti L dochází k pohybu jazyka opřeného o horní patro, ke spodním zubům. R je tvořeno kmitáním jazyka uvnitř úst, a proto je tento pohyb často skryt. - (D, T, N) Pro výslovnost této skupiny jsou nejcharakterističtější uvolněné a mírně pootevřené rty. Při dobré výslovnosti T se jazyk opírá o horní i dolní řezáky a v tomto okamžiku je viditelný. Mluvní obraz této skupiny však není příliš výrazný. - (Ď, Ť, Ň, J) Při výslovnosti nedochází k přílišnému napětí svalů rtů. Mluvní obraz je nenápadný. Jestliže jsou hlásky vyslovovány pečlivě, pak jsou viditelné především horní zuby a pod nimi jazyk, který se v případě výslovnosti J nedotýká horního patra a svaly rtů jsou více napjaté. - (G, H, CH, K) Mluvní obraz těchto hlásek není nápadný. Rty jsou uvolněné, mírně pootevřené a nedochází k viditelnému pohybu mluvidel. Při běžné řeči jsou tyto hlásky neviditelné. - Samostatnou skupinu vizémů tvoří samohlásky. Toto dělení je zdůvodněno odlišností při tvorbě samohlásek a souhlásek. Při vyslovování samohlásek se neuplatňuje žádná překážka v dutině ústní. Hláska je modifikována až velikostí a tvarem otvoru rtů. Při pečlivém vyslovování samohlásek jsou velmi dobře odlišitelné právě díky dobře zřetelnému mluvnímu obrazu.

- 42 -

Vlastní přínos

- (A) Pro A je typické největší otevření úst ze všech vyslovovaných hlásek. Většinou jsou viditelné horní i dolní zuby a částečně jazyk.

- (E) Při výslovnosti E jsou ústa otevřena méně než pro A, avšak šířka úst je větší. Jazyk je však více zřetelný, neboť se opírá o spodní zuby. Většinou jsou dobře viditelné horní zuby. - (I) Pro výslovnost I je charakteristické největší roztažení rtů ze všech vyslovovaných hlásek. Dobře viditelné jsou horní i spodní zuby. - (O) Vizém O je tvořen zaokrouhlením rtů. Otvor uvnitř rtů je větší než při výslovnosti U. Uvnitř úst je občas viditelný jazyk. Zuby zpravidla viditelné nejsou.

- (U) Pro vytvoření vizému U platí stejná pravidla jako pro O ovšem ústa jsou ještě více stažena. Otvor uvnitř úst je nejmenší ze všech vyslovovaných hlásek. Uvnitř otvoru není pozorovatelný žádný objekt.

Z uvedených příkladů vizémových skupin je zřejmé, že existují vizémy, které je relativně jednoduché odlišit pomocí specifického mluvního pohybu a obrazu od ostatních vizémů. Bohužel existují i vizémy, pro něž neexistuje specifický mluvní pohyb a jejich mluvní obraz je nezřetelný. Všechny předchozí ukázky vizémů platí při izolované výslovnosti jednotlivých hlásek. Při běžné řeči jsou ovšem charakteristické mluvní obrazy jednotlivých vizémů zkresleny díky vlivu okolních hlásek. Tento jev, kdy jedna hláska ovlivňuje mluvní obraz jiné hlásky se nazývá koartikulace. V průběhu promluvy dochází díky koartikulaci k ovlivňování všech vizémů. Některé vizémy jsou však ovlivňovány více a jiné méně. Koartikulace je dosud jen velmi málo prozkoumaný jev, a proto neexistují žádná pravidla pro deformaci mluvních obrazů pro určitý kontext hlásek. Doposud nebylo ani určeno jaké hlásky jsou spíše ovlivňující a jaké ovlivňované. Koartikulace představuje problém nejen při rozpoznávání řeči, ale i při opačném procesu, při úloze syntézy. Databáze popsaná v sekci 3.2.2 byla navržena i pro studium jevu koartikulace pro úlohu počítačové syntézy. Kdybychom znali zákonitosti ovlivňování jednotlivých vizémů během promluvy, mohli bychom těchto poznatků využít při rozpoznávání. Při rozpoznávání se problém koartikulace částečně řeší použitím trivizémů jako základních řečových jednotek, neboť nejvíce ovlivněny jsou sousední hlásky.

- 43 -

Vlastní přínos Dalším problémem při odezírání je tzv. řečový šum. Řečový šum představují mluvní obrazy odpovídající přechodům mezi jednotlivými vyslovovanými hláskami. Odezírání řeči by se velmi zjednodušilo, kdyby vizuální složka obsahovala pouze pospojované mluvní obrazy odpovídající izolovaným vizémům. Řečový šum bohužel tvoří značnou část promluvy a mluvní obrazy vzniklé při přechodu mezi hláskami mohou být zaměněny s mluvním obrazem jednotlivých vizémů. Strnadová ve své knize ukazuje, že rozpoznání promluvy pomocí odezírání je relativně jednoduché, jestliže má člověk k dispozici celou posloupnost mluvních obrazů odpovídajících pouze mluvním obrazům vizémů bez mluvního šumu, má dostatek času pro jejich rozpoznání a může porovnávat jednotlivé mluvní obrazy mezi sebou. Samozřejmostí jsou dobré pozorovací podmínky. 3.1.2.3 Popis vybraných příznaků Pro návrh vizuální parametrizace vycházející z poznatků tvorby vizuální řeči a zkušeností odezírajících lidí je důležité nejen studium této problematiky, ale také vhodná volba příznaků z hlediska jejich realizovatelnosti. Kapitoly 3.1.2.1 a 3.1.2.2 popisují poznatky, které jsem získal studiem dostupné literatury. Bohužel oblasti odezírání a tvorba řeči poskytují dobrý popis vizuální řeči pro izolované hlásky, ovšem nikoliv pro spojitou řeč. Úloha rozpoznávání izolovaných hlásek je ovšem velmi omezující. Protože vizuální parametrizace má sloužit především pro úlohu rozpoznávání spojité řeči, musel jsem se zaměřit na studium vizuální složky spojitých promluv. Poznatky, které uvádím dále, jsem získal při konzultacích s paní Věrou Strnadovou a paní Ivou Jirutkovou (logopedka) a studiem audiovizuální databáze popsané v 3.2.3. Základním předpokladem rozpoznávání řeči z vizuální složky je dostatečná snímkovací frekvence, kvalitní rozlišení a osvětlení celé scény. Všechny tyto požadavky jsou v případě databáze UWB-05HSCAVC splněny, neboť snímkovací frekvence je 50 Hz, rozlišení připadající pouze na rty je přibližně 80*80 bodů a celá databáze byla pořízena v laboratorních podmínkách. Z poznatků získaných studiem metod odezírání a tvorby řeči a studiem audiovizuální databáze, jejíž výsledky jsou shrnuty v tabulce 13, jsem se snažil vytvořit vizuální příznaky, které co nejlépe popisují viditelnou část řečového traktu z hlediska odezírání. Při výběru příznaků byl brán zřetel na to, aby každý příznak popisoval nějakou charakteristickou vlastnost některého z vizémů. Například výška rtů je rozhodující pro rozpoznání A. Dotyk horních zubů a dolního rtu určuje promluvu V. Kulatý a malý otvor úst určuje promluvu U. Za nejdůležitější poznatek studia vizuální složky řeči považuji zjištění, že tvar vnitřní hranice rtů a vnitřek úst vypovídají o dané promluvě více než tvar vnější hranice rtů a jejich okolí. Tento poznatek je zřejmý především z pravidel tvorby řeči. Řeč totiž vzniká pomocí tvarování otvoru úst, kudy prochází výdechový proud vzduchu a nebo vytvořením překážek tohoto proudu uvnitř úst. Jestliže se podíváme na pohyb vnější hranice rtů během promluvy, pak zjistíme, že často kopíruje tvar vnitřní hranice rtů ovšem s menšími změnami tvaru. Například šířka vnější hranice rtů se během promluvy mění mnohem méně než šířka vnitřní hranice rtů. Při rozpoznávání řeči je většinou používán tvar vnější hranice rtů nebo příznaky z něj odvozené (výška, šířka), neboť jeho získání je jednodušší než získání vnitřní hranice rtů. Vnitřek úst, který představují zuby, jazyk a zprostředkovaně i mezera uvnitř rtů, nám dává alespoň částečnou informaci o průchodu výdechového proudu skrze ústní dutinu, která je velmi důležitá při rozpoznávání souhlásek. Tuto informaci není možné získat z jiné části vizuální složky než z oblasti vnitřku úst. Proto je nutné zahrnout do parametrizace příznaky, které budou popisovat objekty uvnitř úst. Vybrané příznaky jsou následující : - tvar rtů – šířka, výška, zaokrouhlení atd. , tvar rtů (vnitřní a vnější kontura) nejlépe vystihuje specifický mluvní obraz, je tedy důležitý především pro rozpoznávání samohlásek a určitých souhlásek

- 44 -

Vlastní přínos - viditelnost, pozice a vzájemná pozice horních a dolních zubů a jazyka – uplatňuje se především při popisu souhlásek, roli hraje nejen viditelnost, ale právě vzájemný vztah jednotlivých objektů, dotyk spodního rtu a horních zubů (v,f), skousnutí jazyka (t) - pozice brady – pozice brady vypovídá o velikosti čelistního úhlu, tento parametr se uplatňuje především u samohlásek, důležitý je také proto, že spodní ret se nemusí pohybovat při výslovnosti ve stejném směru jako brada - napětí rtů – důležitý parametr pro rozpoznávání vizémů Ď a Č, neboť při jejich výslovnosti dochází k vyšpulení rtů a jejich většímu napětí, - vyšpulení rtů – tímto příznakem je možné určovat vizémy při jejichž výslovnosti dochází k zúžení ústního otvoru (u,o) nebo k vyšpulení rtů (Ď, Č) - tvar tváří – tvar tváří by měl odlišovat výslovnost fonémů p, b a m, ovšem změna tvaru tváří především v oblasti spodního rtu je spojena s napětím rtů (v) - změna pozice či tvaru všech předchozích parametrů – pohyb je velmi důležitým parametrem, neboť pro některé vizémy je definován právě specifický mluvní pohyb Předchozí příznaky byly vybrány bez ohledu na možnost jejich automatického získání z vizuální složky řeči. Jestliže však chceme provádět automatické rozpoznávání řeči pomocí počítače, pak se musíme touto otázkou zabývat. Dalším omezením na výběr příznaků je nezávislost na řečníkovi. Tento problém se projevuje především ve velikosti rtů a mluvních pohybů řečníka. Příznaky, které by tedy měly být nejvíce závislé na řečníkovi jsou všechny geometrické popisy rtů. Tento problém je však možné redukovat normalizací geometrických rozměrů podle velikosti rtů. V případě databáze UWB-05-HSCAVC je možné provést tuto normalizaci (normalizace přes celou promluvu), neboť promluva téměř vždy obsahuje fonémy a, i, p či jim podobné. Tyto fonémy představují maximální a minimální hodnoty geometrických rozměrů rtů pomocí nichž je možné provést normalizaci a je tedy možné tyto geometrické popisy použít. Po zvážení předchozích předpokladů jsem vybral následující příznaky popisující vizuální složku řeči: - tvar rtů – tvar rtů postihuje pouze tvar vnitřní a vnější kontury, tento příznak není závislý na velikosti rtů a měl by být tedy nezávislý na řečníkovi, tvar rtů je reprezentován pomocí řídícího vektoru b (10 koeficientů PCA) viz 3.3.2. - výška a šířka vnitřku a vnějšku úst – tyto příznaky zachycují především otevření a roztažení rtů, které se uplatňuje při rozpoznání samohlásek, jejich závislost na řečníkovi částečně odstraňuje normalizace - procentuální zastoupení horních zubů, mezery, jazyka a dolních zubů v ústní dutině – procentuální zastoupení jednotlivých objektů určuje nejen viditelnost, ale i vzájemnou pozici jednotlivých objektů. Při tvorbě řeči se neuplatňuje pohyb těchto objektů do stran, a proto je zajímavá pouze jejich vertikální pozice. Předpokládám, že jestliže jsou viditelné všechny objekty, pak jediné jejich pořadí může být horní zuby, mezera, jazyk a spodní zuby, jestliže nějaký z objektů není vidět, pak je jeho procentní zastoupení 0, procentní zastoupení je počítáno vzhledem k výšce vnitřku úst. Jestliže jsou rty zavřené, pak je procentní zastoupení všech objektů 0, to že jsou objekty vyjádřeny procentním zastoupením částečně odstraňuje vliv řečníka, vnitřek rtů a jeho objekty je možné reprezentovat také pomocí DCT parametrů získaných pouze z vnitřku úst. - pozice brady – pozice brady reprezentovaná jako vzdálenost brady k bodu s neměnnou pozicí, v našem případě se jedná o vzdálenost k nosu řečníka

- 45 -

Vlastní přínos

Obrázek 27. Vybrané příznaky popisující vizuální složku řeči

- výška horního a spodního rtu (vyšpulení rtů) – parametry napětí a vyšpulení rtů jsou jen velmi těžko měřitelné, u vyšpulení rtů je to způsobeno tím, že máme k dispozici pouze čelní pohled na řečníka, tyto dva parametry jsou však spojené s výškou horního a spodního rtu. Jestliže dojde k vyšpulení rtů, pak se z čelního pohledu projeví tím, že dojde ke zmohutnění objektu rtů, jako příznak je tedy použita výška rtu měřená ve středu mezi koutky rtů, příznak je reprezentován jako součet obou hodnot - změna pozice – abychom zachytily změnu pozice či tvaru (charakteristický pohyb) používáme jako příznaky výpočet rychlost a zrychlení změny jednotlivých příznaků, tedy výpočet první a druhé derivace, tímto krokem se ztrojnásobí počet vizuálních příznaků - tvar tváří či okolí úst je velmi těžko zachytitelný, a proto jsem se rozhodl pro jeho nevyužívání Pomocí výše popsaných příznaků (tvarových a obrazových) byl sestaven příznakový vektor, který popisuje vizuální složku řeči a který je použit pro automatické rozpoznávání řeči. V rámci experimentů byly provedeny testy pomocí příznakových vektorů sestavených z různých množin popsaných příznaků. Ukázalo se, že některé příznaky popisují vizuální řeč velmi dobře a jiné vnášejí spíše dezinformaci. Výsledky provedených testů jsou uvedeny v kapitole 4. Jedním z poznatků, které jsem získal studiem vizuální složky řeči, ale doposud jsem ho nevyužil, je nutnost nastavit specifický mluvní obraz a chvíli v něm setrvat pro určité hlásky během promluvy. Jestliže například vyslovujeme slovo ahoj, pak je jako první nastaven mluvní obraz pro A. Rty se postupně otvírají až dosáhnou maxima, kde probíhá výslovnost A. Poté se rty přenastavují do pozice pro vyslovení O přes nezřetelné H. Při výslovnosti O jsou rty velmi stažené a vyšpulené až dosáhnou minima a pak se přesouvají do pozice pro vyslovená J a tím se více otevírají a zatahují zpět. Jestliže bychom sledovali pouze příznak výška rtů pak je vykreslena křivka v jejíchž extrémech dochází k výslovnosti jednotlivých hlásek A O J. Protože příznaky byly navrženy tak, aby postihovaly specifické vlastnosti promluv jednotlivých hlásek, pak by měl popsaný poznatek platit i pro ostatní příznaky. Pomocí nalezení extrémů v jednotlivých příznacích by tedy bylo možné určit místa charakteristických mluvních obrazů. Bohužel extrémy průběhů nezachycují jednotlivé fonémy. Extrémy zachycují buď fonémy s výrazným mluvním obrazem O,A,V atd.. nebo mluvní obraz celé slabiky. Pomocí nalezení extrém v příznacích by tedy bylo možné částečně se zbavit mluvního šumu. Tomuto kroku by však musela následovat další analýza příznaků, která by určila zda mluvní obraz odpovídá jen jedné hlásce či jestli se v okolí nachází ještě jiná hláska. Tento problém by bylo možné řešit při využití znalostí deformace mluvního obrazu vlivem koartikulace. Tyto poznatky však dosud nebyly získány.

- 46 -

Vlastní přínos

3.2

Audiovizuální databáze

Jak je zřejmé z 2.5, existuje velmi omezené množství kvalitních AV řečových korpusů, na kterých se dají provádět experimenty s audiovizuálním rozpoznáváním řeči. Většina databází byla pořízena pro angličtinu nebo francouzštinu a neexistovala jediná audiovizuální databáze pro český jazyk. Dalším problémem databází je jejich dostupnost pro nekomerční i komerční využití. K úspěšnému návrhu parametrizace je nezbytně nutná dobrá znalost jazyka pro který je tato navrhována, a proto bylo nutné vytvořit vlastní českou databázi pro ověření navržených algoritmů. Na katedře kybernetiky Západočeské univerzity v Plzni byla vytvořena již řada řečových databází jak pro rozpoznání řeči, tak pro rozpoznávání řečníka [71][72]. Tyto zkušenosti byly uplatněny i při tvorbě audiovizuálních řečových korpusů, především pro výběr vhodného textu a záznam akustické složky řeči. Na záznam vizuální složky řeči však byly tyto zkušenosti aplikovatelné pouze částečně. Z tohoto důvodu muselo pro cíle disertační práce vzniknout hned několik řečových databází, které se vyvíjeli spolu s vývojem celého systému audiovizuálního rozpoznávání řeči. Jako první byla nahrána malá databáze izolovaných slov pro vyzkoušení prvního systému vizuálního rozpoznávání [11]. Na databázi byly porovnány statické a dynamické vizuální příznaky. Poté byla vytvořena audiovizuální databáze promluv řidiče automobilu, která měla ověřit systém audiovizuálního rozpoznávání v reálném prostředí [95]. Pro vizuální parametrizaci těchto nahrávek byl vyvinut 3D model rtů, který by dokázal eliminovat chyby výpočtu vizuální parametrizace způsobené pohybem hlavy řečníka v 3D prostoru [12]. Ukázalo se že pro návrh a testování nové parametrizace je tato databáze nevhodná, a proto byla pořízena rozsáhlá audiovizuální databáze v laboratorních podmínkách. Tato databáze byla použita pro provedení experimentů srovnávajících výsledky nové parametrizace a standardně používaných parametrizací [13]. Poslední důležitou databází, která byla vytvořena ve spolupráci s Ing. Zdeňkem Krňoulem, je databáze pro určení vizémových skupin pro český jazyk viz [42].

3.2.1 Prvotní experimenty Pro účely vytvoření a otestování prvního systému vizuálního rozpoznávání pro český jazyk, byla nahrána vizuální databáze pěti izolovaných slov. Databáze obsahuje 500 promluv od 10 řečníků. Snímána byla pouze spodní část obličeje viz obrázek 28, aby bylo možné vynechat krok nalezení hlavy řečníka, čímž se celý postup získání příznaků zjednodušil. Vizuální parametrizaci tvořily pouze dva příznaky: výška a šířka vnější kontury rtů. Pro nalezení kontury byla použita jednoduchá metoda prahování obrazu ze složky G/R, neboť osvětlení scény bylo neměnné [11]. Na databázi byly porovnány statické a dynamické příznaky a jejich závislost na řečníkovi. Statické příznaky představovala šířka a výška rtů. Dynamické příznaky byly vypočítány ze statických tak, aby postihovaly pouze jejich výraznější změny v čase. Ukázalo se že dynamické příznaky jsou méně závislé na řečníkovi, ovšem nejsou vhodné pro rozpoznávání kratších řečových jednotek než jsou celá slova. Nejlepší výsledek vizuálního rozpoznávání izolovaných slov pro 10 řečníků bylo 9% WER.

Obrázek 28. Ukázka vizuální databáze pro rozpoznávání izolovaných slov

Po ověření funkčnosti systému vizuálního rozpoznávání na úloze rozpoznávání izolovaných jsem se rozhodl vytvořit audiovizuální databázi spojité řeči pro reálné prostředí. Na této databázi jsem chtěl navrhnout novou vizuální parametrizaci a otestovat ji na úloze AV rozpoznávání spojité řeči. Jako

- 47 -

Vlastní přínos reálné prostředí bylo vybráno prostředí automobilu. V prostředí automobilu je dostatek reálného akustického šumu, který je vhodný pro otestování AV rozpoznávání v hlučném prostředí. Databáze obsahuje promluvy 12 řidičů automobilu. Každý řečník promlouval 200 vět, 15 příkazů pro ovládání navigace, 15 názvů měst a 15 číslovek. Řidič byl zabírán z mírně bočního pohledu a videozáznam obsahoval celou hlavu řečníka viz obrázek 29. Videozáznam byl pořizován s rozlišením 360*288 bodů, s frekvencí 50 Hz.

Obrázek 29. Ukázka audiovizuální databáze promluv řidiče automobilu.

Z ukázek na obrázku 29 je zřejmé, že bylo nutné vytvořit algoritmus pro nalezení hlavy řečníka v obraze a vylepšit stávající metodu nalezení rtů, neboť hlava řečníka se mohla pohybovat v 3D prostoru a velmi se měnilo osvětlí a pozadí scény. Protože se hlava řečníka pohybovala v 3D prostoru přistoupil jsem k vytvoření 3D modelu rtů s jehož pomocí je možné vypočítat tvarové příznaky i při rotaci rtů ve 3D prostoru. Jako první jsem vytvořil metodu headtrackingu založenou na metodě skin-color viz 2.2.1.1. Metoda pracovala spolehlivě pro běžné podmínky osvětlení, ovšem měla problémy nalézt objekt hlavy při přesvětlení snímků, ke kterému docházelo poměrně často v důsledku intenzivního slunečního svitu. Metoda ovšem musela umět určit i natočení hlavy v 3D prostoru, neboť tuto informaci využívala metoda liptrackingu pro umístění 3D modelu rtů. Pro určení 3D orientace hlavy z 2D snímku musely být nejprve nalezeny pozice středů úst a očí. Ústa byla nalezena pomocí prahování, popsaného v následujícím odstavci, ovšem při čtvrtinovém rozlišení obrazu kvůli urychlení celého procesu. Pomocí známé pozice středu rtů a oblasti hlavy byly určeny přibližné výskyty očí. Pomocí postupného prahování těchto oblastí v šedotónové reprezentaci, pomocí prahů n až m, byly nacházeny objekty, které mohly představovat oči řečníka. Zda se jedná skutečně o oči bylo ověřováno pomocí modelu rozmístění očí a rtů na obličeji řečníka. Model postihoval vzdálenosti očí a rtů člověka a tvar a velikost těchto objektů. Pro určení 3D orientace hlavy bylo použito vypočtu 5 parametrů popisujících umístění a rotaci očí a úst na obličeji člověka. Tyto parametry byly porovnány s parametry, které popisovaly ručně vybrané natočení hlavy v 3D prostoru. Podle shody parametrů bylo určeno natočení hlavy řečníka, které odpovídalo definovanému vzoru viz [10]. Aby bylo možné aplikovat 3D model pro nalezení kontury rtů, musela být vnitřní a vnější kontura rtů nalezena alespoň přibližně. Pro tento úkol jsem využil osvědčené metody z experimentů na databázi izolovaných slov. Metoda musela ovšem být upravena tak, že hodnota prahu se stanovovala na základě analýzy histogramu složky G/R. Histogram většinou obsahoval dvě maxima, která představovala body kůže a body rtů. Algoritmus nalezl minimum mezi těmito maximy a to se použilo jako hodnota prahu pro nalezení rtů viz [12]. Poté jsem již využil tvar rtů a informaci o 3D orientaci rtů k nasazení 3D modelu jehož výsledek je zobrazen na obrázku 30. Samotný 3D model je reprezentován pomocí 16 bodů se souřadnicemi x,y,z. Vždy osm a osm bodů popisuje vnitřní a vnější konturu rtů. Pro získání tvaru modelu bylo nahráno 20 foneticky vyvážených vět pomocí systémů zrcadel a kamery tak, abychom získaly dva různé pohledy na řečníka viz obrázek 30. Body modelu představovaly modré kuličky nalepené na obličej řečníka. Pomocí prahování byly tyto body nalezeny pro každý snímek všech promluv. Poté byly pro každý bod spočítány jeho prostorové souřadnice a tím byl pro každý snímek reprezentován tvar modelu. Shlukováním těchto tvarů bylo určeno základních 20 tvarů rtů. Zpracováním po sobě jdoucích snímků bylo určeno z jakého do jakého základního tvaru může model přecházet během promluvy. Při hledání

- 48 -

Vlastní přínos vhodného modelu bylo nejprve všech 20 modelů natočeno podle informace o natočení hlavy a porovnáno s tvarem rtů získaným z prahování. Zvýhodněny byly ty modely do kterých mohl přejít model z předchozího snímku. Tak byl určen tvar rtů pro neznámý snímek. Úspěšnost celého algoritmu nalezení hlavy řečníka a nalezení vnitřní a vnější kontury rtů nebyla příliš vysoká. Bylo to způsobeno především nedokonalostí metody headtrackingu a určením prostorového natočení hlavy. Algoritmus selhával díky velkým změnám osvětlení celé scény. Při ručním určení orientace hlavy v 3D prostoru již pracoval algoritmus liptrackingu uspokojivě. Bohužel nebylo možné ručně definovat rotaci hlavy pro každou promluvu, a proto byl celý systém nepoužitelný pro úlohu AV rozpoznávání. Dalším problémem bylo nedostatečné rozlišení videozáznamu ve smyslu rozlišení připadajícího na ústa. Rozlišení bylo nedostatečné pro účely návrhu nové tvarově orientované parametrizace, neboť z video záznamu nebyla příliš patrná pozice zubů a jazyka uvnitř rtů. Z těchto důvodů jsem se rozhodl pro vytvoření nové databáze, která by vyžadovala co nejjednodušší předzpracování a zároveň umožňovala studium vizuální řeči.

Obrázek 30. Vlevo – Stereo pohled na řečníka s nalepenými body odpovídajícími bodům modelu rtů, nalezené pozice bodů v obraze, rekonstruované 3D souřadnice bodů, vpravo – výsledky nalezení vnější a vnitřní kontury rtů pomocí 3D modelu a její projekce do bočního pohledu

3.2.2 Databáze pro určení vizémových skupin pro český jazyk Tato malá databáze vznikla za účelem studia podobnosti výslovnosti českých fonémů z vizuální složky řeči. Primárním cílem bylo určení vizémových skupin pro český jazyk a nalezení vhodných řídících parametrů pro artikulaci tzv. mluvicí hlavy. Databázi tvoří promluvy tří řečníků (dva muži a jedna žena). Jako promluvy byly vybrány samostatné izolované fonémy, krátká slova tvořená třemi fonémy (souhláska samohláska souhláska nebo samohláska souhláska samohláska) a spojitá řeč v rozsahu jedné hodiny. Pro snímání scény bylo využito systému 4 zrcadel a jedné kamery, který je popsán v článku [95]. Tento systém zajišťuje složení dvou pohledů na řečníka do jednoho snímku. Aby bylo možné přesně zjišťovat tvar vnější kontury rtů bylo využito reflexních bodů a infračerveného zdroje osvětlení scény. Na obličej řečníka bylo nalepeno 12 bodů pokrytých reflexním materiálem. Osm bodů bylo nalepeno na vnější konturu rtů, dva body na tváře, jeden bod na bradu a jeden na krk řečníka v oblasti ohryzku. Další tři reflexní body byly umístěny na čelo řečníka. Tyto body sloužily k určení pozice a orientace hlavy. Celá scéna byla osvětlena infračerveným zdrojem světla a snímání bylo prováděno v temné místnosti. Použití reflexního materiálu velmi zjednodušilo nalezení bodů pomocí metod zpracování obrazu. Obraz byl snímán digitální kamerou s rozlišením 720*576 bodů s frekvencí 25 Hz. Současně s video záznamem byl pořizován i akustický záznam pomocí stolního mikrofonu a záznam činnosti hlasivek získávaný pomocí laryngografu. Z vizuálního záznamu byly pomocí metod zpracování obrazu (prahování) a metody stereo vidění vypočítány 3D souřadnice všech reflexních bodů pro každý snímek a tím byl také určen prostorový tvar rtů. Dále byla provedena segmentace akustického záznamu jejíž výsledkem bylo nalezení časových hranic jednotlivých fonémů. Detailnější popis databáze je proveden v článku [42].

- 49 -

Vlastní přínos

Obrázek 31. Vlevo – schéma snímacího zařízení, vpravo – dva pohledy na řečníka složené do jednoho snímku, na obličeji jsou nalepeny reflexní body

3.2.3 Laboratorní audiovizuální databáze Audiovizuální databáze, pojmenovaná UWB-05-HSCAVC (University of West Bohemia - 2005 hunderd speakers Czech audiovizual corpus). Ukázky získaného korpusu a jeho předzpracování je dostupné na http://www.kky.zcu.cz/cs/research-fields/audio-visual-corpus-UWB-05-HSCAVC. Databáze byla navržena tak, aby vyžadovala co nejjednodušší předzpracování video záznamu promluvy a splňovala předpoklady pro návrh a výpočet tvarově orientované parametrizace především vnitřní části úst (jazyk a zuby). Aby byly splněny tyto podmínky, byla databáze pořízena v laboratorním prostředí. To znamená, že scéna měla konstantní osvětlení, řečník byl požádán o minimální pohyb hlavy během promluvy, bylo použito jednotné pozadí neodrážející světlo, hlava řečníka byla snímána z čelního pohledu tak, aby vyplňovala co největší plochu obrazu. Z toho důvodu byla digitální kamera natočena o 90°, neboť její vertikální rozlišení je větší než horizontální a hlava člověka je vyšší než širší vizobrázek 32.

Obrázek 32. Ukázka audiovizuální databáze UWB-05-HSCAVC

Jako obrazové snímací zařízení byla použita DV kamera s rozlišením 720*576 bodů se snímkovací frekvencí 25 Hz. Videozáznam byl ukládán bez další komprese v DV formátu. DV kamera pracuje v tzv. prokládaném režimu záznamu, což znamená že snímá nejprve liché řádky a potom sudé řádky a výsledný obraz vznikne jejich složením. Rty se při řeči pohybují velmi rychle, a proto při snímání obrazu v režimu prokládání vznikají chyby v řádcích, jestliže se snímaný objekt pohne v intervalu mezi sejmutím sudého a lichého půlsnímku viz obrázek 33. Protože rozlišení připadající na rty bylo v případě databáze dostatečně velké (160*80 bodů), mohli jsme si dovolit zvýšit snímací frekvenci tím, že jsme celé snímky rozdělili na liché a sudé a ty byly zpracovávány odděleně jako by šlo o samostatné snímky. Snímkovací frekvence se tak zvýšila na 50 Hz ovšem snížilo se horizontální rozlišení, tedy šířka rtů. Průměrné rozlišení připadající na rty se snížilo na 80*80 bodů. Rozlišení - 50 -

Vlastní přínos každého půlsnímku je tedy 720*288 bodů. Pro získání akustických dat byly použity dva mikrofony. Jeden stolní a jeden klopový mikrofon viz obrázek 34. Akustická data byla uložena jako soubor wav ve formátu PCM se vzorkovací frekvencí 44kHz a rozlišením 16 bitů. Pro synchronizaci akustického a vizuálního záznamu byla použita klapka.

Obrázek 33. Rozložení celého snímku na sudý a lichý půlsnímek, na půlsnímcích vpravo je znatelný pohyb rtů během sejmutí půlsnímků a to se projevuje na složeném snímku vlevo.

AV korpus obsahuje promluvy 100 řečníků (39 mužů, 61 žen). Pro každého řečníka bylo vybráno 200 vět. Prvních 50 vět bylo totožných pro všechny řečníky a ostatních 150 bylo odlišných. Obě skupiny vět byly vybírány tak, aby obsahovaly vyvážené množství fonémů a aby jejich počet byl co největší. V rámci předzpracování korpusu byly ručně přepsány všechny promluvy. Dále byly pro každého řečníka ručně vytvořeny tři vzory. Jednalo se o vzor levého, pravého oka a o snímek kde bylo odstraněno vše kromě kůže obličeje viz obrázek 34. Vzory očí slouží pro přesná nalezení očí při vyhledání ROI a snímek s kůží obličeje je použit pro výpočet prahu pro metodu skin-color pro nalezení hlavy řečníka.

Obrázek 34. Vlevo – ukázka nahrávání AV databáze, vpravo nahoře – vzory očí, vpravo dole – ručně vybrané body kůže pro stanovení barvy kůže

- 51 -

Vlastní přínos

3.3

Zpracování databáze

Aby bylo možné získat parametrizaci vizuální složky řeči popsanou v 3.1.2.3, je nutné provést zpracování videozáznamů z databáze UWB-05-HSCAVC. Zpracování bylo rozděleno do tří navazujících kroků. Prvním z nich je nalezení oblasti zájmu. Druhým krokem je získání vnitřní a vnější kontury rtů a v posledním třetím kroku je zpracován vnitřek rtů a určena pozice zubů, jazyka a mezery. Těmto krokům, které již provádějí zpracování obrazu, musely předcházet úpravy videozáznamů a akustických nahrávek. Bylo nutné provést rozdělení záznamů na jednotlivé věty, synchronizovat akustický záznam a videozáznam a srovnat délky těchto nahrávek pro pozdější kombinaci akustických a vizuálních příznaků.

3.3.1 Nalezení oblasti zájmu ROI Vstupem metody nalezení oblasti zájmu je videozáznam promluvy řečníka, s rozlišením 720*288 bodů a frekvencí 50 Hz. Osvětlení scény by mělo být konstantní ovšem nahrávání databáze probíhalo v místnosti, kde nebylo možné eliminovat vnější osvětlení, a proto se osvětlení scény částečně mění. Pozadí scény je stejné pro všechny nahrávky a bylo tvořeno modrým papírem. Řečníci byli požádáni o minimální pohyby hlavy v průběhu snímání. I když byl mluvčí opřen hlavou o stěnu, nebyl schopen se vyvarovat drobnějších pohybů (v některých případech značných pohybů). Analýza videozáznamů ukázala, že pohyby jsou představovány především nakláněním a rotacemi hlavy do stran. Z uvedených znalostí byla pro detekci ROI vybrána velmi jednoduchá, a jak se ukázalo spolehlivá, metoda založená na vyhledávání významných bodů viz 2.2.1. Metoda pracuje ve třech krocích: nalezení hlavy pomocí eliminace pozadí, nalezení očí pomocí metody srovnávání se vzorem a v posledním kroku nalezení středu rtů pomocí prahování. Po získání pozic těchto významných bodů byl určen střed a velikost oblasti zájmu a tyto informace představují výstup metody. Základem metody nalezení pozice ROI je nalezení hlavy řečníka v každém snímku. Existuje několik typů metod pro řešení tohoto problému. Protože databáze pro kterou byla metoda vyvinuta byla pořízena v laboratorních podmínkách, bylo možné vybrat velmi jednoduchou metodu nalezení hlavy založenou na odstranění konstantního pozadí. Než byla vybrána tato metoda, byla pro nalezení hlavy řečníka vyzkoušena tzv. metoda skin-color viz 2.2.1.1. Pro každého řečníka byla ručně definována oblast kůže pro jeden snímek videozáznamu. Z těchto snímků byla spočítána střední hodnota a rozptyl barvy kůže pro složky Cr a Cb chromatické reprezentace barev. Pomocí Střední hodnoty a rozptylu byly poté vybírány oblasti, které odpovídají kůži člověka. Metoda pracovala poměrně dobře. V databázi se ovšem vyskytují nahrávky, kde se chybou obsluhy nahrávání, velmi odlišuje osvětlení scény. Na takovýchto nahrávkách tato metoda selhávala. Proto byla použita metoda odstranění pozadí. Metoda vychází z předpokladu, že na každém prvním snímku každého videozáznamu je v levém horním rohu oblast obsahující pouze pozadí viz obrázek 35-1. Pro každou nahrávku byla z této oblasti o velikosti 10*10 bodů spočítána střední hodnota MP a rozptyl VP pro složku Cr. Tím jsme získali barvu pozadí. Barva pozadí byla vypočítána pouze pro první snímek každého videozáznamu. Poté byla tato hodnota použita pro prahování tohoto snímku S v reprezentaci Cr podle rovnice (31), kde P je výsledný naprahovaný obraz. Vztah byl získán pomocí experimentů na databázi UWB-05-HSCAVC.

0 P(i, j ) =  255

pro S (i, j ) > M P − VP α S (i, j ) < M P + VP jinak

(31)

Výsledkem operace bylo nejen odstranění pozadí, ale velmi často i tmavých vlasů a oděvů. Problém však představovaly světlé části oblečení, které se označily jako hlava. Bylo proto provedeno vybrání největšího nalezeného objektu a ten byl prohlášen za hlavu. Abych se zbavil chybně nalezených částí ve spodní části obrazu provedl jsem ořez celého objektu podle šířky hlavy. Šířka hlavy byla

- 52 -

Vlastní přínos vypočtena, jako šířka nalezeného objektu uprostřed výšky objektu. Výsledný objekt hlavy je zobrazen na obrázku 35-3. Nalezení hlavy řečníka bylo nutné provést pouze pro první snímek videozáznamu, protože v dalších snímcích se již vyhledávaly pouze významné body. Za významné body byly zvoleny středy očí a úst člověka. Jako první byly nalezeny středy očí. Po nalezení hlavy byla z rozměrů tohoto objektu odhadnuta oblast výskytu levého a pravého oka. Levé oko se nachází v levé horní čtvrtině obdélníku opsaného kolem hlavy a pravé oko v pravé čtvrtině viz obrázek 35-4. V databázi je pro každého řečníka uložen vzor levého a pravého otevřeného oka viz obrázek 34. Střed očí byl určen pomocí metody srovnávání se vzorem. Vzor oka i oblast výskytu oka byly převedeny do chromatické reprezentace a pro vyhledání očí byla použita složka Cr. Jako střed oka bylo považováno místo s největší shodou vzoru a obrazu. Tato metoda pracuje velmi spolehlivě neboť oko řečníka se v průběhu nahrávání neměnilo. Jediným problémem, kdy vzor neodpovídal oku řečníka bylo mrknutí.

Obrázek 35. Nalezení oblasti zájmu, 1 – výběr vzoru pro pozadí, 2 – naprahovaný objekt hlavy, 3 – ořez podle šířky středu objektu, 4 – nalezení očí pomocí vzorů, výběr oblasti výskytu úst a jejich nalezení

V tomto okamžiku byla shoda vzoru a obrazu velmi malá. Byl proto stanoven práh shody (0.8) pro detekci mrknutí. Jestliže maximální shoda vzoru a obrazu klesla pod tento práh, byl střed oka převzat z předchozího snímku. Tato úprava je možná, neboť mrknutí je velmi krátké a změna pozice středu očí je velmi malá. Je nutné dodat, že se vyskytly případy kdy byla pozice středu oka během mrknutí určena špatně právě díky pohybu hlavy. Těchto případů bylo ovšem jen velmi málo a byly opraveny ručně. Pro všechny ostatní snímky, než první snímek, byla předpokládaná oblast výskytu oka určena ze známé předchozí pozice středu a velikosti vzoru oka. Tato oblast odpovídala obdélníku se středem v předchozí pozici středu oka a velikosti dvakrát větší než velikost vzoru. Velmi se tím snížila velikost prohledávané oblasti oproti prvnímu snímku, čímž se algoritmus zrychlil. Současně s nalezením středů očí byl pro každý snímek nalezen i střed úst. V prvním snímku byla určena vzdálenost středu očí, která je uložena do souboru s popisem videozáznamu. Podle této vzdálenosti je pro celou promluvu určena velikost ROI. Oblast výskytu úst byla určována pomocí pozice a vzdáleností středů očí. Střed oblasti výskytu úst leží na kolmici sestrojené v polovině spojnice očí ve vzdálenosti 1,5krát vzdálenost očí. Velikost této čtvercové oblasti je 1,5*vzdálenost očí. Samotný střed úst je nalezen jako průměrná pozice bílých bodů získaných prahováním oblasti v barevné reprezentaci G/R pomocí prahu P, jehož určení je popsáno níže viz 3.3.2. Nyní známe pozici středu úst a velikost ROI. Jako doplňující údaj je do souboru s popisem videozáznamu uložen ještě úhel natočení hlavy vypočítaný jako úhel natočení středů očí vůči horizontální ose. Soubor s popisem videozáznamu je výstupem metody nalezení oblasti zájmu.

3.3.2 Liptracking Vstup metody nalezení kontury rtů byl videozáznam s rozlišením 720*288 bodů a frekvencí 50 Hz. Z kroku nalezení ROI je k dispozici informace o jeho pozici a velikosti. Průměrná velikost oblasti - 53 -

Vlastní přínos zájmu je 113*65 bodů. Oblast zájmu zahrnuje rty a jejich nejbližší okolí viz obrázek 36. V oblasti zájmu se vždy vyskytuje nadpoloviční většina bodů, které náleží kůži. V oblasti se jen velmi zřídka vyskytují body náležející pozadí. Po analýze oblastí zájmu pro různé řečníky bylo zjištěno, že rty některých řečníků odrážejí umělé osvětlení scény a jsou tudíž přesvětleny. Tento jev se projevoval u lidí s vlhkými rty a při použití rtěnky. Rty v tomto případě ztrácejí svou typickou barvu. Dále bylo konstatováno, že barva rtů a barva tváře je dostatečně odlišná, a proto bylo rozhodnuto použít pro jejich vyhledávání právě barevnou odlišnost. Rty jsou vždy více červené než kůže. V oblasti zájmu se však v průběhu promluvy nevyskytují pouze dva objekty (rty a kůže). Vyskytují se zde i zuby, jazyk, mezera uvnitř úst a zřídka i vousy viz obrázek 36. Zuby, mezera a vousy se také dostatečně odlišují svou barvou od rtů. Problém nastává při viditelnosti jazyka. Při osvětlení má totiž jazyk velmi podobnou barvu jako rty, a je proto velmi obtížné ho od rtů odlišit. Dalším problémem je samotný tvar rtů některých řečníků. Variabilita tvaru rtů pro různé řečníky je velmi velká a existují i ústa jejichž horní ret je skoro neznatelný, protože jeho výška je velmi malá viz obrázek 36. Uvedené poznatky však neplatí pro všechny řečníky. U některých řečníků je odlišnost barvy kůže a rtů jen velmi malá a to znesnadňuje určení hranice rtů. Aby bylo možné vypočítat stanovené geometrické příznaky musela být dostatečně přesně nalezena vnitřní i vnější kontura rtů. Tvar obou kontur musel být poté popsán tak, aby bylo možné ho přesně rekonstruovat pro poslední krok zpracování (zpracování vnitřku úst). Po zvážení získaných informacích byla pro nalezení rtů zvolena jednoduchá metoda prahování na základě analýzy histogramu. Tento postup se bohužel ukázal jako nedostatečný. Ve většině případů sice byly nalezeny rty, ale jejich tvar neodpovídal příliš skutečnosti. Zlepšení poté nepřinesla ani úprava tvaru rtů pomocí morfologických operací. Proto byla hledána jiná metoda, která by dokázala lépe nalézt celý tvar rtů. Jako nejlepší řešení se ukázalo vylepšení metody nalezení prahu pomocí shlukování a následné použití modifikované metody ASM, která pracuje s definovaným modelem rtů viz 2.2.2.4. Kombinace těchto dvou metod přinesla uspokojivé výsledky nalezení obou kontur a metoda ASM ještě poskytla kvalitní popis tvaru nalezených rtů.

Obrázek 36. Ukázka ROI, 1 – velmi malý horní ret, 2 – přesvětlení některých částí rtů, 3 – podobná barva horního rtu a kůže, 4 – vousy

Jak již bylo zmíněno, je metoda nalezení tvaru rtů rozdělena na dvě části. V první části dochází k hrubému nalezení tvaru pomocí prahování a druhá část upravuje tento tvar pomocí modelu rtů. Nejdůležitějším úkolem první části metody bylo stanovení barevné reprezentace pro kterou dochází k nejlepšímu odlišení bodů rtů a bodů tváře. Byly provedeny experimenty s několika barevnými reprezentacemi (RGB, HSV či chromatická reprezentace) a nejlepších výsledků bylo dosaženo pro reprezentaci pomocí jedné složky definované vzorcem G/R, kde G a R jsou složky barevné reprezentace RGB. Analýza probíhala pomocí vyhodnocování histogramu ROI pro různé barevné reprezentace viz obrázek 37. Analýza spočívala ve sledování průběhu histogramu. Čím více byl histogram bimodální a jednotlivá lokální maxima představující objekty rtů a kůže se od sebe vzdalovala a prohlubovalo se údolí mezi těmito maximy, tím byla daná reprezentace z hlediska oddělení objektů lepší. Po konečném výběru barevné reprezentace bylo nutné vytvořit metodu, která by určovala hodnotu prahu pro získání objektu rtů. V reprezentaci G/R jsou rty představovány vždy nižším maximem, které je umístěno více vlevo než maximum představující kůži.

- 54 -

Vlastní přínos

Obrázek 37. Ukázka histogramů a zobrazení ROI pro různé reprezentace obrazu (R, G, B, Hue, chromatická červená, chromatická zelená, šedotónová, R/G)

Pro nalezení prahu byla zvolena metoda analýzy histogramu. Jako ideální práh se ukázalo právě minimum oddělující maxima, která reprezentují jednotlivé objekty. Tato metoda sice nacházela objekt rtů, ale jeho tvar byl velmi nepřesný. Části rtů chyběly a naopak některé oblasti kůže byly označeny jako rty. Největší problém nastával jestliže v histogramu nedošlo k vytvoření dostatečně hlubokého minima a vysokého maxima. Metoda poté určila nesmyslný práh a rty byly nalezeny špatně. Proto byla metoda nalezení prahu změněna. Místo analýzy histogramu byla použita shlukovací metoda založená na GMM a EM algoritmu. Tato metoda byla převzata od kolegů zabývajících se rozpoznáváním řečníka. Metoda provede rozdělní bodů ROI do dvou tříd (rty, kůže) pomocí shlukování založeném na kombinaci metod DB (distance based) a EM (expectation maximization). Nejprve jsou všechny body rozděleny do dvou tříd. Pomocí binárního dělení a kritéria nejbližšího souseda jsou tyto shluky postupně přeskupovány, až získáme dvě množiny reprezentující rty a kůži. Poté je použita metoda EM pro úpravu rozptylů obou shluků, které jsou použity k výpočtu prahu. Protože metoda je výpočetně náročná byly provedeny testy s množstvím vstupních dat. Vstupní data představují všechny body ROI v reprezentaci G/R. Jestliže však použijeme pouze každý šestý bod ROI, je výsledek metody zanedbatelně odlišný oproti použití všech bodů, ovšem rychlost výpočtu se několikanásobně zvýší. Výsledkem shlukování jsou střední hodnoty MR, MK (představují hodnoty v reprezentaci G/R) a rozptyly VR, VK pro objekt rtů a kůže. Výpočet prahu P byl proveden pomocí rovnice (32). Vztah pro práh P byl získán z experimentálních výsledků. Výpočet hledá práh mezi hodnotami MR, MK pomocí poměru rozptylu jednotlivých tříd. Hodnoty MR a VR odpovídají střední hodnotě a rozptylu třídy obsahující body rtů získané shlukováním v reprezentaci G/R, hodnoty MK a VK reprezentují třídu obsahující body kůže.

- 55 -

Vlastní přínos

P = M R + (M K − M R ) ∗

VK VR + VK

(32)

V neznámém obrázku byly jako rty označeny všechny body s nižší hodnotou než je hodnota P. Výsledek prahování představuje binární obraz, kde bílá znamená rty a černá ostatní viz obrázek 38. Stávalo se, že jako rty byly označeny i části kůže, které se nedotýkaly rtů. Tyto části představují poruchy kůže, kdy je pokožka načervenalá a barva těchto míst se blíží barvě rtů. Proto byl jako objekt rtů vybrán největší objekt v binárním obraze. Nevýhodou tohoto kroku je občasné odstranění horního rtu, neboť se stává, že horní ret je oddělen od spodního v oblasti nad koutky. Tato oblast je problémová a často jsou zde rty označeny jako kůže. Jestliže je horní ret úplně oddělen, pak metoda výběru největšího objektu vybere pouze spodní ret viz obrázek 38-3.

Obrázek 38. Ukázka nalezení vnitřní a vnější kontury rtů: 1 – ROI, 2 – naprahovaný obraz, 3 – vybrání největšího objektu, 4 – přidání objektů pomocí tvaru rtů z předchozího kroku, 5 – rozšířený konvexní obal vnější kontury rtů, 6 – obraz upravený pomocí vyprahování vnitřku úst a odstranění děr pod a nad hranicí vnitřku úst, 7 – získání vnitřku úst obarvením okolí úst, 8 – hranice vnitřku rtů, 9 –konvexní obal vnitřku úst, 10 – výsledný hrubý tvar rtů, 11 – výsledný tvar rtů upravený pomocí modelu

Abychom mohli tento získaný tvar rtů použít pro vylepšení pomocí modelu rtů musíme získat vnitřní a vnější konturu. Bohužel metoda prahování většinou označí jazyk jako objekt rtů, takže vnitřní kontura nemá správný tvar. Vnější kontura je většinou nalezena správně, ovšem je porušená dírami, které měly být označeny jako rty, ale byly označeny jako kůže. Pro zlepšení tvaru vnější kontury bylo použito konvexního obalu. Využívá se toho, že nejčastější chybou vnějšího tvaru jsou právě díry. Nejprve je provedena eroze s binárním obrazem rtů a tento obraz je odečten od původního obrazu rtů a tím je získán obraz obsahující pouze hranici rtů. Tento obraz je použit jako vstup metody vypočítávající konvexní obal. Po výpočtu konvexního obalu je obal zakreslen do původního obrazu a všechny body uvnitř obalu jsou označeny jako bílé. Po získání vnější kontury musíme opravit tvar vnitřní kontury. Nejčastější chybou jsou opět díry vzniklé nenalezením rtů. Jedny jsou způsobeny přesvětlením rtů a nacházejí se většinou uvnitř spodního rtu. Ostatní díry jsou způsobeny podobností barvy rtů a kůže viz obrázek 38-2. Protože pro úpravu tvaru opět používáme konvexní obal, musíme zaplnit díry, které spojují vnitřek rtů s okolím rtů. To provedeme s využitím konvexního obalu vnější kontury. Na tento obal, který je tvořen čárou tloušťky 1 použijeme dilataci se strukturním elementem [7, 9] pro rozšíření obalu viz obrázek 38-5. Provedeme operaci OR s tímto obrazem a původním obrazem rtů. Výsledný obraz by již neměl obsahovat žádné spojení vnitřku rtů a okolí rtů pomocí černých bodů (občas se stává, že vnitřní černé body jsou propojeny s okolím rtů). Dalším problémem vnitřního tvaru rtů je občasné označení jazyka jako objekt rtů. Jestliže se jazyk nedotýká rtů a je pouze označen bílými body uvnitř rtů pak je snadné tento objekt odstranit a nemá tak vliv na tvar vnitřní kontury (odstranění všech bílých objektů uvnitř úst). Jestliže se však dotýká rtů pak odstranit nelze a právě tato situace byla řešena. Jazyk má velmi podobnou barvu jako rty a proto je velmi obtížné ho odlišit pomocí prahování. Využijeme však toho, že i když se jazyk dotýká rtů pak mezi rtem a jazykem zůstává místo které je tmavší než oba objekty. Je tedy třeba určit jas JV tohoto místa. Vycházíme tedy z požadavku nalézt místo, kde končí vnitřní ret a začíná vnitřek úst. Pro vyřešení tohoto problémů postačí analyzovat slabý výřez úst nacházející se ve středu úst, který začíná na horní vnější a končí na spodní vnější hranici rtů viz obrázek 39. Řez je

- 56 -

Vlastní přínos široký 7 bodů a jeho pozice je určena tak, že jsou nalezeny nejpravější, nejlevější, nejhornější, a nejspodnější bod binárního obrazu rtů. Tyto body jsou nalezeny prostým procházením obrazu a kontrolou pozic jednotlivých bodů. Výřez rtů V je převeden do šedotónové reprezentace. Jeho dimenze je 7*N bodů, kde N je výška rtů. Poté je výřez upraven na vektor VP o velikosti N, kde každý jeho prvek je definován pomocí rovnice (33) (součet hodnot pro každý sloupec).

VP ( x ) =

∑V ( y, x ),

kde

x ∈ {1.. N }

(33)

y =1..7

Po vyhodnocení průběhu vektoru VP pro různé řečníky a promluvy, bylo zjištěno, že přechod vnitřní ret a vnitřek rtů představuje bod mezi prvním lokálním maximem a prvním lokálním minimem a bod mezi posledním lokálním maximem a posledním lokálním minimem viz obrázek 39. Průchodem vektoru 1..N a porovnáváním hodnot sousedních prvků jsou nalezeny lokální maxima a minima, přičemž první nalezený extrém nemůže být maximum. Po nalezení lokálních extrému jsou vybrány dva z nich. Úplně první minimum MH a poslední minimum následované maximem MD. Protože přechod ret vnitřek úst neleží přímo v bodech minim musíme jejich pozice dohledat. Mohou se vyskytnout dva případy. V prvním případě je pozice MD shodná s pozicí MH a znamená to, že rty jsou buď zavřeny a nebo vnitřek úst vyplňuje pouze mezera. V tomto případě je pozice přechodu definována jako pozice prvního bodu s hodnotou větší než číslo P definované rovnicí (34). Kde M1 a M2 jsou hodnoty prvního a posledního prvku vektoru VP, které odpovídají bodům rtů.

P = hodnota M H + P = hodnota M D

(M 1 − hodnota M H ) pro horní ret

(M N +

2 − hodnota M D ) pro spodní ret 2

(34)

V druhém případě je pozice MD a MH odlišná. Pro pozice přechodů platí stejné podmínky ovšem číslo P je získáno pomocí rovnic (35).

P = hodnota M H +

(M 1 − hodnota M H ) pro horní ret

2 (M N − hodnota M D ) pro spodní ret P = hodnota M D + 2

(35)

Tím jsme získali pozici nejhornějšího a nejspodnějšího bodu vnitřku úst. Nyní již zbývá pouze určit hodnotu jasu JV. JV je definována jako menší z obou hodnot vektoru VP na nalezených pozicích horního a dolního přechodu. JV je ještě nutné podělit hodnotou 7 (šířka vektoru V), aby jsme dostali šedotónovou hodnotu.

Obrázek 39. Nalezení prahu JV a hranic vnitřku úst, 1 – výběr části rtů pro nalezení hranic vnitřku (žlutá čára = hranice vnitřku), 2 – průběh součtů šedi pro jednotlivé řádky výběru, červená = nalezená maxima, modrá = nalezená minima, šedivá = pozice hranic vnitřku úst

Popsaný proces stanovil hodnotu prahu JV. Všechny body ROI nacházející se uvnitř rtů a které mají hodnotu šedi menší než JV jsou označeny jako bílé body a ostatní jako černé. Výsledek prahování (tmavé části vnitřku úst) je odečten od původního obrazu po upravení vnějšího tvaru rtů. Všechny černé body nacházející se uvnitř rtů představují buď vnitřek rtů nebo přesvětlené oblasti rtů (většinou

- 57 -

Vlastní přínos spodní ret). Protože ale vedlejší efekt určení prahu JV je nalezení nejspodnějšího bodu vnitřku úst, můžeme odstranit všechny černé body, které se nacházejí pod tímto bodem viz obrázek 38-6. Jestliže byly hranice vnitřku nalezeny špatně, pak by mohly být odstraněny i černé body, které odpovídají vnitřku úst. Proto platí pravidlo, že díry, které leží na spojnici vnějších koutků se neodstraňují. Abychom mohli nalézt konvexní obal vnitřku úst musíme ještě obarvit body vně rtů na bílo a provést inverzi obrazu. Body vně rtů jsou všechny černé body, které sousedí s rohy obrazu pouze přes černé body. Po inverzi obrazu jsou body vnitřku bílé a ostatní černé. Jazyk je většinou označen černými body což ovšem nevadí, neboť jsme nalezli přechod mezi jazykem a rtem. Po vytvoření konvexního obalu kolem bílých bodů obarvíme celý vnitřek konvexního obalu a tím získáme tvar vnitřku rtů. Výsledný obraz Ovnitřku je zobrazen na obrázku 38-9. Nyní je ukončena část nalezení hrubého tvaru rtů pomocí prahování. Výstupem metody je obraz, který získáme operací AND s obrazy Ovnějšku a invertovaného obrazu Ovnitřku viz obrázek 38-10. Tím se dostáváme k druhému kroku algoritmu nalezení kontury rtů. Hlavním úkolem druhé části metody je vylepšení tvaru vnější a vnitřní kontury. Pro vyřešení tohoto problému nebylo možné použít jednoduchých metod popisu objektů, neboť tvar rtů se v průběhu promluvy velmi mění. Proto jednoduché metody vyhodnocování zda část objektu představuje rty či nikoliv selhávaly. Byla vyzkoušena metoda založená na popisech jako podlouhlost, kulatost atd., které měla určit jestli nalezený objet dostatečně představuje rty či nikoliv. Když nebyl nalezený objekt vyhodnocen jako rty, pak se upravil práh a došlo k znovu nalezení objetu rtů dokud nebylo rozhodnuto, že se jedná o rty. Tato metoda byla velmi citlivá na nastavení rozhodovacích prahů její výsledky byly velmi nespolehlivé. Proto byla vybrána jiná metoda popisu objektů, která dokáže zachytit tvar objektů obsažených v trénovací množině a zpětně je rekonstruovat. Tato metoda se nazývá aktivní tvarový model 2.2.2.4. Metoda dokáže opravit chybnou část tvaru objektu, jestliže jiná část objektu je správná. Opravou je myšlena úprava tvaru podle vzoru z trénovací množiny. Jestliže je tedy část vnitřní kontury nalezena špatně, ale vnější kontura je nalezena správně pak dojde k vylepšení špatně nalezené části vnitřní kontury. Aby bylo možné metodu využít je třeba navrhnout model rtů a poté vytvořit trénovací množinu.

Obrázek 40. Ukázka rozmístění bodů modelu rtů, 1 – rozmístění bodů na vzorovém tvaru rtů, 2 – umístění bodů vnitřní kontury nezávislé na vnější kontuře, 3 – umístění bodů vnitřní kontury závislé na vnější kontuře

V našem případě je model tvořen třiceti dvěma body. Pospojováním těchto bodů přímkami vznikne vnější a vnitřní kontura rtů. Vnitřní i vnější kontura je popsána pomocí šestnácti bodů viz obrázek 40. Každý bod je reprezentován pomocí jeho souřadnic x,y. Celkový model tedy představuje vektor VK = [ x1, x2,.., x64, y1, y2,.., y64] který obsahuje 64 souřadnic. Počet bodů a jejich rozmístění je vybráno tak, aby po pospojování bodů přímkami tyto dostatečně popisovaly tvar rtů, ale zároveň bylo bodů co nejméně. Při tvorbě modelu jsem vycházel z poznatku, že metoda nalezení hrubého tvaru velmi dobře nachází vnější koutky úst. Proto byly koutky úst zvoleny jako body, podle nichž se určuje pozice všech ostatních bodů modelu. Hlavním úkolem modelu je popsat tvar rtů. Model již nemusí popisovat velikost rtů a proto je možné použít vnější koutky rtů jako pevné body modelu, které mají normalizovanou vzdálenost (normalizace na 1). Kdyby měl model ještě popisovat velikost rtů pak nastávají problémy, neboť velikost rtů se nemění jen v průběhu řeči, ale i mezi řečníky. Velikost rtů v klidové poloze (zavřená ústa) je velmi odlišná pro odlišné řečníky. Model byl tedy navržen tak, že

- 58 -

Vlastní přínos ostatní body vnější kontury mají pevnou x-ovou pozici vzhledem k vnějším koutkům. Vzdálenost koutků je rozdělena na 8 stejných částí a na jejich hranicích se nacházejí body vnější kontury rtů. Jejich y-ová pozice je daná tvarem rtů. Uspořádání bodů vnitřní kontury je podobné. Y-ové pozice bodů jsou definovány opět osmi intervaly, na které je rozdělena vzdálenost vnitřních koutků. Pozice vnitřních koutků je proto nalezena jako první a k ní jsou vztaženy pozice ostatních bodů vnitřní kontury. Rozmístění bodů ukazuje obrázek 40-1. To že pozice vnitřních koutků není přesně definovaná podle pozice vnějších koutků umožňuje přesnější popis vnitřní kontury. Jak by model vypadal při pevné pozici vnitřních koutků ukazuje obrázek 40-3. Model rtů ovšem není popsán pouze vektorem VK. Tento vektor popisuje pouze střední tvar rtů. Model dále popisují tzv. transformační matice P a deformační matice DEF, které budou popsány později. Abychom mohli definovat všechny prvky modelu rtů je zapotřebí vybrat trénovací množinu. Prvky trénovací množiny musí obsahovat tvary rtů pro různé řečníky a pro různé promluvy, aby model mohl tyto případy popsat. Trénovací množinu tvoří 228 vzorů. Nejprve bylo náhodně vybráno 2000 tvarů rtů. Poté došlo k užšímu výběru tak, aby trénovací množina zahrnovala co největší spektrum běžných tvarů rtů jaké se vyskytují při promluvě. Každý vzor představuje obraz odpovídající ROI, v němž byla ručně označena vnitřní a vnější kontura rtů. Vnější kontuře odpovídá bílá barva a vnitřní černá barva viz obrázek 41. Obrázky byly ještě před zanesením kontur upraveny tak, aby se v nich nevyskytovaly žádné čistě černé nebo bílé body.

Obrázek 41. Ukázka vzorových tvarů rtů obsažených v trénovací množině. Vnější kontura je označena bíle a vnitřní černě.

Po vytvoření trénovací množiny již bylo možné spočítat střední tvar ms, transformační matici P a deformační vektor DEF. Pro každý obraz trénovací množiny byly určeny souřadnice bodů modelu. Pro jejich nalezení stačilo pouze obraz naprahovat, tak aby zůstaly pouze černé nebo bílé body. Po získání kontur byly nalezeny koutky a podle nich souřadnice ostatních bodů, které jsou pevně rozmístěny mezi nimi. X-ová souřadnice je určena právě tvarem rtů. Pro každý vzor byl tedy získán vektor VK obsahující souřadnice nalezených bodů. Nyní bylo nutné provést normalizaci celého modelu podle vnějších koutků podle rovnic (36), kde vektor VK obsahuje souřadnice bodů modelu rtů, Vš představuje vzdálenost vnějších koutků, YVně představuje y-ovou souřadnici středu vnějších koutků, XVně představuje x-ovou souřadnici středu vnějších koutků a XVni představuje x-ovou souřadnici středu vnitřních koutků. Po normalizaci byla pozice levého vnějšího koutku [-0.5, 0] a pravého vnějšího koutku [0.5, 0]. Všechny body jsou tedy normalizovány tak, aby střed vnějších koutků ležel v bodě [0,0] a vzdálenost všech ostatních bodů byla vydělena vzdáleností vnějších koutků od jejich středu.

VK (i ) − X Vně pro Vš V (i ) − X Vni VK (i ) = K pro Vš V (i ) − YVně VK (i ) = K pro Vš V (i ) − YVně VK (i ) = K pro Vš VK (i ) =

i ∈ {1..16} i ∈ {17..32} i ∈ {33..48} i ∈ {49..64}

- 59 -

(36)

Vlastní přínos Výstupem normalizace je tedy 288 vektorů VK. Pomocí metody PCA jsou nyní vypočteny vektory ms, DEF a matice P. Jako první je vypočtena střední hodnota ms podle vzorce (3) a kovarianční matice R podle vzorce (4). Poté je proveden SVD rozklad matice R na matici vlastních čísel V a vlastních vektorů A tak, jak je popsáno v 2.1.1.2. Pro popis modelu bylo vybráno 10 vlastních vektorů odpovídajících 10 největším vlastním číslům. Z nich byla vytvořena transformační matice P. Deformační vektor DEF je určen pomocí rovnice (13) (výpočet bk). Vektor ms představuje průměrný tvar rtů, k němuž je počítána odchylka od nalezeného tvaru rtů (velikost [64,1]). Transformační matice P zajišťuje výpočet tvaru rtů z 10 řídících koeficientů. Matice PT zajišťuje převod tvaru rtů na řídící vektor. Matice tedy slouží ke změně dimenze. Vektor DEF omezuje maximální deformace modelu při přepočtech mezi tvarem rtů a řídícím vektorem. Pro řízení tvaru modelu bylo vybráno 10 řídících bodů (PCA). Bohužel nebylo provedeno nalezení optimálního množství řídících bodů tak, aby jejich počet byl co nejmenší, ale aby model dostatečně postihoval tvar rtů. Na obrázku 42 je znázorněno jak se deformuje tvar rtů při změně jednotlivých řídících bodů.

Obrázek 42. Ukázka deformace tvaru rtů při změně jednotlivých parametrů řídícího vektoru.

Úprava tvaru nalezených rtů funguje následovně. Jako první jsou nalezeny body modelu na přibližně nalezeném tvaru rtů. Z pozic nalezených bodů je sestaven vektor VK a je spočítána odchylka VS tohoto modelu od vektoru středního tvaru ms. Poté je spočítán vektor řídících bodů b podle rovnice (37). b = P T * VS (37) Prvky vektoru b jsou omezeny tak, aby jejich hodnota nebyla větší než hodnota definovaná ve vektoru DEF čímž zajistíme, že tvar rtů se nebude deformovat více než bylo uvedeno v trénovací množině. Po omezení vektoru b provedeme zpětnou transformaci řídícího vektoru na tvar rtů VKN popsaný pomocí bodu modelu podle rovnice (38).

VKN = ms + P * b

(38)

Vektor VKN představuje nový upravený tvar rtů. V předchozích odstavcích byl popsán postup vytvoření modelu rtů. Můžeme tedy pokračovat ve druhé fázi nalezení kontury rtů, a tou je úprava tvaru. Abychom mohli využít model rtů musíme nejprve nasadit model na nalezený tvar rtů. Proto jsou jako první nalezeny vnější koutky a podle nich jsou určeny pozice ostatních bodů modelu. Určení pozic bodů modelu probíhá stejně jako při vytváření modelu. Místo označených kontur pomocí bílé a černé máme k dispozici nalezený tvar. Nalezení vnějších bodů z tvaru rtů je jednoduché. Postupujeme vždy od kraje obrazu, dokud

- 60 -

Vlastní přínos nenarazíme na bílý bod. Nalezení bodů vnitřní kontury se provádí po úpravě obrazu stejným způsobem. Úprava obrazu spočívá v tom, že okolí rtů je obarveno na bílo a obraz je invertován. Po nalezení bodů je provedena normalizace. Poté je spočítána odchylka od středního tvaru a provedena transformace do prostoru nižší dimenze a zpět. Výsledný tvar je od normalizován a zakreslen do původního obrazu ROI. Tímto postupem jsme získali tvar rtů definovaný pomocí modelu. Ukázky opravy nalezeného tvaru rtů pomocí modelu jsou zobrazeny na obrázku 43. Během celého procesu nalezení kontury rtů je možné vylepšit či zjednodušit některé kroky vyhledávání. V popisu první části (nalezení hrubého tvaru), bylo uvedeno, že v některých případech dochází k odstranění objektů patřících rtům, díky označení největšího objektu jako rty. Nejčastěji dochází ke ztrátě horního rtu. Tento problém je možné odstranit použitím získaného tvaru rtů z předchozího snímku. Po vybrání největšího objektu je do naprahovaného obrazu (všechny nalezené objekty) zanesena kontura rtů z předchozího snímku podle nalezených koutků v aktuálním snímku. Všechny objekty jejichž část leží uvnitř rtů jsou vybrány jako objekty rtů. Tuto operaci lze provést neboť změna tvaru rtů je dostatečně pomalá.

Obrázek 43. Ukázka opravy tvaru rtů pomocí modelu, černo – bílý obraz – binární obraz nalezených rtů upravený pomocí konvexního obalu, barevný obraz – výsledný tvar rtů po použití modelu rtů

Celý proces nalezení rtů je možné urychlit výpočtem prahu pro nalezení rtů pouze v prvním snímku. Metoda shlukování pro nalezení prahu je totiž časově náročná. Při použití prahu nalezeného v prvním snímku dochází jen k velmi malé chybě nalezení tvaru v ostatních snímcích. V případě, že výpočetní čas nehraje roly, pak je lepší provést výpočet prahu pro každý snímek znovu. Výsledkem části nalezení kontury rtů je tedy vektor VKN, který obsahuje pozice bodů modelu popisující tvar rtů. Popsaný postup nalezení oblasti ROI a nalezení vnitřní a vnější kontury rtů s urychlením v podobě nalezení prahu pouze v prvním snímku byl realizován v programovacím jazyce C. Program pracuje v reálném čase na počítači s konfigurací Pentium4, 3GHz, 1GB RAM. Program byl testován za různých podmínek a pro různé řečníky a vykazuje velkou robustnost a spolehlivost.

3.3.3 Nalezení vnitřku úst Cílem metody nalezení vnitřku úst bylo určení horizontálních pozic jazyka, horních zubů, dolních zubů a mezery. Problémem určení pozic těchto objektů během promluvy se bohužel nezabývá žádná publikovaná práce. Musel jsem proto provést analýzu vnitřku rtů a následně určit postup nalezení jazyka, zubů a mezery. Jako výstup metody jsem požadoval určení horizontálních pozic objektů. Vertikální pozice objektů není důležitá, neboť v průběhu promluvy by se všechny objekty měly pohybovat pouze nahoru a dolů. Pohyb jazyka či spodních zubů do stran se při tvorbě hlásek

- 61 -

Vlastní přínos neuplatňuje. Tento předpoklad není pro reálné podmínky splněn, ovšem můžeme ho brát jako pravdivý, neboť pohyby objektů do stran jsou minimální. Při analýze vnitřku úst pro různé řečníky a různé promluvy byly zjištěny následující poznatky: jazyk má velmi podobnou barvu jako rty v barevné reprezentaci RGB ve složce R. Horní zuby se nepohybují vlivem promluvy, ale pouze vlivem pohybu hlavy řečníka. Pozici spodních zubů je možné přibližně určit podle pozice brady. Jas mezery je vždy menší než jas rtů. Jestliže vybereme úzký proužek rtů viz obrázek 44-1 a vykreslíme součet šedotónových hodnot jeho řádků, pak hranice jednotlivých objektů leží v extrémech této křivky. Všechny tyto poznatky byly zjištěny experimentálně sledováním změn vnitřku rtů pro různé promluvy a různé barevné reprezentace. Je nutné zdůraznit, že u některých snímků nebylo možné přesně určit jaké části jsou právě viditelné, neboť zuby občas mají červený nádech a je těžké je odlišit od jazyka a jazyk občas vlivem osvětlení ztrácí červenou barvu a vypadá proto jako mezera. Pozice horních zubů se nemění během promluvy, neboť jsou umístěny v horní čelisti. Proto je možné přibližně určit jejich pozici pomocí nějakého pevného bodu na hlavě řečníka. Když je tento bod viditelný, pak je možné určit pozici horních zubů i při zavřených rtech ze znalosti vzdálenosti horních zubů a tohoto bodu. Jako pevný bod na hlavě, který lze snadno vyhledávat pomocí metody srovnávání se vzorem byl určen nos. Takto je možné určit i přibližnou pozici spodních zubů. Spodní zuby jsou totiž zasazeny ve spodní čelisti a pohyb spodních zubů je proto spjat s pozicí brady. V případě, kdy by byla v každém snímku přesně určena pozice ROI, mohly by být přibližné pozice zubů určovány z předchozích snímků. Můj algoritmus pro nalezení ROI však nedokáže tento předpoklad dostatečně splnit. Dalším poznatkem je, že barva jazyka ve složce R je velmi podobná barvě rtů. Tento poznatek byl zřejmý již při hledání tvaru rtů. Jestliže je jazyk dostatečně vystrčen (je dostatečně osvětlen), pak je tento poznatek pravdivý. Jestliže je ale jazyk zastrčen v ústech, pak tmavne a ztrácí červenou barvu (způsobuje to nedostatek světla). Posledním poznatkem je, že průběh součtu šedotónových hodnot proužku vnitřku určuje pozice hranic jednotlivých objektů. K výběru slabého proužku uprostřed rtů mě vedl poznatek, že není důležitý pohyb objektů do stran, ale pouze nahoru a dolů. Proto stačí analyzovat slabý proužek uprostřed rtů, který obsahuje všechny objekty jestliže jsou viditelné. Jestliže tedy naleznu maxima a minima průběhu zmiňované křivky, mohu určit přechody jednotlivých objektů. Bohužel však z průběhu křivky nelze jednoznačně určit o jaké objekty se jedná a proto je pro jejich identifikaci použito předchozích poznatků z analýzy vizuální složky řeči.

Obrázek 44. Nalezení objektů vnitřku úst: 1 – výběr úzkého proužku vnitřku úst, 2 – průběh šedotónových hodnot vybraného proužku s nalezenými extrémy, 3 – nalezené extrémy zanesené do obrazu (zelený křížek = odhad pozice dolních zubů, červený křížek = odhad pozice horních zubů, bílý křížek = nový odhad pozice horních zubů po jejich nalezení), 4 – binární obraz rtů z modelu, 5 – naprahovaný obraz jazyka a mezery (bílá = jazyk, šedivá = mezera), výběr oblastí pro dohledání jazyka (červená) a mezery (žlutá), 6 – nalezené středy a rozměry objektů (bílá = horní zuby, zelená = jazyk, modrá = dolní zuby)

Ještě před popisem samotného postupu nalezení objektů vnitřku rtů uvedu pokus o jejich nalezení použitím modelu rtů spojeného s modelem vnitřku úst. Tento model byl vytvořen stejnou metodou jako samotný model rtů. K modelu byly přidány další čtyři souřadnice, které představovaly pozice jazyka, zubů a mezery. Jestliže nebyl některý z objektů viditelný, pak byla jeho pozice mimo rty. Použití tohoto modelu však nedávalo dobré výsledky. Zhoršila se samotná část nalezení tvaru rtů a ani určení pozic objektů vnitřku nepracovalo správně a proto jsem od metody upustil. Jako vstup metody nalezení pozic objektů vnitřku jsem použil nalezený tvar rtů a oblast ROI. Z tvaru rtů je možné určit hranice vnitřku úst a tím i vybrat slabý proužek OV vnitřku rtů. Pro nalezení pozic objektů využívám i přibližných pozic zubů určených z pozice nosu a brady, a proto je potřeba tyto pozice určit před analýzou prvního snímku. Pozice nosu a brady je určena podle středu

- 62 -

Vlastní přínos nalezených rtů, velikosti ROI a vnější šířky úst. Pro pozici nosu platí: x = střed rtů x , y = střed rtů y - velikost ROI/3, pro velikost vzoru nosu platí: šířka a výška = šířka úst. Pro pozici brady platí: x = střed rtů x , y = střed rtů y + velikost ROI/3, pro velikost vzoru brady platí : šířka = šířka úst/2, výška = šířka úst * 0,8. Podle těchto pozic a velikostí jsou z prvního snímku získány vzory pro nos a bradu. Podle těchto vzorů je určována pozice nosu a brady pomocí metody srovnávání se vzorem (v šedotónové reprezentaci) pro další snímky. V prvním snímku je nutné určit i předpokládanou pozici zubů. Jestliže jsou rty zavřené, což je možné určit z vnitřní kontury rtů (horní a spodní vnitřní kontura se dotýkají), pak pozici zubů určíme pomocí nalezení středu rtů. Je možné vyjít z předpokladu, že při zavřených rtech jsou zuby člověka těsně u sebe a spodní hranice horních zubů se nachází v úrovni místa, kde se rty dotýkají. Místo kde se rty dotýkají je také nejtmavší místo rtů. Určíme ho jako minimum řezu rtů v šedotónové reprezentaci. Jestliže jsou ovšem rty otevřené, pak je jako pozice zubů určen střed vzdálenosti středu horní a dolní vnitřní kontury rtů viz obrázek 45. Ze znalosti pozice horních a dolních zubů určíme vzdálenost horních zubů a nosu a spodních zubů a brady. Tyto vzdálenosti jsou zpřesňovány po nalezení skutečné pozice horních a dolních zubů.

Obrázek 45. Nalezení středu úst jako bodu uprostřed vzdálenosti středů horní a dolní vnitřní kontury.

Přibližné pozice zubů jsou také vstupem metody samotného nalezení objektů vnitřku úst. Prvním krokem metody je výběr úzkého proužku vnitřku rtů. Proužek je určen pomocí vnitřních koutků a platí pro něj: střed: x = střed pozic vnitřních koutků x, y = střed pozic vnitřních koutků y, velikost: výška = vnitřku úst + 10 bodů na každou stranu, šířka = 6 bodů. Tento proužek je převeden do šedotónové reprezentace a jsou sečteny hodnoty v jednotlivých řádcích. Dostáváme tedy vektor VV, který má velikost = výška vnitřku + 20 bodů, jehož průběh je znázorněn na obrázku 44-2. Při takovéto volbě vektoru VV je splněno, že první bod vektoru představuje bod horního rtu řečníka. Proto je tento bod označen jako první extrém (extrém(0), extrém(0).x představuje pozici extrému a extrém(0).y jeho velikost). Vyhledávání dalších extrému se provádí průchodem vektoru od začátku a sledováním změny směru průběhu. Takto jsou určena lokální maxima a minima celé křivky. Algoritmus hledá pouze prvních 7 extrémů, neboť ty představují možné přechody mezi objekty. Ostatní extrémy jsou ignorovány. Pro extrémy přibližně platí, že zuby jsou představovány maximy, mezera minimy a jazyk může být představován obojím. Při hledání extrému jsou brány v potaz pouze dostatečně velké extrémy. Podmínkou pro akceptování extrému extrém(i) je splnění podmínky (39).

 extrém (i ). y extrém (i − 1). y  ABS  −  > 0.052 extrém (0 ). y   extrém (0 ). y

(39)

Jestliže algoritmus vynechává tyto malé extrémy, pak se může stát, že po sobě následují dvě maxima či dvě minima. Proto je toto kontrolováno a je ponechán pouze extrém s větší hodnotou (minimum menší, maximum větší). Dalším krokem po nalezení extrémů je výpočet vektoru určujícího přítomnost jazyka či mezery uvnitř rtů. Pro určení tohoto vektoru je využita střední hodnota barvy a jasu rtů, jak vyplývá z předpokladů určených pozorováním vnitřku úst. Pro nalezení objetu jazyka a mezery nejprve vytvoříme binární obraz rtů pomocí nalezeného tvaru viz obrázek 44-4. Vynásobením tohoto obrazu s obrazem ROI získáme obraz rtů v reprezentaci RGB. Poté spočítáme střední hodnotu M a rozptyl V výsledného obrazu pro reprezentaci RGB složku R (MR, VR), reprezentaci HSV složku S (MS, VS) a šedotónovou reprezentaci (MG, VG). Naprahováním původního obrazu ROI podle rovnic (40) získáme obraz tvaru jazyka a mezery uvnitř úst OVP. Výsledek prahování je zobrazen na obrázku 44-5. - 63 -

Vlastní přínos

OVP (i, j ) = 255 když OVP (i, j ) = 0

(R (i, j ) > M R − VR * 1.5) & (R (i,j ) < M R ) & (S (i, j ) > M S − VS * 0.5) (40)

jinak

OVP (i, j ) = 100 když

(G (i, j ) < M G − VG * 2 )

Po získání tvaru rtů a mezery pomocí prahování jsou vybrány dva úzké proužky z OVJ (jazyk) a OVM (mezera) viz obrázek 44-5. Výška obou odpovídá výšce vnitřku úst. Šířka prvního je polovina šířky vnitřku a šířka druhého je šířka vnitřku/5*2. Následně je vytvořen vektor VJ, který udává výskyt jazyka a vektor VM, který udává výskyt mezery. Vektor VM je konstruován tak, že jeho prvek nabývá 1 jestliže se v příslušném řádku v obraze OVM nachází bod s hodnotou 100. Pro konstrukci vektoru VJ jsou nejprve počítány výskyty bodů s hodnotou 255 pro každý řádek. Hodnota prvku vektoru je 1 jestliže četnost bodů 255 pro příslušný řádek je větší než šířka vnitřku/4 nebo příslušný prvek vektoru VM je rovem jedné. Po nalezení extrémů a výskytu jazyka a mezery je možné provést určení pozic objektů vnitřku úst podle počtu nalezených extrémů. Jestliže je počet extrému 1, pak se může jednat pouze o mezeru. Jestliže extrém(1).y/extrém(0).y<0.5 nebo VM(extrém(1).x)==1, pak se jedná o mezeru. Všechny další podmínky pro rozhodování o typu objektu, jako pro určení mezery, byly určeny experimentálně. V následujícím popisu je poziceZubuHor a poziceZubuDol přibližnou pozicí horních a dolních zubů nalezenou pomocí pozic nosu a brady. Jestliže je počet extrémů 2, pak se vyhodnocují následující vztahy: if (extrém(1).x>poziceZubuHor & ((extrém(1).y/extrém(0).y)<0.5) | VM (extrém)(1).x)=1) - extrém(1) je mezera, nachází se za horními zuby - určení druhého extrému (spodní zuby či jazyk) if (VJ(extrém(2).x)=0 | extrém(0).y<extrém(2).y | (extrém(0).y>extrém(2).y & VJ(extrém(2).x)=0)) - jedná se o spodní zuby, horní to být nemohou podle polohy - horní zuby nejsou vidět, extrém(2) jsou spodní zuby, jazyk není vidět jinak if (extrém(2).x<poziceZubuDol) - extrém je před spodními zuby a jedná se tedy o jazyk - horní zuby nejsou vidět, spodní zuby nejsou vidět, extrém(2) je jazyk jinak - horní zuby nejsou vidět, extrém(2) jsou spodní zuby, jazyk není vidět jinak první extrém není mezera mezera není vidět if (VJ (extrém(2).x)=0 | extrém(2).x<poziceZubuHor) - jedná se o horní zuby - jazyk není vidět if (extrém(2).x<poziceZubuHor) - extrém(2) jsou horní zuby podle pozice - je třeba zkontrolovat, jestli se v okolí maxima nevyskytuje ještě nějaké malé maximum, které se zahodilo při hledání extrémů a které představuje spodní zuby - maximum hledám od extrém(2).x do konce vnitřku úst - jestliže se nalezlo pak spodní zuby představuje toto maximu, jinak nejsou spodní zuby vidět jinak - jedná se o spodní zuby podle pozice - je třeba zkontrolovat jestli se v okolí maxima nevyskytuje ještě nějaké malé maximum, které se zahodilo při hledání extrémů a které představuje horní zuby - maximum hledám od extrém(2).x do začátku vnitřku úst

- 64 -

Vlastní přínos - jestliže se nalezlo pak horní zuby představuje toto maximu, jinak nejsou spodní zuby vidět jinak -maximum by měl být jazyk, ale je třeba to zkontrolovat podle pozice if (extrém(2).x+<poziceZubuDol) - jedná se o jazyk, horní a spodní zuby nejsou vidět jinak - jedná se o spodní zuby, horní zuby ani jazyk nejsou vidět Jestliže je počet extrémů 3, pak se vyhodnocují následující vztahy: if ((extrém(1).y/extrém(0).y)<0.5 | VM (extrém)(1).x)=1) - musíme zkontrolovat jestli minimum leží za předpokládanou hranicí horních zubů if (extrém(1).x>=poziceZubuHor ) - extrém(1) je mezera if (VJ(extrém(2).x)=1 & extrém(2).x<poziceZubuDol) - extrém(2) je jazyk podle pozice, horní ani dolní zuby nejsou vidět jinak - extrém(2) jsou dolní zuby, horní zuby ani jazyk nejsou vidět jinak - stává se že pozice zubů je odhadnuta špatně a potom se mezera nenajde kvůli tomu - musíme se podívat jestli mezi odhadnutou pozicí zubů a maximem není VM =1 jestliže ano pak tento bod prohlásíme za mezeru - vektor VM prohledáváme od poziceZubuHor až po extrém(2).x - jestliže narazíme na hodnotu 1 pak tento bod je mezera a pokračuje v určování dalších extrémů if (VJ(extrém(2).x)=1 & extrém(2).x<poziceZubuDol) - extrém(2) je jazyk podle pozice, horní ani dolní zuby nejsou vidět jinak - extrém(2) jsou dolní zuby, horní zuby ani jazyk nejsou vidět jestliže se mezera nenašla pak - zjištění jestli maximum je jazyk if (extrém(2).x>poziceZubuHor & VJ(extrém(2).x)=1) if (VM (extrém(2).x)=1) - jedná se o mezeru jinak if (extrém(2).x<poziceZubuDol) - jedná se o jazyk podle pozice jinak - jedná se o horní zuby jinak - jazyk není vidět - je třeba zkontrolovat jestli se v okolí maxima nevyskytuje ještě nějaké malé maximum, které se zahodilo při hledání extrémů a které představuje jiný objekt - jestliže je extrém(2).x>poziceZubuHor pak hledáme od extrém(1).x do extrém(2).x jinak od extrém(2).x do extrém(3).x - jestliže se maximum nalezne, uloží se jeho pozice jako extrémPom if (extrém(2).x<=poziceZubuHor) - extrém(2) jsou horní zuby if ( VJ(extrémPom)=1 & extrémPom<poziceZubuDol) - extrémPom je jazyk, dolní zuby nejsou vidět jinak -extrémPom jsou dolní zuby a jazyk není vidět jinak - extrém(2) jsou dolní zuby podle pozice

- 65 -

Vlastní přínos if ( VJ(extrémPom)=1 & extrémPom>poziceZubuHor) if (extrémPom<poziceZubuDol) - extrémPom je jazyk, horní zuby nejsou vidět jinak - horní zuby ani jazyk nejsou vidět jinak - jazyk není vidět if (extrémPom<poziceZubuHor) - extrémPom jsou horní zuby jinak - horní zuby nejsou vidět

- musíme zjistit jestli druhé minimum je mezera if VM(extrém(3).x)=1 & VM(extrém(3).x-1)=1 ) & dolní zuby ani mezera se nenašly - extrém(3) je mezera Jestliže je počet extrémů 4 nebo 5 pak se vyhodnocují následující vztahy: if (extrém(1).x>poziceZubuHor & ((extrém(1).y/extrém(0).y)<0.5) | VM (extrém)(1).x)=1) - extrém(1) je mezera, nachází se za horními zuby if (VJ(extrém(2).x]=1) - extrém(2) je jazyk jinak - jazyk není vidět - horní zuby nejsou vidět, extrém(4) jsou dolní zuby jinak - extrém(1) není mezera if ((extrém(2).x<poziceZubuHor) | VJ(extrém(2).x)=0) - extrém(2) jsou horní zuby -*** kontrola prostoru od středu mezi extrém(3) a extrém(4) až do extrém(4) jestli se tam nenachází zuby, stává se že se zuby v extrém(4) zamění za jazyk, ale již o bod před jde o zuby - hledáme jestli se VJ v této oblasti rovná 0 - jestliže ano pak - extrém(4) jsou dolní zuby - musíme ověřit jestli se mezi zuby nenachází jazyk - mezera ani jazyk nejsou vidět - procházíme úzký proužek OVM od extrém(2) do extrém(4) (pozice zubů) - pro každý řádek nasčítáme počet bodů s hodnotou 255 do vektoru VJpom a počet bodů s hodnotou 100 do vektoru VMpom - po průchodu celého proužku procházíme vektory VJpom a VMpom if (VJpom(j)>2 | VMpom(j)>2) if (VJpom(j)>=VMpom) - jazyk převažuje nad mezerou Jazyk++ počítáme kolik místa zabírá jazyk jinak - mezera převažuje nad jazykem Mezera++; if ((Jazyk>1 | Mezera>1) & Jazyk>=Mezera) - extrém(3) je jazyk, mezera není vidět jinak if ((Jazyk>1 || Mezera>1) & Jazyk<Mezera){ - extrém(3) je mezera, jazyk není vidět jinak - jazyk ani mezera nejsou vidět

- 66 -

Vlastní přínos -*** if (Jazyk=0 & Mezera=0 && (extrém(2).y)-extrém(1).y))/(extrém(2).x)-extrém(3).y)<1.2) nalezení mezery porovnáním minim - extrém(3) je mezera jinak if (VJ(extrém(4).x)=1 & extrém(4).x<poziceZubuDol) - extrém(4) je jazyk jinak - jazyk není vidět jinak - extrém(2) je jazyk, extrém(4) jsou dolní zuby, horní zuby nejsou vidět Jestliže je počet extrémů 6 nebo 7, pak se vyhodnocují následující vztahy: - extrém(2) jsou horní zuby if (VJ(extrém(6).x)=0) -extrém(6) jsou dolní zuby - musíme ověřit jestli prostřední maximum jsou zuby nebo jestli došlo k chybě - je použit stejný postup jako při počtu extrémů 4 nebo 5 v úseku *** až ***, místo prohledávání do extrém(4) se prohledává do extrém(6) Tím jsme vyčerpali všechny možnosti počtu nalezených extrémů. Nyní je ještě možné zkontrolovat nalezení horních zubů. Jestliže nebyly horní zuby nalezeny, ale prostor mezi poziceZubuHor a horní hranicí vnitřku je větší než 4 obrazové body, pak by zde měly být horní zuby a jsou sem doplněny. Toto doplnění je možné provést, neboť přibližná pozice horních zubů je velmi přesná. Posledním krokem určení pozic objektů vnitřku úst je zpřesnění přibližných pozic horních a dolních zubů. Jestliže tedy byly horní nebo dolní zuby nalezeny, pak se zprůměruje přibližná pozice s nově nalezenou a tato se považuje za novou přibližnou pozici zubů. Pozice jednotlivých objektů je ovšem třeba ještě upravit. Nalezené pozice zhruba odpovídají středům objektů. Při hledání jejich hranic je nutné hledat střed mezi pozicemi jejich středů. Jestliže spolu sousedí zuby nebo zuby a jazyk, pak se pokouším nalézt minimum mezi těmito objekty, které představuje jejich předěl (pokles jasu na hranici objektů). Tímto postupem získám nejen výskyt, ale i procentní zastoupení jednotlivých objektů uvnitř úst. Úspěšnost metody nalezení pozic objektů vnitřku byla ověřena na ručně označené testovací množině. Množina obsahuje 882 obrazů rtů pro různé řečníky a různé promluvy. Ke každému obrazu byl vytvořen soubor, který určuje, jaké objekty (horní dolní zuby, jazyk, mezera) se v obraze vyskytují. Tyto obrazy jsou poté zpracovány pomocí navržené metody a její výsledky jsou porovnány s ručně vytvořeným popisem daného obrazu. Při ručním vyhledáváním jednotlivých objektů vnitřku úst se stávalo, že ani člověk nedokázal přesně rozhodnout jaké objekty příslušný obraz obsahuje. Takovéto případy nastávaly především při určování viditelnosti jazyka mezi zuby, či překryvu horních a dolních zubů. Výsledná úspěšnost metody byla při tomto testu 71%. Jako správný výsledek byl brán případ, kdy se nalezené objekty plně shodovaly s objekty určenými člověkem.

3.3.4 Výpočet obrazových příznaků DCT Pro porovnání výsledků mé parametrizace se standardně používanými obrazově orientovanými parametrizacemi jsem použil nejpoužívanější parametrizaci založenou na DCT. Vstupem výpočtu DCT příznaků je oblast zájmu. Pro výpočet obrazově orientovaných příznaků je dobré, když jsou umístění a velikost rtů stále stejné. V mnou získaném ROI by tyto předpoklady měly platit, neboť ve středu ROI je střed rtů a velikost ROI je určena na základě vzdálenosti očí. Prvním krokem při výpočtu DCT příznaků je normalizace ROI na jednotnou velikost. V našem případě byla zvolena velikost ROI 64*64 obrazových bodů. Transformovaný obraz je převeden do šedotónové reprezentace. Výsledný obrázek OŠ je znázorněn na obrázku 46. Samotné DCT příznaky jsou vypočítány podle vzorce (41).

- 67 -

Vlastní přínos

F (u , v ) =

c(u )c(v ) N −1 N −1

1  c(k ) =  1  2 

 π (2m + 1)u   π (2n + 1)v   cos , 0 ≤ u , v ≤ N − 1 2N 2N   

∑ ∑ O(m, n)cos

N n = 0 m =0 k =0

(41)

1 ≤ k ≤ N −1

Proměnné u a v představují frekvence, pro které je transformace počítána, O(m,n) jas obrazu na souřadnicích m, n, konstanta N představuje rozměr obrazu v našem případě 64. Výsledných DCT příznaků je tedy 64*64. Takovéto množství příznaků je pro rozpoznávání nepoužitelné, neboť dimenze příznakového vektoru je příliš velká. Je proto nutné provést výběr vhodných příznaků. Kritérií pro výběr příznaků je několik. Nejpoužívanějším je však výběr podle velikosti energie E definované vzorcem (42). Jako vhodné příznaky je vybráno S prvků F(u,v) s největší energií. 2

E (u, v ) = F (u, v )

(42)

Pro výběr vhodných příznaků, které budou dobře popisovat daný obraz (rty), je třeba vytvořit trénovací množinu. Trénovací množina by měla obsahovat možné tvary rtů během promluvy od různých řečníků. V našem případě bylo vybráno 10000 obrazů, z nichž byla vypočítána Kosinová transformace. Pro každý obraz byla spočítána energie E. Pro všechny frekvence u a v byla spočítána střední hodnota energie E přes všechny obrazy. Tím jsme získali střední hodnotu energie pro jednotlivé prvky F(u,v). S prvků F(u,v) s největší energií je poté použito k vytvoření příznakového vektoru. Výsledkem nalezení vhodných příznaků jsou pozice u,v koeficientů DCT. Při samotném výpočtu příznakového vektoru již stačí vypočítat pouze F(u,v) pro souřadnice získané z trénovací množiny a tím získáme příznakový vektor založený na DCT. Hodnoty frekvencí u,v pro vybrané koeficienty DCT jsou uvedeny v tabulce 14.

Obrázek 46. Ukázka zpracování ROI pomocí DCT transformace, 1 – původní ROI, 2 – ROI zmenšený na velikost 64*64 bodů v šedotónové reprezentaci, 3 – ROI po zpětné Kosinové transformaci (15 DCT)

Stejný postup jako při získání příznaků pomocí DCT transformace z ROI je použit i pro výpočet příznaků vnitřku úst. Jediný rozdíl je v předkládaném vstupním obraze. Při výpočtu DCT popisujících celé rty jsem používal jako vstupní obraz obdélníkové okolí rtů. Při výpočtu DCT pro vnitřek úst používám obdélníkový výřez vnitřku úst. Tento výřez je definován pomocí vnitřní a vnější hranice rtů. Obdélník vnitřku úst je ohraničen následovně: horní hranice leží ve středu středního horního bodu vnitřní a vnější kontury, dolní hranice leží ve středu středního dolního bodu vnitřní a vnější kontury, levá hranice leží ve středu levého vnitřního a vnějšího koutku a pravá hranice leží ve středu pravého vnitřního a vnějšího koutku viz obrázek 47. Jako trénovací množina bylo použito 13000 náhodně vybraných oblastí vnitřku úst. Hodnoty frekvencí u,v pro vybrané koeficienty DCT jsou uvedeny v tabulce 15.

- 68 -

Vlastní přínos

Obrázek 47. Ukázka zpracování vnitřku úst pomocí DCT transformace, 1 – původní ROI, 2 – vybraná oblast vnitřku úst, 3 – normalizace na velikost 64*64 bodů v šedotónové reprezentaci, 4 – obraz vnitřku po zpětné Kosinové transformaci (4 DCT)

3.3.5 Výpočet akustických příznaků Pro popis akustické složky řeči byla využita standardně používaná PLP parametrizace. Příznakový vektor má dimenzi 36 a tvoří ho 13 PLP koeficientů, 13 delta a 13 akceleračních koeficientů. Celý příznakový vektor byl vždy normalizován na střední hodnotu přes celou promluvu .

3.4

Databáze pro určení vizémů

Určení vizémových skupin pro český jazyk byl velmi důležitý úkol z hlediska rozpoznávání řeči z vizuální složky. Pro rozpoznávání je totiž nutné určit jednotky, které budeme rozpoznávat. Tyto jednotky by měly být dobře odlišitelné právě pomocí informací, které budeme pro rozpoznávání využívat. Jak již bylo uvedeno, vizuální složka zahrnuje méně informací o řeči než akustická složka. Z toho vyplývá, že vizuálních řečových jednotek bude méně než akustických. Volba jednotek samozřejmě záleží na typu úlohy. V případě rozpoznávání izolovaných slov mohou základní jednotky tvořit celá slova. V našem případě rozpoznávání spojité řeči však bylo nutné najít jednotky menší tak, aby odpovídaly akustickým jednotkám. Pro rozpoznávání řeči z akustické složky je pro český jazyk definováno 43 fonémů. Jejich ekvivalent pro vizuální složku tzv. vizémy bohužel oficiálně definovány nejsou. Strnadová ve své knize [83] rozděluje hlásky z hlediska odezírání zhruba do 14 skupin. Nalezením vizémových skupin jsem chtěl ověřit správnost rozdělení hlásek do těchto skupin na malé množině promluv. Při analýze vizémů jsem vycházel z předpokladu, že vizémy by měly být dobře odlišitelné na základě tvaru rtů. Jestliže tedy nalezneme tvar rtů pro jednotlivé fonémy v různých kontextech, budeme moci tyto tvary porovnat. Ty fonémy, které budou příliš podobné (odchylka ve tvaru rtů) by měly tvořit jednu vizémovou třídu.

Obrázek 48. Vzdálenost tvarů reprezentujících fonémy vykreslená pomocí dendrogramu.

Prvním krokem při zpracování databáze popsané v sekci 3.2.2 bylo určení 3D pozic bodů umístěných na rtech řečníka. Tento problém byl vyřešen nalezením pozic bodů v obou pohledech pomocí jednoduché metody prahování. Následně byla využita metoda pro výpočet 3D souřadnic z dvou kalibrovaných pohledů pro osm bodů umístěných na vnější kontuře rtů . Tím jsme získali tvar vnější kontury rtů pro každý snímek video záznamu promluvy. Dále bylo zapotřebí určit hranice

- 69 -

Vlastní přínos jednotlivých fonémů v každé promluvě. Proto byla provedena segmentace řeči na základě akustického záznamu a záznamu z laryngografu. Bližší postup je popsán v článku [42]. Výsledkem segmentace je řetěz fonémů a informace o jejich začátku a konci pro každou promluvu. Po rozdělení vizuálních dat do získaných intervalů jsme obdrželi 1-n tvarů rtů reprezentujících daný foném v dané promluvě. Protože akustická a vizuální složka řeči jsou asynchronní, bylo nutné určit, jak daná segmentace odpovídá hranicím fonémů ve vizuální složce řeči. Pro vizuální popis fonémů mohlo být vybráno několik možností. Jako nejlepší reprezentant daného tvaru rtů mohl být vybrán první, prostřední, poslední nebo průměrný tvar rtů příslušející danému intervalu. Jak se ukázalo při studiu hranic nalezených fonémů a vizuální složky řeči, tak nejlépe vizuální složku řeči popisuje první nalezený tvar rtů v daném intervalu viz obrázek 55. Abychom mohli rozhodnout o počtu vizémových tříd, museli jsme spočítat střední tvar každého fonému přes všechny jeho výskyty pro jednoho řečníka. Střední hodnoty nebyly počítány přes všechny řečníky, protože tvar rtů pro jednotlivé řečníky se liší a ovlivnilo by to určení vizémových tříd. Po získání středních hodnot pro všechny fonémy byly vypočítány vzdálenosti mezi těmito tvary a zobrazeny formou dendrogramu viz obrázek 48. Souhlásky a samohlásky byly zpracovávány odděleně. Ze vzdáleností jednotlivých tvarů bylo určeno 13 vizémových tříd jejichž přehled je uveden v tabulce 9. vizém fonémy p,b,m

v,f

č,š,ř,ž

c,s,z

l,r

d,t,n

ď,ť,ň g,h,k,ch

a

e

Tabulka 9. Příslušnost fonému k jednotlivým vizémových třídám.

- 70 -

i

o

u

Experimenty

4

Experimenty

V kapitole 3.1.2.3 byly představeny vizuální příznaky vybrané pro popis vizuální složky řeči. Jedná se o tvarově i obrazově založené příznaky. Pomocí těchto příznaků bylo sestaveno několik příznakových vektorů, které popisují odlišné části vizuální složky řeči. Abych byl schopen porovnat kvalitu jednotlivých příznakových vektorů z hlediska obsahu informace o řeči, musím provést srovnávací experimenty na úlohách vizuálního a audiovizuálního rozpoznávání řeči. Abych mohl určit kvalitu mé vlastní parametrizace, musel jsem provést porovnání výsledků rozpoznávání se standardně používanou parametrizací na úloze, kde již byla tato standardní parametrizace použita. V průběhu vývoje parametrizace a získávání nových poznatků o vizuální složce řeči byly provedeny experimenty celkem na třech různých audiovizuálních databázích. První experimenty byly provedeny na ruské AV databázi za účelem prvotního srovnání jednoduché tvarově orientované parametrizace s obrazově orientovanými parametrizacemi a ověření přínosu použití vizémů při vizuálním rozpoznávání řeči. Druhá sada experimentů byla provedena na databázi XM2VTSBD. V těchto experimentech byla použita běžná obrazově orientovaná parametrizace (DCT) a mnou navržená parametrizace. Cílem bylo vytvořit základní systém audiovizuálního rozpoznávání řeči (BSL), který je založen na DCT vizuální parametrizaci a dosahuje výsledků popsaných v článku [91]. Druhým cílem bylo zjistit jestli mnou navržená parametrizace dosahuje lepších výsledků než základní systém. Poslední skupina experimentů byla provedena na databázi popsané v kapitole 3.2.3. Cílem těchto experimentů bylo sestavení nejlepšího příznakového vektoru pomocí příznaků popsaných v kapitole 3.1.2.3 a porovnání výsledků tohoto popisu vizuální složky s výsledky základního systému. Ve všech dále popsaných experimentech, kromě experimentů na ruské databázi, je jako kombinace akustické a vizuální řečové složky použito jednoduché pospojování příznakových vektorů EF. Pospojování příznaků bylo zvoleno pro její jednoduchost. Tato kombinace řečových složek je dostačující, neboť cílem práce není nalezení nové metody kombinace, ale vytvoření nové vizuální parametrizace řeči. Metoda pospojování příznakových vektorů je popsána v kapitole 2.4.2.1.1. Problémem, který bylo nutné vyřešit před samotnou kombinací akustického a vizuálního příznakového vektoru, byl různý počet měření pro vizuální a akustickou složku řeči. Akustický příznakový vektor byl získáván s frekvencí 100 Hz a vizuální příznakový vektor v s frekvencí 50Hz. Pro srovnání frekvence byl zvolen postup interpolace vizuálních příznakových vektorů na frekvenci 100 Hz pomocí lineární funkce. Takto získaný vizuální příznakový vektor byl podroben ještě dalšímu zpracování. Nejprve byla provedena normalizace příznakového vektoru podle střední hodnoty a rozptylu přes celou promluvu. Tento postup je používán i při úpravě akustického příznakového vektoru a má za cíl odstranit z popisu informaci o dlouhodobých charakteristikách v našem případě se jedná o informaci o řečníkovi. Jak již bylo zmíněno v sekci 3.1.2.3 touto normalizací jsou odstraněny rozdíly ve velikosti rtů a síla artikulace pro jednotlivé řečníky. Po normalizaci již mohli být spočítány delta a akcelerační koeficienty. Dimenze příznakového vektoru se díky výpočtu těchto příznaků ztrojnásobila. Systém vizuálního a audiovizuálního rozpoznávání byl realizován pomocí skrytých Markovských modelů a HTK toolkitu sloužícího pro trénování i rozpoznávání. Rozpoznávání bylo realizováno pro základní řečovou jednotku monofón nebo monovizém. Jako model těchto jednotek byl využit tří stavový model běžně používaný při akustickém rozpoznávání.

4.1

Experimenty na databázi XM2VTSDB

Cílem této skupiny experimentů bylo vytvoření základního systému audiovizuálního rozpoznávání založeném na nejčastěji používané vizuální parametrizaci a porovnání tohoto systému se systémem používajícím mnou navrženou parametrizaci na audiovizuální databázi, na níž již byly provedeny audiovizuální experimenty. Nejpoužívanější parametrizací je obrazově orientovaná parametrizace založená na DCT transformaci. Požadavek na audiovizuální databázi byl, aby na ní již byly provedeny - 71 -

Experimenty experimenty s obrazově orientovanou parametrizací, aby obsahovala dostatečný počet řečníků a aby byla databáze dostupná. První podmínku splňovala většina databází popsaných v kapitole 2.5. Druhou podmínku splňuje již jen několik málo databází a třetí podmínka se ukázala jako velký problém. Většina databází není volně ani komerčně dostupných. Jako nejlepší volba se proto ukázalo zakoupení databáze XM2VTSDB. Audiovizuální databáze XM2VTSDB obsahuje nahrávky promluv 10 anglických číslovek (0-9) od 295 řečníků. Číslovky jsou promlouvány spojitě v pořadí 0-9 a poté neuspořádaně. Řečník je snímán z čelního pohledu s rozlišením 720*576 obrazových bodů s frekvencí 25 Hz. Hlava řečníka se v průběhu promluvy nepohybuje a zabírá zhruba třetinu snímku. Fakt, že velikost rtů ve snímku se pohybuje okolo 80*50 bodů nám neumožňovala zvýšit frekvenci záznamu tak jako u databáze UWB05-HSCAVC, jak je popsáno v kapitole 3.2.3. Scéna má konstantní osvětlení a jednotné modré pozadí viz obrázek 49. Vzorkovací frekvence akustického záznamu byla 32kHz a rozlišení 16 bit. Bližší popis databáze je proveden v článku [57].

Obrázek 49 Ukázka databáze XM2VTSDB, 1 – původní videozáznam, 2 – nalezení očí a středu úst, 3 – nalezení vnitřní a vnější kontury rtů

V článku [91] jsou popsány experimenty s vizuálním a audiovizuálním rozpoznáváním provedeném na této databázi. Vizuální parametrizace použitá v článku je získána ze šedoténového ROI obsahujícího ústa a jejich okolí. Pomocí metody PCA je získáno 32 příznaků jejichž množství je redukováno na 13 pomocí metody LDA. Pro parametrizaci akustické složky bylo použito 13 MFCC koeficientů. Trénovací množina obsahuje promluvy 200 řečníků a testovací množina obsahuje promluvy 95 řečníků. Výsledky vizuálního rozpoznávání uvedené v článku jsou 43% WER. Dále je v článku uvedeno srovnání čistě akustického rozpoznávání a audiovizuálního rozpoznávání pro různou úroveň zašumění akustické složky řeči. Výsledek rozpoznávání řeči z akustické složky pro úroveň šumu 0dB je 80%WER, výsledek audiovizuálního rozpoznávání je 24%WER. Náš základní systém byl vytvořen tak, aby pracoval s vizuální parametrizací DCT, kde příznakový vektor má dimenzi 10. Jako akustické příznaky bylo zvoleno 13 PLP koeficientů. Trénovací množina obsahovala promluvy od 245 řečníků a testovací množina promluvy od 50 řečníků. Úloha byla definována jako rozpoznávání spojitých promluv, které byly představovány za sebou promlouvanými číslovkami. Promlouvány byly dvě věty, které byly čtyřikrát opakovány. První věta obsahovala číslovku od 0 do 9 vzestupně a druhá věta ty samé číslovky neuspořádaně. Počet slov byl tedy 10 (číslovky 0-9). Jako základní řečová jednotka byl zvolen foném. Při rozpoznávání byl použit 0gramový jazykový model a tudíž nebyla uplatněna žádná informace o výskytu slov. Pro výpočet akustických a vizuálních příznaků byly použity postupy popsané v kapitolách 3.3.4 a 3.3.5. Při vizuálním rozpoznávání se základním systémem bylo dosaženo úspěšnosti rozpoznávání 51%. Má vlastní parametrizace vizuální složky řeči byla tvořena příznakovým vektorem s dimenzí 18. Příznakový vektor byl sestaven z 10 PCA koeficientů popisujících tvar rtů, 4 koeficientů odpovídajících výšce a šířce vnitřní a vnější hranice rtů a 4 DCT koeficientů popisujících vnitřek úst. Místo popisu vnitřku úst pomocí tvarových příznaků byl zvolen popis pomocí DCT, protože velikost vnitřku úst v databázi XM2VTSDB není příliš velká a metoda popsaná v kapitole 3.3.3 selhává a proto nebyli použity příznaky popisující pozici zubů a jazyka. Při použití této parametrizace bylo dosaženo úspěšnosti vizuálního rozpoznávání 70%. Takto vysokých úspěšností rozpoznávání řeči pouze z vizuální složky bylo dosaženo díky malému počtu rozpoznávaných slov. Při porovnání tohoto výsledku s výsledkem rozpoznávání základního systému jsem dospěl k závěru, že použití tvarově

- 72 -

Experimenty orientovaných příznaků a popisu vnitřku dosahuje lepších výsledků než standardně používaná DCT parametrizace a má proto smysl se dále zabývat studiem vizuální složky řeči. Při provedení rozpoznávání pouze s akustickou složkou řeči bylo zjištěno, že při nezašuměném signálu bylo dosaženo úspěšnosti 99.26%. Takto vysokou úspěšnost rozpoznávání již nebylo možné vylepšit využitím vizuální složky řeči. Proto byl akustický signál degradován pomocí akustického šumu a porovnání výsledků rozpoznávání z akustické složky a audiovizuálního rozpoznávání bylo provedeno na tomto signálu. Pro degradaci signálu na odstup šum signál 0 dB byl použit bílý šum. Rozpoznávání řeči pouze z akustické složky dosáhlo v tomto případě úspěšnosti 92.39%. Při použití kombinace akustické a vizuální složky (vlastní parametrizace) pro rozpoznávání bylo dosaženo úspěšnost 96.36%. Kombinace akustické a vizuální složky byla provedena pomocí pospojování příznakových vektorů. Akustické příznaky byly získávány s frekvencí 100 Hz, vizuální příznaky s frekvencí 25Hz. Vizuální příznaky musely být aproximovány lineární aproximací na frekvenci 100 Hz tak, aby bylo možné provést kombinaci stejně dlouhých příznakových vektorů. Využití vizuální složky řeči tedy vylepšilo úspěšnost rozpoznávání při zašuměném akustickém signálu. Pomoc vizuální složky při rozpoznávání v hlučném prostředí simulovaném v tomto případě bílým šumem není příliš velké, neboť samotné akustické rozpoznávání dosáhlo vysoké úspěšnosti rozpoznávání.

4.2

Experimenty na ruské databázi

Na experimentech na ruské databázi jsem pracoval se svým kolegou s Alexeyem Karpovem z institutu informatiky a automatizace v Petrohradě v Rusku. Databáze byla vytvořena podle vzoru databáze UWB-05-HSCAVC a obsahuje promluvy od 10 řečníků. Každý řečník promlouvá 200 frází, které odpovídají maximálně čtyř-slovním spojením názvů rubrik ruských zlatých stránek. Celkový počet slov v databázi je 102. Podmínky nahrávání jsou podobné jako podmínky popsané v kapitole 3.2.3. Trénovací množina obsahuje 80% promluv každého řečníka a testovací množina obsahuje zbytek. Vizuální složka databáze byla předzpracovánu způsobem, který je popsán v kapitole 3.3.1. Byla tedy nalezena hlava řečníka a lokalizována oblast zájmu ROI.

Obrázek 50. Ukázka ruské databáze

Na databázi bylo provedeno několik experimentů. Prvním z nich bylo porovnání výsledků jednoduché tvarově orientované vizuální parametrizace a obrazově orientované parametrizace. K jejímu získání byl použit postup popsaný v kapitole 3.3.2. Tvarově orientovaná parametrizace původně obsahovala 4 příznaky. Výšku a šířku vnitřní a vnější hranice rtů. Při studiu průběhu jednotlivých příznaků během promluvy se ukázalo, že parametr šířka vnější kontury se s promluvou mění jen minimálně a nepopisuje tedy danou promluvu. Šířka vnější hranice byla tedy z parametrizace vyloučena a příznakový vektor měl dimenzi 3. Jako obrazově orientovaná parametrizace byla vybrána parametrizace založená na PCA koeficientech. Příznakový vektor byl vypočten pomocí metody PCA, která redukovala dimenzi původního šedotónového obrazu ROI na 32 příznaků. Příznaky byly počítány z obrazu o velikost 64*64 bodů pomocí metody popsané v kapitole 3.3.4. V případě experimentů na ruské databázi bylo místo kombinace akustické a vizuální složky pomocí pospojování

- 73 -

Experimenty příznakových vektorů použito pozdní kombinace příznaků pomocí multi-streamového modelu. To znamená, že výsledná pravděpodobnost rozpoznané promluvy je počítána jako vážená kombinace pravděpodobností rozpoznávání pomocí akustické a vizuální složky. Váhy jednotlivých složek řeči byly voleny experimentálně. Experimenty byly prováděny pro úlohu rozpoznávání frází se slovníkem 102 slov. Jako základní řečová jednotka byl zvolen foném a vizém. Prvním experimentem bylo ověření zlepšení vizuálního rozpoznávání při použití vizémů místo fonémů jako základní řečové jednotky. Jako parametrizace byla použita tvarově orientovaná parametrizace. Při použití 45 fonémů byla úspěšnost vizuálního rozpoznávání 20%. Při použití 13 vizémů se úspěšnost zvýšila na 48%. V obou případech se jednalo o rozpoznávání celých slov. Je nutné říci, že úspěšnost audiovizuálního rozpoznávání se zhoršila z 92% při použití fonémů na 56% při použití vizémů. Druhým experimentem bylo audiovizuální rozpoznávání řeči při zašuměném akustickém signálu, kde SNR bylo 10dB. Při rozpoznávání bylo použito jako základních řečových jednotek fonémů a rozpoznávání probíhalo na úrovni celých frází (200 různých frází). Úspěšnost rozpoznávání z akustické složky byl 90.1%. Výsledek kombinovaného audiovizuálního rozpoznávání při použití obrazové vizuální parametrizace byl 92% a při použití tvarové vizuální parametrizace 92.3%. Bylo tedy dosaženo zlepšení úspěšnosti rozpoznávání při použití vizuální složky řeči při zašuměné akustické složce řeči. Z výsledků je zřejmé, že použitím obrazově a tvarově orientované vizuální parametrizace bylo dosaženo podobných výsledků. Porovnání obou typů parametrizací tedy ukazuje, že v tomto případě by bylo vhodnější využít obrazově orientovanou parametrizaci, neboť nevyžaduje použití výpočetně náročné metody nalezení kontury rtů.

4.3

Experimenty na databázi UWB-05-HSCAVC

Poslední a největší skupina experimentů byla provedena na nahrané audiovizuální databázi UWB05-HSCAVC. Díky využití celé plochy snímku pro záznam hlavy řečníka (natočení kamery o 90°) bylo možné realizovat algoritmus pro nalezení pozic objektů uvnitř úst (zuby, jazyk, mezera) a využít tyto informace při parametrizaci. Celá databáze byla rozdělena na trénovací a testovací množinu. Trénovací množina obsahovala promluvy 51-200 od všech řečníků (tyto promluvy jsou odlišné pro každého řečníka) a testovací množina obsahovala promluvy 1-50 od všech řečníků (stejné pro všechny řečníky). Všechny experimenty byly provedeny pro úlohu rozpoznávání slov, která jsou promlouvána ve spojitých větách. Slovník pro rozpoznávání obsahoval 344 slov. Jako jazykový model byl použit 0-gramový jazykový model. Znamená to tedy, že pro rozpoznávání slov nebyl využit slovní kontext a pravděpodobnost výskytu slov byla nastavena rovnoměrně pro všechna slova. Jako základní řečová jednotka byl použit foném a vizém. Kombinace informace z akustické a vizuální složky byla kombinována pomocí pospojování akustického a vizuálního příznakového vektoru. Akustické příznaky byly získávány s frekvencí 100 Hz, vizuální příznaky s frekvencí 50Hz. Vizuální příznaky musely být aproximovány lineární aproximací na frekvenci 100 Hz tak, aby bylo možné provést kombinaci stejně dlouhých příznakových vektorů. Pro fázi trénování modelů a rozpoznávání byl použit HTK toolkit. Pro rozpoznávání byla využita metoda běžně používaná pro rozpoznávání řeči z akustické složky řeči založená na skrytých Markovských modelech. Jako model základní řečové jednotky byl zvolen nejčastěji používaný tří stavový model. Pro jednotlivé rozpoznávací experimenty byl vždy použit stejný postup trénování a rozpoznávání ovšem odlišné příznakové vektory. Experimenty jsem rozdělil do čtyř částí. První skupina experimentů představovala zjištění úspěšnosti samotného akustického rozpoznávání pro čistou (původní) řeč a pro řečový signál s přidaným šumem. Pro zašumění akustického signálu byl použit bílý šum s odstupem signál šum 0dB. Pro rozpoznávání z akustické složky řeči byla použita parametrizace popsaná v kapitole 3.3.5. Příznakový vektor má dimenzi 36 a je tvořen PLP koeficienty. Frekvence získávání příznaků byla 100Hz. Původní nezašuměný akustický signál byl použit i pro druhou a třetí část experimentů pro audiovizuální rozpoznávání. Úspěšnost akustického rozpoznávání pro nezašuměný signál je 81.47% a úspěšnost rozpoznávání pro zašuměný signál je 60.79%.

- 74 -

Experimenty Druhá část zahrnuje experimenty s vizuálním a audiovizuální rozpoznáváním při použití DCT parametrizace pro vizuální složku řeči. Cílem těchto experimentů bylo nalézt optimální dimenzi obrazově orientovaného příznakového vektoru z hlediska úspěšnosti vizuálního a audiovizuálního rozpoznávání. Pro tyto účely byly použity příznakové vektory s dimenzí 10, 15, 20 a 30. Příslušné frekvence u a v prvků DCT koeficientů pro jednotlivé příznaky jsou uvedeny v tabulce 14. Příznakový vektor byl vypočten metodou popsanou v kapitole 3.3.4. Dimenze příznakového vektoru byla voleno s ohledem na předchozí experimenty provedené na databázi XM2VTSDB. Výsledky experimentů jsou uvedeny v tabulce 10. Nejlepších výsledků vizuálního i audiovizuálního rozpoznávání bylo dosaženo pro dimenzi vizuálního příznakového vektoru 15. Označení

Počet příznaků

Úspěšnost vizuálního rozpoznávání v %

DCT10 DCT15 DCT20 DCT30

10 15 20 30

12.79 13.35 13.16 10.27

Úspěšnost audiovizuálního rozpoznávání v % 80.15 83.88 82.79 77.37

Tabulka 10 Výsledky vizuálního a audiovizuálního rozpoznávání pro obrazově orientované parametrizace.

Třetí část experimentů zahrnovala testování příznakových vektorů sestavených pomocí různých příznaků odvozených v kapitole 3.1.2.3 na úloze vizuálního a audiovizuálního rozpoznávání. V kapitole 3.1.2 byl proveden výběr vizuálních příznaků na základě studia tvorby řeči a odezírání. Pro ověření toho, jak daný příznak popisuje vizuální řeč byly postupně prováděny rozpoznávací experimenty pro různé kombinace těchto příznaků. V příznakových vektorech byly kombinovány příznaky popisující jednotlivé části vizuální složky řeči, například tvar rtů či objekty uvnitř rtů. Postupně bylo otestováno 8 příznakových vektorů. Během testování docházelo k vyhodnocování toho, jaké příznaky popisují informaci o řeči lépe a jaké hůře a podle toho byl volen další postup sestavování příznakových vektorů. Jednotlivé příznakové vektory jsou popsány v tabulce 11. Jako první byla vyzkoušena kombinace všech určených příznaků. Poté byly k této parametrizaci přidány příznaky DCT popisující ROI a vnitřek úst. Přidání DCT příznaků zlepšilo úspěšnost rozpoznávání. Jako další krok byla provedena redukce tvarových příznaků. Byly vynechány příznaky šířka vnější kontury, vyšpulení rtů, pohyb brady, zavření úst a viditelnost horních zubů a počet PCA koeficientů popisujících tvar rtů byl zmenšen na 8. Toto vynechání některých příznaků opět přispělo k zvýšení úspěšnosti rozpoznávání. Jestliže však porovnáme parametrizaci využívající pro popis vnitřku úst DCT a tvarové příznaky, pak parametrizace s DCT příznaky dosahuje lepších výsledků. Posledním krokem tedy byla kombinace všech popisů s vynecháním popisu vnitřku. Tato parametrizace dosahuje nejlepších výsledků.

Označení

Počet příznaků

Popis příznaků

Pv

21

PvDv

25

šířka vnitřku,šířka vnějšku, výška vnitřku, výška vnějšku, 10 PCA modelu, 4 vnitřek úst, zavření úst, pohyb brady, vyšpulení rtu, viditelnost horních zubů přidání DCT Pv + 4DCT vnitřku

PvDvne

25

Pv + 4DCT vnějšku

- 75 -

Úspěšnost vizuálního rozpoznávání v %

Úspěšnost audiovizuálního rozpoznávání v %

10.54

77.55

12.56

76.68 77.3

10.48

Experimenty

PDv

18

Pmvm

15

PmvmDv

19

PmvmDvne

19

PmDvDvne

19

šířka vnitřku,šířka vnějšku, výška vnitřku, výška vnějšku, 10 PCA modelu, 4 DCT vnitřku zmenšení tvarových příznaků šířka vnitřku,výška vnitřku, výška vnějšku, 8 PCA modelu, 4 vnitřek úst šířka vnitřku,výška vnitřku, výška vnějšku, 8 PCA modelu, 4 vnitřek úst, 4 DCT vnitřku šířka vnitřku,výška vnitřku, výška vnějšku, 8 PCA modelu, 4 vnitřek úst, 4 DCT vnějšku vynechání popisu vnitřku šířka vnitřku,výška vnitřku, výška vnějšku, 8 PCA modelu, 4 DCT vnitřku, 4 DCT vnějšku

13.40

84.20

9.89

83.13

12.69

81.97

13.55

82.76

17.31

84.86

Tabulka 11. Výsledky vizuálního a audiovizuálního rozpoznávání pro mnou navržené parametrizace kombinující tvarově a obrazově orientované příznaky.

Poslední skupinou experimentů bylo ověření přínosu použití vizémů jako základních řečových jednotek místo fonémů při vizuálním rozpoznávání řeči a vylepšení výsledků akustického rozpoznávání řeči v hlučném prostředí použitím vizuální složky řeči. Tyto experimenty již byly provedeny pouze pro parametrizaci, která dosáhla nejlepších výsledků při vizuálním a audiovizuálním rozpoznávání v předchozích dvou částech a nejlepší obrazovou parametrizaci. Jednalo se o parametrizaci s označením PmDvDvne a DCT15. Při testování vizuálního rozpoznávání s použitím vizémů byly použity vizémy, které jsou popsány v kapitole 3.4. Test proběhl stejně jako při použití fonémů jen se zmenšil počet základních řečových jednotek. Pro porovnání výsledků akustického a audiovizuálního rozpoznávání jsem použil zašuměný akustický řečový signál popsaný v první části experimentů. Výsledky rozpoznávání těchto dvou úloh jsou uvedeny v tabulce 12. Označení PmDvDvne DCT15

Úspěšnost vizuálního rozpoznávání s použitím vizémů 12.90 12.12

Úspěšnost audiovizuálního rozpoznávání při zašuměné akustické složce řeči 74.31 70.12

Tabulka 12. Výsledky vizuálního rozpoznávání s použitím vizémů a audiovizuálního rozpoznávání při zašuměném akustickém řečovém signálu (0dB).

4.4

Zhodnocení experimentů

Hlavním výsledkem experimentů popsaných v předchozí kapitole je, že mnou navržená parametrizace dosáhla lepších výsledků z hlediska úspěšnosti rozpoznávání než nejčastěji používaná parametrizace založená pouze na DCT příznacích. Tohoto výsledku bylo dosaženo jak na úloze vizuálního rozpoznávání řeči, tak na úloze audiovizuálního rozpoznávání řeči. Při použití parametrizace PmDvDvne, na úloze vizuálního rozpoznávání byla dosažena úspěšnost 17.31% a na úloze audiovizuálního rozpoznávání 84.86%. Při použití parametrizace DCT15 byla dosažena úspěšnost 13.35% na úloze vizuálního rozpoznávání řeči a úspěšnost 83.88% na úloze audiovizuálního rozpoznávání řeči. Použití parametrizace PmDvDvne tedy zlepšilo úspěšnost rozpoznávání pro úlohu vizuálního rozpoznávání o 3.96% a pro úlohu audiovizuálního rozpoznávání o 0.98% oproti použití parametrizace DCT15. Podobného rozdílu úspěšnosti rozpoznávání bylo dosaženo pro při experimentech s audiovizuálním rozpoznáváním, kde byla akustická složka řeči degradována pomocí šumu. Úspěšnost rozpoznávání při použití parametrizace DCT15 byla 70.12% a při použití PmDvDvne 74.31%. Při použití mnou navržené parametrizace došlo k nárůstu úspěšnosti o 4.19%. Dalším úkolem bylo porovnání použití vizémů a fonémů při úloze vizuálního a audiovizuálního rozpoznávání. Na ruské databázi bylo dosaženo lepších výsledků vizuálního rozpoznávání při použití vizémů (úspěšnost 48%) než při použití fonémů (úspěšnost 20%). Pro databázi UWB-05-HSCAVC

- 76 -

Experimenty však byl pozorován opačný efekt. Při použití vizémů došlo k zhoršení úspěšnosti rozpoznávání ze 17.31% (PmDvDvne), 13.35% (DCT15) při použití fonémů na 12.90% (PmDvDvne) , 12.12% (DCT15) při použití vizémů. Očekával jsem, že při použití vizémů dojde k zvýšení úspěšnosti rozpoznávání. To, že došlo k poklesu, může být zapříčiněno špatnou volbou vizémových skupin, či nevhodností parametrizace k takovému popisu. Tento rozpor bude jedním z cílů dalších prací při návrhu vizuální parametrizace. Testy na ruské databázi ukázaly, že jestliže se použijí vizémy pro úlohu audiovizuálního rozpoznávání při kombinaci informace pospojování příznakových vektorů dochází k zhoršení úspěšnosti rozpoznávání. Bylo by tedy vhodnější využít jiný způsob kombinace informace. Jako nejlepší metoda se z hlediska využití vizémů jeví pozdní kombinace, tedy kombinace rozhodnutí odděleného akustického a vizuálního rozpoznávače. Vytvoření parametrizace, která dosahuje lepších výsledků než běžně používaná parametrizace bylo možné pouze díky vyhodnocování výsledků experimentů, které byly prováděny s příznakovými vektory, které byly složeny z příznaků popsaných v kapitole 3.1.2.3. Postupně se totiž ukazovaly klady a zápory jednotlivých příznaků z hlediska popisu vizuální složky řeči. Z experimentů na anglické databázi bylo zřejmé, že použití popisu tvaru rtů a vnitřku úst (v tomto případě pomocí DCT) dosahuje lepších výsledků než základní systém rozpoznávání používající parametrizaci založenou na DCT příznacích. První parametrizací, která byla testována na databázi UWB-05-HSCAVC, byla parametrizace Pv, která používala všechny mnou navržené tvarově orientované příznaky. Výsledky rozpoznávání však ukazovaly, že parametrizace nepopisuje vizuální složku řeči zrovna nejlépe. Z experimentů na ruské databázi se ukázalo, že příznak šířka vnější kontury rtů není pro popis řeči příliš přínosný. Při analýze příznaků pozice brady, vyšpulení rtů, viditelnost horních zubů jsem zjistil, že mnou navržený algoritmus pro jejich výpočet nepracuje příliš spolehlivě a proto jsem tyto příznaky z parametrizace vyloučil. Jak se ukázalo, tak úspěšnost rozpoznávání se tím zlepšila. Vynechané příznaky byly chybné a proto zhoršovaly výsledky rozpoznávání. Samostatné testy byly prováděny s parametrizací používají popis tvaru rtů a část DCT příznaků popisujících celý ROI. Ukázalo se, že použití příznaků DCT popisujících oblast zájmu přináší vylepšení úspěšnosti rozpoznávání. DCT příznaky tedy popisují část vizuální složky řeči, která není podchycena popisem tvaru rtů. Proto byly tyto příznaky použity ve výsledné parametrizaci. V dalším zhodnocení příznaků jsem se zaměřil na vnitřek rtů. Využití tvarového popisu vnitřku rtů vedlo k parametrizaci, která dosáhla vyšší úspěšnosti rozpoznávání než parametrizace DCT15 a ukazuje tedy, že využití vizuální informace o vnitřku úst je prospěšné. Jestliže jsem ovšem místo popisu vnitřku použil popis založený na DCT (4 příznaky, počet příznaků byl zvolen a budou provedeny další testy s optimálním počtem koeficientů DCT vnitřku) byla úspěšnost rozpoznávání ještě lepší. To ukazuje, že DCT příznaky dokáží vnitřek úst zatím popsat lépe než mnou navržené tvarové příznaky. Problém ovšem spočívá spíše v nízké úspěšnosti nalezení objektů vnitřku a určení jejich pozic než ve špatně zvoleném popisu. Úspěšnost algoritmu nalezení objektů vnitřku je 70%, přičemž vyhodnocení úspěšnosti je obtížné viz kapitola 3.3.3. Nejlepší parametrizace je tedy parametrizace používající jak tvarově orientované, tak obrazově orientované příznaky. Mnou navržená parametrizace PmDvDvne dosahuje lepších výsledků při vizuálním i audiovizuálním rozpoznávání řeči než parametrizace DCT15. Je to způsobeno tím, že moje parametrizace využívá mimo vybraných DCT příznaků popisujících ROI také příznaky popisující tvar vnitřní a vnější kontury rtů a příznaků popisujících objekty uvnitř úst (jazyk, horní a dolní zuby, mezera). Mnou navržená parametrizace PmDvDvne dosahuje lepších výsledků než parametrizace DCT15. Je však nutno podotknout, že výpočet parametrizace DCT15 je časově méně náročný. Výpočetní náročnost parametrizace PmDvDvne je způsobena především nutností nalezení vnitřní a vnější kontury rtů, s jejíž pomocí jsou poté vypočítávány jednotlivé příznaky. Cílem práce však bylo prozkoumání možností vizuálních parametrizací z hlediska úspěšnosti rozpoznávání bez ohledu na náročnost jejich výpočtu. Se vzrůstajícím výkonem výpočetní techniky lze i tvarově orientované parametrizace počítat v dostatečně krátkém čase. Metodu nalezení vnitřní a vnější kontury rtů jsem ovšem dokázal implementovat tak, aby pracovala v reálném čase a výpočet celé parametrizace je tedy možné realizovat také v reálném čase.

- 77 -

Experimenty Poslední úlohou, na které byl ověřen přínos vizuální složky řeči pro rozpoznávání řeči bylo audiovizuální rozpoznávání řeči při zašuměné akustické složce. Tyto experimenty již byly provedeny pouze pro dvě nejlepší parametrizace DCT15 a PmDvDvne. Akustický signál byl degradován bílým šumem s odstupem signál-šum 0dB. Výsledky samostatného akustického rozpoznávání ukazují, že při zašumění dochází k velkému poklesu úspěšnosti rozpoznávání z 81.47 % bez šumu na 60.79% při zašuměném signálu. Jestliže pro rozpoznávání využijeme i vizuální složku řeči dochází k vylepšení úspěšnosti na 74.31% pro PmDvDvne a na 70.12% pro DCT15. Nárůst úspěšnosti je tedy o 14%. I na této úloze dosáhla kombinovaná vizuální parametrizace PmDvDvne lepších výsledků než běžně používané parametrizace DCT15. Výsledek audiovizuálního rozpoznávání zde velmi závisí na metodě kombinace informace. Pro kombinaci by měla být použita metoda, která co nejlépe umožňuje nastavit důvěryhodnost vizuální či akustické složky řeči. Tento experiment prokazuje, že využití vizuální složky řeči pro rozpoznávání se nejvíce uplatňuje v prostředí s degradovaným akustickým signálem. Mé výsledky rozpoznávání je možné porovnat s výsledky systému vyvinutém na vysoké škole v Liberci. Je to jediný systém pro audiovizuální rozpoznávání českého jazyka. Jeho výsledky jsou prezentovány pro úlohu rozpoznávání izolovaných slov. Experimenty byly provedeny pro obrazově orientovanou parametrizaci založenou na DCT příznacích (15 příznaků) a tvarově orientovanou parametrizaci, kde byly jako příznaky zvoleny šířka, výška, počet bodů a okrouhlost rtů. Úspěšnost vizuálního rozpoznávání pro obrazově založenou parametrizaci je 34.8%, pro tvarově orientovanou 45.2%. Úspěšnost audiovizuálního rozpoznávání pro obrazově založenou parametrizaci je 64%, pro tvarově orientovanou 64%. Z publikovaných výsledků nelze jednoznačně říci jaká z použitých parametrizací je vhodnější, protože při vizuálním rozpoznávání dosáhla lepších výsledků obrazová parametrizace ovšem při audiovizuálním rozpoznávání je úspěšnost rozpoznávání stejná. Protože však jako tvarově orientované příznaky byly použity pouze 4 parametry popisující vnější konturu rtů, dá se tedy předpokládat, že při použití mnou navržených příznaků by se úspěšnost rozpoznávání vylepšila. Hlavním zhodnocením provedených experimentů, které plyne z předchozích odstavců, tedy je, že využití popisu tvaru rtů (vnitřní a vnější kontury) a popisu vnitřku úst je vhodné pro využití v úlohách vizuálního a audiovizuálního rozpoznávání, protože zvyšuje úspěšnost rozpoznávání. Nevýhoda využití těchto příznaků je vyšší výpočetní náročnost celé parametrizace.

4.5

Možná vylepšení

Mezi nejdůležitější body vylepšení celého navrženého systému audiovizuálního rozpoznávání patří vylepšení algoritmu pro určení pozic objektů uvnitř rtů a výpočet příznaků jako pozice brady či vyšpulení rtů. Úspěšnost algoritmu pro nalezení pozic objektů vnitřku úst je 70%. Algoritmus by mohl být vylepšen využitím znalostí o pozicích objektů uvnitř úst z předchozího snímku pro nalezení pozic ve snímku současném. Výpočet příznaku pozice brady řečníka selhával především v problémovém určení pozice brady a nosu řečníka. Řešením tohoto problému by mohlo být rozšíření modelu rtů o body popisující pozice očí, nosu a hranici spodní čelisti. Takovýto model by dovoloval přesněji určit pozici brady a zlepšoval by i určení pozice a tvaru rtů, neboť pohyb brady je částečně korelován s pohybem spodního rtu. Mezi vylepšení parametrizace by mělo patřit provedení testů, které by určili optimální počet DCT příznaků popisujících vnitřek úst. Nalezení vnitřní a vnější kontury rtů by mohlo být vylepšeno využitím znalosti tvaru rtů z předchozího kroku. S tímto postupem již byly prováděny experimenty a ukázalo se, že změny tvaru rtů jsou příliš velké, než aby mohlo být použito univerzální pravidlo, že rty se mohou deformovat pouze o určitou konstantní vzdálenost od tvaru rtů v předchozím kroku. Algoritmus by musel brát v úvahu rychlost změny tvaru rtů a podle ní upravovat i možnost deformace modelu oproti předchozímu tvaru. Dalším možným zlepšením algoritmu by mohla být metoda určující přechod rty a kůže a rty a vnitřek úst pomocí jiné metody než je prahování. Metoda by mohla být založena

- 78 -

Experimenty například na vytvoření vzorů těchto přechodů a připívala by k zlepšení nasazení modelu rtů na nalezený objekt rtů pomocí prahování. Zlepšení celkového systému audiovizuálního rozpoznávání řeči by jistě vylepšilo použití jiné metody kombinace informace než pouhé pospojování příznakových vektorů. V kapitole 4.3 bylo ukázáno, že pro rozpoznávání řeči z vizuální složky může být vhodnější použít jako základní řečové jednotky vizémy místo fonémů, ovšem při použití vizémů pro rozpoznávání řeči z akustické složky dochází ke zhoršení úspěšnosti rozpoznávání. Proto by systém měl využívat kombinace rozhodnutí dvou oddělených klasifikátorů, vizuálního a akustického. V kapitole 3.1.2.3 bylo naznačeno, že plynulá řeč obsahuje kromě charakteristických obrazů reprezentujících vizémy také velké množství mluvního šumu. Při odstranění tohoto šumu by se rozpoznávání velmi usnadnilo. Charakteristické obrazy by bylo možné alespoň částečně detekovat pomocí extrémů v časovém vývoji jednotlivých tvarově orientovaných příznaků. Pro ověření tohoto postupu bude nutné provést podrobnou analýzu vývoje jednotlivých příznaků a ověřit zda je detekce charakteristických obrazů vizémů pomocí extrému spolehlivá.

- 79 -

Závěr

5

Závěr

Hlavním cílem disertační práce bylo prostudování vizuální složky řeči z hlediska tvorby řeči a odezírání a využití těchto znalostí pro vytvoření nové parametrizace vizuální složky řeči, která by dosahovala vyšší úspěšnosti rozpoznávání v úlohách vizuálního a audiovizuálního rozpoznávání řeči než běžně používaná parametrizace. Tento cíl byl splněn, protože jsem navrhl vizuální parametrizaci využívající jak tvarově tak obrazově orientované příznaky s označením PmDvDvne, která dosahuje vyšší úspěšnosti rozpoznávání o 3.96% na úloze vizuálního rozpoznávání řeči a o 0,98% na úloze audiovizuálního rozpoznávání než nejpoužívanější parametrizace založená na DCT příznacích. Pro dosažení hlavního cíle byly realizovány jednotlivé pod-úkoly, nutné pro návrh a ověření nové vizuální parametrizace. Nejprve jsem prostudoval dostupnou literaturu o oblasti audiovizuálního rozpoznávání a zjistil jsem, že oblast tvorby vizuální parametrizace je velmi otevřená. Dalším krokem bylo nastudování problematiky tvorby vizuální řeči a technik odezírání řeči, kdy jsem jednotlivé postupy konzultoval se specialisty daných oborů paní Strnadovou (odezírání) a paní Jirutkovou (logopedie). Pro praktické ověření teoretických poznatků a pro účely ověřovacích experimentů byla vytvořena audiovizuální databáze pro český jazyk, která svými parametry (počet řečníků, rozlišení, osvětlení, počet promluv) splňuje předpoklady pro testování nové vizuální parametrizace. Jako další databáze byla vytvořena speciální databáze pro nalezení základních řečových jednotek, tzv. vizémů. Pomocí všech získaných poznatků jsem navrhl vizuální příznaky, které umožňují popis a odlišení jednotlivých vizémů a jsou nezávislé na řečníkovi. Aby bylo možné získat navržené příznaky, musel jsem vytvořit algoritmus pro nalezení vnitřní a vnější kontury rtů a pro určení pozic objektů vnitřku úst (zuby, jazyk a mezera). Algoritmus pro nalezení vnitřní a vnější kontury rtů byl implementován tak, aby pracoval v reálném čase. V reálném čase tedy může být vypočtena i výsledná parametrizace PmDvDvne. Pro ověření kvality navržené parametrizace musel být vytvořen základní systém využívající běžně používanou obrazově orientovanou parametrizaci a provedeny srovnávací experimenty mé parametrizace a základního systému. Základní systém byl navržen tak, aby dosáhl podobných výsledků na anglické databázi XM2VTSDB jako systém audiovizuálního rozpoznávání řeči testovaný na této databázi. Tím, že základní systém dosáhl podobných výsledků jsme získali systém, který reprezentuje výsledky audiovizuálního rozpoznávání s běžně používanou parametrizací. Poté byly provedeny dvě sady experimentů. První na ruské databázi, kde byl testován vliv použití vizémů pro vizuální rozpoznávání. Ukázalo se, že použití vizémů místo fonémů přineslo zlepšení úspěšnosti rozpoznávání o 28%. Tento experiment byl proveden i na české databázi UWB-05-HSCAVC, kde bylo ovšem dosaženo výsledků opačných, tedy snížení úspěšnosti rozpoznávání o 4.41%. Poslední sada experimentů byla provedena na české databázi a měla za úkol sestavit vizuální příznakový vektor z navržených příznaků, který dosáhne nejvyšší úspěšnosti rozpoznávání. Postupnou analýzou kvality jednotlivých příznaků jsem došel až k výsledné parametrizaci PmDvDvne, která využívá jak obrazově tak tvarově orientovaných příznaků a popisuje tvar vnitřní i vnější kontury, okolí rtů i vnitřek úst. Tím, že je úspěšnost této parametrizace vyšší než úspěšnost základního systému, byl splněn hlavní cíl disertační práce. Mé výsledky rozpoznávání mohly být bohužel porovnány pouze s jedinou prací, protože ostatní práce prováděly experimenty na databázích, které nebylo možné získat. Použití vizuální parametrizace PmDvDvne dosahuje lepších výsledků než použití parametrizace popsané v článku [91]. Jestliže bychom chtěli srovnat výsledky s nějakým audiovizuálním systémem rozpoznávání českého jazyka, pak by to musel být systém vyvinutý na vysoké škole v Liberci. Je to jediný systém pro audiovizuální rozpoznávání českého jazyka. Jeho výsledky jsou prezentovány pro úlohu rozpoznávání izolovaných slov a není tedy možné přímo porovnávat výsledky s mým systémem. Systém dosahuje podobných úspěšností rozpoznávání řeči při použití obrazově i tvarově orientované parametrizace.

- 80 -

Závěr Hlavní i všechny dílčí cíle disertační práce byli splněn, ovšem systém audiovizuálního rozpoznávání je možné dále rozvíjet. Jako nejdůležitější cíl je vylepšení algoritmu pro nalezení objektů vnitřku úst, aby bylo možné ověřit zda je takovýto popis lepší než popis pomocí DCT příznaků, a výběr optimálního počtu DCT příznaků popisujících vnitřek rtu. Dále je nutné ověřit přínos použití jiné metody kombinace informace než pospojování příznaků a využít toho, že pro vizuální rozpoznávání je lepší použít vizémy místo fonémů.

- 81 -

Seznam publikovaných prací

6

Seznam publikovaných prací

6.1

Publikace ve sbornících

• Železný, M., Krňoul, Z., Císař, P., Matoušek, J.: Design, Implementation and Evaluation of the Czech Realistic Audio-Visual Speech Synthesis. Signal Procesing, vol. 86, no.12, December 2006, Elsevier, str. 3657-3673. (ISSN0165-1684) • Císař, P., Zelinka, J., Železný, M., Karpov, A., Ronzhin, A. Audio-visual Speech Recognition for Slavonic Languages SPECOM2006, St. Petersburg, Russia, 2006 • Císař P., Železný M., Krňoul Z., Kanis J., Zelinka J., Müller L. Design and Recognition of Czech Speech Corpus for Audio-Visual countinuous Speech Recognition Auditory-Visual Speech Processing International Conference 2005, Vancouver Island, British Columbia, Canada, 2005 • Železný M., Císař P., Krňoul Z., Ronzhin A., Li I., Karpov A. Design of Russian audio-visual speech corpus for bimodal speech recognition SPECOM 2005, Wire Communication Laboratory, University of Patras, Greece, 2005 • Krňoul Z., Železný M., Císař P., Holas J. Viseme Analysis for Speech-Driven Facial Animation for Czech Audio-Visual Speech Synthesis SPECOM 2005, Wire Communication Laboratory, University of Patras, Greece, 2005 • Císař P., Železný M. Detection of Face Position and 3D Orientation in 2D image SPECOM'2004; Saint-Petersburg Institute for Informatics and Automation of the Russian Academy of Sciences, Speech Informatics Group, 2004 • Krňoul Z., Železný M., Císař P. Face Model Reconstruction for Czech Audio-Visual Speech Synthesis SPECOM'2004; Saint-Petersburg Institute for Informatics and Automation of the Russian Academy of Sciences, Speech Informatics Group, 2004 • Císař P., Železný M. Using of Lip-Reading for Speech Recognition in Noisy Environments Proceedings of the 13th Czech - German Workshop on Speech Processing. Praha : ÚRE AVČR, 2003. ISBN 80-86269-10-8, 2004 • Císař P., Železný M., Krňoul Z. 3D Lip-tracking for Lip-reading in Real Applications Proceedings of the ICSLP 2004, Jeju, Republic of Korea, 2004 • Železný M., Císař P. Czech audio-visual speech corpus of a car driver for in-vehicle audio-visual speech recognition Proceedings of AVSP 2003. - Grenoble : Université Stendhal, 2003. - ISSN 1680-8908. - S. 169-173, 2003

- 82 -

Seznam publikovaných prací • Císař P., Železný M. Feature selection for the Czech speaker independent automatic lip-reading ECMS 2003 : 6th international workshop on electronics, control, measurement and signals. - Liberec : Technical University, 2003. - ISBN 80-7083-708-X. - S. 12-16, 2003 • Císař P., Krňoul Z., Novák J., Železný M. Approach to an audio-visual speech synthesis using concatenation-based method. The Proceedings of the 11th Czech-German Workshop on Speech Processing. Prague 2002. (ISBN 8086269-09-4), 2002 • Železný M., Císař P., Krňoul Z., Novák J. Design of an Audio-Visual Speech Corpus for the Czech Audio-Visual Speech Synthesis. The 7th International Conference on Spoken Language Processing ICSLP2002. Denver, U.S.A. 2002. pp. 1941-1944. (ISBN 1 876346 43 4), 2002

6.2

Rigorózní práce

• Císař P. Využití metod odezírání ze rtů pro podporu rozpoznávání řeči 2004

6.3

Diplomová práce

• Císař P. Modul automatické segmentace obrazu pro projekt “mluvící hlava“ 2002

- 83 -

Literatura

7

Literatura

[1]

Alissali, M., Deleglise, P., Rogozan, A. (1996). Asynchronous Integration of Visual Information in An Automatic Speech Recognition System, In Proc. ICSLP 96, Philadephia, PA,USA. André-Obrecht, R., Jacob, B., Parlangeau, N. (1997). Audio Visual Speech Recognition and Segmental Master Slave HMM, In Proc. AVSP'97 workshop, Rhodos (Greece), Sept. 26-27. Barker, J. P., Berthommier, F. (1999). Estimation of Speech Acoustics from Visual Speech Features: A Comparison of Linear and Non-Linear Models, In Proc AVSP, Santa Cruz, CA, USA. Barnard, M., Holden, E. J., and Owens, R. (2002). Lip tracking using pattern matching snakes, In Proc. ACCV2002, Melbourne, Australia. Basu, S., Oliver, N., Pentland, A. (1998). 3D Modeling and Tracking of Human Lip Motion, In Proc. ICCV98, Bombay, India, January 4-7. Bregler, C., and Konig, Y. (1994). Eigenlips for robust speech recognition, In Proc. ICASSP, pp. II--669--II--672, Adelaide, Australia. Bregler, C., Hild, H., Manke, S., Waibel, A. (1993). Improving connected letter recognition by lipreading, In Proc ICASSP, Minneapolis, USA. Campbell, R., Dodd, B.J., Burnham, D. (1998). Hearing by eye II. Hove, United Kingdom: Psychology Press Ltd. Císař, P., Zelinka, J., Železný, M., Karpov, A., Ronzhin, A., (2006) Audio-visual Speech Recognition for Slavonic Languages, In Proc SPECOM2006, St. Petersburg, Russia. Císař, P., Železný, M.. (2004) Detection of Face Position and 3D Orientation in 2D Image, In Proc. SPECOM 2004, St. Petersburg, Russia. Císař, P., Železný, M. (2003) Selection for the Czech speaker independent lip-reading, In Proc. ECMS 2003, Liberec, Czech republic. Císař, P., Železný, M., Krňoul, Z. (2004) 3D Lip-tracking for Audio-Visual Recognition in Real Application, In Proc. ICSPL 2004, Jeju Island, Korea. Císař, P., Železný, M., Krňoul, Z., Kanis, J., Zelinka, H., Müller, L. (2005). Design and recording of chzech speech corpus for audio-visual continuous speech recognition, In Proc. AVSP 2005, Canada, Vancouver Island Cootes, T. F., Edwards, G.J., and Taylor, C.J. (1998). Active Appearance Models, In Proc. ECCV 1998 , Vol. 2, pp. 484-498, Freaiburg, Germany. Cootes, T. F., Taylor, C.J., Cooper, D.H, and Graham, J. (1995). Active Shape Models - Their Training and Application, Computer Vision and Image Understanding, 61(1): 38-59, SanDiego, Canada. Cosi, P., Caldogenetto, E.M., Ferrero, F., Dugatto, M., Vagges, K. (1996). Speaker Independent Bimodal Phonetic Recognition Experiments, In Proc. ICSLP 96, Philadephia, PA,USA. Cox, S., Matthews , I., and Bangham, J.A. (1997). Combining noise compensation with visual information in speech recognition, In Proc. AVSP, pp 53-56. Rhodes, Greece. Czap, L. (2000). Lip Representation by Image Ellipse, Proc. ICSLP 2000, Beijing, China, vol 4, pp. 93-96. Deller, J., Proakis, J., and Hansen, J. (1993). Discrete-time Processing of Speech Signals. Duchnowski, P., Meier, U., Waibel, A. (1996). See me, hear me: integrating automatic speech recognition and lip-reading, In Proc. ICSLP, Jokohama, Japan. Dupont, S., and Luettin, J. (2000). Audio-visual speech modeling for continuous speech recognition, IEEE Transactions on Multimedia, vol. 2, no. 3, pp. 141–151. Dupont, S., and Luettin, J. (1998). Using the Multi-Stream Approach for Continuous AudioVisual Speech Recognition: Experiments on the M2VTS Database, In Proc. ICSLP, Sydney, Australia. Glotin, H., Vergyri, D., Neti, C., Potamianos, G., Luettin, J. (2001). Weighting schemes for audio-visual fusion in speech recognition, ICASSP, Salt Lake City, USA. Goecke, R., Potamianos, G., and Neti, C. (2002). Noisy audio feature enhancement using

[2] [3] [4] [5] [6] [7] [8] [9] [10] [11] [12] [13] [14] [15] [16] [17] [18] [19] [20] [21] [22] [23] [24]

- 84 -

Literatura

[25] [26] [27] [28] [29] [30] [31] [32] [33] [34] [35] [36] [37] [38] [39] [40] [41] [42] [43] [44] [45] [46] [47] [48] [49] [50] [51]

audio-visual speech data, In Proc. ICASSP, Orlando, USA. Gravier, G., Axelrod, S., Potamianos, G., and Neti, C. (2002a). Maximum entropy and MCE based HMM stream weight estimation for audio-visual ASR, In Proc ICASSP, Orlando, USA. Gravier, G., Potamianos, G., and Neti, C. (2002b). Asynchrony modeling for audio-visual speech recognition, In Proc. HLT-NAACL, San Diego, USA. Gray, M. S., Movellan, J. R., and Sejnowski, T. J. (1997). Dynamic features for visual speechreading: A systematic comparison, Advances in Neural Information Processing Systems Volume 9, 751-757. Gurbuz, S., Patterson, E., Tufekci, Z., and Gowdy, J. (2001). Lip-reading from parametric lip contours for audio-visual speechrecognition, In Proc. EuroSpeech, Aalborg, Denmark. Hartley, R., Zisserman, A. (2001). Multiple view geometry in computer vision, Cambridge: Cambridge University Press. Heckmann, M., Kroschel, K., Savariaux, C., and Berthommier, F. (2002). DCT-based Video Features for Audio-visual Speech Recognition, In Proc. ICSLP’02, Denver, pp. 1925-1928. Heckmann, M. B., F., and Kroschel, K. (2001). A hybrid ANN/HMM audio-visual speech recognition system, In Proc. AVSP, Alborg, Denmark, pp 190-195. Huang, J., Potamianos, G., and Neti, C. (2003). Improving audio-visual speech recognition with an infrared headset, In Proc. AVSP, pp. 175-178, St. Jorioz, France. Chan, M. T. (2001). HMM-based audio-visual speech recognition integrating geometric- and appearance-based visual features, In Proc. MMSP, pp. 9-14, Cannes, France. Chan, M. T., Zhang Y., and Huang, T.S. (1998). Real-time lip tracking and bimodal continuous speech recognition., In Proc.MMSP, pp. 65-70, Los Angeles, CA. Chandramohan, D., and Silsbee, P.L. (1996). A Multiple Deformable Template for Visual Speech Recognition, In Proc. ICSLP 96, volume 1, pages 50-53, Philadephia,USA. Chen, T., and Rao, R.R. (2001). Audiovisual speech processing, IEEE Signal Processing Magazine, Vol. 18, pp. 9 - 21. Chiou, G. I., Hwang, J.N., (1997). Lipreading from color motion video, In Proc. ICASSP96 , pp. 1192-1195. Chu, S. a. H., T. (2000). Bimodal Speech recognition using coupled hidden Markov Models, In Proc. ICSPL 2000, Beijing, China, vol 2, pp. 747-750. Kass, M., Witkin, A., and Terzopoulos, D (1987). Snakes: Active contour models, In IJCV 1(4):321-331. Kober R., H. U., Schiffers J (1997). Fusion of Visual and Acoustic Signals for CommandWord Recognition, In Proc. ICASSP-97, Munich, Germany. Krčnová, M. ,http://www.phil.muni.cz/jazyk/krcmova/fon/ucebnitext/5.htm Krňoul, Z., Císař, P., Železný, M., Holas, J., (2005). Viseme Analysis for Speech-Driven Facial Animation for Czech Audio-Visual Speech Synthesis, In Proc. SPECOM, Patra, Greece. Křivan, J., Principy tvoření českých souhlásek, http://bohemistika.xf.cz/fonetik/fonetik.htm Krone, G., Talle, B., Wichert, A., Palm, G. (1997). Neural Architectures for Sensorfusion in Speechrecognition, In Proc. AVSP, Rhodes, Greece. Lee, J., Kim, J. (2002). An Efficient Lipreading Method Using the Symmetry of Lip, EUROSPEECH2001, pp1019-1022, Aalborg, Densmark. Li, N., Dettmer, S., and Shah, M. (1995). Lipreading Using Eigensequences, In Proc. Workshop on Automatic Face and Gesture Recognition, pages 30--34, Zutich, Switzerland. Liévin, M., and Luthon, F. (1998). Lip Features Automatic Extraction, In Proc. ICIP'98, vol. 3, pages 168-172, Chicago, USA. Lucey, S., Sridharan, S., and Chandran, V. (2001). An Investigation of HMM Classifier Combination Strategies for Improved Audio-Visual Speech Recognition, EUROSPEECH2001, pp 1185-1188, Aalborg, Densmark. Luettin, J., and Thacker, N.A. (1997). Speechreading using Probabilistic Models, In Proc. Computer Vision and Image Understanding, Volume 65. Luettin, J., Potamianos, G., Neti, C. (2001). Asynchronous stream modeling for largevocabulary audio-visual speech recognition, In Proc. ICASSP, Salt Lake City, USA. Luettin, J., Thacker, N.A., and Beet, S.W (1996). Speechreading using shape and intensity - 85 -

Literatura

[52] [53] [54] [55] [56] [57] [58] [59]

[60] [61]

[62] [63] [64] [65] [66] [67] [68] [69] [70] [71] [72] [73]

information, In Proc. ICSLP 96, Philadephia, PA,USA. Matthews, I., Bangham, J.A., and Cox, S. (1996). Audio-visual speech recognition using multiscale nonlinear image decomposition, In Proc. ICSLP., pp. 38-41, Philadelphla, USA. Matthews, I., Cootes, T., Cox, S., Harvey, R., Bangham, J.A. (1998). Lipreading using shape, shading and scale, In Proc. AVSP98, pp. 73-78, Sydney, Australia. Matthews, I., Potamianos, G., Neti, C., and Luettin, J. (2001). A comparison of model and transform-based visual features for audio-visual LVCSR, In Proc. ICME01, Tokyo, Japan. McGurk, H. a. MacDonald., J. (1976). Hearing lips and seeing voices. Nature, 264, 746-748. Meier, U., Hurst, W., and Duchnowski, P (1996). Adaptive bimodal sensor fusion for automatic speechreading, In Proc. ICASSP, volume 2, pages 833-837, Atlanta, USA. Messer, K., Matas, J., Kittler, J., Luettin, J., and Maitre, G. (1999). XM2VTSDB: The Extended M2VTS Database, In Proc. AVBPA99, pp. 72-77, Washington D.C, USA. Miyajima, C., Tokuda, K., Kitamura, T. (2000). Audio-visual speech recognition using MCEbased hmms and model-dependent stream weights. In Proc. ICSLP-2000, vol.2, 1023-1026, Beijing, China. Movellan, J. R., and Chadderdon, G. (1996). Channel separability in the audio visual integration of speech: A bayesian approach. in Speachreading by Man and Machine: Models, Systems and Applications, D.G. Stork and M.E. Hennecke, Eds., Berlin, 1996, NATO ASI Series, pp. 473--487, Springer. Nakamura, S., Ito, H., and Shikano, K. (2000). Stream weight optimization of speech and lip image sequence for audio-visual speech recognition, In Proc. ICSLP2000, vol.3, pp.20-24, Beijing, China. Neti, C., Potamianos, G., Luettin, J., Matthews, I., Glotin, H., Vergyri, D., Sison, J., Mashari, A., and Zhou, J. (2000). Audio-Visual Speech Recognition, Final Workshop 2000 Report, Center for Language and Speech Processing, The Johns Hopkins University, Baltimore, MD (Oct. 12, 2000). Patterson, E. K., Gurbuz, S., Tufekci, K., and Gowdy, J.N. (2002). CUAVE: A new audiovisual database for multimodal human-computer interface research, In Proc. ICASSP02., pp. 2017–2020, Orlaando, USA. Petajan, E. D. (1984). Automatic lipreading to enhance speech recognition, In Proc. Global Telecommunications Conference, pp. 265-272, Atlanta, USA Pigeon, S. a. Vandendorpe, L. (1997). The M2VTS multimodal face database, In Bigun, J., Chollet, G., and Borgefors, G., (Eds.), Audio-and Video-based Biometric Person Authentication, Berlin, Germany: Springer, pp 403-409. Potamianos, G., and Neti, C. (2001a). Automatic speechreading of impaired speech, In Proc. AVSP01., Aalborg, Densmark. Potamianos, G., and Neti, C. (2001b). Improved ROI and within frame discriminant features for lipreading, In Proc. ICIP01., Thessaloniki, Greece. Potamianos, G., Graf, H.P., Cosatto, E. (1998a). Discriminative training of HMM stream exponents for audio-visual speech recognition, In Proc. ICASSP, vol. 6, pp. 3733-3736, Seattle, ISA. Potamianos, G., Graf, H.P., Cosatto, E. (1998b). An image transform approach for HMM based automatic lipreading., In Proc. ICIP98, vol. 111 pp. 173-177, Chicago, USA. Potamianos, G., Luettin, J., Neti, C. (2001c). Hierarchical discriminant features for audiovisual LVCSR, In Proc. ICASSP, Salt Lake City, USA. Potamianos, G., Potamianos, A. (1999). Speaker adaptation for audio-visual automatic speech recognition, In Proc. EUROSPEECH99, vol. 3, pp.1291-1294, Budapest, Germany. Psutka, J., Radová, V., Müller, L., Matoušek, J., Ircing, P., Graff, D. (2001) Large Broadcast News and Read Speech Corpora of Spoken Czech, In Proc. EUROSPEECH 2001, pp. 20672070, Aalborg, Dennmark. Radová, V., Psutka J. (2000) UWB_S01 Corpus: A Czech Read-Speech Corpus, In Proc ICSLP2000, Volume IV., pp.732-735., Beijing, China. Rogozan, A., and Deléglise, P. (1998). Adaptive Fusion of Acoustic and Visual Sources for Automatic Speech Recognition, In Speech Communication Journal, Vol. 26 Iss. 1-2, pages 149-161. - 86 -

Literatura [74] [75] [76] [77] [78] [79] [80] [81] [82] [83] [84] [85] [86] [87] [88] [89] [90] [91] [92] [93] [94] [95]

Rogozan, A., and Deléglise, P. (1999). Discriminative Learning of Visual Data for Audiovisual Speech Recognition, In International Journal on Artificial Intelligence Tools (World Scientific Publisher), Vol. 8 No. 1, pages 43-52. Rosenblum, L. D., Dood, B., Burnaham, D. (1998). Time-varying information for visual speech perception. In R. Campbell,B. Dodd, D. Burnham (Eds.), Hearing by Eye: Part 2, The Psychologyof Speechreading and Audiovisual Speech. Earlbaum: Hillsdale,NJ. Scanlon, P., Reilly, R.B., Chazal, P. D. (2003). Visual feature analysis for Automatic Speechreading, In Proc. AVSP03., St. Jorioz, France. Senior, A. W. (1999). Face and Feature Finding for a Face Reccognition System, Audio and Video based Biometric Person Authentication '99. Washington D.C. March 22-24. Silsbee, P. L., and Bovik, A.C. (1994). Motion in deformable templates, In Proc. ICIP'94, pp. 323 - 327, Austin, USA. Silsbee, P. L., and Bovik, A.C. (1996). Computer lipreading for improved accuracy in automatic speech recognition, In IEEE Trans. Speech and Audio Processing, vol. 4, pp. 337 351, September 1996. Silsbee, P. L., and Bovik, A.C. (1999). Motion in deformable templates, Proc. ICIP'94, pp. 323 - 327, Austin, USA. Smith, P., Shah, M., and Lobo, N. da Vitoria (2000). Monitoring Head/Eye Motion for Driver Alertness with One Camera, International Conference on Pattern Recognition, In Proc. ICPR00, Volume 4, Barcelona, Spain. Stork, D. G. A. Hennecke, M.E. (1996). Speechreading by Humans and Machines. Berlin, Germany: Springer. Strnadová, V., (2001). Hádej, co říkám aneb odezírání je nejisté umění. GONG, Praha Su, Q., Silsbee. P.L. (1996). Robust Audiovisual Integration using Semicontinuous Hidden Markov Models, in Proc. ICSLP, Philadelphia, USA. Sung, K., Poggio, T (1999). Example-based learning for view-based human face detection, IEEE Transaction on Pattern Analysis and Machine Intelligence 20, 39--51. Teissier, P., Robert-Ribes, J., Schwartz, J., and Gu´erin-Dugu´e, A. (1999). Comparing models for av fusion in a noisy-vowel recognition task, IEEE Transactions on Speech, and Audio Processing, vol. 7, no. 6, 1999. Tomlinson, M. J., Russell, M.J., and Brooke, N.M. (1996). Integrating audio and visual information to provide highly robust speech recognition, In Proc. ICSLP 96, Philadephia, PA,USA. Vanegas, O., Tanaka, A., Tokuda, K., Kitamura, T. (1998). HMM-based Visual Speech Recognition Using Intensity and Location Normalization, In Proc. ICSPL98, pp. 289-292, Sydney, Australia. Wark, T., and Sridharan, S. (1998). A Syntactic Approach to Automatic Lip Feature Extraction for Speaker Identification, In ICASSP98, pages 3693–3696, Seattle, USA. Williams, J. J., Rutledge, J.C., Garstecki, D.C., and Katsaggelos, A.K. (1998). Frame Rate and Viseme Analysis for Multimedia Applications, Journal of VLSI Signal Processing Systems, vol. 23, nos. 1/2, pp. 7-23. Xiaoxing, L., Zhao, Y., Xiaobo, P., Luhong, L., Ara, V., N., (2002) Audio-visual continuous speech recognition using a coupled hidden Markov model, In Proc. ICSLP02, pp. 213–216, Denver, USA. Yang, T., Wu, F.Ch., Ouhyoung, M. (1998). Real-time 3-D Head Motion Estimation in Facial Image Coding, In Proc. Multimedia Modeling 98, Oct. 12-15, 1998, pp. 50-51, Lausanne, Switzerland. Yoshinaga, T., Tamura, S., Iwano, K., and Furui, S. (2003). Audio-Visual Speech Recognition Using Lip Movement Extracted from Side-Face Images, In Proc. AVSP03, pp.117-120, St. Jorioz, France Young, S., Kershaw, D., Odell, J., Ollason, D., Valtchev, V., and Woodland, P. (1999). The HTK Book. Cambridge University Engineering Department, 1999. Železný, M., Císař, P. (2003) Czech audio-visual speech corpus of a car driver for in-vehicle audio-visual speech recognition, In Proc. AVSP03, St Jorioz, France.

- 87 -

Seznam zkratek

8

Seznam zkratek

Zkratka

anglicky

AAM AAN ACM ASR AV DCT DF DFT DTW DV DWT EM FF GMM LDA LVCSR

active appearance model aktivní vzhledový mode artificial neuron network neuronová síť active contour model aktivní tvarový model automatic speech recognition automatické rozpoznávání řeči audiovisual audiovizuální discrete cosine tranform diskrétní Kosinova transformace decision fusion spojení rozhodnutí discrete Fourier tranform diskrétní Fourierova transformace dynamic time warping dynamické borcení času digital video digitální video discrete wavelet transform diskrétní vlnková transformace expectation maximization feature fusion spojení příznaků gausian mixture model model gausovských směsí linear discriminant analysis lineární diskriminační analýza large vocobulary continuous speech recognition rozpoznávání spojité řeči s velkým slovníkem maximum-a-posteriori Mel frequency cepstral coefficients Melovské frekvenční kepstrální koeficienty principal component analysis analýza hlavních komponent

MAP MFCC PCA PCM PLP RGB ROI SNR SVD WER

česky

perceptual linear prediction red, green, blue - color representation region of interest signal-to-noise ratio singular value decomposition word error rate

- 88 -

reprezentace barev oblast zájmu odstup signál-šum chyba rozpoznávání na slovech

Přílohy

Jazyk

Zuby

Rty

A

a

jazyk na spodním patře,mohl by být vidět

dolní zuby jsou vidět málo horní více

ústa jsou úplně otevřená

au

au

jazyk na spodním patře,mohl by být vidět

horní i dolní zuby jsou vidět

ústa jsou úplně otevřená a postupně se zaokrouhlují

b

b

e

e

eu

eu

f

f

g

g

i

i

l

l

o

o

ou

ou

jazyk na spodním patře

většinou nejsou vidět zakrývají je rty

s

s

špička jazyka se dotýká

zuby blízko u sebe

0

jazyk na spodním patře,mohl by být vidět jazyk na spodním patře,mohl by být vidět

0

horní i dolní zuby jsou vidět

Popis

Vizém

Přílohy

Foném

9

horní a dolní ret se úplně dotýkají, není mezi nimi žádná mezera ústa se přivírají a koutky se rozšiřují

horní i dolní zuby jsou vidět 0

hřbet jazyka se dotýká horního patra jazyk na spodním patře,mohl by být vidět jazyk musí kmitnout z pozice za horními řezáky až za dolní řezáky jazyk na spodním patře

horní zuby se skoro dotýkají spodního rtu, spodní zuby nejsou vidět vůbec jsou ovlivněny

rty hodně od sebe ale i hodně široké, viditelné horní zuby i jazyk na spodním patře, jedná se o nejotevřenější hlásku a dá se podle toho detekovat přechod z a do u

rty zcela u sebe, mírně nafouklé tváře rty středně od sebe ale hodně široké, jazyk na spodním patře, většinou nejsou vidět spodní zuby přechod z e do u

horní ret mírně zdvižen,spodní ret se skoro dotýká horních řezáků

spodní ret se dotýká horních zubů, rty jsou jen málo pootevřené a málo široké, většinou jsou viditelné pouze řezáky

jsou ovlivněny

otevřená ústa, jazyk na spodním patře, neviditelná hláska

horní i dolní zuby jsou vidět

ústa se přivírají a koutky jsou maximálně rozšířeny, více než při e

rty středně od sebe, nejširší hláska, zuby skoro u sebe, není vidět jazyk

jsou ovlivněny

jsou ovlivněny

rty středně otevřené, jazyk prokmitne od horního patra dolů

většinou nejsou vidět zakrývají je rty

rty se zaokrouhlují horní i dolní ret se vysunují, rty jsou spíše stáhnuté rty se zaokrouhlují horní i dolní ret se vysunují, rty jsou spíše stáhnuté jsou ovlivněny

rty mají kruhovitý tvar, rty se vyšpulují dopředu a zvětšuje se jejich mohutnost, otvor je větší než pro u a je kulatější přechod z o na u

- 89 -

rty mírně od sebe, zuby zcela u sebe

Přílohy spodních zubů š

š

t

t

ť

ť

u

u

0

jazyk na spodním patře

horní zuby malinko překrývají dolní nebo jsou velmi blízko

většinou nejsou vidět zakrývají je rty

rty se zaokrouhlují, horní i dolní ret se vysouvají více než u u,o a spíše se oddalují od sebe než aby se přibližovali

rty se zaokrouhlují horní i dolní ret se vysunují, rty jsou spíše stáhnuté ještě více než uo

vyšpulené rty více než u s, honí i dolní zuby dobře viditelné, elipsovitý tvar

zuby mírně od sebe, jazyk mezi zuby, ale vidět jsou většinou jen horní, jazyk je užší než u ť rty mírně od sebe více vyšpulené než t , jazyk mezi zuby, jazyk je širší než u t rty velice blízko sebe, štěrbina nejmenší ze všech hlásek je podlouhlejší než o

Tabulka 13. Popis uplatnění zubů, jazyka a tvaru rtů při tvorbě jednotlivých vizémů, 0 = objekt není přítomen

DCT 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 u 0 0 4 1 4 2 0 0 2 0 0 2 4 2 2 0 2 4 4 2 0 2 2 v 0 2 0 0 2 0 1 4 2 5 3 5 4 3 4 6 1 3 1 6 7 7 8 DCT 24 25 26 27 28 29 30 u 0 4 4 0 2 1 2 v 8 5 6 9 9 2 10 Tabulka 14. Hodnoty frekvencí u a v pro vybrané DCT příznaky získané z trénovací množiny pro popis ROI.

DCT vnitřku úst : DCT 1 2 3 4 u 0 0 0 2 v 0 2 3 0 Tabulka 15. Hodnoty frekvencí u a v pro vybrané DCT příznaky získané z trénovací množiny pro popis vnitřku úst.

- 90 -

Přílohy

Obrázek 51. Ukázka nalezení vnitřní a vnější kontury rtů

- 91 -

Přílohy

Obrázek 52. Ukázka chybného nalezení vnitřní a vnější kontury rtů

Obrázek 53. Ukázka nalezení objektů vnitřku úst, bílá – horní zuby, modrá – dolní zuby, zelená – jazyk, černá – mezera

Obrázek 54. Ukázka chybného nalezení objektů vnitřku úst, bílá – horní zuby, modrá – dolní zuby, zelená – jazyk, černá – mezera

- 92 -

Přílohy

Obrázek 55. Ukázka zpracování databáze pro nalezení vizuálních řečových jednotek.

- 93 -