VIDEA V ZÁVISLOSTI NA RYCHLOSTI ŘEČI

ˇ ´ UCEN Í TECHNICKE ´ V BRNE ˇ VYSOKE BRNO UNIVERSITY OF TECHNOLOGY

ˇ ÍCH TECHNOLOGIÍ FAKULTA INFORMACN ˇ ÍTACOV ˇ ´ ´ Í USTAV POC E´ GRAFIKY A MULTIMEDI FACULTY OF INFORMATION TECHNOLOGY DEPARTMENT OF COMPUTER GRAPHICS AND MULTIMEDIA

ˇ ˇ ´ AN ´ Í ZMENA RYCHLOSTI (SYNCHRONIZACE) PREHR AV ˇ ´ ˇ CI VIDEA V ZAVISLOSTI NA RYCHLOSTI RE

´ RSK ˇ ´ PRACE ´ BAKALA A BACHELOR’S THESIS

´ AUTOR PRACE AUTHOR

BRNO 2008

´ MICHAL HROMADKO

ˇ Í TECHNICKE ´ V BRNE ˇ VYSOKE´ UCEN BRNO UNIVERSITY OF TECHNOLOGY

ˇ ÍCH TECHNOLOGIÍ FAKULTA INFORMACN ˇ ÍTACOV ˇ ´ ´ GRAFIKY A MULTIMEDI ´ Í USTAV POC E FACULTY OF INFORMATION TECHNOLOGY DEPARTMENT OF COMPUTER GRAPHICS AND MULTIMEDIA

ˇ ˇ ´ AN ´ Í ZMENA RYCHLOSTI (SYNCHRONIZACE) PREHR AV ˇ ´ ˇ CI VIDEA V ZAVISLOSTI NA RYCHLOSTI RE PLAYING OF VIDEO DEPENDING ON SPEED OF SPEECH

ˇ ´ PRACE ´ BAKALA´ RSK A BACHELOR’S THESIS

´ AUTOR PRACE

´ MICHAL HROMADKO

AUTHOR

´ VEDOUCÍ PRACE SUPERVISOR

BRNO 2008

¨ Ing. IGOR SZOKE

Licenˇcn´ı smlouva je uvedena v archivn´ım v´ ytisku uloˇzeném v knihovnˇe FIT VUT v Brnˇe.

Abstrakt Tato bakal´ aˇrsk´ a pr´ ace se zab´ yv´ a rozˇs´ıˇren´ım pˇrehrávaˇce VLC o metodu PSOLA. Tato metoda umoˇzn ˇuje mˇenit rychlost pˇrehráván´ı videa pˇri zachován´ı základn´ıho tónu a srozumitelnosti ˇreˇci.

Kl´ıˇ cov´ a slova VLC, modul, PSOLA, ˇreˇc, rychlost

Abstract This bachelor’s thesis discusses adding the PSOLA method into the VLC Media Player. PSOLA method is used for playing rate modification. It doesn’t change base tone and understandableness of the speech.

Keywords VLC, plugin, PSOLA, speech, speed, rate

Citace Michal Hrom´ adko: Zmˇena rychlosti (synchronizace) pˇrehráván´ı videa v závislosti na rychlosti ˇreˇci, bakal´ aˇrsk´ a pr´ ace, Brno, FIT VUT v Brnˇe, 2008

Zmˇ ena rychlosti (synchronizace) pˇ rehr´ av´ an´ı videa v z´ avislosti na rychlosti ˇ reˇ ci Prohl´ aˇ sen´ı Prohlaˇsuji, ˇze jsem tuto bakal´ aˇrskou práci vypracoval samostatnˇe pod veden´ım pana Ing. Igora Sz¨ okeho. Uvedl jsem vˇsechny literárn´ı prameny a publikace, ze kter´ ych jsem ˇcerpal. ....................... Michal Hromádko 14. kvˇetna 2008

Podˇ ekov´ an´ı Dˇekuji vedouc´ımu bakal´ aˇrské pr´ ace Ing. Igoru Szökemu, za veden´ı, ochotu pˇri ˇreˇsen´ı problému, canné rady a pˇripom´ınky pˇri zpracován´ı a ˇreˇsen´ı bakaláˇrské práce.

c Michal Hrom´

adko, 2008. Tato pr´ ace vznikla jako ˇskoln´ı d´ılo na Vysokém uˇcen´ı technickém v Brnˇe, Fakultˇe informaˇcn´ıch technologi´ı. Pr´ ace je chr´ anˇena autorským z´ akonem a jej´ı uˇzit´ı bez udˇelen´ı opr´ avnˇen´ı autorem je nez´ akonné, s výjimkou z´ akonem definovaných pˇr´ıpad˚ u.

Obsah ´ 1 Uvod 1.1 Pr˚ uvodce prac´ı . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

3 3

2 Pˇ rehr´ avaˇ ce videa 2.1 Media Player Classic 2.2 Miro . . . . . . . . . 2.3 MPlayer . . . . . . . 2.4 xine . . . . . . . . . 2.5 GStreamer . . . . . . 2.6 VLC . . . . . . . . .

. . . . . .

5 5 6 6 6 6 6

. . . . . .

. . . . . .

. . . . . .

3 Pˇ rehr´ avaˇ c VLC 3.1 Vnitˇrn´ı uspoˇr´ ad´ an´ı . . . . 3.1.1 Moduly j´ adra . . . 3.1.2 Vstupn´ı moduly . 3.1.3 Demultiplexory . . 3.1.4 Dekodéry . . . . . 3.1.5 Filtry videa . . . . 3.1.6 Filtry zvuku . . . 3.1.7 V´ ystupn´ı moduly . 3.2 Rozˇsiˇritelnost . . . . . . . 3.2.1 Struktura modulu 3.2.2 Zvukové filtry . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

8 8 10 10 10 10 11 11 11 11 12 13

4 Metoda PSOLA a fon´ emov´ y rozpozn´ avaˇ c 4.1 Detekce z´ akladn´ıho t´ onu . . . . . . . . . . . 4.1.1 Autokorelaˇcn´ı funkce . . . . . . . . . 4.1.2 Harmonic Product Spectrum (HPS) 4.1.3 Harmonic and Noise Model (HNM) . 4.2 Okénkovac´ı funkce . . . . . . . . . . . . . . 4.3 V´ ybˇer period z´ akladn´ıho tónu . . . . . . . . 4.4 Rozˇs´ıˇren´ı o fonémov´ y rozpoznávaˇc . . . . . 4.4.1 Fonémov´ y rozpoznávaˇc . . . . . . . . 4.4.2 Rozˇs´ıˇren´ı PSOLY . . . . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

15 16 16 17 17 18 18 19 20 20

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

1

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

5 Implementace 5.1 Hlaviˇcka modulu . . . . . 5.2 Konstruktor a destruktor 5.3 V´ ykonn´ a funkce . . . . . . 5.4 Fonémov´ y detektor . . . . 5.5 Uˇzivatelské rozhran´ı . . .

. . . . .

21 21 22 23 24 24

6 Testy 6.1 Kvalita v´ ystupu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6.2 Pˇresnost synchronizace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6.3 Vyt´ıˇzen´ı systému . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

26 26 26 26

7 Z´ avˇ er

28

A Obsah CD

30

B Pˇ reklad VLC

31

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

2

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

Kapitola 1

´ Uvod Pˇrehráv´ an´ı videa je jednou z nejrozˇs´ıˇrenˇejˇs´ıch a nejobl´ıbenˇejˇs´ıch ˇcinnost´ı, jaké lze na poˇc´ıtaˇci provozovat. Ze zaˇc´ atku ˇslo jen o zábavu nˇekolika nadˇsenc˚ u, kteˇr´ı s u ´ˇzasem v oˇc´ıch sledovali nˇekolik mˇen´ıc´ıch-se pixel˚ u na obrazovce. V´ yvoj se vˇsak nedá zastavit a brzy se na monitory poˇc´ıtaˇc˚ u dostala i videa jiˇz sledovatelné kvality. Bohuˇzel to mˇelo za d˚ usledek velk´ y rozvoj poˇc´ıtaˇcového pir´ atstv´ı. Objevili se pokoutn´ı prodejci vypálen´ ych CD s r˚ uzn´ ymi filmy. Dalˇs´ım miln´ıkem byla urˇcitˇe moˇznost pˇrenáˇset (streamovat) video pˇres Internet. V dneˇsn´ı dobˇe nen´ı problém se na poˇc´ıtaˇci pod´ıvat na film ve vysokém rozliˇsen´ı, nebo ˇzivˇe sledovat pˇrenos z konference na druhé stranˇe planety. D´ıky tˇemto technick´ ym vymoˇzenostem se objevila dalˇs´ı u ´ˇzasná moˇznost - sledovat ˇzivˇe pˇrenos z pˇredn´ aˇsky pˇeknˇe v teple domova (koleje). Sledován´ı pˇrednáˇsky na dálku samozˇrejmˇe nenahrad´ı jej´ı n´ avˇstˇevu, ale to student˚ um oˇcividnˇe nevad´ı a u ´ˇcast na pˇrednáˇsk´ ach ze pomalu zaˇcala zmenˇsovat. Po tomto kroku chybˇela k dokonalosti pouze jedna vˇec. Záznamy pˇrednáˇsek. Ty na sebe nenechaly dlouho ˇcekat. Ke staˇzen´ı je k dispozici nˇekolik stovek pˇrednáˇsek z r˚ uzn´ ych kurz˚ u. Pro studenty je to skvˇel´ a moˇznost jak si pˇred zkouˇskou zopakovat probranou látku. Má to jeden drobn´ y nedostatek. Pˇrednáˇsky jsou dlouhé a pˇrednáˇsej´ıc´ı obˇcas mluv´ı pomalu nebo v˚ ubec. Kaˇzd´ y jistˇe zkusil pˇrehráván´ı pˇrednáˇsky zrychlit a zjistil, ˇze se dostavil velmi nepˇr´ıjemn´ y efekt. Pˇredn´ aˇsej´ıc´ı se zmˇenil v nesrozumitelnˇe drmol´ıc´ıho kaˇcera Donalda“. ” Kromnˇe toho, ˇze je to celkem vtipné, se vˇsak ˇzádan´ y efekt nedostavil. Video je nutné opˇet zpomalit a sledovat v norm´ aln´ı rychlosti. C´ılem této bakal´ aˇrské pr´ ace je upravit nˇekter´ y z existuj´ıc´ıch pˇrehrávaˇc˚ u videa tak, aby bylo moˇzné dynamicky mˇenit rychlost pˇrehráván´ı videa se zachován´ım srozumitelnosti ˇreˇci. Vycház´ım v n´ı z diplomové pr´ ace Ing. Aleˇse Kováˇr´ıka s názvem Zmˇena rychlosti ˇreˇci [7]. Jeho diplomov´ a pr´ ace se zab´ yv´ a právˇe zrychlován´ım a zpomalován´ım ˇreˇci pˇri zachov´ an´ı srozumitelnosti. Pro zmˇenu rychlosti pouˇz´ıvá metodu PSOLA1 s rozˇs´ıˇren´ım o fonémov´ y rozpozn´ avaˇc.

1.1

Pr˚ uvodce prac´ı

Ve 2. kapitole nazvané Pˇrehr´ avaˇce videa se zab´ yvám v´ ybˇerem vhodného pˇrehrávaˇce. Popisuji zde kritéria pro v´ ybˇer a nˇekolik zkouman´ ych pˇrehrávaˇc˚ u. Kapitola ˇc´ıslo 3 popisuje mnou vybran´ y pˇrehrávaˇc VLC. Od základn´ıho popisu postupnˇe pˇrecház´ım k vlastnostem, vnitˇrn´ımu uspoˇrádán´ı a tvorbˇe modul˚ u. Pˇri tvorbˇe této kapitoly 1

Pitch Synchronous OverLap Add

3

jsem vych´ azel ˇc´ asteˇcnˇe z dokumentace VLC [2], ale pˇredevˇs´ım ze studia zdrojov´ ych kód˚ u. V kapitole nazvané Metoda PSOLA a fonémov´ y rozpoznávaˇc(4) vycház´ım z diplomové práce Ing. Kov´ aˇr´ıka [7] a z knihy pana Tieriho Dutoida [6]. Jak jej´ı název napov´ıdá, zab´ yv´ a se popisem metody PSOLA, fonémového rozpoznávaˇce a jejich vzájemného propojen´ı. Posledn´ı kapitola (5) se zab´ yvá vlastn´ı u ´pravou pˇrehrávaˇce VLC. Popisuji zde zaˇclenˇen´ı upravené metody PSOLA do VLC a problémy se kter´ ymi jsem se bˇehem implementace setkal.

4

Kapitola 2

Pˇ rehr´ avaˇ ce videa Prvn´ım krokem pˇri tvorbˇe této bakaláˇrské práce bylo naj´ıt vhodn´ y pˇrehrávaˇc videa. Hledan´ y pˇrehrávaˇc mus´ı b´ yt pokud moˇzno multiplatformn´ı a otevˇren´ y. Otevˇrenost´ı mysl´ım ˇs´ıˇren´ı pˇrehrávaˇce pod jednou z open-source licenc´ı. Nejrozˇs´ıˇrenˇejˇs´ı z tˇechto licenc´ı je GP - GNU Generel Lublic Licence [3]. Tato licence umoˇzn ˇuje volnou editaci zdrojov´ ych kód˚ u programu. Dalˇs´ım hlediskem byla rozˇs´ıˇrenost pˇrehrávaˇce. Lidé vˇetˇsinou nemaj´ı rádi vˇeci, které neznaj´ı. D˚ uleˇzit´ y je také celkov´ y dojem z pˇrehrávaˇce. Bral jsem v potaz funkˇcnost, moˇznost rozˇs´ıˇren´ı o pˇr´ıdavné moduly a v neposledn´ı ˇredˇe také vzhled. Mnoz´ı mohou nam´ıtat, ˇze na vzhledu nezáleˇz´ı, ale z vlastn´ı zkuˇsenosti v´ım, ˇze vzhled je d˚ uleˇzit´ ym faktorem. Pˇri bliˇzˇs´ım zkoum´ an´ı pˇrehr´ avaˇc˚ u jsem se zamˇeˇril na dalˇs´ı jejich vlastnosti. D˚ uleˇzitou vlastnost´ı je napˇr´ıklad poˇcet r˚ uzn´ ych multimediáln´ıch formát˚ u, které je pˇrehrávaˇc schopen pˇrehrát. Dˇr´ıve bylo nutné m´ıt nˇekolik r˚ uzn´ ych pˇrehrávaˇc˚ u v závislosti na typu pˇrehrávaného materi´ alu. V dneˇsn´ı dobˇe vˇetˇsinou postaˇc´ı jeden kvalitn´ı pˇrehrávaˇc a sada kodek˚ u (chodec pacek). Proto jsem se zamˇeˇril sp´ıˇse na moˇznost pˇrehráván´ı r˚ uzn´ ych multimediáln´ıch stream˚ u vys´ılan´ ych jak po lok´ aln´ıch s´ıt´ıch, tak po Internetu. Nejvˇetˇs´ı váhu jsem pˇriˇradil protokolu RESP 1 s jehoˇz pomoc´ı je moˇzné sledovat záznamy pˇrednáˇsek z naˇs´ı fakulty. Dalˇs´ım d˚ uleˇzit´ ym faktorem byla moˇznost sledovat pˇrednáˇsky pˇr´ımo ˇzivˇe. To sice nemá na mou pr´ aci vliv, protoˇze ˇziv´ y pˇrenos nejde zrychlit, ale proˇc m´ıt v´ıce pˇrehrávaˇc˚ u kdyˇz staˇc´ı jeden. U pˇrehr´ avaˇc˚ u jsem zkoumal také moˇznost záznamu pˇrehrávaného streamu. Mnoho student˚ u jistˇe vyuˇzije moˇznost zaznamenat si sledovanou pˇrednáˇsku. Záznamy je samozˇrejmˇe moˇzné stahovat pˇr´ımo z video server˚ u FIT, ale u nˇekter´ ych pˇrednáˇsek tato moˇznost nen´ı, nebo jsou zveˇrejnˇeny aˇz po delˇs´ım ˇcase. Zaj´ımavá je také moˇznost naplánovat si nahráv´ an´ı dopˇredu. Osobnˇe velmi ˇcasto vyuˇz´ıvám takzvan´ y time shifting. Jde o moˇznost pozastavit právˇe sledovan´ y ˇziv´ y pˇrenos a pozdˇeji pokraˇcovat ve sledován´ı. Nejd˚ uleˇzitˇejˇs´ı zkoumanou vlastnost´ı byla snadná rozˇsiˇritelnost pˇrehrávaˇce. Sudoval jsem moˇznost jednoduˇse zaˇclenit metodu PSOLA pro zmˇenu rychlosti zvuku. To vyˇzaduje modularitu pˇrehr´ avaˇce a také kvalitn´ı dokumentaci.

2.1

Media Player Classic

Tento pˇrehr´ avaˇc se vyznaˇcuje svou jednoduchost´ı. Jak je patrné z jeho jména, vzhledem vycház´ı z pˇrehr´ avaˇce Windows Media Player verze 6. Zvládá pˇrehrávat vˇetˇsinu znám´ ych formát˚ u videa a zvuku. Bohuˇzel postrádá jakoukoliv moˇznost pˇrehrávat streamované video. 1

ˇ Regal Stime Streaming Protocol

5

Media Player Classic je vyv´ıjen v rámci projektu Guliverkli pod licenc´ı GPL. Je distribuován s vˇetˇsinou sad kodek˚ u. D´ıky tomu je pomˇernˇe dobˇre rozˇs´ıˇren. Bohuˇzel je závisl´ y na platformˇe Microsoft Windows.

2.2

Miro

Miro je pomˇernˇe nov´ y pˇrehr´ avaˇc. V mnoha smˇerech je revoluˇcn´ı. Podle v´ yvojáˇr˚ u [4] mˇen´ı poˇc´ıtaˇc v internetovou televizi. V podstatˇe jde sp´ıˇse o stahovaˇc videa s moˇznost´ı jeho pˇrehráv´ an´ı. Umoˇzn ˇuje stahovat videa z mnoha internetov´ ych server˚ u. Z tˇech nejznámˇejˇs´ıch uvedu napˇr´ıklad YouTube. Podporuje pˇrehr´ av´ an´ı mnoha formát˚ u videa. Vˇsechna tato videa vˇsak mus´ı b´ yt staˇzena v poˇc´ıtaˇci. Neobjevil jsem moˇznost jak pˇrehrát multimediáln´ı stream. Z hlediska uˇzivatelského rozhran´ı je to velmi poveden´ y program. Kombinuje jednoduchost s modern´ımi grafick´ ymi prvky. Je platformovˇe nez´ avisl´ y a je ˇs´ıˇren pod licenc´ı GPL.

2.3

MPlayer

MPlayer je jedn´ım z nejrozˇs´ıˇrenˇejˇs´ıch open-source pˇrehrávaˇc˚ u. Jde spustit témˇeˇr na vˇsech znám´ ych architektur´ ach. Je to v´ yborn´ y pˇrehrávaˇc, kter´ y zvládá pˇrehrát doslova cokoliv. Pokud je to moˇzné, nab´ız´ı pˇekné a jednoduché uˇzivatelské rozhran´ı. Toto rozhran´ı je moˇzné mˇenit pomoc´ı motiv˚ u vzhledu (skin˚ u). Sám jsem tento pˇrehrávaˇc nˇejakou dobu pouˇz´ıval a byl jsem s n´ım naprosto spokojen. Jediná vˇec, která mi v tomto pˇrehrávaˇci chyb´ı je moˇznost zaznamen´ av´ an´ı streamovaného videa na disk.

2.4

xine

Xine je sama o sobˇe knihovna pro pˇrehráván´ı multimédi´ı. Podporuje vˇetˇsinu znám´ ych formát˚ u. V´ yvojov´ y t´ ym k této knihovnˇe vytvoˇril i celkem pˇekné uˇzivatelské rozhran´ı xineui. Nˇekolik zn´ am´ ych multimedi´ aln´ıch pˇrehrávaˇc˚ u, napˇr´ıklad Totem, je postaveno právˇe na xine.

2.5

GStreamer

GStreamer je knihovna pro pr´ aci s multimédii. Kromˇe pˇrehráván´ı podporuje i editaci. Obsahuje mnoho n´ astroj˚ u pro v´ yvojáˇre multimediáln´ıho software. Samotná knihovna je snadno rozˇsiˇriteln´ a a kdokoliv m˚ uˇze pˇrispˇet nov´ ym modulem ˇci kodekem. Na rozd´ıl od vˇsech pˇredchoz´ıch pˇrehr´ avaˇc˚ u je tato knihovna ˇs´ıˇrena pod licenc´ı LGPL, coˇz umoˇzn ˇuje jej´ı nasazen´ı i v komerˇcn´ıch pˇrehrávaˇc´ıch. Mezi nejznámˇejˇs´ı pˇrehrávaˇce zaloˇzené na této knihovnˇe patˇr´ı napˇr´ıklad Kaffeine, Rhythmbox a Totem2 .

2.6

VLC

VLC je naprosto univerz´ aln´ı pˇrehrávaˇc. Kromnˇe samotného pˇrehráván´ı vˇsech moˇzn´ ych typ˚ u médi´ı dok´ aˇze také pracovat jako streamovac´ı server. Má zabudovanou podporu r˚ uzn´ ych zaˇr´ızen´ı jako jsou napˇr´ıklad TV karty a kamery. Jejich obraz dokáˇze nejen zobrazit, ale 2

Tento pˇrehr´ avaˇc je zaloˇzen jak na knihovnˇe xine tak na knihovnˇe GStreamer.

6

také uloˇzit na disk, nebo vys´ılat po internetu. Z hlediska uˇzivatelského rozhran´ı jde o velmi pˇekn´ y a poveden´ y pˇrehr´ avaˇc. Tento pˇrehr´ avaˇc jsem si vybral pro svou bakaláˇrskou práci a jeho podrobnˇejˇs´ımu popisu vˇenuji celou n´ asleduj´ıc´ı kapitolu (3).

7

Kapitola 3

Pˇ rehr´ avaˇ c VLC VLC media player [5] je multiplatformn´ı multimediáln´ı pˇrehrávaˇc a streamovac´ı server vyv´ıjen´ y v r´ amci projektu VideoLAN. D´ıky tomu, ˇze má v sobˇe zakomponovány veˇskeré potˇrebné kodeky se z nˇej st´ av´ a naprosto univerzáln´ı a sobˇestaˇcn´ y pˇrehrávaˇc. Porad´ı si s vˇetˇsinou zn´ am´ ych typ˚ u multimédi´ı. Uˇzivatelé si mohou vybrat z mnoha r˚ uzn´ ych zp˚ usob˚ u ovládán´ı. D´ıky tomu se d´ a VLC ovládat pˇres klasické uˇzivatelské rozhran´ı (wxWidgets nebo skins2), konzoli (pˇr´ıkazy nebo rozhran´ı ncurses), webové rozhran´ı, Telnet nebo gesta myˇsi. Na obr´ azku 3.1 je zobrazeno klasické uˇzivatelské rozhran´ı VLC.

Obr´ azek 3.1: Z´ akladn´ı uˇzivatelské rozhran´ı pˇrehrávaˇce VLC (wxWidgets).

Kromˇe klasického pˇrehr´ av´ an´ı videa nab´ız´ı VLC také integraci s webov´ ym prohl´ıˇzeˇcem, moˇznost vys´ılat (streamovat) po s´ıti, ukládat stream na disk a funkci time shifting. To z nˇej dˇel´ a opravdu univerz´ aln´ı n´ astroj pro práci s videem a zvukem. Pˇr´ıkladem zaj´ımavého vyuˇzit´ı VLC budiˇz vys´ıl´ an´ı televizn´ıch program˚ u, pˇrij´ıman´ ych pomoc´ı televizn´ı karty, po kolejn´ı s´ıti. Na sledov´ an´ı pˇredn´ aˇsek je VLC naprosto ideáln´ı. Umoˇzn ˇuje jak sledován´ı ˇzivého pˇrenosu z pˇredn´ aˇsky tak sledov´ an´ı jej´ıho z´ aznamu pˇr´ımo ze serveru bez nutnosti staˇzen´ı do poˇc´ıtaˇce. Aktu´ aln´ı verzi pˇrehr´ avaˇce je moˇzné stáhnout na stránkách http://www.videolan.org/ vlc/. K dispozici je instal´ ator pro Windows, pˇredkompilované bal´ıˇcky pro r˚ uzné distribuce systému Linux a zdrojové k´ ody. O velké rozˇs´ıˇrenosti a obl´ıbenosti VLC svˇedˇc´ı poˇcet staˇzen´ı aktuáln´ı verze bl´ıˇz´ıc´ı se k 79 000 000 (ze dne 8.5.2008).

3.1

Vnitˇ rn´ı uspoˇ r´ ad´ an´ı

Cel´ y pˇrehr´ avaˇc VLC je sloˇzen z modul˚ u. Tyto moduly jsou na sobˇe témˇeˇr nezávislé. D´ıky tomu je moˇzné upravit jednu ˇc´ ast bez vlivu na zbytek pˇrehrávaˇce. Je také velmi jednoduché

8

pˇridat modul zcela nov´ y. Pˇrid´ aván´ım nového modulu se budu zab´ yvat v dalˇs´ı ˇcásti této kapitoly (3.2). Vˇsechny moduly jsou sdruˇzeny do kategori´ı a subkategori´ı. Dále je jim pˇriˇrazena jasn´ a funkce (capability) a priorita (score). Pˇri zavádˇen´ı modul˚ u se urˇc´ı potˇrebné funkce a podle nich jsou moduly vybr´ any. Pokud pro urˇcitou funkci existuje v´ıce modul˚ u, vybere se ten s nejvyˇsˇs´ı prioritou. V pˇr´ıpadˇe chyby pˇri zavádˇen´ı modulu (napˇr´ıklad neznám´ y form´ at vstupn´ıch dat) se zav´ adˇen´ı pˇreruˇs´ı a je vybrán modul s prioritou niˇzˇs´ı. D´ıky tomuto postupu je vˇzdy vybr´ an modul, kter´ y nejlépe odpov´ıdá vˇsem poˇzadavk˚ um. Dalo by se ˇr´ıci ˇze pˇrehr´ avaˇc za bˇehu dok´ aˇze zmˇenit svou vnitˇrn´ı strukturu tak, aby co nejlépe odpov´ıdala typu pˇrehr´ avaného média. Z program´ atorského hlediska jsou vˇsechny moduly reprezentovány jako objekty. Maj´ı své metody, konstruktor a destruktor, datové poloˇzky (atributy) a d´ıky d˚ umyslné sadˇe maker je implementov´ ana i dˇediˇcnost. Velmi elegantnˇe je také vyˇreˇsena moˇznost lokalizace. Za bˇehu je VLC rozdˇelen do nˇekolika vláken (threads), která spolu vzájemnˇe komunikuj´ı. To umoˇzn ˇuje spravedlivé vyt´ıˇzen´ı vˇsech ˇcást´ı pˇrehrávaˇce a dosaˇzen´ı plynulého pˇrehráván´ı. Dekódov´ an´ı a pˇrehr´ av´ an´ı se dˇeje naprosto nezávisle (asynchronnˇe). T´ım je doc´ıleno toho, ˇze vˇsechny ˇc´ısti zvuku i videa jsou pˇrehrány pˇresnˇe v urˇceném ˇcase bez nutnosti ˇcekán´ı na dekodéry. Na obr´ azku 3.2 je zn´ azornˇena vnitˇrn´ı struktura VLC pˇri pˇrehráván´ı videa s titulky s vyznaˇcen´ım jednotliv´ ych vl´ aken a komunikaˇcn´ıch cest. Tento obrázek jsem pˇrevzal od jednoho z v´ yvoj´ aˇr˚ u VLC [1].

Obr´ azek 3.2: Vnitˇrn´ı struktura VLC Seznam vˇsech kategori´ı modul˚ u je uveden v Pr˚ uvodci u ´pravami VLC [2]. Já ve své pr´ aci uvedu jen nˇekolik z´ akladn´ıch.

9

3.1.1

Moduly j´ adra

Jádro pˇrehr´ avaˇce VLC se skl´ ad´ a z nˇekolika modul˚ u. Ty se staraj´ı o bˇeh celého pˇrehrávaˇce. • VLC Spustiteln´ y program. Zpracovává parametry pˇr´ıkazové ˇrádky a zavád´ı modul LibVLC. Pˇri pouˇzit´ı VLC jako knihovny nemá tento modul smysl a o zaveden´ı LibVLC se star´ a aplikace kter´ a tuto knihovnu pouˇz´ıvá. • LibVLC Zapouzdˇren´ı VLC do knihovny. Umoˇzn ˇuje pouˇz´ıt VLC jako knihovnu pro pˇrehr´ av´ an´ı multimedi´ aln´ıho obsahu v ciz´ıch aplikac´ıch. Zavád´ı vˇsechny potˇrebné moduly j´ adra. Poskytuje rozhran´ı pro ˇr´ızen´ı bˇehu pˇrehráván´ı a pˇr´ıstup k vnitˇrn´ım promˇenn´ ym VLC. • Interface Zav´ ad´ı moduly uˇzivatelského rozhran´ı. • Playlist Zav´ ad´ı modul Input. Je ovládán pˇr´ıkazy od uˇzivatelsk´ ym rozhran´ım a na jejich z´ akladˇe ˇr´ıd´ı celé pˇrehráván´ı. • Input Podle typu pˇrehr´ avaného média vyb´ırá a zavád´ı potˇrebné vstupn´ı moduly, demultiplexor a dekodéry. Dále se stará o nahráván´ı a ukládán´ı nahraného videa na disk. • Video output Zav´ ad´ı a ˇr´ıd´ı filtry videa a v´ ystupn´ı modul. • Audio output Zav´ ad´ı a ˇr´ıd´ı vˇsechny moduly potˇrebné pro koneˇcnou u ´pravu a v´ ystup zvuku. • Stream output Zav´ ad´ı a ˇr´ıd´ı vˇsechny moduly potˇrebné pro sestaven´ı streamu a jeho vys´ıl´ an´ı po s´ıti. V pˇr´ıpadˇe potˇreby duplikuje data z dekodér˚ u pro moduly v´ ystupu videa a zvuku.

3.1.2

Vstupn´ı moduly

Moduly vstupu se staraj´ı o otevˇren´ı média, zjiˇstˇen´ı základn´ıch informac´ı a zprostˇredkov´ an´ı dat v nˇejaké jednotné formˇe d´ ale do pˇrehrávaˇce. Mezi základn´ı patˇr´ı napˇr´ıklad typ média, ˇcasován´ı a moˇznost pˇresouvat se (seek) v obsahu. Tyto informace jsou velmi d˚ uleˇzité pro bˇeh celého pˇrehr´ avaˇce. Pokud nen´ı moˇzné se v obsahu pˇresouvat, nemá smysl zobrazovat ukazatel pr˚ ubˇehu a hlavnˇe nelze mˇenit rychlost pˇrehráván´ı. Médiem bez moˇznosti pˇresouvat se v obsahu je napˇr´ıklad ˇziv´ y pˇrenos z pˇrednáˇsky.

3.1.3

Demultiplexory

Tyto moduly maj´ı na starost rozdˇelen´ı vstupn´ıho proudu na video, zvuk a titulky. Témˇeˇr pro kaˇzd´ y typ média je potˇreba jin´ y demultiplexor. V m´ıstˇe demultiplexoru jsou data naposledy v jednom vl´ aknu programu. Proto mus´ı demultiplexor zprostˇredkovat informace o ˇcasov´ an´ı jednotliv´ ych ˇc´ ast´ı.

3.1.4

Dekod´ ery

Dekodér˚ u jsou tˇri typy. Dekodéry videa, dekodéry zvuku a dekodéry titulk˚ u. Jejich prac´ı je pˇrevést vstupn´ı data do jednotné, nekomprimované (raw) formy. Po dekódován´ı uˇz témˇeˇr nezáleˇz´ı na tom, jak´ y form´ at média je pˇrehráván. Jedinou nemˇenitelnou vlastnost´ı je jiˇz zm´ınˇen´ a moˇznost pˇresouvat se v obsahu. 10

3.1.5

Filtry videa

Mezi tyto moduly patˇr´ı r˚ uzné efekty, odstranˇen´ı prokládán´ı, rozdˇelen´ı videa na v´ıce ˇcást´ı a také zakomponov´ an´ı OSD1 informac´ı do obrazu. Mezi tento druh informac´ı patˇr´ı i titulky.

3.1.6

Filtry zvuku

Zpracov´ an´ı zvuku se skl´ ad´ a z nˇekolika krok˚ u. ´ • Uprava rychlosti zvuku za pomoci pˇrevzorkován´ı (resampling). Mezi tyto moduly pˇrid´ av´ am v této bakal´ aˇrské práci sv˚ uj vlastn´ı, kter´ y za pomoci metody PSOLA zachov´ av´ a srozumitelnost ˇreˇci pˇri zmˇenˇe rychlosti. ´ • Uprava poˇctu zvukov´ ych kanál˚ u. Tento krok je d˚ uleˇzit´ y napˇr´ıklad pˇri pˇrehráv´ an´ı prostorového zvuku na stereo reproduktorech, nebo naopak pˇri pˇrehráván´ı stereo nahr´ avky na dom´ ac´ım kinu. ´ • Uprava zvuku pomoc´ı ekvalizéru a dalˇs´ıch filtr˚ u. Ve VLC je implementován desetikan´ alov´ y ekvalizér s nˇekolika pˇredvolbami a moˇznost´ı dvoupr˚ uchodového zpracován´ı. Mezi zvukové filtry patˇr´ı napˇr´ıklad normalizace hlasitosti. • Pˇrevod do form´ atu vhodného pro v´ ystup. Zvuk je ve VLC zpracováván pˇreváˇznˇe ve form´ atu s plovouc´ı ˇr´ adovou ˇcárkou. V nˇekter´ ych pˇr´ıpadech je vˇsak tento form´ at odliˇsn´ y.

3.1.7

V´ ystupn´ı moduly

Moduly pro v´ ystup videa a zvuku. Tyto moduly se liˇs´ı v závislosti na architektuˇre c´ılového operaˇcn´ıho systému. Ve Windows je v´ ystup realizován pomoc´ı rozhran´ı DirectX. V Linuxu jsou to napˇr´ıklad X112 pro video a ALSA3 pro zvuk.

3.2

Rozˇ siˇ ritelnost

D´ıky své modularitˇe je VLC snadno rozˇsiˇriteln´ y. Bohuˇzel, dokumentace je v dobˇe psan´ı této práce nekompletn´ı a dosti obecn´ a. V´ yvojáˇri slibuj´ı, ˇze se vˇse v budoucnosti zlepˇs´ı. I pˇres tuto komplikaci je psan´ı modul˚ u pro VLC celkem snadné. Moduly je moˇzné psát bud’ v jazyku C, nebo v jazyku C++. O pˇreloˇzen´ı a provázán´ı vˇsech modul˚ u se stará sada automatizovan´ ych konfiguraˇcn´ıch a pˇrekladov´ ych skript˚ u. V podstatˇe staˇc´ı pouze napsat modul, pˇridat seznam zdrojov´ ych k´ od˚ u potˇrebn´ ych pro pˇreloˇzen´ı modulu do seznamu zdrojov´ ych kód˚ u, pˇridat modul do hlavn´ıho konfiguraˇcn´ıho skriptu a pˇreloˇzit. Bˇehem pˇrekladu je modul zakomponován do pˇrehrávaˇce jako dynamická knihovna. Je také moˇzné modul vytvoˇrit naprosto samostatnˇe a potom jej do VLC pˇridat jako jiˇz zkompilovanou knihovnu. O tuto moˇznost jsem se pˇr´ıliˇs nezaj´ımal. Pˇri psan´ı modulu je kv˚ uli nekompletn´ı dokumentaci vhodné vycházet z jiˇz hotového a funkˇcn´ıho modulu. D˚ uleˇzité ˇc´ asti jsou vˇetˇsinou velmi podobné a neliˇs´ı se ani v r˚ uzn´ ych kategori´ıch. Vˇetˇsina datov´ ych struktur je popsaná pouze v hlaviˇckov´ ych souborech. To velmi znesnadˇ nuje pochopen´ı VLC, protoˇze komentáˇre obˇcas chyb´ı, nebo pˇresnˇe nevystihuj´ı podstatu ˇc´ asti k´ odu. 1

On-Screen Display X Window System 3 Advanced Linux Sound Architecture 2

11

3.2.1

Struktura modulu

Vˇsechny moduly ve VLC maj´ı spoleˇcnou základn´ı strukturu. Obsahuj´ı hlaviˇcku modulu a základn´ı funkce potˇrebné pro svou funkci. V hlaviˇcce modulu se definuj´ı vˇsechny potˇrebné parametry, napˇr´ıklad o jak´ y modul se jedná a jaké má konfiguraˇcn´ı hodnoty (zobrazené v nastaven´ı VLC). Je také moˇzné dodefinovat submoduly. To je uˇziteˇcné zejména u rozsáhlejˇs´ıch modul˚ u. Pro zaˇc´ atek bych r´ ad upozornil na dvˇe d˚ uleˇzitá makra. Jsou to N_( string ) a _( string ). Prvn´ı z nich vytvoˇr´ı pˇreloˇziteln´ y (lokalizovateln´ y) ˇretˇezec. Druhé nav´ıc ˇretˇezec pˇr´ımo pˇrekl´ ad´ a. Pˇri psan´ı modulu doporuˇcuji pouˇz´ıvat prvn´ı z maker. Jeho pouˇzit´ı je naprosto bezpeˇcné. Druhé z maker m˚ uˇze zp˚ usobit oˇsklivé problémy pokud nebude ˇretˇezec správnˇe pˇreloˇzen. Pˇri lokalizaci je samozˇrejmˇe nutné pˇrej´ıt na druhé makro aby se zmˇeny projevily. Hlaviˇ cka modulu Hlaviˇcka modulu se vytv´ aˇr´ı pomoc´ı vkládán´ı nˇekolika maker. Tato makra jsou definována v hlaviˇckovém souboru vlc_modules_macros.h. Já pop´ıˇsi jen ty nejd˚ uleˇzitˇejˇs´ı. • vlc module begin( ) Zaˇc´ atek definice modulu. • vlc module end( ) Konec definice modulu. • add shortcut( shortcut ) Definice vnitˇrn´ıho jména modulu. • set shortname( shortname ) Definice jména modulu, které se zobrazuje napˇr´ıklad v nastaven´ı. • set capability( cap, score ) Definice funkˇcnosti modulu. Poloˇzka cap urˇcuje kategorii modulu. Poloˇzka score urˇcuje jeho prioritu. Tato poloˇzka má zˇrejmˇe i jin´ y v´ yznam, kter´ y se mi nepodaˇrilo zcela objasnit. Zdá se ˇze hodnota nˇejak´ ym zp˚ usobem zpˇresˇ nuje funkci modulu. Napˇr´ıklad u resampler˚ u se hodnota této poloˇzky pohybuje mezi 1 a 99. Hodnota 0 je pˇriˇrazena obecn´ ym filtr˚ um. • set callbacks( activate, deactivate ) Definice konstruktoru a destruktoru, neboli funkc´ı, které se zavolaj´ı pˇri aktivaci a deaktivaci modulu. Dalˇs´ı makra, definovan´ a v hlaviˇckovém souboru vlc_configuration.h, umoˇzn ˇuj´ı k modulu definovat konfiguraˇcn´ı hodnoty. Tyto hodnoty je po spuˇstˇen´ı moˇzné mˇenit v nastaven´ı pˇrehrávaˇce. Opˇet uvedu pˇr´ıklady tˇech nejd˚ uleˇzitˇejˇs´ıch. • set category( i id ) Definice kategorie. V tomto pˇr´ıpadˇe jde ˇcistˇe o kategorii pod kterou se bude nastaven´ı modulu zobrazovat v menu. • set subcategory( i id ) Definice subkategorie. Plat´ı to samé co pro kategorii. • add integer( name, value, p callback, text, longtext, advc ) Definice ˇc´ıselné konfiguraˇcn´ı hodnoty. Parametr name urˇcuje vnitˇrn´ı název hodnoty. Parametr value urˇcuje v´ ychoz´ı hodnotu. Parametr p_callback urˇcuje ukazatel na funkci, která se provede po zmˇenˇe hodnoty. Parametr text urˇcuje zobrazovan´ y název poloˇzky. Parametr longtext urˇcuje popis hodnoty. Parametr advc urˇcuje, zda bude hodnota zobrazena v norm´ aln´ım, nebo pouze v pokroˇcilém nastaven´ı.

12

• add string( name, value, p callback, text, longtext, advc ) Definice textové konfiguraˇcn´ı hodnoty. V´ yznam parametr˚ u je stejn´ y jako u makra pro pˇridán´ı ˇc´ıselné hodnoty. • change string list( list, list text, list update func ) Zmˇena textové konfiguraˇcn´ı hodnoty na seznam s v´ ybˇerem. Parametr list urˇcuje seznam vˇsech moˇzn´ ych konfiguraˇcn´ıch hodnot. Parametr list_text urˇcuje názvy tˇechto hodnot. Posledn´ı parametr list_update_func nen´ı nikde pouˇzit. Zˇrejmˇe jde o poz˚ ustatek z minulosti, nebo pl´ anované rozˇs´ıˇren´ı do budoucna. Konstruktor a destruktor Tyto funkce maj´ı jedin´ y parametr. T´ım je ukazatel na nˇekterého z potomk˚ u struktury vlc_object_t. V podstatˇe je to ukazatel na objekt. Kaˇzd´ y modul má ve svém objektu atribut p_sys. Do tohoto atributu si modul ukládá vlastn´ı strukturu s potˇrebn´ ymi daty. ´ Ukolem konstruktoru je tuto strukturu vytvoˇrit a inicializovat. Dále kontroluje, zda je v˚ ubec moˇzné modul pouˇz´ıt. Destruktor se stará o uvolnˇen´ı alokované pamˇeti, popˇr´ıpadˇe odstranˇen´ı vˇsech dynamicky vytvoˇren´ ych objekt˚ u.

3.2.2

Zvukov´ e filtry

Zvukové filtry jsou potomky typu vlc_object_t. Rozˇsiˇruj´ı tento typ o informace o zpracovávaném zvukovém proudu. D´ ale pˇrib´ yvá ukazatel pf_do_work. Do tohoto ukazatele je pˇri inicializaci modulu potˇreba pˇriˇradit ukazatel na funkci provádˇej´ıc´ı vlastn´ı zpracov´ an´ı (v´ ykonnou funkci). Dalˇs´ım nov´ ym atributem je b_in_place. Ten urˇcuje, zda se bude alokovat nov´ y v´ ystupn´ı buffer, nebo zda postaˇc´ı buffer vstupn´ı, kter´ y se pˇrep´ıˇse. V´ ykonn´ a funkce V´ ykonn´ a funkce m´ a ˇctyˇri parametry. Prvn´ım parametrem je ukazatel na instanci celého vlákna zvukového v´ ystupu. Je to vlastnˇe ukazatel na modul Audio output z jádra VLC. Dalˇs´ım parametrem je ukazatel na instanci modulu. Pro tento parametr budu v následuj´ıc´ım popisu pouˇz´ıvat oznaˇcen´ı p_filter. Posledn´ı dva parametry obsahuj´ı ukazatele na vstupn´ı a v´ ystupn´ı buffery. Buffery jsou implementov´ any jako struktury obsahuj´ıc´ı pole s daty a dalˇs´ı potˇrebné informace. • p buffer Pole s daty. Podle hlaviˇckového souboru je typu uint8_t *, ale vˇetˇsinou obsahuje poloˇzky typu float. • i alloc type Urˇcuje typ alokace: 0 - ˇzádná, 1 - alokace na zásobn´ıku (stack), 2 alokace na haldˇe (heap). aln´ a velikost bufferu. Pouˇz´ıvá se pouze k lad´ıc´ım u ´ˇcel˚ um. • i size Re´ • i nb bytes Skuteˇcn´ y poˇcet vyuˇzit´ ych byt˚ u v bufferu. • i nb samples Poˇcet vzork˚ u v bufferu. Tato hodnota urˇcuje poˇcet vzork˚ u v jednom kan´ alu. V bufferu je uloˇzen celkov´ y poˇcet vzork˚ u rovnaj´ıc´ı se této hodnotˇe krát poˇcet kan´ al˚ u. ˇ • start date Casov´ a znaˇcka urˇcuj´ıc´ı zaˇcátek pˇrehráván´ı této ˇcásti zvukového proudu. 13

ˇ • end date Casov´ a znaˇcka urˇcuj´ıc´ı konec pˇrehráván´ı této ˇcásti zvukového proudu. • b discontinuity U proud˚ u, které nevyuˇz´ıvaj´ı PCM4 , oznaˇcuje nespojitost. • p next Ukazatel na n´ asleduj´ıc´ı buffer. • p sys Tato poloˇzka se jiˇz nepouˇz´ıvá a bude odstranˇena. • pf release D´ıky tomuto ukazateli je moˇzné dodefinovat vlastn´ı funkci, která bude buffer uvolˇ novat. Typ dat uloˇzen´ ych v bufferu se dá zjistit z atributu p_filter->input.i_format. Pokud se tato hodnota rovn´ a v´ ystupu makra VLC_FOURCC(’f’,’l’,’3’,’2’), jde o typ float. Pokud se rovn´ a VLC_FOURCC(’f’,’i’,’3’,’2’), jde o typ unsigned int. Já jsem se osobnˇe setkal pouze s prvn´ı moˇznost´ı a vˇetˇsina novˇejˇs´ıch filtr˚ u s touto moˇznost´ı poˇc´ıtá. Poˇcet kan´ al˚ u je moˇzné z´ıskat pomoc´ı funkce aout_FormatNbChannels( &p_filter->input ). Vzorky z jednotliv´ ych kan´ al˚ u jsou v bufferu uloˇzeny po skupinách. Po vzorc´ıch ˇc´ıslo 1 ze vˇsech kan´ al˚ u n´ asleduj´ı vzorky ˇc´ıslo 2 a tak dále.

4

Pulse-Code Modulation

14

Kapitola 4

Metoda PSOLA a fon´ emov´ y rozpozn´ avaˇ c Ve své bakal´ aˇrské pr´ aci pouˇz´ıv´ am zdrojové kódy pro v´ ypoˇcet metody PSOLA z diplomové práce Ing. Kov´ aˇr´ıka. M´ ym u ´kolem je pouˇz´ıt tyto zdrojové kódy v pˇrehrávaˇci VLC. Text této kapitoly je zjednoduˇsen´ ym v´ ytahem z diplomové práce Ing. Kováˇr´ıka [7], do kterého nepˇrid´ av´ am ˇz´ adné nové myˇslenky. Pouˇzité obrázky rovnˇeˇz pocház´ı z uvedené diplomové práce. Metoda PSOLA (Pitch Synchronous OverLap Add) byla vyvinuta spoleˇcnost´ı France Telecom (CNET). Slouˇz´ı pro snadnou u ´pravu délky a základn´ıho tónu signálu. Syntetizéry pouˇz´ıvaj´ıc´ı tuto metodu se vyznaˇcuj´ı vysokou kvalitou v´ ystupu a n´ızkou v´ ypoˇcetn´ı nároˇcnost´ı. Pitch synchronous znamená, ˇze segmenty hlasové nahrávky jsou napojovány tak, aby se pˇrekryly periody z´ akladn´ıho tónu. T´ım je zamezeno vzniku nepˇr´ıjemn´ ych zvukov´ ych artefakt˚ u. PSOLA m´ a nˇekolik variant. Varianta, kterou Ing. Kováˇr´ık pouˇz´ıvá ve své diplomové práci pracuje v ˇcasové oblasti. Proto je naz´ yvána TD-PSOLA1 (Time Domain PSOLA). Ta je velmi jednoduch´ a a v´ ypoˇcetnˇe nenároˇcná. Dalˇs´ımi variantami jsou FD-PSOLA (Frequency Domain) pracuj´ıc´ı ve frekvenˇcn´ı oblasti, LP-PSOLA (Linear Prediction) pracuj´ıc´ı s lineárn´ı predikc´ı a WD-PSOLA (Wawelet Domain) pracuj´ıc´ı s vlnkovou transformac´ı. Algoritmus PSOLA pracuje n´ asleduj´ıc´ım zp˚ usobem: V hlasovém signálu se urˇc´ı základn´ı tón. Pˇresné urˇcen´ı period z´ akladn´ıho tónu je kl´ıˇcem ke kvalitn´ımu v´ ysledku. Zaˇcátky period se oznaˇc´ı Pitch Marky (Pitch Marks). Spojován´ı segment˚ u metodou pˇrekryj a seˇcti (OverLap Add) prob´ıh´ a na u ´rovni period základn´ıho tónu. Aby byl pˇrechod mezi periodami co nejhladˇs´ı, je nutné tyto periody (“vyseknout) ” ˇ pomoc´ı okénkovac´ı funkce. Casto pouˇz´ıvanou okénkovac´ı funkc´ı je Hammingova funkce. Okénkovac´ı funkce se aplikuje v rozsahu dvou aˇz ˇctyˇr period základn´ıho tónu v okol´ı pitch marku na jehoˇz pozici je okénkovac´ı funkce vystˇredˇena. Následuje v´ ypoˇcet nov´ ych pozic pitch mark˚ u na nˇeˇz jsou namapována z´ıskaná okénka. Ta jsou potom pomoc´ı metody OLA seˇctena a je z´ıskán syntetizovan´ y v´ ystupn´ı signál. Pomoc´ı manipulace s polohou pitch mark˚ u lze doc´ılit zmˇeny základn´ıho tónu. Pomoc´ı zdvojován´ı nebo vynech´ av´ an´ı pitch mark˚ u lze doc´ılit zmˇeny délky syntetizovaného signálu. Na obrázku 4.1 je zn´ azornˇena metoda PSOLA pˇr sniˇzován´ı základn´ıho tónu. Ve své diplomové pr´ aci Ing. Kovaˇr´ık mˇen´ı rychlost ˇreˇci právˇe d´ıky manipulaci s pitch marky. Pˇri klasické zmˇenˇe rychlosti je koeficient zmˇeny β konstantn´ı. Pˇri zapojen´ı fonémového 1

R PSOLA/TD je registrovanou obchodn´ı znaˇckou spoleˇcnosti France Telecom.

15

Obr´ azek 4.1: Funkce metody PSOLA pˇri sn´ıˇzen´ı základn´ıho tónu

rozpozn´ avaˇce se vˇsak tento koeficient v mˇen´ı v ˇcase podle flexibility zjiˇstˇen´ ych foném˚ u. T´ım je dosaˇzeno vˇetˇs´ı srozumitelnosti syntetizovaného signálu.

4.1

Detekce z´ akladn´ıho t´ onu

Detekce z´ akladn´ıho t´ onu a spr´ avné um´ıstˇen´ı pitch mark˚ u má ohromn´ y v´ yznam na kvalitu syntetizovaného sign´ alu. Pˇri potˇrebˇe co nejpˇresnˇejˇs´ı detekce je tento u ´kol svˇeˇren lidem, kteˇr´ı ruˇcnˇe zad´ avaj´ı pozice pitch mark˚ u. To je vˇsak zdlouhavé. Proto se tento postup pouˇz´ıv´ a napˇr´ıklad pˇri tvorbˇe fonémové databáze pro tvorbu ˇreˇci. Bˇehem pˇrehráván´ı videa se mus´ıme spokojit se strojovou detekc´ı z´ akladn´ıho tónu. V n´ asleduj´ıc´ı ˇc´ asti pr´ ace uvedu struˇcn´ y popis nˇekter´ ych metod strojové detekce základn´ıho tónu. Vˇsechny uvedené metody pracuj´ı s rámci. To znamená ˇze nezpracovávaj´ı cel´ y sign´ al najednou, ale pouze jeho jednotlivé ˇcásti. To je velmi d˚ uleˇzitá vlastnost pro pouˇzit´ı tˇechto metod pˇri u ´pravˇe rychlosti za bˇehu, kdy nen´ı moˇzné prozkoumat pˇredem cel´ y signál.

4.1.1

Autokorelaˇ cn´ı funkce

Nejjednoduˇsˇs´ım zp˚ usobem z´ısk´ an´ı základn´ıho tónu je CCF (Cross-Correlation Function). Tato funkce pracuje v ˇcasové oblasti. Princip této funkce spoˇc´ıvá v posouván´ı signálu v˚ uˇci sobˇe samotnému a hled´ an´ı co nejvˇetˇs´ı shody. Podobnost se urˇcuje vynásoben´ım posunut´ ych vzork˚ u a n´ asledn´ ym seˇcten´ım tˇechto násobk˚ u. Posunut´ı s nejvyˇsˇs´ım v´ ysledkem autokorelaˇcn´ı funkce odpov´ıd´ a periodˇe z´ akladn´ıho tónu. Podobnou funkc´ı je AMDF (Average Magnitude Difference Function). Ta je ménˇe v´ ypoˇcetnˇe n´ aroˇcn´ a, protoˇze m´ısto souˇcinu pouˇz´ıvá rozd´ıl a m´ısto maxima hledá minimum.

16

4.1.2

Harmonic Product Spectrum (HPS)

Harmonic Product Spectrum pracuje ve frekvenˇcn´ı oblasti. Vycház´ı z pˇredpokladu ˇze ˇreˇcov´ y ˇ signál je v´ ysledkem filtrov´ an´ı z´ akladn´ıho tónu v artikulaˇcn´ım u ´stroj´ı. Reˇcov´ y signál se tedy skládá ze z´ akladn´ıho t´ onu a jeho celoˇc´ıseln´ ych násobk˚ u (harmonick´ ych sloˇzek). Algoritmus tedy pˇrevede ˇreˇcov´ y sign´ al pomoc´ı rychlé Fourierovy transformace (FFT) do frekvenˇcn´ı oblasti. N´ aslednˇe tento pˇreveden´ y signál (spektrum) nˇekolikrát podvzorkuje. V´ ysledkem se souˇcin spektra sign´ alu a jeho podvzorkovan´ ych podob. V m´ıstˇe maxima tohoto souˇcinu se nacház´ı z´ akladn´ı t´ on. Princip algoritmu HPS je znázornˇen na obrázku 4.2

Obr´ azek 4.2: Harmonic Product Spectrum

4.1.3

Harmonic and Noise Model (HNM)

Trasovaˇc spojitého z´ akladn´ıho t´ onu na základˇe modelu harmonick´ ych a ˇsumu myl vyvinut na naˇs´ı fakultˇe. Jde o velmi sofistikovan´ y a pˇresn´ y algoritmus. Na rozd´ıl od pˇredchoz´ıch metod dok´ aˇze tento algoritmus doplnit pitch marky i v neznˇel´ ych ˇcástech ˇreˇcového signálu. Principem tohoto algoritmu je, ˇze se snaˇz´ı vyrobit signál co nejpodobnˇejˇs´ı zkoumanému ˇreˇcovému sign´ alu. Podobnˇe jako HPS vycház´ı z pˇredpokladu, ˇze ˇreˇcov´ y signál je sloˇzen pˇreváˇznˇe ze z´ akladn´ıho t´ onu a harmonick´ ych sloˇzek. Pro z´ıskán´ı modul˚ u a fáz´ı frekvenc´ı, ze kter´ ych se ˇreˇcov´ y sign´ al skl´ ad´ a je pouˇzita rychlá Fourierova transformace. Na základˇe tˇechto informac´ı jsou potom pro urˇcit´ y rozsah frekvenc´ı základn´ıho tónu generovány signály a je zkoum´ ana jejich podobnost se signálem ˇreˇcov´ ym. Podobnost se urˇcuje na základˇe v´ ypoˇctu chyb. Tyto chyby se ukl´ adaj´ı do chybové matice. Pomoc´ı metody hled´ an´ı cesty s nejmenˇs´ı cenou (chybou) je v chybové matici nalezena základn´ı frekvence pro kaˇzdou znˇelou ˇcást signálu. Pro urˇcen´ı znˇelosti a neznˇelosti je pouˇzita metoda prahov´ an´ı. Ve znˇel´ ych ˇc´ astech se pitch marky um´ıst’uj´ı do m´ıst pˇredpokládaného vrcholu excitace periody z´ akladn´ıho signálu. V neznˇelé ˇcásti se pitch mark um´ıst´ı na m´ısto souˇctu pozice pˇredchoz´ıho pitch marku a periody základn´ı frekvence. 17

4.2

Ok´ enkovac´ı funkce

Volba spr´ avné okénkovac´ı funkce má vliv na celkovou kvalitu syntetizovaného signálu. Pˇri volbˇe ˇspatné funkce se v sign´ alu mohou vyskytovat nechtˇené artefakty. Nejˇcastˇeji se pouˇz´ıv´ a Hanningova nebo Hammingova funkce. Ing. Kováˇr´ık ve své práci vysvˇetluje, ˇze tyto funkce pˇri pouˇzit´ı metody OLA nepˇr´ıznivˇe ovlivˇ nuj´ı v´ ystupn´ı signál. Kromˇe ˇzádané zmˇeny rychlosti vstupn´ıho sign´ alu také zvyˇsuj´ı jeho energii, protoˇze souˇcet sousedn´ıch segment˚ u tˇechto okénkovac´ıch funkc´ı je vˇetˇs´ı neˇz 1. Jako nejlépe pouˇziteln´ a funkce se jev´ı sin2 . D´ıky tomu, ˇze funkce sin pˇri posunu o ˇctvrt peroidy odpov´ıd´ a funkci cos, docház´ı pˇri okénkován´ı pˇres dvˇe periody základn´ıho tónu k pˇrekryt´ı funkce sin2 a cos2 . Souˇcet tˇechto 2 funkc´ı je 1. Tato okénkovac´ı funkce také preferuje ˇc´ ast kolem stˇredu pitch marku a zm´ırˇ nuje tak moˇzné interference mezi sousedn´ımi segmenty. Vlastnost souˇctu rovného 1 má i lineárn´ı funkce. Ta vˇsak zp˚ usobuje vˇetˇs´ı prom´ısen´ı sousen´ıch segment˚ u. Z´ akladn´ı okénkovac´ı funkce jsou znázornˇeny na obrázku 4.3.

Obrázek 4.3: Okénkovac´ı funkce

4.3

V´ ybˇ er period z´ akladn´ıho t´ onu

V´ ybˇer period z´ akladn´ıho t´ onu urˇcuje, zda bude mˇenˇena rychlost celého signálu nebobude mˇenˇen jeho z´ akladn´ı t´ on. Moˇzn´ a je samozˇrejmˇe i kombinace. Záleˇz´ı na tom, zda se bude mˇenit vzd´ alenost mezi pitch marky, nebo budou nˇekteré z nich zdvojeny popˇr´ıpadˇe vynechány. Pˇri u ´pravˇe vzd´ alenosti mezi pitch marky docház´ı ke zmˇenˇe základn´ıho tónu. Pro sn´ıˇzen´ı základn´ıho t´ onu se tato vzd´ alenost zvˇetˇsuje, naopak pro zv´ yˇsen´ı základn´ıho tónu se zmenˇsuje. 18

Pro zachov´ an´ı délky sign´ alu je nutné nˇekteré pitch marky vynechat, nebo naopak zdvojit. Pˇri zmˇenˇe rychlosti sign´ alu je nutné urˇcit, které periody základn´ıho tónu se pouˇzij´ı a které ne. Nové pitch marky se naz´ yvaj´ı syntetizované. Jejich v´ ybˇer se provád´ı pomoc´ı integrace funkce koeficientu zmˇeny rychlosti β. Pˇri bˇeˇzné zmˇenˇe rychlosti je tato funkce lineárn´ı a integrace je konstantn´ı. Na obrázku 4.4 je znázornˇen v´ ybˇer period základn´ıho tónu pro koeficient zmˇeny 0, 5. Na zaˇc´ atku v´ ybˇeru se prvn´ı pitch mark ze zdrojového signálu oznaˇc´ı jako syntetizovan´ y. V dalˇs´ıch iterac´ıch se pokraˇcuje podle následuj´ıc´ıho algoritmu: 1. Na grafu integr´ alu se vyhledá hodnota syntetizovaného pitch marku. 2. Vzorek z osy x, kter´ y tuto hodnotu nesl spadá do nˇejaké periody. Tento vzorek je oznaˇcen jako virtu´ aln´ı pitch mark. 3. Délka této periody se pˇriˇcte k syntetizovanému pitch marku a t´ım je nalezen nov´ y. Kroky 1 - 3 se opakuj´ı aˇz do dosaˇzen´ı konce vstupn´ıho signálu. Virtu´ aln´ı pitch marky urˇcuj´ı, které periody základn´ıho tónu se pouˇzij´ı pˇri syntéze nového signálu. Nové segmenty se na konec syntetizovaného signálu pˇripojuj´ı tak, ˇze jejich lev´ y okraj je zarovn´ an na stˇred pˇredchoz´ıho segmentu.

Obr´ azek 4.4: Urˇcen´ı syntetizovan´ ych pitch mark˚ u

4.4

Rozˇ s´ıˇ ren´ı o fon´ emov´ y rozpozn´ avaˇ c

Aby byl v´ ystup metody PSOLA co moˇzná nejsrozumitelnˇejˇs´ı, je potˇreba zohlednit flexibilitu jednotliv´ ych foném˚ u. Fonémy jsou nejmenˇs´ı souˇcásti zvukové stránky ˇreˇci, které maj´ı rozliˇsovac´ı funkci. Z´ amˇena fonému má schopnost zmˇenit v´ yznam slova [8]. Kaˇzd´ y foném se od ostatn´ıch liˇs´ı alespoˇ n jednou fonologickou distinktivn´ı vlastnost´ı. Jednou z tˇechto vlastnost´ı je napˇr´ıklad kvantita — délka trván´ı fonému. 19

Spisovn´ a ˇceˇstina obsahuje 36 foném˚ u. Okolo tohoto poˇctu a seznamu vˇsech foném˚ u se vedou debaty a pˇre. Ing. Kov´ aˇr´ık pouˇz´ıvá ve své diplomové práci ˇceskou fonémovou sadu z knihovny BSAPI vyv´ıjené na naˇs´ı fakultˇe. Tato fonémová sada obsahuje celkem 46 foném˚ u vˇcetnˇe nˇekter´ ych, které zastupuj´ı r˚ uzné chyby signálu a ruchy v pozad´ı.

4.4.1

Fon´ emov´ y rozpozn´ avaˇ c

Fonémov´ y rozpozn´ avaˇc detekuje fonémy v ˇreˇcovém signálu. Ve zm´ınˇené knihovnˇe BSAPI je jako jeden z modul˚ u implementován fonémov´ y rozpoznávaˇc zaloˇzen´ y na hierarchick´ ych neuronov´ ych s´ıt´ıch. Vstupem tohoto rozpoznávaˇce je ˇreˇcov´ y signál a v´ ystupem sekvence foném˚ u.

4.4.2

Rozˇ s´ıˇ ren´ı PSOLY

Pro kaˇzd´ y foném byla urˇcena jeho flexibilita γ. Ta ˇr´ıká, do jaké m´ıry je moˇzné zmˇenit délku fonému se zachov´ an´ım jeho srozumitelnosti. Flexibilitou jednotliv´ ych foném˚ u je následovnˇe modifikov´ ana funkce β. Vzhledem k tomu, ˇze v bˇeˇzné ˇreˇci je dosti velké zastoupen´ı ménˇe flexibiln´ıch foném˚ u, je v´ ysledn´ a zmˇena rychlosti menˇs´ı, neˇz jaká byla poˇzadována.

20

Kapitola 5

Implementace Metotu PSOLA jsem do pˇrehr´ avaˇce VLC zaˇclenil jako zvukov´ y filtr. Jak jsem jiˇz popsal v kapitole Pˇrehr´ avaˇc VLC (3), existuje v´ıce druh˚ u zvukov´ ych filtr˚ u. Z vlastnost´ı metody PSOLA vypl´ yv´ a, ˇze mˇen´ı poˇcet vzork˚ u a t´ım upravuje délku (rychlost) signálu. Prov´ ad´ı vlastnˇe pˇrevzorkov´ an´ı (resampling). Zvukov´ ych filtr˚ u typu resampler je ve VLC implementováno nˇekolik. Liˇs´ı se v´ ypoˇcetn´ımi nároky a hlavnˇe kvalitou. J´ a jsem pˇri zaˇclenˇen´ı metody PSOLA pouˇzil jako základ resampler s oznaˇcen´ım trivial.

5.1

Hlaviˇ cka modulu

V hlaviˇcce modulu bylo nutné dodefinovat konfiguraˇcn´ı hodnoty. Textová hodnota psola_method urˇcuje algoritmus pouˇzit´ y pro detekci základn´ıho tónu. V diplomové práci Ing. Kováˇr´ıka jsou pro tento u ´ˇcel implementov´ any tˇri r˚ uzné algoritmy. • Fixed Pitch Tracker Tento algoritmus neprovád´ı ˇzádnou anal´ yzu. Pitch marky rozm´ıst´ı v urˇcen´ ych rozestupech. Degraduje metodu PSOLA na obdobu metody OLA. • Harmonic Product Spectrum Jde o implementaci algoritmu HPS. Ing. Kováˇr´ık tuto metodu rozˇs´ıˇril o pˇreklenut´ı neznˇel´ ych ˇcást´ı signálu pomoc´ı dynamického programov´ an´ı a interpolace. Tento postup je podobn´ y jako u algoritmu HNM. • Harmonic and Noise Model Tento vysoce pˇresn´ y a také v´ ypoˇcetnˇe nároˇcn´ y algoritmus vyuˇz´ıv´ a postupy detekce popsané v sekci 4.1.3. Pro zjednoduˇsen´ı v´ ybˇeru algoritmu jsem se rozhodl pouˇz´ıt seznam s v´ ybˇerem tˇechto tˇr´ı algoritm˚ u. Dalˇs´ı konfiguraˇcn´ı hodnotou je zapnut´ı fonémového detektoru. Tuto moˇznost jsem bohuˇzel musel zneplatnit z d˚ uvod˚ u popsan´ ych dále. Toto zaˇskrtávac´ı pol´ıˇcko tedy uˇz nemá smysl, ale rozhodl jsem se ho ponechat pro moˇzné budouc´ı zprovoznˇen´ı. Následuje nˇekolik ˇc´ıseln´ ych hodnot pro urˇcen´ı parametr˚ u filtru. Prvn´ı z nich je délka jedné d´ avky sign´ alu v milisekund´ ach. Urˇcuje jak velké ˇcasové u ´seky signálu se budou zpracovávat najednou. Dalˇs´ı z konfiguraˇcn´ıch hodnot jsou minimáln´ı a maximáln´ı frekvence hledaného z´ akladn´ıho t´ onu. Posledn´ı hodnotou je frekvence základn´ıho tónu pro Fixed Pitch Tracker. Na obr´ azku 5.1 je zobrazeno dialogové okno s nastaven´ım modulu PSOLA.

21

Obr´ azek 5.1: Nastaven´ı modulu PSOLA

Dále jsem musel upravit definici schopnost´ı modulu. Kategorie modulu z˚ ustala podle vzorového modulu nastavena na audio filter, prioritu jsem upravil na 50. Modul PSOLA se proto vˇzdy pouˇzije jako v´ ychoz´ı.

5.2

Konstruktor a destruktor

Pro zaveden´ı modulu slouˇz´ı funkce Open( vlc_object_t *p_this ). Na zaˇcátku zkontroluje, zda jsou splnˇeny vˇsechny podm´ınky pro zaveden´ı. Vstupn´ı poˇcet vzork˚ u se mus´ı odliˇsovat od v´ ystupn´ıho, mus´ı b´ yt shodn´ y poˇcet vstupn´ıch a v´ ystupn´ıch kanál˚ u a form´ at vzork˚ u mus´ı odpov´ıdat form´ atu VLC_FOURCC(’f’,’l’,’3’,’2’) coˇz je 32 bitové desetinné ˇc´ıslo s plovouc´ı ˇr´ adovou ˇc´ arkou (typ float). Pokud nejsou vˇsechny podm´ınky splnˇeny, zavádˇen´ı modul˚ u konˇc´ı. Následuje alokace struktury pro uloˇzen´ı lokáln´ıch promˇenn´ ych modulu. Souˇcásti tˇechto lokáln´ıch promˇenn´ ych jsou n´ asleduj´ıc´ı: • Vstupn´ı a v´ ystupn´ı buffery metody PSOLA. Velikost tˇechto buffer˚ u jsem zvolil pro uloˇzen´ı pˇeti sekund zvukového signálu. Tato velikost je v´ıce neˇz dostaˇcuj´ıc´ı. Vyuˇz´ıv´ a se velikost odpov´ıdaj´ıc´ı délce jedné dávky zpracovávaného signálu. Poˇcet vstupn´ıch a v´ ystupn´ıch buffer˚ u je z´ avisl´ y na poˇctu zvukov´ ych kanál˚ u. Pro kaˇzd´ y kanál je vytvoˇren jeden vstupn´ı a jeden v´ ystupn´ı buffer. • Instance objektu psola z diplomové práce Ing. Kováˇr´ıka. Tento objekt zprostˇredkov´ av´ a v´ ypoˇcet metody PSOLA.

22

• Identifik´ ator zvolené metody detekce základn´ıho tónu. Tento identifikátor je implementov´ an jako v´ yˇctov´ y typ. Pˇri zavádˇen´ı modulu se rozpozná konfiguraˇcn´ı hodnota se zvolenou metodou a nastav´ı se patˇriˇcná hodnota. • Minim´ aln´ı frekvence z´ akladn´ıho tónu. • Maxim´ aln´ı frekvence z´ akladn´ıho tónu. • Frekvence z´ akladn´ıho t´ onu metody OLA. ˇ • Casov´ a znaˇcka zaˇc´ atku dat uloˇzen´ ych na vstupn´ım bufferu metody PSOLA. Posledn´ı ˇc´ ast´ı zav´ adˇen´ı modulu je nastaven´ı ukazatele na v´ ykonnou funkci a nastaven´ı hodnoty p_filter->b_in_place. Tuto hodnotu jsem nastavil na true. Toto nastaven´ı zamezuje alokaci v´ ystupn´ıho bufferu modulu. Vstupn´ı i v´ ystupn´ı buffer je potom jednotn´ y. Ve svém modulu vˇsechna vstupn´ı okamˇzitˇe kop´ıruji do vstupn´ıho bufferu metody PSOLA. Proto je moˇzné je n´ asladnˇe pˇrepsat daty v´ ystupn´ımi. Funkce Close( vlc_object_t *p_this ) se stará o uvolnˇen´ı vˇsech alokovan´ ych prostˇredk˚ u a zruˇsen´ı instance objektu psola.

5.3

V´ ykonn´ a funkce

Na zaˇc´ atku je vypoˇcten koeficient zmˇeny rychlosti. Pokud se tento koeficient rovná jedné, nen´ı potˇreba mˇenit rychlost. Pˇr´ıznak konzistence vstupn´ıch dat je nastaven na hodnotu false a prov´ adˇen´ı funkce je ukonˇceno. V opaˇcném pˇr´ıpadˇe je provedena kontrola pˇr´ıznaku konzistence. Pokud je zaznamenána nekonzistence, jsou smaz´ any vstupn´ı i v´ ystupn´ı buffery metody PSOLA. Tato moˇznost nastane napˇr´ıklad pokud uˇzivatel zmˇen´ı poˇzadovanou rychlost pˇrehráván´ı, nebo se pˇresune na jiné m´ısto v pˇrehr´ avaném médiu. Následnˇe jsou vstupn´ı data pˇrevedena do formátu, kde jsou jednotlivé zvukové kan´ aly oddˇeleny a tato data jsou uloˇzena do vstupn´ıch buffer˚ u metody PSOLA. Pokud jsou pˇred vloˇzen´ım tyto vstupn´ı buffery prázdné, je ˇcasová znaˇcka zaˇcátku vstupn´ıch dat uloˇzena. Tato informace je pozdˇeji pouˇzita pro synchronizaci. Pokud je na vstupn´ıch bufferech dostaˇcuj´ıc´ı poˇcet dat ke spuˇstˇen´ı dávky, dojde k v´ ypoˇctu metody PSOLA pro vˇsechny kan´ aly. Postup v´ ypoˇctu je následuj´ıc´ı: • Poˇzadovan´ y poˇcet dat je vyjmut ze vstupn´ıho bufferu a pˇredán instanci objektu psola. • Na tomto m´ıstˇe by mˇelo n´ asledovat volán´ı detektoru foném˚ u. • V z´ avislosti na identifik´ atoru zvoleného algoritmu pro detekci základn´ıho tónu je zavol´ ana metoda analyzeSignal, které je jako parametr pˇredána reference na pˇr´ısluˇsnou instanci detektoru z´ akladn´ıho tónu. • N´ asleduje vol´ an´ı metody synthesizeSignal, která provede vlastn´ı v´ ypoˇcet metody PSOLA. • Pomoc´ı metody get_syntSigLength je z´ıskán poˇcet v´ ystupn´ıch vzork˚ u. • V´ ystupn´ı data jsou uloˇzena pˇridána do v´ ystupn´ıho bufferu.

23

Po proveden´ı v´ ypoˇctu metody PSOLA je podle poˇctu v´ ystupn´ıch vzork˚ u vypoˇcten skuteˇcn´ y koeficient zmˇeny rychlosti. Z tohoto koeficientu je vypoˇctena vzorkovac´ı frekvence v´ ystupn´ıho sign´ alu. Vypoˇcten´ a frakvence je pouˇzita k inicializaci vnitˇrn´ı synchronizaˇcn´ı funkce VLC. D´ ale je podle koeficientu zmˇeny rychlosti vypoˇcten poˇcet v´ ystupn´ıch vzork˚ u modulu. Pokud je na v´ ystupn´ıch bufferech dostateˇcn´ y poˇcet dat pro v´ ystup, jsou v´ ystupn´ı data pˇrevedena do spr´ avného form´ atu a uloˇzena na v´ ystupn´ı buffer. Synchronizaˇcn´ı funkce poskytne potˇrebné ˇcasové znaˇcky pro správné urˇcen´ı zaˇcátku a konce v´ ystupu. V opaˇcném pˇr´ıpadˇe je v´ ystupn´ı buffer modulu zneplatnˇen t´ım, ˇze se jeho velikost nastav´ı na nulu.

5.4

Fon´ emov´ y detektor

Pˇri pokusu o zaˇclenˇen´ı fonémového detektoru do VLC jsem narazil na chybu, která znemoˇzn ˇovala jeho pouˇzit´ı. Z nezn´ am´ ych d˚ uvod˚ u fonémov´ y detektor pˇri inicializaci hlás´ı chybu poruˇseného souboru s v´ ahov´ ymi koeficienty. Tento soubor je ovˇsem naprosto v poˇrádku a pˇri pouˇzit´ı fonémového detektoru mimo VLC je naˇcten korektnˇe. R˚ uzn´ ymi pokusy o odhalen´ı a opravu chyby jsem se zab´ yval pomˇernˇe dlouhou dobu, bohuˇzel bez jakéhokoliv v´ ysledku. V praxi by detekce foném˚ u pro kaˇzdé pˇrehrán´ı pˇrednáˇsky nepˇripadala v u ´vahu, protoˇze je to velmi zdlouhav´ a metoda. Detekce foném˚ u by se provedla pouze jednou a v´ ystup této detekce by se uloˇzil. Studenti by si potom se záznamem pˇrednáˇsek stáhli i soubor obsahuj´ıc´ı detekovené fonémy. Tento soubor by se spoleˇcnˇe se záznamam pˇrednáˇsky naˇcetl do pˇrehrávaˇce. Podobnou metodu jsem pouˇzil pˇri testován´ı. Pomoc´ı doprovodného programu k diplomové pr´ aci Ing. Kov´ aˇr´ıka jsem z´ıskal posloupnost foném˚ u. Tuto posloupnost jsem posléze zadal metodˇe PSOLA.

5.5

Uˇ zivatelsk´ e rozhran´ı

Ve svém z´ akladu umoˇzn ˇuje VLC mˇenit rychlost po pomˇernˇe velk´ ych kroc´ıch. Proto jsem do uˇzivatelského rozhran´ı wxWidgets pˇridal moˇznost mˇenit rychlost po mnohem menˇs´ıch kroc´ıch. Tato moˇznost je souˇc´ ast´ı rozˇs´ıˇreného rozhran´ı, které je tˇreba povolit v menu Settings->Extended GUI. Na obrázku 5.2 je toto rozhran´ı znázornˇeno.

24

Obr´ azek 5.2: Rozˇs´ıˇrené rozhran´ı s moˇznost´ı zmˇeny rychlosti pˇrehráván´ı

25

Kapitola 6

Testy K testov´ an´ı v´ ysledné aplikace jsem pˇrizval nˇekolik znám´ ych. Zkouˇseli jsme pˇrehrávat r˚ uzné filmy, zvukové soubory a streamy. Zkoumali jsme kvalitu v´ ystupu, pˇresnost synchronizace a vyt´ıˇzen´ı systému.

6.1

Kvalita v´ ystupu

Pˇri pouˇzit´ı Fixed Pitch Trackeru (degradace na metodu OLA) byl v´ ystup pomˇernˇe zkreslen´ y. Zvuk znˇel nepˇrirozenˇe, dalo by se ˇr´ıci ˇze kovovˇe. Srozumitelnost v´ ystupu vˇsak byla mnohem lepˇs´ı, neˇz pˇri pouˇzit´ı klasick´ ych resampler˚ u. Aˇz na malé odchylky byl zachov´ an základn´ı t´ on ˇreˇci a proto bylo moˇzné jednotlivé mluvˇc´ı velmi dobˇre rozeznat. Pouˇzit´ı ostatn´ıch dvou metod detekce základn´ıho tónu je dosti v´ ypoˇcetnˇe nároˇcné. U metody HPS jsme pˇri pˇrehr´ aván´ı zvukového souboru s malou vzorkovac´ı frekvenc´ı a jedn´ım zvukov´ ym kan´ alem dos´ ahli témˇeˇr plynulého v´ ystupu. Museli jsme ale zmenˇsit velikost d´ avek zpracov´ avaného signálu na desetinu v´ ychoz´ıho nastaven´ı, neboli na 40ms. To mˇelo za n´ asledek obˇcasné ruˇsivé artefakty ve v´ ystupu. Oz´ yvalo se praskán´ı a obˇcasn´ y ˇsum na pozad´ı. Kvalita v´ ystupu byla vˇetˇs´ı neˇz u pˇredchoz´ı metody, ale za cenu vysok´ ych nárok˚ u na systém. Metodu HNM nen´ı moˇzné pro pˇrehráván´ı pouˇz´ıt v˚ ubec. Pˇri testov´ an´ı jsem také narazil na nepˇr´ıjemn´ y problém. Aktuáln´ı verze VLC ve spojen´ı s m´ ym systémem nedok´ aˇze korektnˇe pˇrehrávat záznamy z pˇrednáˇsek. Obraz je v poˇrádku, ale zvuk je témˇeˇr neposlouchateln´ y. M´ısto v´ ykladu pˇrednáˇsej´ıc´ıho se oz´ yvá pouze jakési bzuˇcen´ı.

6.2

Pˇ resnost synchronizace

U vˇetˇsiny testovan´ ych film˚ u bylo po zrychlen´ı synchronizováno dobˇre. Ke zpoˇzdˇen´ı docházelo u vide´ı, jejichˇz zvuk m´ a vzorkovac´ı frekvenci 48kHz. Je to zˇrejmˇe zp˚ usobeno t´ım, ˇze pˇri zrychlen´ı vzorkovac´ı frekvence obˇcas pˇresáhne hranici 48kHz, která je ve VLC maximáln´ı. ˇ sen´ım by bylo podvzorkovat tento VLC potom takov´ y u ´sek zvuku pˇrehraje pomaleji. Reˇ signál na niˇzˇs´ı vzorkovac´ı frekvenci.

6.3

Vyt´ıˇ zen´ı syst´ emu

V tabulce 6.1 uv´ ad´ım pr˚ umˇerné vyt´ıˇzen´ı procesoru pˇri pˇrehráván´ı r˚ uzn´ ych druh˚ u médi´ı. Pˇri pokusech s videem byl obraz vˇzdy plynul´ y. Jedinou v´ yjimkou byl formát WMV u kterého 26

obraz vˇri vyˇsˇs´ım vyt´ıˇzen´ı procesoru zamrzal. VLC kv˚ uli synchronizaci vynechává zpoˇzdˇené zvukové r´ amce a proto pˇri pouˇzit´ı sloˇzitˇejˇs´ıch metod detekce základn´ıho tónu pˇrestal zvuk fungovat. Druh m´ edia MP3 MP3 MP3 MP3 WMV WMV WMV WMV DivX DivX DivX DivX XviD XviD XviD XviD

Metoda detekce z´ akladn´ıho t´ onu ˇ Zádná OLA HPS HNM ˇ adná Z´ OLA HPS HNM ˇ adná Z´ OLA HPS HNM ˇ adná Z´ OLA HPS HNM

Pr˚ umˇ ern´ a z´ atˇ eˇ z 3% 8% 87% 90% 19% 33% 60% 89% 11% 16% 73% 87% 9% 17% 78% 82%

Tabulka 6.1: Vyt´ıˇzen´ı procesoru pˇri pˇrehráván´ı

27

Kapitola 7

Z´ avˇ er V této bakal´ aˇrské pr´ aci jsem nav´ azal na diplomovou práci Ing. Kováˇr´ıka nazvanou Zmˇena rychlosti ˇreˇci [7]. Pouˇzil jsem j´ım vytvoˇren´ y ukázkov´ y program jako knihovnu pro zmˇenu rychlosti pˇrehr´ av´ an´ı v pˇrehr´ avaˇci VLC. Toho jsem dosáhl vytvoˇren´ım nového modulu kategorie resampler. Mé ˇreˇsen´ı pracuje celkem spolehlivˇe. Z d˚ uvodu vysok´ ych v´ ypoˇcetn´ıch nárok˚ u vˇsak sloˇzitˇejˇs´ı metody detekce základn´ıho tónu (HPS a HNM) zp˚ usobuj´ı zpoˇzdˇen´ı zvuku. Zpoˇzdˇen´ y zvuk nen´ı kv˚ uli synchronizaci pˇrehrávaˇcem obˇcas pˇrehrán. Proto se vyskytuj´ı ˇcasté mezery, nebo zvuk nefunguje v˚ ubec. Pouˇzit´ı metody psola jako resampleru zˇrejmˇe nen´ı nejideálnˇejˇs´ı ˇreˇsen´ı. Ideáln´ı by zˇrejmˇe bylo zapojit tuto metodu jako souˇcást dekodéru zvuku. To by ovˇsem znamenalo upravit vˇsechny dekodéry pro pouˇzit´ı této metody. V´ yhodou zakomponován´ı metody PSOLA pˇr´ımo do dekodér˚ u by byla moˇznost pouˇzit´ı kvalitnˇejˇs´ıch metod detekce základn´ıho tónu bez vlivu na koneˇcnou plynulost pˇrehr´ av´ an´ı. Veˇskerá potˇrebná anal´ yza by se provedla na zaˇcátku pˇrehráv´ an´ı. To by sice znamenalo prodlevu pˇred zaˇcátkem pˇrehráván´ı, ale dosáhlo by se kvalitnˇejˇs´ıho v´ ystupu. Jako dalˇs´ı rozˇs´ıˇren´ı VLC by bylo moˇzné implementovat zpˇetnou vazbu mezi moduly pro zpracov´ an´ı zvuku a moduly pro zpracován´ı obrazu. D´ıky detekci zmˇen ve videu by bylo moˇzné urˇcit u ´seky ve kter´ ych se nic nedˇeje. Pokud by v té chv´ıli nebyl detekován ani ˇzádn´ y zvuk, dal by se cel´ yu ´sek zrychlit nebo pˇreskoˇcit.

28

Literatura [1] VLC diagram. [online]. URL http://clement.stenac.org/projects/videolan/vlc.png [2] Documentation:Hacker’s Guide. [online], 2008. URL http://wiki.videolan.org/Documentation:Hacker%27s_Guide [3] GNU General Public License. [online], 2008. URL http://www.gnu.org/licenses/gpl.html [4] Miro - free, open source internet tv and video player. [online], 2008. URL http://www.getmiro.com/ [5] VLC media player. [online], 2008. URL http://www.videolan.org/vlc/ [6] Dutoid, T.: An Introduction to Text-to-Speech Synthesis. Kluwer academic Publishers, 1997, ISBN 0-7923-4498-7. [7] Kov´ aˇr´ık, A.: Zmˇena rychlosti ˇreˇci. Diplomová práce, FIT VUT v Brnˇe, Brno, 2007. [8] Wikipedie: Foném. [online]. URL http://cs.wikipedia.org/wiki/Fon%C3%A9m

29

Dodatek A

Obsah CD Na kompaktn´ım disku pˇriloˇzeném k práci jsou k dispozici vˇsechny mnou upravené zdrojové kódy pˇrehr´ avaˇce VLC.

30

Dodatek B

Pˇ reklad VLC Seznam vˇsech potˇrebn´ ych knihoven je uveden na adrese http://wiki.videolan.org/ Contrib_Status. Pro pˇreklad staˇc´ı pouze spustit pˇr´ıkazy ./configure a ./compile. Mnou pouˇz´ıvan´ a konfigurace je následuj´ıc´ı: --prefix=/usr/local --enable-libtool --enable-dvdread --enable-vcdx --enable-faad --enable-real --enable-flac --enable-realrtsp --enable-snapshot --enable-live555 --enable-dv --enable-theora --enable-esd --enable-wxwidgets

31

VIDEA V ZÁVISLOSTI NA RYCHLOSTI ŘEČI

Recommend Documents