Aplikace vlnkové transformace v analýze zvukových signálů

České vysoké učení technické v Praze Fakulta elektrotechnická

Diplomová práce

Aplikace vlnkové transformace v analýze zvukových signálů Jindřich Szabó

Vedoucí práce: doc. Ing Miroslav Šnorek, CSc. Studijní program: Elektrotechnika a informatika, strukturovaný magisterský Obor: Výpočetní technika květen 2011

1

Poděkování

Velmi rád bych chtěl poděkovat a vyslovit uznání všem, kteří mi pomáhali při vzniku této práce, především panu Doc. Ing. Miroslavu Šnorkovi, CSc., za odborné vedení, pomoc a rady při zpracování diplomové práce. Zvláštní poděkování patří rovněž mé manželce a dětem za její trpělivost a pochopení.

2

Prohlášení Prohlašuji, že jsem svou bakalářskou práci vypracoval samostatně a použil jsem pouze podklady uvedené v přiloženém seznamu. Nemám závažný důvod proti použití tohoto školního díla ve smyslu § 60 zákona č. 121/2000 Sb., o právu autorském, o právech souvisejících s právem autorským a o změně některých zákonů (autorský zákon).

V Praze dne 13. 5. 2011

.....................................................................

3

Abstract This thesis deals with the frequency analysis of musical audio signal. It describes the basic concepts in signal processing. The work deals with the possibility of transferring the music signal into musical notation, using discrete wavelet transform. The work of the components processing string to SMF, and implementation of these components in any programming language.

Abstrakt Tato Diplomová práce se zabývá problematikou frekvenční analýzy hudebního audio signálu. Popisuje základní pojmy při zpracování signálů. Práce se zabývá možnostmi převodu hudebního signálu do notového zápisu s využitím diskrétní waveletové transformace. Součástí práce je návrh komponent zpracovávající řetezce do SMF a implementace těchto komponent do některého programovacího jazyka.

4

Obsah 1. Úvod

1

2. Akustika

2

3. Digitalizace zvukového signálu

14

3.1. Princip digitalizace

14

3.2. Aliasing

15

3.3. Kvantizační šum

16

3.4. A/D převodník

17

4. Uložení digitalizovaného signálu v počítači

19

4.1. Souborový formát RIFF

19

4.2. Souborový formát WAV

19

5. Metody analýzy hudebního signálu

21

5.1. Metody

21

5.2. Fourierova transformace

22

5.2.1. Fourierova transformadsdsce – DFT

24

5.2.2. Interpretace STFT jako banky filtrů

26

5.3. Waveletová transformace

28

5.3.1. Mateřské vlnky

29

5.3.2. Koeficienty CWT a DWT

32

5.3.3. Diskrétní vlnková transformace

33

5.3.4. Vlnkové pakety

35

6. Tóny a frekvence

36

7. MIDI

37

7.1. Úvod do MIDI

37

7.2. Komunikační protokol MIDI

38

7.3. Souborový formát SMF

39

7.4. Hlavička souboru

40

7.5. Stopa

41

7.6. Meta eventy

43

7.7. Data, datové bajty

43

7.8. Delta time, příklad

44

7.9. Příklad konkrétní MIDI události

45

7.10. Příklad uložení hudební skladby v souboru

45

8. Možnosti využití DWT v analýze hudební nahrávky

47

8.1. Popis postupu

47

5

8.2. Algoritmus

48

8.3. Implementace

49

8.4. Hlavní části kódu implementující popsaný algoritmus

51

9. Výsledky experimentu

53

10. Závěr

56

11. Seznam použité literatury

57

Přílohy

36

A. Obsah přiloženého CD

59

6

1. Úvod Vývoj výpočetní techniky nenechal nepovšimnut snad žádný obor lidské činnosti. Vyjímkou není ani tak subjektivní záležitost jako je hudba. Svým diskrétním charakterem počítačové zpracování hudby nabízí možnosti, které analogovým způsobem zpracování jsou dosažitelné jen velmi obtížně nebo vůbec ne. Zde bych jen upřesnil, že pojem „počítač“ je zde myšleno veškeré spektrum prostředků pracujících s hudbou v digitální formě, tedy například i samotné hudební nástroje jako jsou syntezátory, midisequencery, efektové procesory atd. Ne jenom „klasické“ stolní počítače. Oblast využití bych rozdělil na několik základních oblastí. V prvním případě se jedná asi o nejzákladnější a nejběžnější použití a to je záznam hudebního (obecněji audio) signálu v digitální formě pro pozdější zpracování, typicky pro opětovnou reprodukci zaznamenaných dat. Druhou oblastí jsou úpravy již zdigitalizovaného signálu (filtry, efekty, komprese apod.) a analýza tohoto signálu. Třetí oblast představuje generování (tvorba) hudebního signálu. Toto je doména elektronických hudebních nástrojů, do které spadají i zvukové karty pro PC, respektive ta část, která obsahuje syntezátor. Do poslední, čtvrté oblasti bych zahrnul oblast komponování hudby počítačem-tedy generování hudebního nápadu strojem. V této práci bych se chtěl podrobněji zabývat analýzou hudebního signálu a to problematikou převodu digitalizovaného hudebního signálu (hudební skladby) do formátu MIDI (Musical Instruments Digital Interface). Tedy rozpoznání nástrojů a not v signále a následně převod do notového záznamu (MIDI). Zde se chci zaměřit na méně typickou metodu frekvenční analýzy a to tzv. vlnkovou transformaci (wavelet transforms) a její rychlou variantu DWT (discret wavelet transforms). Vzhledem k tomu, že se v hudbě primárně zpracovává zvuk, je tomuto tématu věnována první kapitola. V následujících kapitolách bude rozebrána problematika digitalizace akustického (audio, hudebního) signálu a způsoby jeho číslicové analýzy včetně DWT. Následně bude popsána implementace DWT pro analýzu hudebního záznamu a její možnosti .

7

2. Akustika Akustika je rozsáhlý vědní obor, zabývající se komplexně zvukem od jeho vzniku, přenosu prostorem až po vnímání lidskými smysly. Má celou řadu poddisciplín, např. hudební akustika zkoumá fyzikální základy hudby, hudebních nástrojů a prostorů, stavební akustika zvukové jevy a souvislosti v uzavřeném prostoru, budovách a stavbách, prostorová akustika šíření zvuku v obecném prostoru, fyziologická akustika vznikem zvuku v hlasovém orgánu člověka a jeho vnímáním v uchu, psychoakustika vnímání zvuku v mozku atd. Zvuk obecně můžeme definovat jako mechanické kmitání, které je charakterizováno parametry pohybu částic pružného prostředí nebo u vlnového pohybu parametry zvukového pole. Část zvuků se projevuje jako slyšitelný zvuk - což je akustické kmitání pružného prostředí v pásmu frekvencí od 16 Hz do 20 kHz, schopné vyvolat zvukový vjem. Frekvenční závislost definice slyšitelného zvuku je silně individuální, jen málokdo je schopen vnímat celé pásmo frekvencí (především horní hranice je velmi proměnná a závislá mj. na věku). Zvuky mimo toto pásmo neslyšíme, přesto jsme je schopni vnímat a mohou mít i nepříznivý vliv na zdraví či psychiku. Zvuky pod slyšitelnou hranicí (0,7 - 16 Hz) označujeme jako infrazvuk (velmi nízké frekvence, lidské tělo je vnímá hmatem - jsou schopny rozvibrovat celý povrch těla či bránici), zvuky nad slyšitelnou hranicí (do 50 kHz) jako ultrazvuk. Zvuk vzniká kmitáním bodů a bodových soustav. Kmitavý pohyb je fyzikální děj, u něhož se v závislosti na čase střídavě (periodicky) mění charakteristické veličiny, např. poloha, rozměr, tlak, rychlost apod. Nejjednodušší je periodický pohyb sinusového (tj. harmonického) průběhu, který lze jednoduše znázornit kmitavým pohybem na pružině zavěšeného tělíska (např. kuličky). Kmitavý pohyb je charakterizován: •periodou T - časem, za který soustava provedla jeden kmit (koncový bod vektoru oběhl celou kružnici 0o až 360o). V akustice se místo periody častěji používá počet period za jednotku času (sekundu) - 1/T a označuje se f - frekvence. Její jednotkou je Hz - počet kmitů za sekundu. •maximální výchylkou A - největší vzdáleností, o kterou se soustava vychýlí od rovnovážné polohy (poloměrem kružnice, po které obíhá koncový bod vektoru). •okamžitou amplitudou a - vzdáleností soustavy od rovnovážné polohy ve sledovaném okamžiku t.

8

Pomocí těchto veličin lze harmonický pohyb popsat vztahem: a=A⋅sin (2πft)= A⋅sin(wt )

Kmitavý pohyb je zdrojem vzruchu, který se v prostoru šíří formou postupného podélného vlnění - zvukové vlny. U harmonického pohybu vznikne harmonická vlna. Kromě amplitudy je zvuková vlna charakterizována tzv. vlnovou délkou λ, která určuje vzdálenost dvou nejbližších bodů vlny se stejnou fází a amplitudou. Vlivem vzruchu, který je generován zdrojem zvuku se částice vzduchu v některých místech prostoru navzájem přibližují či vzdalují, tím vzniká jejich zhuštění nebo zředění (přetlak a podtlak). Tyto změny se šíří od zdroje zvuku rychlostí c, která je ve vzduchu cca 340 m/s (tato hodnota je závislá na teplotě, při 0oC je rychlost zvuku 331,8 m/s, při 30oC pak 349,6 m/s, převedeme-li tuto změnu rychlosti na změnu výšky tónu - ladění, přeladí se nástroj samovolně téměř o jeden půltón!). Ve volném prostoru se zvuk šíří od zdroje všemi směry volně a jeho šíření můžeme popsat tzv. vlnoplochami (spojnicemi všech míst zvukového pole, které mají v daný okamžik stejné parametry). Je-li zdroj zvuku malý (bodový), mají vlnoplochy tvar koule, je-li zdrojem např. rozměrná deska, jsou vlnoplochy rovinné (za rovinné považujeme i vlnoplochy ve velké vzdálenosti od bodového zdroje, poloměr pomyslné koule už je tak velký, že její výseč ve sledovaném bodě může být nahrazena rovinnou plochou). Šíření zvukových vln v prostoru popisuje celá řada fyzikálních principů. Vlny se v prostoru odrážejí, lámou i ohýbají, sčítají se s jinými vlnami, podléhají tlumení atd. Dopadá-li zvuková vlna na překážku, dojde k jejímu odrazu. Na vlastnostech překážky závisí průběh odražené vlny. U pevné překážky se vlna odrazí s opačnou fází. Odražená vlna postupuje proti přímé vlně a dochází k jejich skládání - interferenci. Výsledkem je tzv. stojaté vlnění, u něhož jsou některé body prostoru neustále v klidu (uzly) a jiné v maximálním pohybu (kmitny). K odrazu dojde i v případě, že je překážka poddajná. Fáze odražené vlny od poddajné překážky však nemusí být opačná. Stojaté vlny i uzly však mohou vznikat též. V předchozím textu jsme použili pojem akustický tlak. Ten je definován jako rozdíl mezi 9

okamžitou velikostí celkového tlaku v daném bodě zvukového pole a statickou (trvalou) hodnotou tlaku atmosférického. Jedná se tedy o střídavou (proměnnou) složku tlaku, která je superponována (navázána, přičtena) k atmosférickému tlaku díky přítomnosti zvuku. V každém bodě se tedy hodnota celkového tlaku bude měnit v čase a to od atmosférického tlaku o hodnotu tlaku akustického nahoru či dolů. V přírodě se vyskytující hodnoty akustického tlaku za normálních okolností nepřesahují 102 Pa, tedy v krajním případě zhruba 1000x menší hodnotu, než má běžný atmosférický tlak. Z hlediska akustiky je důležitým údajem hladina (úroveň) akustického tlaku. Ta určuje, o co je okamžitá (změřená) hodnota vyšší, než referenční (vztažná) hodnota označovaná jako p0. Udává se v dB:

Referenční hladina má hodnotu p(0) = 2.10-5 Pa. Jednotka akustického tlaku dB (decibel) je logaritmická, platí tedy že o 6 dB větší hladina akustického tlaku odpovídá dvojnásobné hlasitosti, o 20 dB větší hodnota desetinásobné hlasitosti atd. V reálném prostředí se tedy zvuk šíří od zdroje konečnou rychlostí k posluchači. Ve volném i uzavřeném prostoru je dominantní přímá vlna - postupující po přímce mezi místem, kde zvuk vzniká a místem jeho příjmu. Čelo zvukové vlny dorazí k místu poslechu se zpožděním, daným rychlostí šíření c (asi 340 m/s – přesná hodnota v daný okamžik a v daném prostoru závisí na teplotě, atmosferickém tlaku, vlhkosti vzduchu,...) a se stejným zpožděním po zániku zdroje (ukončení generování zvuku) dorazí i týl vlny. Pokud se celý děj odehrává v uzavřeném prostoru, přistupují k přímé vlně ještě i vlny, které se odrazí od stěn, které tento prostor ohraničují. Odražená vlna se k posluchači nešíří přímo, ale odrazem ode stěn či jiných předmětů. Díky tomu je její cesta delší a do místa poslechu dorazí se zpožděním jak její čelo, tak i týl. V místě poslechu se odražená vlna skládá (sčítá - interferuje) s vlnou přímou a mění tak charakter přijímaného zvuku, v prostoru pak vytváří obecné zvukové pole. Vlna se od stěn odráží pod stejným úhlem, v jakém na ně dopadá (obdobně jako se např. kulečníková koule odráží od boků stolu) a díky nedokonalému odrazu (pohlcení - ztrátám části energie) je její intenzita po každém odrazu menší a menší. Část energie dopadající (přímé) vlny se odrazí zpět do prostoru před stěnou. O tom, 10

kolik z dopadající energie se odrazí rozhodují zásadní měrou vlastnosti stěny. U akusticky odrazivé plochy (tzv. akustického zrcadla) je poměr energií takřka 1:1 (všechna se odrazí zpět - tvrdé a masívní materiály), u akusticky pohltivé plochy se poměr blíží 1:0 (neodrazí se téměř žádná energie - měkké a poddajné materiály, např. závěsy, pěnové hmoty apod.). Poměr dopadající a odražené energie je u většiny reálných překážek kmitočtově závislý (pro některé kmitočty je plocha akusticky odrazivá, pro jiné neutrální a pro jiné pohltivá). Energie, která se neodrazí, postupuje dále "dovnitř" překážky, kde se jednak pohltí či rozptýlí a jednak prostoupí za překážku (projde stěnou na druhou stranu). Z hlediska akustiky prostoru "před stěnou" se jedná o ztráty. Odraz vln ode stěn a dalších předmětů v poslechovém prostoru má zásadní vliv na jeho akustické vlastnosti, především na zvukovost a dozvuk. Intenzita zvuku v místě poslechu se zvyšuje díky vlnám, které by jinak směřovaly mimo posluchače. Časový posun odražených vln pak vytváří efekt dozvuku. Dozvuk však může působit i rušivě. Odražené vlny mohou díky vzájemné interferenci způsobit v poslechovém prostoru místní zkreslení zvuku např. potlačením některých frekvencí. A to nejčastěji zánikem nízkých tónů, vznikem stojatých vln, rozprostřením zvuku jeho různým umístěním v čase, což se může projevit např. nesrozumitelností řeči. Jedním z dalších jevů ovlivňujících šíření zvukových vln v prostoru je ohyb. Pokud se v poslechovém prostoru nacházejí objekty, jejichž rozměry jsou srovnatelné s délkou zvukové vlny. Pro slyšitelné frekvence to jsou centimetry až jednotky metrů, zvuková vlna se kolem nich ohne. Vlastnosti ohybu jsou tedy opět frekvenčně závislé. Díky ohybu se zvuk dostane i za překážku. Vyskytují-li se v prostoru dvě či více vln současně, dochází v každém bodě k jejich vzájemné interferenci - sčítání. V těchto případech posluchač není schopen rozlišit každou z vln samostatně a vnímá jen jejich součet (jedná-li se o vlny obsahující podobné vyšší harmonické. Jinak by totiž posluchač nedokázal od sebe odlišit různé hudební nástroje znějící současně ve stejném čase hrající stejný tón).

11

Obrázek 1: Zázněje.

Výše je vyobrazen jev interference u dvou signálů s velmi blízkou frekvencí (Obrázek 1). Výsledkem je vlna s frekvencí rovnou aritmetickému průměru skládaných frekvencí f=(f1+f2)/2, která je modulována tzv. rázovou frekvencí fr=f1-f2. Tato frekvence se ve výsledném zvuku projeví jako zvukové rázy (zázněje), tj. kolísání intenzity zvuku. Tyto rázy se obecně objeví vždy, pokud složíme frekvence, které nejsou shodné nebo jejich poměr není celé číslo. Zvuk se „houpe“ s frekvencí rovnou rozdílu frekvencí základního tónu. Lze je tedy využít i při ladění nástroje podle sluchu (na nulový zázněj - při shodnosti frekvencí zázněje zaniknou a tón se "nehoupe"). Základem akustiky jsou harmonické průběhy. Jsou charakterizovány harmonickým (tj. sinusovým) průběhem veličin (Obrázek 2):

Obrázek 2.

12

Obrázek 3.

Vyznačíme-li tento průběh do grafu, kde na vodorovné ose bude frekvence (frekvenční spektrum), dostaneme jednu čáru o délce maximální amplitudy v bodě 1f, která odpovídá frekvenci sinusové vlny. Jak je vidět na obrázku 3.

Obrázek 4.

Čistě harmonický průběh se však vyskytuje jen u nejjednodušších zvuků, v běžné akustice se s ním téměř nesetkáme. Zvukový signál většiny zdrojů je oproti základní sinusovce více či méně deformovaný (viz další obrázek). Přesto lze v každém periodickém signálu určit základní frekvenci a pomocí frekvenční analýzy určit všechny harmonické složky, tj. podíl dalších frekvencí, které v součtu se základní vytvářejí deformovanou křivku. Výsledkem analýzy je frekvenční spektrum, z něhož lze zpětným postupem - frekvenční syntézou složit původní signál (viz Obrázek 4.). V každém okamžiku (či místě u postupující vlny) se sečtou okamžité (či místní) hodnoty obou vln, výsledkem je součtová vlna s tvarem obecně různým od sinusové (harmonické). 13

Dosud byly uvažovány jen případy, u nichž jsou frekvence první (základní) harmonické i jejich harmonických v čase konstantní. U skutečných zdrojů zvuku se často projevuje kolísání frekvence, která v čase pravidelně či nepravidelně klesá či stoupá vůči dominantní (základní) úrovni. Toto kolísání se ve spektru projeví vznikem pásma okolo každé takto kolísající frekvence. Jeho šířka odpovídá velikosti kolísání a tvar reprezentuje zastoupení frekvencí odlišných od dominantní. Místo osamocených čar pak má spektrum tvar křivek:

Obrázek 5.

Skutečná spektra reálných zvukových signálů mají podstatně složitější tvar a jednotlivé harmonické mají obecně různou velikost (nemusí být rovnoměrně klesající. Četnost a obsah harmonických mají zásadní vliv na tzv. barvu zvuku, charakterizující např. zvuk jednotlivých nástrojů (viz Obrázek 6.).

14

Obrázek 6:

Zobrazení harmonických frekvencí pomocí spekter můžeme ještě doplnit pro někoho možná názornějším přepisem frekvencí do notového záznamu a vyznačení odpovídajících kláves klaviatury. Vezmeme-li za základ tón velké C (frekvence tohoto tónu je 64 Hz), můžeme k němu dopočítat harmonické frekvence a najít k nim odpovídající tóny. Budeme-li postupovat v řadě harmonických 1. 2. 3. 4. 5. 6...., získáme frekvence rovné dvojnásobku, trojnásobku, čtyřnásobku až n-násobku základní frekvence (tedy v tomto případě 1 až n krát 64 Hz). Frekvence jednotlivých harmonických tedy budou: druhá - 128 Hz, třetí - 192 Hz, čtvrtá - 256 Hz, pátá - 320 Hz, šestá 384 Hz atd. Tuto řadu lze v notové osnově rozepsat následujícím způsobem:

Obrázek 7. 15

Z důvodu přehlednosti je zápis roztažen v čase, ve skutečnosti všechny tóny znějí současně, noty by tedy měly být v jedné řadě nad sebou. Některé harmonické (7, 11, 13 a 14) nejde v notovém zápise přímo vyznačit (jejich vypočtená frekvence se přesně neshoduje s frekvencí tónů v temperovaném ladění, nejbližší odpovídající tóny jsou proto zvýrazněny modrou barvou). Stejný rozklad frekvenční řady lze zobrazit i na klaviatuře, základní tón (velké C) je zobrazen červeně, jeho alikvotní (harmonické) tóny zeleně a modře ty tóny, které se s příslušnou harmonickou shodují jen přibližně:

Obrázek 8.

Toto zobrazení harmonických je značně zjednodušující, velikost (amplituda) harmonických je ve skutečném zvuku vždy odlišná (různě nižší) od velikosti základní frekvence, zobrazeny jsou jen harmonické s nízkým pořadovým číslem (ve skutečném zvuku je jejich počet značně vyšší - pro tón velké C je slyšitelná ještě i 250. harmonická - 16 kHz), skutečný zvuk není rovněž akordem složeným z harmonických (jak by napovídal tento zápis) atd. Na základě zápisu harmonických v notách a klávesách lze však jednoduše ukázat závislosti alikvotních tónů. Zobrazíme-li opět harmonické pro tón velké C, můžeme si povšimnout, že ve velké oktávě (ze které pochází), nemá tento tón žádnou harmonickou (Obrázek 9). Nejbližší harmonická je druhá a odpovídá tónu malé c o oktávu výše (interval oktávy má poměr frekvencí právě 1:2). Třetí harmonická je duodecima (12. tón od základního tónu), jinak také kvinta v malé oktávě (tón malé g). Čtvrtá harmonická je o dvě oktávy (tedy čtyřnásobek - poměr 1:4 neboli 1:2:2) výše od základu, odpovídá tedy tónu jednočárkované c' atd.

16

Obrázek 9.

Vjem zvukového signálu je souhrnem subjektivních veličin - výška tónu, hlasitost a barva zvuku, které jsou přímým obrazem objektivních fyzikálních veličin - frekvence, amplitudy, intenzity a časového průběhu zvukového signálu (zkreslení - podílu harmonických). Sluchový vjem je závislý na frekvenci a intenzitě zvuku, výsledný vjem je rovněž značně ovlivněn tím, zda posloucháme zvuk s jednou frekvencí nebo jejich více či méně složitou směs. Zvuky, které u posluchače vyvolají sluchový vjem lze zařadit do tzv. sluchového pole (Obrázek 10):

Obrázek 10: Sluchové pole. 17

Tvar sluchového pole je opět individuální pro každého člověka. Zdola je vymezen křivkou, popisující práh slyšitelnosti (zvuky pod tímto prahem neslyšíme), seshora pak křivkou prahu bolesti (zvuky nad tímto prahem vyvolávají bolestivý vjem a mohou vést k poškození psychiky i samotného sluchového orgánu). Maximální citlivost sluchu spadá do oblasti mezi 500 až 4000 Hz, pro nižší a vyšší frekvence prudce klesá. Sluchový vjem jako subjektivní odraz objektivní reality nekopíruje přesně fyzikální skutečnost. Zřetelné je to především u vjemu hlasitosti, kde míra podráždění sluchu způsobená zvukem není přímo úměrná fyzikální energii. Podle Fechner-Weberova zákona hlasitost roste s logaritmem intenzity zvuku. Tato závislost však opět není lineární (je frekvenčně závislá). Jednotkou hlasitosti je fón [Ph] - (odpovídá hodnotě intenzity při referenční frekvenci 1 kHz). Závislost vjemu hlasitosti na frekvenci je dobře patrná z grafu křivek stejné hlasitosti:

Obrázek 11: Vjem hlasitosti.

Z grafu je patrné, že hodnoty intenzity v [dB] a hlasitosti ve fónech [Ph] si odpovídají jen pro frekvenci 1 kHz, pro nízké a vysoké frekvence je při stejné intenzitě vjem hlasitosti nižší (pro stejnou hlasitost je nutná vyšší intenzita zvuku), pro frekvence do cca 5 kHz naopak vyšší. Prohnutí 18

křivek okolo 3 kHz je způsobeno deformací zvukového pole hlavou posluchače. Pro vyšší intenzity zvuku jsou křivky plošší, frekvenční závislost se zmenšuje. Určování hlasitosti ve fónech je z hudebního hlediska nepraktické, vyjadřuje totiž hlasitost při poslechu jediné frekvence. Vnímáme-li více zvuků současně (celé spektrum), uvedené závislosti přesně neplatí, proto se u obecného zvuku hlasitost vyjadřuje v jednotkách son (jeden son odpovídá subjektivní hlasitosti tónu 1 kHz na hladině 40 dB, má-li zvuk hlasitost subjektivně 2 x vyšší, je jeho hlasitost 2 sony...). Kromě uvedených závislostí na frekvenci a intenzitě se při vnímání zvuku uplatňuje ještě celá řada dalších jevů, uveďme alespoň vliv adaptace - sluch po určité době působení zvuku ztrácí citlivost (především při působení zvuků velké intenzity nastává částečné "ohluchnutí" - únava sluchu), schopnost znovu slyšet se obnovuje do jedné sekundy, v případě větších intenzit zvuku i po několika minutách až dnech. Dalším významným jevem je maskování - posloucháme-li současně více zvuků, mohou silnější z nich překrýt slabší natolik, že je nejsme schopni vnímat a ve slyšeném zvuku rozlišit (na této skutečnosti je založena např. celá oblast záznamu zvuku a jeho komprese mj. známý formát MP3).

19

3. Digitalizace zvukového signálu 3.1. Princip digitalizace. Z výše uvedeného vyplývá, že audiosignál-zvuk je ze své podstaty spojitá veličina. Abychom mohli tuto veličinu zpracovat v počítači je nutné provést její digitalizaci. Ta spočívá ve vzorkování a kvantizaci daného signálu. K tomu slouží tzv. A/D (analogově/digitální) převodníky. Digitální signál je tedy nespojitý jak v časové oblasti, což je způsobeno vzorkováním, tak v amplitudě, což je způsobeno kvantizací signálu. Vzorkování spočívá v tom, že se měří okamžité hodnoty (amplituda) spojitého signálu v určitých pravidelných časových intervalech (odebírají se vzorky).

Obrázek 12: Vzorkování signálu.

Takto naměřené hodnoty vzorků se převedou do binárního kódu. Zde záleží na počtu bitů, kterými můžeme tyto hodnoty popsat. Čím více bitů, tím přesněji můžeme signál popsat. K tomu se též vztahuje pojem „rozlišení“. Pokud tedy máme k dispozici 8 bitů můžeme signál (jeho amplitudu) popsat 2^8=256 hodnotami. Tomuto procesu se říká kvantizace. To ilustruje následující obrázek.

20

Obrázek 13:Kvantizace signálu. Na obrázku může veličina na svislé ose nabývat pouze celočíselných hodnot. Aby bylo možné určit, které hodnoty má po kvantování nabývat určitý vzorek, je třeba rozdělit prostor kolem jednotlivých hodnot na toleranční pásy (jeden takový pás je naznačen kolem hodnoty 0). Kterémukoliv vzorku, který padne do daného tolerančního pásu, je při kvantování přiřazena daná hodnota. Kvantované hodnoty jsou na obrázku naznačeny zelenými kolečky. Jak je vidět, kvantované hodnoty se ve většině případů liší od skutečných navzorkovaných hodnot. Velikost kvantizační chyby je vzdálenost mezi kvantovanými a původními navzorkovanými body, na obrázku ji vyjadřují délky pomyslných úseček mezi červenými a zelenými kolečky. Velikost této chyby se pohybuje v intervalu +1/2 až -1/2 kvantizační úrovně. Z principu digitalizace signálu vyplývá hned několik dosti závažných problémů. Jedná se zejména o to, že z původního signálu se digitalizací ztratí jisté množství informace. Rekonstruovaný výstupní analogový signál (např. přes D/A převodník) bude vždy nějakou aproximací vstupního signálu. V závislosti na frekvenci vzorkování a rozlišení se mu bude vždy jen blížit. Digitalizací se však navíc do původního signálu zanáší další chyby. Jedná se zejména o tzv. aliasing a kvantizační šum. Ty mohou za určitých okolností původní signál znehodnotit natolik, že se stane nepoužitelným.

3.2. Aliasing Aliasing vzniká, jestliže ve vzorkovaném signálu je obsažena frekvence vyšší, než dvojnásobek vzorkovací frekvence. Aliasing=falšování signálu. Ztratí se už tolik informace, že 21

rekonstruovaný signál ztratí charakter původního. Tento jev lze názorně předvést na příkladu, kdy bychom videokamerou snímali vrtuli letadla, která by se točila ve stejné frekvenci jako je snímací frekvence kamery. Potom by se zdálo, že vrtule se vůbec netočí a je v klidu, stojí. U zvuku by to znamenalo ticho, neboť výstupem by byla konstantní úroveň signálu. Podle Shannon-Nyquistova teorému tedy vzorkovací frekvence musí být nejméně dvakrát vyšší než nejvyšší frekvence obsažená v signálu. Proto byla vzorkovací frekvence pro záznam hudby např. u Audio-CD zvolena 44,1 kHz, neboť nejvyšší frekvence , kterou je schopen člověk vnímat sluchem se pohybuje okolo 22 kHz. Všechny vyšší frekvence se odfiltrují filtrem typu dolní propust ještě před vstupem do A/D převodníku.

Obrázek 14:Frekvenční spektru – vznik aliassingu

3.3. Kvantizační šum. Pokud bychom vynesli velikosti chyb od jednotlivých vzorků do grafu, získali bychom náhodný signál, kterému se říká kvantizační šum. Velikost šumu je zvykem vyjadřovat jako

22

poměrné číslo v decibelech, a sice jako poměr užitečného signálu ku šumu. Protože číslo ve jmenovateli zlomku - kvantizační chyba je u všech lineárních převodníků stejná (interval +1/2 až -1/2 kvantizační úrovně), závisí velikost kvantizačního šumu jen na čitateli zlomku, tedy na velikosti užitečného signálu, což je maximální počet kvantizačních úrovní daného převodníku. Toto zkreslení se projevuje hlavně v nízkoúrovňových signálech.

Obrázek 15: Vznik kvantizačního šumu. 3.4. A/D převodník Jedním z účinných řešení výše uvedených problémů je použití sigma-delta převodníku. Základní částí sigma-delta převodníku je sigma-delta modulátor, který pracuje tak, že informace o střední hodnotě vstupního napětí je obsažena ve výstupním sériovém bitovém toku. Sériový bitový tok je sled pulzů odvozených z vzorkovací frekvence, přitom počet jedničkových pulzů je úměrný střední hodnotě vstupního napětí. Schema sigma-delta převodníku je na obrázku.

23

Obrázek 16: Blokové schéma Sigma-delta převodníku.

Sigma-delta převodníky umožňují dosáhnout velmi vysoké linearity převodu při vysokém rozlišení, až 24 bitů. Rychlost převodu je ale nižší. Lze digitalizovat v pásmu do desítek kHz– nízkofrekvenční pásmo. Převodník se skládá ze sigma-delta modulátoru a číslicového filtrudecimátoru. Základními obvody modulátoru jsou dolní propust (integrátor), napěťový komparátor a klopný obvod typu D, překlápěný hodinovým signálem s kmitočtem f0. Dále je zde zpětnovazební větev s jednobitovým D/A převodníkem, což je vlastně přepínač dvouhodnotového signálu UREF. Tento signál se odečítá od vstupního napětí v rozdílovém zesilovači. U převodníku vzniká kvantizační šum, který je rovnoměrně rozložen v pásmu spektra kmitočtů od 0 do f0/2, jestliže u číslicového filtru vzorkujeme kmitočtem f0/K, kde K se nazývá koeficient nevzorkování (bývá 10 103), sníží se efektivní výkon kvantizačního šumu a dojde ke zvýšení efektivního počtu převodníku. Sigma-delta převodníky se hodí pro měření stejnosměrných nebo pomalu se měnících napětí. Decimátor redukuje rychlost dat na požadovanou výstupní rychlost. Snižuje vzorkovací frekvenci a zajišťuje tak podvzorkování signálu. To má za následek přesunutí kvantizačního šumu do frekvenční oblasti, kde nám již nevadí a dá se následně tento šum odfiltrovat.

24

4. Uložení digitalizovaného signálu v počítači. 4.1. Souborový formát RIFF RIFF - Resource Interchange File Format - je souborový formát firmy Microsoft pro ukládání multimediálních zvukových a obrazových předloh. Formát RIFF definuje strukturu uložení dat do souboru pro různé typy a formáty dat (multimediální kontejner). RIFF se skládá z datových struktur zvaných shluky (angl. chunk), každý shluk má svoji čtyřznakovou signaturu (ID) definovanou v hlavičce shluku. Za shlukem mohou následovat data do velikost danou v hlavičce shluku. Shluk může obsahovat tzv. podshluk (subchunk). Každý RIFF soubor začíná shlukem se signaturou RIFF, dále soubor (může) obsahuje jeden nebo několik shluků se signaturou LIST, které obsahují dodatečný identifikátor formátu dat následujících dat v souboru. Existuje ještě shluk se signaturou JUNK, používaný jako výplň dat, pro zarovnání dat na velikost čteného bloku dat (např. CD-ROM má velikost bloku 2048byte). Data jsou v souborech řazený v pořadí malý endian. Existuje i varianta RIFF ve tvaru velkého endiánu s příponou souboru RIFX.

4.2. Souborový formát WAV WAV (nebo také WAVE) je zkratka a běžně používaná přípona pro Waveform audio format. Tento zvukový formát vytvořily firmy IBM a Microsoft pro ukládání zvuku na PC. Je to speciální varianta obecnějšího formátu RIFF. Přestože je možné ukládat do WAV souboru zvuk komprimovaně, například pomocí GSM komprese, ADPCM, µ-Law či v MP3, většinou se používá nekomprimovaný zvuk v pulzně kódové modulaci. Stejným způsobem je uložen zvuk na Audio CD, což umožňuje snadný převod mezi těmito formáty. Protože PCM je bezeztrátový formát, používá se nejčastěji WAV při zpracování zvuku. Pro ukládání zvukových záznamů se dnes obvykle používají komprimované soubory, protože zabírají méně místa. Nejčastěji používané ztrátové formáty jsou MP3, Vorbis Ogg, WMA a AAC. Velikost WAV souboru je omezena na 4 GB, což odpovídá asi 6.6 hodinám záznamu v CD kvalitě. Zvukový formát WAV patří do rodiny RIFF formátů vytvořených pro výměnu dat mezi programy. Hlavním rysem těchto formátů je způsob ukládání vlastních dat - ta jsou dělena do na sobě nezávislých bloků (chunks). Každý blok má svůj prefix, který následující informace nějak popisuje. Prefix je 4-znakový řetězec (hodnota "RIFF") následně doplněný 4-bajtovým číslem 25

udávajícím délku zbytku bloku v bajtech.V našem případě má WAV soubor jeden blok formátu RIFF, který v sobě obsahuje dva důležité bloky: blok popisující vlastní hlavičku (řetězec s hodnotou "WAVE") a blok se zvukovýmy daty. Může obsahovat i další (komentáře, copyright atd.), ty však nejsou pro práci ze zvukem důležité. V následují tabulce je popis hlavičky WAV souboru. Jméno

Délka v

Význam

bajtech wID

4

ASCII řetězec "WAVE".

fID

4

ASCII řetězec "frm ". Všechny ID bloků by měly obsahovat 4 znaky, proto ta mezera

fLen

4

Pevná hodnota, musí být vždy 16

wFormatTag

2

Tyto dva bajty vždy definují, jakým způsobem jsou vlastní zvuková data uložena. Většinou se setkáme s hodnotou 1, což znamená PCM (Pulse Code Modulation).

nChannels

2

Počet kanálů. Tudíž 1 = mono, 2 = stereo. Je možné mít i více než dva kanály, tyto případy nejsou však moc časté.

4

Kmitočet, uvádí se v Hz. Typické hodnoty jsou 11025 (telefonní kvalita), 22050 (hi-fi kvalita), 44100 (CD kvalita). Většinou se nesetkáme z hodnotami nižšími než 8000 a vyššími než 48000.

4

Průměrná datový průtok za sekundu. Informace zejména pro přehrávače. U PCM formátu je tato hodnota však zbytečná, neboť si ji můžeme sami vypočítat vynásobením frekvence počtem kanálů a počtem bajtů na vzorek.

2

Počet bitů na jeden vzorek. Toto číslo většinou nabývá hodnoty 8 nebo 16 bitů. Ačkoliv jsou osmibitové zvuky daleko méně kvalitnější, zabírají dvakrát méně místa, než šestnáctibitové.

nSamplesPerSec

nAvgBytesPerSec

nBitsPerSample

Celá hlavička je zakončena informačním blokem s identifikací „data“ , který obsahuje vlastní audio data a číslem udávajícím počet bytu do konce souboru.

Způsob uložení audio dat

muže být v různých souborech odlišný, proto se datový blok ještě rozděluje na dva informační bloky, kterými jsou Format Chunk a Sound Data Chunk. První zmíněný informační blok popisuje způsob uložení dat v Sound Data Chunku. Pro ukládání jednotlivých bytu vzorku se používá typ little endian, tedy první je nejméně významný byte (LSB) a poslední nejvíce významný byte (MSB).

26

5. Metody analýzy hudebního signálu 5.1. Metody Jak vyplývá z kapitoly o akustice, tónem je zvuk o stálé frekvenci a jisté minimální délce, která je daná rozlišitelností člověkem. Ostatní zvuky jsou v hudbě považovány za hluky. Některé hluky se však v hudbě též využívají, neboť je obsahují některé hudební nástroje, především bicí. Tón je tedy charakterizován výškou (tedy jeho základní frekvencí), délkou (jak dlouho zní), sílou (určena velikostí amplitudy) a barvou (množstvím a poměrem vyšších harmonických). Základním problémem tedy bude nalézt v hudebním signále jednotlivé základní frekvence tónů v příslušném čase. Pokud se jedná o velmi jednoduché signály, v nejjednodušším případě o jeden tón, který obsahuje jen svou základní frekvenci, nebo velmi málo vyšších frekvencí s velmi malou amplitudou, pak se situace dá řešit např. sledováním signálu při průchodu nulou – tzv. ZeroCrossing rate (ZRC). Na obrázku 17 je jednoduchý signál, u kterého není problém vypočítat frekvenci na základě vzdálenosti mezi každým průchodem nulou. Ty jsou dva na periodu.

Obrázek 17:Jednoduchý sinusový signál. Stačí však o něco složitější signál, složený např. z pěti frekvencí, a situace se velmi rychle komplikuje. Jak je patrno z obrázku č. 18, signál zde prochází nulou vícekrát, než jen dvakrát za periodu.

27

Obrázek 18: Signál obsahující pět frekvencí. Další obdobnou metodou je Peak rate. Ta je založena na počítání kladných vrcholů signálu během periody. Nevýhody jsou zřejmé. Jsou podobné jako v případě ZRC. Nicméně vzhledem ke své relativní jednoduchosti a rychlosti jsou dobře použitelné pro pro jednodušší signály, kde je jejich povaha známá a lze jim tedy tyto metody přizpůsobit.

5.2. Fourierova transformace Efektivní a asi nejpoužívanější metodou frekvenční analýzy signálu je pravděpodobně Fourierova transformace. Vychází z toho, že každá periodická funkce se nechá popsat jakou součet sinusových funkcí: ∞

∞

n=1

n=1

f (t)=B0 + ∑ A n sin (nω1 t)+ ∑ Bn cos( nω1 t ),

Předpis pro Fourierovu transformaci je následují: ∞

X (ω)=∫ x (t )⋅e− jωt dt , j= √−1 , ω=2πf , −∞

∞

x (t )=

1 ∫ X (ω)⋅e jωt dω 2π −∞

Vzhledem k tomu, že v počítači zpracovávaný signál je diskrétní, je nutné použít tzv. Diskrétní Fourierovu transformaci. Ta spočívá v nahrazení integrálu sumací a periody T vstupním vektorem s N prvky. Po úpravě tedy máme:

28

N −1

− j2πik N

X (k )= ∑ x (i)⋅e

, k=0,1,2 , ... , N −1

i=0

1 x (k )= N

N−1

∑ X (k )⋅e

−2πik N

, i=0,1 ,2 ,... , N −1

k=0

Problémem těchto transformací je to, že jako výstup dávají přesnou představu o zastoupení frekvencí v signále, ale žádnou informaci o časové lokalizaci té které frekvence. Jedním z možných řešení je tzv. krátkodobá Fourierova transformace (Short-Time Fourier Transform-STFT). Ve spojité oblasti je STFT popsána vztahem:

Obrázek 19: Frekvenční spektrum v amplitudě, frekvenci a čase. Jedná se vlastně o speciální případ tzv. spojité vlnkové transformace (CWT). STFT můžeme interpretovat dvěma způsoby. Prvním způsobem je, že transformaci přiřadíme k jednomu času – počtu vzorků n=konst. a měníme frekvenci. Zde se použije na každý úsek algoritmus DFT. Druhým způsobem je, že zachováme konstantní frekvenci a necháme „plynout“ čas n. Vytvoříme tak banku filtrů odpovídajících pásmovým propustem. Matematické vyjádření STFT v diskrétní oblasti: +∞

Sn (f )=

∑

w (n−m) s (m)e −j2πfm

m=−∞

Okénková funkce w(m) je reálná a má pouze omezený počet nenulových vzorků. Je třeba si 29

uvědomit, že na rozdíl od jiných definic výběru části signálu oknem se u STFT okno na signál „přikládá“ naopak, a že končí u n-tého vzorku. Sn(f) kromě údaje o spektru nese i časovou informaci, máme tedy k disposici krátkodobé spektrum pro každý vzorek. Sn(f) se může upravit takto: +∞

S n ( f )=

∑

+∞

w( m)s (n−m) e− j2πf (n−m)=e− j2πfn

m=−∞

∑

w (m) s (n−m)e j2πfm

m =−∞

Sumu v této rovnici označíme jako S ' n ( f )=∑ s(n−m) w(m)e j2πfm a krátkodobé spektrum Sn můžeme pak přepsat jako − j2πfn

S n ( f )=e

S ' n (f )

STFT může být interpretováno dvěma různými způsoby:

1. jako diskrétní Fourierovu transformaci DFT (pro fixní n). 2. jako banku filtrů (pro fixní frekvenci f a „plovoucí“ n).

5.2.1. Fourierova transformace -DFT V tomto případě čas n=konst. Následující vztah +∞

S n ( f )=

∑

w( n−m)s(m) e− j2πfm

m=−∞

je pak standardní FT diskrétního signálu konečné délky (neboť w(m) je časově omezená), kterou můžeme spočítat pomocí DFT (diskrétní Fourierovy trasnformace): N −1

− j2π

X (k )= ∑ x (m)e

mk N

m=0

Signál x(m) je v tomto případě dán: x (m)=w (n−m) s (m) pro n−(N −1)≤m≤n

30

Výsledkem této transformace je, že: – hodnoty X(k) dávají hodnoty S n (f ) pro diskrétní frekvence f k =

k F .Chceme-li zlepšit N s

rozlišení ve frekvenci (zvětšit počet bodů) , je potřeba zvýšit N. Zároveň však chceme zachovat délku analyzačního okna w(n). Řešením je užití jiného

N DFT ≫ N pouze pro

výpočet DFT, kde na potřebnou délku doplníme signál nulami. Z hlediska implementace N DFT volit jako mocninu 2, např.

DFT pomoci FFT (fast Fourier transform) je vhodné 512, 1024, atd.

– Oproti definici S n (f ) se dopouštíme chyby ve fázi: signál jsme posunuli o τ =−n+(N −1) , spektrum by se tedy mělo násobit faktorem e− j2πτf =e− j2πf [n−(N −1 )] . Fáze se většinou zanedbává. – pomocí STFT vypočtené pomocí DFT můžeme odhadnout spektrální hustotu výkonu náhodného procesu ∣X ( k)∣2 G( f k )= , N

kde f k =

k F . Pokud použijeme doplnění nulami pak N s 2

∣X '( k)∣ G( f k )= , N

kde f k =

k N DFT

F s Všimněme si, že v základním vztahu stále dělíme N.

U symetrických oken (pravoúhlé, Hammingovo) je lhostejné, kterým směrem okno přikládáme. Pozor musíme dát pouze u oken nesymetrických ( viz obr. 20)

31

Obrázek 20

5.2.2. Interpretace STFT jako banky filtrů V tomto případě fixujeme frekvenci f na jednu hodnotu f k , a necháme „plout“ čas n. Zopakujeme si, že pro konvoluci dvou signálů platí

x (n)∗y ( n)=

+∞

∑

x (m) y (n−m).

m=−∞

Pro frekvenci f k můžeme vyjádřit STFT jako

S n (f k )=

kde w k (m)

+∞

∑

wk (n−m) s (m)e− j2π f m . k

m=−∞

je okno použité na frekvenci f k . Budeme předpokládat, že pro všechny frekvence

máme k dispozici totéž okno: w k (m)=w (m) . S n (f k ) můžeme jiným způsobem vyjádřit jako

S n (f k )=e− j2π f

k

n

+∞

∑

s (n−m)w (m)e j2π f m . k

m =−∞

32

Sumu můžeme zapsat pomocí konvoluce − j2π f k n

e

s( n)∗h k (n)

kde hk =w (n)e− j2π f n . k

Tento filtr má charakteristiku pásmové propusti, protože okna mají charakter dolní propusti. Například uvedené nesymetrické okno má modulové spektrum patrno na obr. 21.

Obrázek 21

Násobíme-li signál funkcí e j2π f

k

n

, jedná se fakticky o modulaci. Spektrum se přenese

okolo kmitočtu f k (na obr. 22 je f k 0,3)

Obrázek 22

33

Signál

y k (n)=s (n)+hk (n)=

+∞

∑

m=−∞

s( n−m)hk (m).

je tedy výstupem pásmové propusti, jejíž kmitočtová charakteristika je koncentrována okolo f k . Jeho frekvenční pásmo tedy leží okolo f k . Chceme-li z tohoto signálu S n (f k ) , musíme jej demodulovat tak, že jej násobíme signálem e− j2π f

k

n

S n (f k )=e− j2πfn y k (n).

Fourierova analýza se tedy dá provádět bankou filtrů podle následujícího schématu na obrázku 23.

Obrázek 23:

5.3. Waveletová transformace Waveletová transformace poskytuje oproti Fourierové transformaci (FT) informaci o časové lokalizaci spektrálních složek. FT není vhodná pro analýzu nestacionárních signálů. FT využívá kosinové a sinové funkce pro rozklad signálů, a je nejlepší pro popis periodických signálů. WT nabízí nový přístup k analýze signálů použitím speciálního filtru nazvaného wavelet (vlnka). Každá waveletová funkce osciluje pouze v okolí bodu lokalizace což poskytuje dobrou prostorovou lokalizaci. Cílem WT je rozložit vstupní signál do řady waveletových koeficientů. Toto je dosaženo filtrováním signálu párem ortogonálních filtrů. 34

Jsou označeny jako otcovský wavelet a mateřský wavelet. Otcovský wavelet určuje celkový trend signálu - rozklad na škálové koeficienty - aproximace, zatímco mateřský wavelet zachycuje doplňkovou informaci o „jemnostech“ , detailech, na jednotlivých úrovních - waveletové koeficienty. Získáme taksvazky signálů, které reprezentují ten samý signál v různých frekvenčních pásmech. Víme tedy jaká sada odpovídá jakému frekvenčnímu pásmu Základní rozdíl mezi Fourierovou a WT je v tom, že wavelety nejsou periodické funkce. Vhodnou změnou šířky okna v čase a jeho tvarem lze dosáhnou optimálního poměru rozlišitelnosti v čase a ve frekvenci. Toto dělá WT velmi výhodnou pro analýzu nestacionárních nebo aperiodických signálů. WT lze úspěšné použít v tak různých oborech jako je komprese obrazu, analýza řeči, analýza přechodných dějů nebo odhalování poruch.Waveletová transformace je okenní operace. Jádro waveletové transformace je získáno posunutím a roztažením vybrané bázové funkce. Wavelety jsou speciální okenní funkce, které mají nulovou střední hodnotu. Problém neurčitosti WT obchází tím, že vyšší frekvence jsou lépe rozlišeny časově a nižší frekvenčně. Je-li frekvenční rozlišení po celou dobu trvání signálu stále stejné, jedná se o tzv. spojitou WT. Modifikací spojité WT je tzv. diskrétní WT, u níž je časové rozlišení stejné jako v předchozím případě, ale frekvenční informace má na rozdíl spojité WT různé rozlišení (nižší frekvence jsou lépe frekvenčně rozlišeny, vyšší hůře). Pokud analyzovaný signál obsahuje krátkodobě vysoké frekvence a dlouhodobě nízké frekvence, je možné analyzovat signál pomocí tzv. víceúrovňové analýzy (multiresolution analysis). Tuto podmínku splňuje většina reálných signálů. Víceúrovňová analýza zpracovává signál na různých frekvencích s různou rozlišitelností. Je tady úzce spojena s teorií WT. Využívá se toho, že je navržena tak, aby dávala dobré časové a horší frekvenční rozlišení na frekvencích vysokých a naopak, horší časové a lepší frekvenční rozlišení, na frekvencích nízkých. 5.3.1. Mateřské vlnky WT využívá široké spektrum matečních vlnek. Jména vlnek bývají odvozena od jména tvůrce, či podle tvaru. Níže jsou uvedeny základní typy použávaných mateřských vlnek. Haar Haarova vlnka je tvarově nejjednodušší (obr.4). Je nespojitá a její průběh připomíná skokovou funkci. Reprezentuje tu samou vlnku jako Daubichies db1.

35

Obrázek 24: Haar

Daubechies a Coiflets Autorem těchto mateřských vlnek je Ingrid Daubechies. Vlnky skupiny Daubechies (obr.5) se značí písmeny dbN, kde N je číslo blíže určující vlnku. Vlnky jsou spojité a ortonormální. Vlnky Coiflets (obr.6) jsou podobné.

Obrázek 25: Daubechies a Coiflets Biorthogonal Skupina těchto vlnek nám umožňuje odvodit důležité vlastnosti, které potřebujeme pro rekonstrukci signálu či obrazu. Místo jedné jednoduché vlnky se používají dvě vlnky, jedna pro rozklad a druhá pro rekonstrukci signálu (obr.7).

36

Obrázek 26: biorthogonal

Symlets Vlnky skupiny Symlets jsou přibližně symetrické vlnky (obr.8) a jsou modifikacemi db skupiny. Vlastnosti těchto dvou skupin jsou podobné. Autorem je I. Daubechies.

37

Obrázek 27: Symlet Morlet Morletova vlnka nemá škálovací (měřítkovou) funkci, ale je explicitní. (Obrázek 9) Mexican Hat Mateřská vlnka Mexican Hat (obr.10) je první derivací Gaussovy funkce. Název vlnky je odvozen od jejího tvaru. Nemá škálovací funkci. Meyer Vlnková a škálovací funkce Meyerovy vlnky jsou definovány ve frekvenční oblasti. Průběh vlnky je ukázán na obr.11.

Obrázek 28: Morlet, Maxican Hat, Mayer 5.3.2. Koeficienty CWT a DWT Spojitá vlnková transformace (Continuous Wavelet Transform; CWT) je definována jako časový integrál součinu analyzované funkce x(t) a mateční vlnky (transformující funkce) Ψ(τ,s,t), kde τ je proměnné posunutí a s proměnné měřítko. Definice CWT je zároveň i vztahem pro její koeficienty. Aplikací CWT tedy získáme řadu koeficientů vyjadřujících podobnost signálu a vlnky. Tyto koeficienty jsou zároveň i funkcí posunutí (polohy) a měřítka. Měřítko a posunutí vlnky může nabývat jakékoli hodnoty. Dostáváme tak časově-měřítkovou reprezentaci signálu. Jak již 38

bylo zmíněno výše, mateční vlnku vybíráme podle tvaru průběhu analyzovaného signálu. Algoritmus CWT je následující: 1. Zvolená vlnka se umístí na počátek signálu a spočte se koeficient CWT. 2. Vlnka se posune o předem určený krok doprava a spočítá se koeficient. 3. Tento postup se opakuje až do dosažení konce signálu. 4. Změníme měřítko vlnky (roztáhneme nebo smrštíme) a opakujeme kroky 1 až 3. 5. Krok 4 opakujeme pro všechna zvolená měřítka. Nezávisle proměnnou je čas nebo posunutí, závisle proměnnou měřítko a úroveň hodnoty koeficientů je vyjádřena odstínem použité barvy, příp. odstínem šedí. Tyto hodnoty zobrazuje scalogram. Měřítko, podle něhož lze odhadnout hodnotu vynesených koeficientů bývá uvedeno v legendě. (obr.29).

Obrázek 29: Scalogram CWT

5.3.3. Diskrétní vlnková transformace U většiny signálů je pro nás důležitější obsah nižších frekvencí, neboť právě tyto frekvence reprezentují podstatu nebo charakter signálu. Vysoké frekvence naopak ovlivňují odstín signálu. Projevují se na nich třeba i nechtěné jevy (např. měřený signál za přítomnosti šumu o vyšší frekvenci). Diskrétní WT (discrete wavelet transform; DWT) užívá pro tyto dva rozdílné aspekty signálu názvy aproximační koeficienty (approximation coefficients) a detailní koeficienty (detail coefficients).

39

V algoritmu DWT se analyzovaný signál nechá projít dvěma komplementárními propustmi. Dolní propust oddělí aproximaci prvního řádu a horní propust detail prvního řádu. Získáme tak však dvojnásobný počet dat. To je dvakrát více dat, než potřebujeme pro reprezentaci signálu. Počet dat lze zredukovat tím, že signál převzorkujeme. To znamená, že například vynecháme každý druhý prvek signálu. Tento proces se nazývá decimace (oversampling). Je však třeba vzít v úvahu, že při tomto postupu může dojít k jevu zvanému překrývání spekter (aliasing). Zabránit mu lze použitím vhodných filtrů. Aplikací filtrace získáme koeficienty aproximace 1. řádu kA1 a koeficienty detailu 1. řádu kD1. Budeme-li pokračovat, dostaneme se ke koeficientům aproximací a detailů vyšších řádů. Při každém dalším řádu této operace se zdvojnásobuje měřítko Na konci tohoto algoritmu získáme vlnkový rozkladový strom (wavelet decomposition tree) (obrázek 31). Příklad takovéhoto rozkladu signálu je na obrázku 30.

Obrázek 30: Coeficienty DWT, do 5. úrovně. vlnka db3 Pro rekonstrukci signálu se v případě CWT i DWT používá inverzní WT. Podmínkou přesné rekonstrukce je zamezení ztrát důležitých informací obsažených v signálu.

40

5.3.4. Vlnkové pakety Vlnková paketová transformace (Wavelet Packet Transform; WPT) je zobecněním vlnkové transformace. Narozdíl od WT je do vyšších řádů rozkládána aproximace i detail. Každá úroveň má tedy stejný počet prvků jako originální signál. Porovnání obou postupů je patrné z obrázku 15.

Obrázek 31: Vlevo: rozklad DWT, vpravo potom rozklad WPT Matematicky je CWT vyjádřena vztahy: pro koeficienty CWT:

pro rekonstrukci signálu:

•

Vztah pro DWT:

41

6. Tóny a frekvence Pokud se nám podaří zjistit jaké frekvence a v jakém čase jsou v signále obsaženy, lze přistoupit k převodu těchto frekvencí na tóny. Vezmeme-li jako referenční frekvenci 440 Hz, což je frekvence tónu komorního a v temperovaném ladění, pak se jednotlivé tóny dají namapovat na frekvence dle vztahu:

Tím dostaneme číselnou osu, kde hodnota 0 reprezentuje tón komorní a. Po zaokrouhlení na celá čísla kladné hodnoty reprezentují pořadová čísla not vzestupně s vyšší frekvencí a záporné hodnoty pak s nižší frekvencí, kde index T právě udává toto pořadí a

f T je naměřená

frekvence. Níže je uvedena tabulka s výsekem not obsažených ve čtvrté oktávě, kde se nalézá i referenční komorní a. tón

c

cis

dd

dis

ee

f

fis

g

gis

a

ais

hh

index

-9

-8

-7

-6

-5

-4

-3

-2

-1

0

1

2

392

425,30

440

frekvence 261,63 277,18 293,66 311,13 329,63 349,23 369,99 [Hz]

466,16 493,88

Tato forma popisu frekvencí, tedy jejím přiřazením k hudebním tónům, je již vhodná ke zpracování jako notový zápis. V digitálním světě lze pro toto zpracování využít komunikační prokol standardu MIDI.

42

7. MIDI 7.1. Úvod do MIDI. MIDI – Musical Instruments Digital Interface. Jedná se o jednosměrný komunikační sériový protokol pro ovládání elektronických hudebních nástrojů. Posloupnost MIDI instrukcí lze uložit do souboru formátu SMF (Standard MIDI file). Existují 3 formáty označované 0, 1 a 2. nejpoužívanější je Formát 1, který ukládá jednu i více současně hrajících stop. Jak již bylo zmíněno, tak SMF se liší od jiných hudebních formátů (např. .wav, mp3, …) tím, že sám o sobě neobsahuje digitalizovaný záznam zvuku, ale pouze instrukce, které zpracuje cílové zařízení – nejčastěji zvukový syntetizér a ten teprve zvuk vyrobí. Rozhraní MIDI bylo uvedeno na trh v 80. letech minulého století a hraje významnou roli v hudebním průmyslu. Díky MIDI je možné snadno přenášet informace mezi elektronickými hudebními nástroji. Obrovským přenosem spojení MIDI a počítače je zpřístupnění komponování hudby laické veřejnost. Kdokoliv, kdo má počítač vybavený zvukovou kartou, což jsou dnes v naprosté většině všechny počítače, může složit hudební dílo a přehrát si ho, přičemž není nutné, aby takový člověk ovládal hru na nějaký hudební nástroj. Systém MIDI představuje hardware a komunikační jazyk, který umožňuje propojení elektronických hudebních nástrojů mezi sebou a též jejich propojení s počítačem. MIDI systém lze rozdělit do tří základních vrstev a to je hardwarové rozhraní, distribuční formáty a přenosový protokol. Hardwarové rozhraní mezi MIDI zařízeními je realizována metalickými kabely. MIDI sběrnice je 5 mA proudová smyčka, logické nule odpovídá protékající proud. Používá se sériový asynchronní datový přenos s rychlostí 31250 Baudů. Rámec se skládá z jednoho startbitu, osmi datových bitů a dvou stopbitů. Paritní bit není použit. K zabránění tvorby zemních smyček mezi přístroji je použito optoizolátoru s časem reakce menším než 2 ms (např. Sharp PC900) galvanicky oddělující vstup od přístroje. Běžné zvukové karty pro počítač nemají MIDI konektory, ale mají na konektoru gameportu vyvedeny pouze UART signály. Hardware je potom součástí MIDI kabelu. Některé levnější MIDI kabely postrádají optoisolátor, což může způsobovat chyby při přenosu dat. Zařízení mohou obsahovat tři typy konektorů. Jedná se 5pinové DIN konektory a to MIDI

43

In, MIDI Out a MIDI Thru (Thru od anglického through, skrz). U počítačů to může být též konektor game portu zvukové karty. Komunikace je jednosměrná.

7.2. Komunikační protokol MIDI MIDI data jsou přenášena sériově, rychlostí 31250 b/s. Každý blok tvoří 1 start bit, 8 datových bitů a 1 stop bit. Bloky jsou seskupovány do tzv. zpráv. Každá zpráva obsahuje právě jeden stavový byte, který může být doprovázen jedním nebo více datovými byty. stavový byte identifikuje informaci, která je přes MIDI posílána. Nejvyšší bit stavového bytu má vždy hodnotu 1. Následující tři bity udávají typ informace a zbývající čtyři bity nesou informaci o MIDI kanálu. Každé MIDI zařízení přijímá zprávy jen pro určitý kanál, zprávy pro ostatní kanály ignoruje. Následující datové byty udávají hodnotu, vztahující se k informacím předcházejícího stavového bytu. Nejvyšší bit datového bytu je vždy 0. Toto je schematicky znázorněno na obrázku 20 a v následuji tabulce je popis identifikátorů MIDI zprávy.

Obrázek 32: Stavový a datový byte v MIDI.

44

Význam

T T T 0

0

0

0

0

1

0

1

0

0

1

1

1

0

0

1

0

1

1

1

0

1

1

1

Událost Note Off; zpráva je poslána při uvolnění stisknuté klávesy, následující datové byty nesou informaci o čísle noty a síle předchozího stisku klávesy. Událost Note On; zpráva je poslána při stisknutí klávesy, následující datové byty nesou informaci o čísle noty a síle stisknutí klávesy. Polyphonic Aftertouch; zpráva je poslána při silnějším stisknutí již stisknuté klávesy. Následující datové byty nesou informaci o čísle noty a nové síle stisknutí klávesy. Control Change; zpráva je poslána při změně hodnoty ovladače (pedál, otočný knoflík). Následující datové byty nesou informaci o čísle noty a hodnotě control change, která identifikuje ovladač. Program Change; zpráva je poslána při změně čísla programu. Následuje ji jediný datový byte Program Number. Channel Aftertouch; klávesy které nepodporují Polyphonic Aftertouch mohou zasílat tuto zprávu, která nese informaci o nejvyšší síle stisku všech kláves. Pitch Wheel Change; zpráva je zaslána při manipulaci s ohýbacím kolečkem. Následující datové byty nesou informaci o poloze kolečka. Střed reprezentuje hodnota 0x2000. zprávy System Common a System real-time. Tabulka 1: Význam identifikátorů typů zprávy.

7.3. Souborový formát SMF Tento formát byl vytvořen za účelem záznamu a přehrávání hudebních skladeb prostřednictvím sekvenceru MIDI. Jsou v něm uloženy zprávy MIDI doplněné časovými známkami. Časové známky udávají pozici jednotlivých zpráv v čase. MIDI soubor tedy obsahuje:

-

Zprávy MIDI

-

Časovou známku pro každou zprávu

-

Tempo

-

PPQN (Počet pulzů za čtvrťovou notu)

-

Označení taktů

-

Předznamenání pro jednotlivé stopy

-

Jména stop

-

Drum patterns (vzorky pro bicí automat)

Existují tři formáty SMF: 45

-

Formát MIDI 0 obsahuje pouze jednu stopu, ve které mohou být zaznamenána data na všech šestnácti kanálech MIDI.

-

Formát MIDI 1 Obsahuje jeden nebo více kanálů a každý z těchto kanálů může být zaznamenán v jedné nebo více stopách MIDI. První stopa tohoto formátu má speciální určení, jedná se o tzv. mapu tempa a obsahuje meta-události jako označení taktů a nastavení tempa. Tento MIDI formát je nejběžnější.

-

Formát MIDI 2 obsahuje jeden nebo více nezávislých jednostopých vzorů. Tento formát není příliš rozšířen a používají jej především bicí automaty (drum machine).

MIDI soubor se skládá ze dvou základních částí, kterými jsou hlavička (header chunk) a jedna nebo více stop (track chunk).

7.4. Hlavička souboru První čtyři byty jsou ASCII hodnoty písmen "MThd". Dále následuje délka hlavičky v bytech, to je 32bitový údaj, který byl dodán pro budoucí možná rozšiřování SMF normy. Nyní je tato hodnota 6, což je délka hlavičky bez úvodních osmi bytů. Na dalších dvou bytech je číslo, které odpovídá SMF formátu 0, 1 nebo 2. Následující číslo udává počet stop (pro formát 0 je to vždy 1) a je též na dvou bytech. Hlavičku uzavírá tzv. rozlišení, které udává vztažnou hodnotu pro kódování deltačasu, obvykle určuje relativní čas jako počet tiků do jedné čtvrťové hodnoty (noty).

Název pole

Délka Význam Řetězec, který identifikuje hlavičku, musí vždy obsahovat Typ hlavičky 4 byty posloupnosti ASCII znaků „MThd“. Délka hlavičky 4 byty Udává délku hlavičky. Formát 2 byty Označuje formát SMF (MIDI 0, MIDI 1, MIDI 2). Udává počet stop, pokud se jedná o soubor SMF formátu 0 Počet stop 2 byty jsou tyto dva byty vždy rovny 1. Pokud je 15. bit roven 0, potom rozdělení udává hodnotu PPQN (počet pulsů na jednu čtvrťovou notu). Pokud je 15. bit Rozdělení 2 byty roven 1 potom první byte udává počet pulsů na jeden snímek SMTPE a druhý bajt udává snímkovací frekvenci SMTPE. Tabulka 2: Hlavička souboru SMF.

46

4D 54 68 64 00 00 00 06 00 00

00 01

MThd

jedna stopa 96 tiků

délka 6 bytů formát 0

01 80

Tabulka 3: Příklad hlavičky SMF hexadecimálně.

7.5. Stopa Hlavička stopy opět začíná ASCII hodnotami, tentokrát "MTrk". Následuje čtyřbytové číslo znamenající délku stopy. Dále následují kódovaná data, tzv. meta-eventy, data a zvláštní systémová data.

Název pole Identifikace stopy Délka stopy Události

Délka

Význam Řetězec, který identifikuje začátek stopy, vždy je roven posloupnosti znaků „MTrk“. Udává délku stopy.

4 byty

4 byty v závislosti na SMF události délce stopy

Tabulka 4: Stopa souboru SMF.

4D 54 72 6B 00 00 00 3A MTrk

58 bytů

Tabulka 5: Příklad hlavičky stopy SMF.

SMF událost obsahuje vždy údaj o uplynulém času, tzv. deltatime, od poslední události, za kterým následuje jedna ze tří typů událostí: -

MIDI událost, která představuje libovolnou událost typu Channel Voice (například note on, note off) případně Channel mode.

47

-

Meta událost, která nese jména stop, texty a další údaje, které nemusí přímo souviset s MIDI. Pokud sekvencer najde neznámou událost, může ji snadno díky údaji o délce přeskočit.

-

SysEx událost, která bývá určena pro zařízení konkrétního výrobce nebo pro všechna zařízení dohromady.

Meta událost vždy začíná vyhrazenou hodnotou status byte 0xFF a její další struktura je následující:

Název pole Typ Délka Datová část

Význam 1 byte udávající typ meta události. Délka datové části. V praxi 1 byte. Datová část specifická pro každou událost. Tabulka 6: Struktura Meta události.

48

Název

Identifikátor (hex)

Číslo sekvence

0x00 0x02

Text Autorská práva Jméno sekvence nebo stopy

0x01 0x02

Vyskytuje se téměř výhradně v SMF typu 2 k identifikaci jednotlivých stop a napomáhá sekvenceru v sestavení skladby. Libovolné množství textu k libovolnému účelu. Informace o autorských právech.

0x03

Text vyjadřující jméno sekvence nebo stopy.

Nástroj

0x04

Text písně

0x05

Značkovač

0x06

Cue point

0x07

Kanál MIDI

0x20 0x01

Port MIDI Konec stopy

0x21 0x01 0x2F 0x00

Tempo

0x51 0x03

SMTPE offset

0x54 0x05

Označení taktů

0x58 0x04

Předznamenání 0x59 0x02 Chráněná událost 0x7F Chráněná událost 0x7F

Popis události

Může obsahovat libovolný text charakterizující hrající nástroj. Hudební text, který se váže k požadované době. Zpravidla obsahuje pouze jednu slabiku. Označení začátku a konce smyčky. Jméno souboru s audiosamplem, který se začne přehrávat v okamžiku příchodu této události. Používá se ke sjednocení různých událostí s různými kanály. Používá se k určení portu MIDI. Označuje konec stopy. Udává tempo přehrávané skladby v mikrosekundách na čtvrťovou notu. Specifikuje SMTPE čas, na kterém má stopa začít hrát. Udává čitatele a jmenovatele označení taktů. Pokud se ve stopě nevyskytuje předpokládá se označení 4/4. Nastavuje předznamenání. Identifikační kód výrobce a libovolná další data. Identifikační kód výrobce a libovolná další data.

Tabulka 7: Popis kódů jednotlivých meta událostí.

7.6. Meta-eventy Meta-eventy jsou interní kódy, které reprezentují různá speciální data skladby jako tempo, metrum, tóninu, textové popisy, písňové texty synchronizované s hudbou pro karaoke aplikace aj. Každá skladba by měla mít minimálně údaj o tempu a metru. Měl by být umístěn v hlavičce stopy před hudebními daty. Ve formátu 1 je na první stopě. Meta-eventy přerušují trvající stavový byte. Každý meta-event začíná bytem s hodnotou 255 (FF). Za ním je byte určující typ, který má v MSB hodnotu 0, takže je možné rozlišit 128 různých meta-eventů.

7.7. Data, datové bajty Obsahují hudební data stopy spolu s údajem o relativním časovém umístění - deltatimem. Deltatime může být různě dlouhý, tedy i počet bytů pro jeho popis je různý. Pro kódování se 49

používá převod osmibitových skupin na sedmibitové a pak se do MSB každého bytu deltatimu doplní 1, jen do MSB posledního bytu deltatimu se doplní 0.

7.8. Deltatime, příklad Bude se kódovat deltačas o velikosti 2000 hexadecimálně.

2

0

0

0

hexadecimálně

0010 0000 0000 0000 binárně 1. byt

2. byt

rozdělení po bytech Tabulka 8

Převod na sedmibitové skupiny: 00 1000000 0000000 binárně Tabulka 9 Do MSB 1, do posledního 0 a je zakódovaný deltačas: 1100 0000 0000 0000 binárně C 1. byt

0

0 2. byt

0

hexadecimálně rozdělení po bytech

Tabulka 10 Jako nejvyšší vstupní číslo je dovoleno 0F FF FF FF (hexadecimálně), které se zakóduje jako FF FF FF 7F. Teoreticky je možné i větší číslo, ale v praxi to bohatě stačí, protože takto vysoká hodnota představuje vzdálenost mezi dvěma hudebními událostmi několik dní (záleží na rozlišení a tempu). V souboru bude tedy základní informace o stisku klávesy sestávat ze čtyř bytů.

50

7.9. Příklad konkrétní MIDI události Event: 00 90 45 6E (hexadecimálně) Jednotlivé byty říkají: • 00 - deltačas - nula znamená buď začátek stopy nebo je to event ve stejném čase jako předchozí. • 90 - stavový byte - . Je stisknuta klávesa. Jaká přesně, to je v následujících datových bytech. • 45 - datový byte - nota malé a • 6E - datový byte - rychlost stisku 110 (= 6E)

7.10. Příklad uložení hudební skladby v souboru Jde o uložení standardního notového zápisu v SMF formátu 0. Je použit trvající stavový byte. Klasický notový zápis je uveden na obrázku 3.7, který je převzat z publikace [9]. Následuje tabulka 3.8 popisující jednotlivé bajty souboru SMF formátu 0, ve kterém je uložen tentýž fragment skladby jako na obrázku 21.

Obrázek 33: Hudební příklad

51

Příklad skladby v SMF Data

Komentář

4D

54

68

64

MThd

00

00

00

06

délka hlavičky

00

00

00

01

formát 0, jedna stopa

01

80

96 tiků na jednu čtvrťovou

4D

54

72

6B MTrk

00

00

00

3A délka stopy - 58 bytů

00

FF

58

04

Meta-event: metrum 3/4, metronom

03

02

18

08

každou čtvrťovou, 8 dvaatřicetinek do jedné čtvrťové

00

FF

51

03

Meta-event: tempo, jedna čtvrťová

07

A1 20

D-čas

Data

00

90

trvá 500 000 sec Komentář

46

6E zapnuta nota 70 rychlostí 110

81 40

46

00

00

2D 50

zapnuta nota 45 rychlostí 80

60

2D 00

vypnuta nota 45

00

26

00

3E 0D zapnuta nota 62 rychlostí 80

00

41

0D zapnuta nota 65 rychlostí 80

00

45

0D zapnuta nota 69 rychlostí 80

81 40

3E 00

vypnuta nota 62

00

41

00

vypnuta nota 65

00

45

00

vypnuta nota 69

00

26

00

vypnuta nota 38

60

FF

vypnuta nota 70

0D zapnuta nota 38 rychlostí 80

2F 00

Meta-event:konec stopy

Tabulka 11: Příklad stopy SMF, formát 0.

Tabulka je rozdělena do třech částí. Na začátku je inicializační část s hlavičkou souboru a stopy. Stopa je dlouhá 58 bytů. Dále následují dva meta-eventy udávající metrum a tempo. Protože jsou již součástí stopy, je před každým údaj o deltačase. Následují data, kde je použit trvající stavový byte. Soubor je ukončen meta-eventem znamenajícím konec stopy.

52

8. Možnosti využití DWT v analýze hudební nahrávky V předchozích kapitolách byly popsány teoretické aspekty týkající se zpracování signálů, a tedy i zvuku, prostředky výpočetní techniky. Rovněž byly uvedeny i základní poznatky z oblasti vnímání zvuku a hudby člověkem. Je to nesmírně zajímavá oblast pro zkoumání nejrůznějších technických možností v analýze hudby. V této práci se dále budu zabývat možnostmi diskrétní vlnkové transformace (DWT) v oblasti analýzy hudební nahrávky a převodu takové nahrávky do formátu MIDI.

8.1. Popis postupu Problém extrakce notového zápisu z nahraného audiosinálu je problém složitý. Obrovskou složitost tohoto problému jsem si však plně uvědomil až při zpracovávání této diplomové práce. V současnosti hlavním obecně používaným nástrojem pro frekvenční analýzu signálu je Fourierova transformace a její implementace algoritmem FFT respektive STFT. Alternativou k tomuto je právě vlnková transformace. Spojitá vlnková transformace (CWT) nabízí optimální poměr rozlišitelnosti ve frekvenční a časové oblasti. To je vlastnost která by mohla být významná právě analýze hudby. Problém je velká výpočetní náročnost. Obdobou STFT je u wavelet transformace, tzv diskrétní vlnková transformace (DWT). DWT se však v přímé formě k řešení daného problému nehodí. Tím, že algoritmus dělí frekvenční pásmo po oktávách, je pro přímou detekci frekvencí navzájem sousedících tónů nepoužitelný. Při studiu různých řešení obdobné problematiky, mne zaujal algoritmus použitý pro detekci obrázku uloženého v databázi na základě rukou načrtnuté předlohy [21]. Jedná se o výpočet tzv. vzdálenostní funkce, neboli míru podobnosti dvou signálů. V našem případě jeden signál je tvořen audionahrávkou a druhý vzorkem tónu konkrétního nástroje. K získání vzorků tónů jsem použil toto vybavení: - elektrická kytara zn. Ibanez zvuky: čistý zvuk elektrické kytary (bez použití efektů) zvuk za použití efektu – „sweet“ - elektronické piano značky Yamaha DGX-630 zvuky: Basa -“Acoustic bass“ - Digital recorder BR-600 zn. Boss

53

zvuky: sada bicích nástrojů použit k nahrání všech zvuků a aplikaci kytarových efektů. Nahrávání bylo provedeno vzorkovací frekvencí 44100 Hz a 16-ti bitovou hloubkou do formátu WAV Následné úpravy byly provedeny ve freewarovém zvukovém editoru Audacity. Jednalo se převod ze stereo záznamu do mono stopy. U zvuků kytary byly nahrány jednotlivé tóny všech strun. Z dvanácti tónů z každé struny (počínaje vždy nejhlubším tónem dané struny) pro oba zvuky, byly vypreparovány vzorky o délce jedné periody. Analogicky bylo postupováno u basových zvuků a bicích. U basových zvuků se jednalo o 12 tónu v oktávě od tónu e2. U bicích to bylo též 12 vzorků jeden vzorek na každou část standardní sady.

8.2. Algoritmus Modifikace algoritmu z [21]:

1. Načtení dat z hudební nahrávky ze soboru WAV. 2. Výpočet coeficientů nahrávky pomocí CWT. Použita vlnka „morlet“. 3. Načtení dat vzorků tónů ze souborů WAV 4. Výpočet coeficientů DWT pro první vzorek tónu 5. Výběr useku dat z nahrávky o délce rovnající se počtu samplů vzorku tónu 6. Výpočet coeficientů DWT pro tento úsek dat z nahrávky 7. Vypustění dat coeficientů aproximace v poslední úrovni kvůli eliminaci vertikálního posunu. Dále ze bude počítat jen s coeficienty detailů.

8. Provede se výběr (prahování) 20-ti nejvýznamnějších koeficientů (podle absolutních hodnot) u hudebních dat i tónu

9. Ty koeficienty, které byly záporné se nahradí hodnotou -1, kladné hodnotou 1 a nuly zůstanou nezměněny.

10. Provede se porovnání koeficientů na odpovídajících pozicích. Shoda se ohodnotí hodnotou 1, opak hodnotou 0

11. Provede se součet jedniček. Ten by měl ukázat míru podobnosti s časovou lokalizací.

54

12. Vybere se další sada vzorku dat z nahrávky posunutá o jedno místo doprava. Opakují se body 6-11. Počet těchto cyklů je roven

N−M +1 , kde N je délka nahrávky a M je délka

vzorku tónu (v samplech).

13. Body 1-12 se opakují pro všechny vzorky tónů

8.3. Implementace Implementaci jsem začal programovat nejprve v jazyce Java. V průběhu práce jsem se začal též seznamovat s prostředím Matlabu. Jelikož Matlab nabízí toolbox pro práci s wavelety, přesunul jsem implementaci do prostředí Matlabu R2010b na platformě OS Linux. Vše bylo nainstalováno na notebooku Asus X51L s dvoujádrovým procesorem Intel 1,7 Ghz a s 2 GB RAM. Pro názvy souborů se vzorky tónů jsem zvolil následující konvenci: aaa-bbb-c-ddd-eee-string.wav kde aaa určuje číslo tónu v kódování MIDI, bbb je číslo programu (zvuku) v kódování MIDI, c je číslo struny kytary od 1 (nejhlubší struna E) po 6 (nejvyšší struna e), ddd číslo pražce kytary (počítáno od 1), eee obsahuje název tónu (např. #a4, _a5, podtržítko je u tónů; které nemají předznamenání) a string je libovolný řetězec, který může obsahovat např název použitého efektu při nahrávání. Části aaa, bbb a eee se implicitně načítají do struktury spolu s daty. Položky c a bbb u nástrojů, které struny a pražce nemají, jsou vyplněny nulami. Program se spouští z prostředí Matlabu spuštěním skriptu start.m .Poté se otevře dialog pro načtení souborů se vzorky tónů, které se mohou vybrat hromadně. Následuje dialog pro načtení souboru se nahrávkou. Data a informace z názvu souborů se uloží do struktury. Pro nahrávku je určena struktura song. Pro tóny struktura nastroj. Následně výpočet probíhá podle výše uvedeného algoritmu. Všechny potřebné skripty a funkce jsou uloženy v jednom adresáři. Též jsou zde uloženy struktury s experimentálními daty ve formátu souborů Matlabu (přípona .mat). Tyto jsou označeny jménem nástroje, případně dalšími upřesňujícími informacemi. Pro spuštění v Matlabu je třeba tento adresář vybrat jako „Workspace“. Vše je uloženo na přiloženém CD v adresáři /apl/mat. Soubory se zvukovými daty jsou v adresáři /apl/sound .Schemata proměnných song a nastroj jsou v následujících tabulkách. První tabulka (tab.č. 12 ) popisuje proměnné podsložek cwt Tabulka č. 13 pak proměnné podsložek dwt. 55

Objekt cwt(i), kde i je pořadové číslo objektu

Vysvětlivky:

song

Název souboru Adresář se souborem. Načtená hudební data. Vzorkovací frekvence dat. Coeficienty po CWT Měřítko Pomocné proměnné. --“---“---“---“--

nazev_souboru: '16-001-beglajt_solo_basa_bici.wav' cesta: '/home/user/workspace/wav2midi/sound/test-songs/' data: [162748x1 double] fsam: 44100 coefs1: [88x162748 double] scales1: [88x1 double] idxSca: 47 TAB_Ton3ScaFrq: [88x5 double] IdxScaMin: [88x1 double] CSam: [88x162748 double] CSamInd: [162748x88 double]

nastroj nazev_souboru: '053-030-3-004-_f4-sweet.wav' cesta: [1x49 char] miditon: '053' midiprog: '030' nazevtonu: '_f4' data: [252x1 double] fsam: 44100

Název souboru Adresář se souborem. Kód tónu v MIDI. Kód programu (zvuku)v MIDI Název tónu. Načtená data tónu. Vzorkovací frekvence.

Tabulka 12: Schéma proměnných typu struct – podsložka cwt

dwt, (i), kde i je pořadové číslo objektu song

coefs1: [64x162748 double] scales1: [88x1 double] idxSca: 51 TAB_Ton3ScaFrq: [88x5 double] SigSign: [64x162748 double] SigOrdInd: [64x162748 double]

Coeficienty po DWT Pomocné proměnné. --“---“---“---“--

nastroj coefs1: [64x252 double] scales1: [88x1 double] idxSca: 51 TAB_Ton3ScaFrq: [88x5 double] SamSign: [64x252 double] SamOrdInd: [64x252 double] distance1: [1x162497 double]

Coeficienty po DWT Pomocné proměnné. --“---“---“---“-Vypočtená vzdálenost

Tabulka 13: Schéma proměnných typu struct – podsložka dwt

Přístup k jednotlivým položkám struktury je možný pomocí tečkové notace. Například k vypsání dat vypočtené vzdálenosti je nutné zadat: nastroj.dwt(1).distance1 56

8.4. Hlavní části kódu implementující popsaný algoritmus 1)

hlavní smyčka iterace – skript start.m

ii=size(nastroj.cwt,2); for i=1:ii slnastroj=size(nastroj.cwt(i).data,1); % matice 1*n slsong=size(song.cwt(1).data,1); rsongData=size(song.cwt(1).data,2); songData=zeros(rsongData,slnastroj); % 1*n songData=songData'; % n*1 songCoefs=zeros(rsongData,slnastroj); songCoefs=songCoefs'; SongSign=zeros(rsongData,slnastroj); SongOrdInd=zeros(rsongData,slnastroj); jp=(slsong-slnastroj+1); nastroj.dwt(i).distance1=zeros(rsongData,jp); prah=21; % ponechani jen dvaceti koeficientu vaha=0; sprintf('Song-Nastroj. Probiha vypocet vzdalenosti DWT %d ***',i) for j=1:jp %nacteni casti dat songu. Pocet vzorku je stejny jako u nastroje songData(:,:)=song.cwt(1).data(j:j+(slnastroj-1),:); % Vypocet DWT coef. casti dat songu [songCoefs,len]=f_dwave_trans02(songData, vlnka,level); songCoefs=songCoefs'; % prahovani DWT coef. casti dat songu % porovnani a vypocet podobnosti (vzdalenosti) nastroj.dwt(i).distance1(:,j)=f_distance02(songCoefs, nastroj.dwt(i).coefs1,len,prah,vaha); end sprintf('** KONEC %d ',i) end %delete(h); sprintf('** KONEC VSE **') time_distance=toc

2)

funkce f_dwaved_trans02( nactena_data_nahravky, jmeno_vlnky, uroven_dekompozice).

Vrací DWT coeficienty a pole určující pozice coeficientů podle úrovně dekompozice. function [coefs,len] = f_dwave_trans02(data1,vlnka,level) x =data1; wname = vlnka; [coefs,len] = wavedec(x,level,wname);

57

end

3)

funkce f_distance02( DWT_coef_nahravky, DWT_coef_nastroje,

pozice_coef_podle_urovne, prah, vaha). Vrací vypočtenou vzdálenost. function [Distance]=f_distance02(SongIn,NasIn,len,prah,vaha) % nacteni jen coeficietu detailu A=SongIn(:,1:len(1)); B=NasIn(:,1:len(1)); % vypocet abs. hodnot AAbs=abs(A); BAbs=abs(B); % setupne setrideni coficientu [AS,ASI]=sort(AAbs,'descend'); [BS,BSI]=sort(BAbs,'descend'); % ponechani jen prvni koeficientu urcene hodnotou prom prah if prah>0 ASI(:,prah:end)=[]; BSI(:,prah:end)=[]; end % prirazeni -1,0,1 A(ASI)=sign(A(ASI)); B(BSI)=sign(B(BSI)); % oznaceni koeficientu ktere jsou mensi nez wa if vaha>0 wa=vaha*max(AAbs); AWInd=AS<wa; A(AWInd)=-2;

end

wb=vaha*max(BAbs); BWInd=BS<wb; B(BWInd)=-3;

% porovnani koeficientu na odpovidajicich pozicich C=A(ASI)==B(BSI); % konecne secteni jednicek Distance=sum(C); end

58

9. Výsledky experimentu Implementovaný algoritmus byl aplikován na úvodní část testovací skladby, uložené v souboru 16-001-beglajt_solo_basa_bici-part01.wav. Jedná se o krátký úsek obsahující bicí nástroje, tón g3 hraný basou, tóny #a4 a c5, hrané na kytaru s efektem a akord Gmi hraný čistým zvukem kytary. Na obrázku 34 je scalogram CWT coeficientů testované nahrávky, (soubor 16-001beglajt_solo_basa_bici.wav) odpovídající frekvencím v rozsahu tónů od a1 až po c9. Světlejšími vodorovnými čarami jsou označeny úseky odpovídajícím hraným tonům kytary s efektem. Jedná se o tóny #a4, c5, d5, c5, #a4, c5, #a4, a4, f4. Toto jsem odvodil několikerým poslechem a porovnáním podle čísel vzorků. Pro CWT byla použita vlnka „morlet“.

Obrázek 35 ukazuje průběh načtených dat odpovídající prvním dvěma vyznačeným tónům na scalogramu, tedy tón #a4 a c5 tón. Obrázek 36 ukazuje výsledek algoritmu pro tón #a4 hraný na kytaru s efektem. Obrázek 37 zobrazuje výsledek pro tón c5. Obdobně dopadly výsledky i u ostatních tónu a nástrojů.

Obrázek 34:Scalogram 59

Obrázek 1:

Obrázek 35: Amplitudový průběh

Obrázek 36: Výsledek výpočtu vzdálenosti u tónu #a4 hraného na struně D kytary efektem.

60

Obrázek 37: Výsledek výpočtu vzdálenosti u tónu c5 hraného na struně D kytary efektem.

Z výsledku testování, je zřejmé, že popsaný algoritmus není možné použít pro detekci tónu jednotlivých nástrojů a přiřadit je v čase. Z toho důvodu nebyla provedena implementace modulu převodu výsledků do formátu MIDI.

61

10. Závěr V předchozí textu jsem se snažil alespoň v hlavních rysech rozebrat problematiku zpracování hudebního signálu v počítači, se zaměřením na analýzu tohoto signálu z hudebního hlediska. Zejména zda a do jaké míry lze rozpoznat hraný tón v signále, a využít toto k pro rozepsání do notového zápisu, či pro řízení elektronických hudebních nástrojů. Jedná se o problém složitý a výsledky jsou závislé na použitých metodách frekvenční analýzy a na povaze (složitosti) signálu. Jedná-li se o záznam jednoho nástroje a sekvence jednotlivých tónů, pak by analýza a následný převod do MIDI neměl činit větší potíže. Horším případem je, když sice hraje jenom jeden nástroj, ale ve skladbě zní též několik tónů současně (jsou hrány dvojzvuky, akordy). Nejsložitější situace a zároveň nejčastější, je záznam klasické hudební skladby, ve které se hraje na více hudebních nástrojů včetně bicích. Zde vyvstává úkol přiřadit frekvence nejen tónům, ale příslušné tóny též nástrojům. Jak bylo uvedeno, barva zvuku jednotlivých nástrojů je dána zastoupením vyšších harmonických frekvencí nad frekvencí základní. K rozlišení jednotlivých hudebních nástrojů, je tedy třeba zjistit též rozložení frekvencí (základní a harmonické) v tónech těchto nástrojů a podle nich se pokusit zastoupení těchto nástrojů určit. V této práci jsem jsem se pokusil problematiku řešit použitím upraveného algoritmu, který byl výše popsán. Algoritmus jsem několikrát modifikoval a zkoušel jsem různé kombinace parametrů prahování a váhy pro výběr coeficientů. Nepodařilo se mi však docílit alespoň uspokojivých výsledků, které by umožňovaly tuto metodu aplikovat na převod hudebního audiozáznamu do formátu MIDI a tedy vlastně přetransformovat do notového zápisu. Plnou náročnost problému jsme uvědomil vlastně až během jeho řešení. Jako kladnou skutečnost hodnotím, že jsem podrobně seznámil s problematikou frekvenční analýzy a používanými prostředky včetně waveletové transformace a její aplikací v algoritmu DWT.

62

11. Seznam použité literatury: [1] Wikipedie: Zvuk http://cs.wikipedia.org/wiki/Zvuk [2] Ing. Jan Hrádek: Aliasing & Antialiasing http://herakles.zcu.cz/education/apg_2002_2003/hradek/html/aliasing.html [3] Ing. Petr Bernat, Konrad Zacharski: Akustika, vznik a šíření zvuku, frekvenční analýza a syntéza, sluchový vjem zvukového signálu. http://www.anatomie-varhan.cz/texty/varhany/anatomie/pistaly_akustika.htm [4] Wikipedie: A/D převodník http://cs.wikipedia.org/wiki/A/D_p%C5%99evodn %C3%ADk#Kvantiza.C4.8Dn.C3.AD_.C5.A1um [5] Wikipedie: RIFF - Resource Interchange File Format http://cs.wikipedia.org/wiki/RIFF [6] Wikipedie: WAV – Waveform Audio Fromat http://cs.wikipedia.org/wiki/RIFF [7] doc. Ing. Miroslav Šnorek, CSc.: A/D i D/A rozharní. http://service.felk.cvut.cz/courses/X36NME/slides/2006/36NM_2006_9.pdf [8] doc. Ing. Miroslav Šnorek, CSc.: Moderní matematika pro IT I. http://service.felk.cvut.cz/courses/X36NME/slides/2006/36NM_2006_9.pdf [9] Absolon Martin: Metoda převodu kytarového signálu na MIDI, ČVUT FEL, bakalářská práce https://dip.felk.cvut.cz/browse/pdfcache/absolm1_2006bach.pdf [10] Selathco 0.91 generated HTML http://www-kiv.zcu.cz/~herout/html_sbo/midi/toc.html [11] MIDI manufacturers association: Tutorial: History of MIDI http://www.midi.org/aboutmidi/tut_history.php [12] MIDI manufacturers association: Summary of MIDI Messages http://www.midi.org/techspecs/midimessages.php [13] Welling Luke, Thomsonová Laura: PHP a MySQL, rozvoj webových aplikací, Softpress Praha, 2. vydání [14] MIDI manufacturers association: MIDI Electrical Specification Diagram & Proper Design of Joystick/MIDI Adapters, http://www.midi.org/about-midi/electrical.shtml [15] Komunikační rozhraní MIDI http://www.elektrorevue.cz/clanky/02069/index.html

63

[16] Musical Instrument Digital Interface http://cs.wikipedia.org/wiki/MIDI [17] Forró Daniel: Počítače a hudba, Grada Publishing, 1994 [18] Forró Daniel: Svět MIDI, Grada Publishing,1997 [19] Zenkl Luděk: ABC hudební nauky, Supraphon, Praha 1976. [20] Zenkl Luděk: ABC hudebních forem, Supraphon, Praha 1984. [21] Jacobs, Charles E. – Finkelstein, Adam – Salesin, David H. Fast Multiresolution Image Querying. In Computer Graphics. 1995. Vol. 29. s. 277–286. ftp.cs.washington.edu/tr/1995/01/UW-CSE-95-01-06.d/UW-CSE-95-01-06-color.ps.gz [22] Beranová Lenka: Wavelet_toolbox, ČVUT FEL, K315, Semestrální práce http://k315.feld.cvut.cz/download/apr/apr_2001/wavelet_toolbox.pdf [23] Doc. Ing. Miloš Sedláček, Csc., doc. Ing.Radislav Šmíd, Ph.D.:Matlab v měření. Nakladatelství ČVUT, Praha 2007. ISBN 978-80-01-03781-2 [24] Zich David: Počítačové zpracování akustických signálů. Diplomová práce, ČVUT FEL, K333, Praha 2005.

64

A. Obsah přiloženého CD cd-rom/apl/mat/*.m - soubory scriptů a funkcí aplikace ve formátu Matlabu cd-rom/apl/mat/*.mat - soubory uložené proměnné pracovního prostoru Matlabu. Jsou v nich uloženy výsledky výpočtů.

cd-rom/apl/sound/BR-std_drums/- vzorky tonů bicích nástrojů cd-rom/apl/sound/BR-std_drums/orig- původní soubor se zvuky před úpravami cd-rom/apl/sound/kytara/clean/1 … 6/- vzorky tonů neefektované elekrické kytary cd-rom/apl/sound/kytara/clean/orig/- původní nebo pracovni data cd-rom/apl/sound/kytara/sweet/1 … 6/- vzorky tonů efektované elekrické kytary cd-rom/apl/sound/kytara/sweet/orig/- původní nebo pracovni data cd-rom/apl/sound/testsong/- zvuková data k testování cd-rom/apl/sound/yamaha-bass/- vzorky tónů basové kytary cd-rom/apl/sound/yamaha-bass/orig/- původní nebo pracovni data

cd-rom/DP/dp.pdf – text diplomové práce

cd-rom/readme.txt – stručný popis spuštění aplikace

65