˚ BINAURALN ´ ´I GUI PRO DEMONSTRACI PRINCIPU ˚ LOKALIZACE ZDROJU ZVUKU ˇ O. Glaser, F. Rund, D. Storek Katedra radioelektroniky, Fakulta elektrotechnick´a, ˇ e vysok´e uˇcen´ı technick´e v Praze Cesk´ Abstrakt Tento ˇ cl´ anek pˇ redstavuje uˇ zivatelsk´ a rozhran´ı vytvoˇ ren´ a v prostˇ red´ı Matlab, kter´ a umoˇ zn ˇ uj´ı ilustraci z´ akladn´ıch princip˚ u binaur´ aln´ı lokalizace. Prvn´ı z popisovan´ ych rozhran´ı umoˇ zn ˇ uje subjektivnˇ e sledovat zmˇ enu lokalizace zvukov´ eho podnˇ etu pˇ ri intenzitn´ıch a/nebo ˇ casov´ ych rozd´ılech mezi sign´ aly reprodukovan´ ymi do jednotliv´ ych uˇ s´ı posluchaˇ ce. Druh´ e rozhran´ı ilustruje komplexnˇ ejˇ s´ı pˇ r´ıstup pˇ ri simulaci filtrace zvuku smˇ erovˇ e z´ avislou pˇ renosovou funkc´ı vztaˇ zenou k hlavˇ e (HRTF - Head Related Transfer Function).
1
´ Uvod
Lokalizace zdroje zvuku patˇr´ı mezi ˇcasto studovan´e jevy, jejichˇz vyuˇzit´ı m´ a v´ yznam nejen v oblasti multimedi´ aln´ı techniky, zejm´ena hudebn´ıho a hern´ıho pr˚ umyslu, ale napˇr. i v oblasti asistivn´ıch technologi´ı, jako pom˚ ucka pˇri orientaci zrakovˇe znev´ yhodnˇen´ ych obˇcan˚ u. Detailn´ı studium princip˚ u lokalizace m´ a samozˇrejmˇe v´ yznam i pro oblast zpracov´an´ı a z´aznamu zvuku, kdy umoˇzn ˇuje napˇr. v´ yvoj efektivnˇejˇs´ıch algoritm˚ u pro kompresi zvuku. Pro rozvoj zm´ınˇen´ ych oblast´ı a v´ yvoj nov´ ych aplikac´ı je vhodn´e disponovat n´astroji, kter´e umoˇzn ˇuj´ı demonstrovat a ovˇeˇrovat principy binaur´ aln´ı lokalizace zdroj˚ u zvuku. V dalˇs´ım textu budou pˇredstavena dvˇe uˇzivatelsk´a rozhran´ı, kter´a umoˇzn ˇuj´ı sezn´ amen´ı i dalˇs´ı studium zm´ınˇen´ ych princip˚ u.
2
Principy binaur´ aln´ı lokalizace
Problematiku binaur´ aln´ı lokalizace pˇrehlednˇe shrnuje napˇr. publikace [1]. Lokalizaci zdroje zvuku definuje jako urˇcen´ı jeho smˇeru a odhad vzd´ alenosti, d´ale zav´ad´ı pojem lateralizace jako vn´ım´an´ı zvuku na spojnici uˇs´ı uvnitˇr hlavy. Pokud nen´ı rozd´ıl mezi sign´aly v obou uˇs´ıch ani v intenzitˇe, ani v ˇcase (resp. je pod urˇcit´ ym prahem), je zvuk lateralizov´ an doprostˇred hlavy. Je zˇrejm´e, ˇze pokud zdroj sign´alu je napˇr. vlevo od posluchaˇce, dos´ ahne zvukov´ y sign´al lev´eho ucha dˇr´ıve neˇz prav´eho, tj. existuje urˇcit´ y ˇcasov´ y rozd´ıl (tzv. ITD – Interaural Time Difference), a zvuk je vn´ım´an zleva. Stejnˇe tak doch´az´ı k rozd´ılu v intenzitˇe (ILD – Interaural Level Difference), zvuk v pˇrivr´ acen´em uchu je hlasitˇejˇs´ı neˇz v odvr´acen´em. ITD se uplatˇ nuje pˇredevˇs´ım na n´ızk´ ych kmitoˇctech, ILD sp´ıˇse na kmitoˇctech vyˇsˇs´ıch, kde se v´ıce uplatˇ nuje akustick´ y st´ın hlavy a ˇcasov´ y rozd´ıl jiˇz nen´ı rozliˇsiteln´ y. Demonstrac´ı vlivu ILD a ITD na lateralizaci zdroje zvuku se zab´ yv´ a prvn´ı z prezentovan´ ych GUI, obr. 3. V´ yˇse popsan´e rozd´ıly ovˇsem vysvˇetluj´ı zejm´ena problematiku lokalizace v horizont´aln´ı rovinˇe. Vjem v´ yˇsky (elevace) zdroje, rozliˇsen´ı mezi zvukem pˇrich´azej´ıc´ım zepˇredu a zezadu, a vjem vzd´ alenosti, se ned´ a vysvˇetlit jen s pouˇzit´ım ILD a ITD. Tyto jevy z´avis´ı na ovlivnˇen´ı pˇr´ıchoz´ıho zvuku zejm´ena odrazy od r˚ uzn´ ych ˇc´asti tˇela subjektu (napˇr. ramen, hlavy a uˇsn´ıho boltce), kter´e je interpretov´ano pˇrev´ aˇznˇe na z´akladˇe zkuˇsenosti subjektu s konkr´etn´ım typem zvuku, napˇr. ˇreˇcov´eho sign´alu. D´ ale je lokalizace umoˇznˇena tak´e bezdˇeˇcn´ ymi pohyby hlavy subjektu a v neposledn´ı ˇradˇe i porovn´an´ım se zrakov´ ym vjemem.
Obr´azek 1: Detail menu obou program˚ u.
Obr´azek 2: Dialog pro nastaven´ı hlasitosti (spoleˇcn´e pro oba programy). Zm´ınˇen´e ovlivnˇen´ı pˇr´ıchoz´ıho zvuku odrazy od r˚ uzn´ ych ˇc´ast´ı hlavy subjektu lze popsat smˇerovˇe z´avislou filtrac´ı. Pro kaˇzd´ y smˇer je tedy moˇzn´e urˇcit pˇr´ısluˇsnou pˇrenosovou funkci (HRTF - Head Related Transfer Function), popˇr. impulzn´ı odezvu (HRIR - Head Related Impulse Response) – viz napˇr. publikace [2]. Pro u ´ˇcely modelov´an´ı pˇr´ıchodu zvuku z urˇcit´eho smˇeru tedy staˇc´ı prov´est konvoluci tohoto zvuku s HRIR odpov´ıdaj´ıc´ı pˇr´ısluˇsn´emu smˇeru. Tento pˇr´ıstup demonstruje druh´e z prezentovan´ ych GUI, obr. 4, kter´e vyuˇz´ıv´ a HRIR z datab´ aze [3].
3
Implementace v prostˇ red´ı Matlab
Obˇe zmiˇ novan´ a GUI byla implementov´ana v prostˇred´ı Matlab a budou detailnˇeji pops´ ana n´ıˇze. Obˇe rozhran´ı pˇredpokl´ adaj´ı poslech na sluch´atka. Spoleˇcn´e pro obˇe rozhran´ı je menu (obr 1). Z tohoto menu je moˇzno pˇrej´ıt z jednoho do druh´eho rozhran´ı, d´ale vyvolat nastaven´ı hlasitosti, struˇcn´ y manu´al, pˇr´ıpadnˇe program ukonˇcit. Po volbˇe poloˇzky Nastaven´ı hlasitosti“ je zobrazen dialog z obr. 2 a pˇrehr´ av´an harmonick´ y ” sign´al o kmitoˇctu 1 kHz. Pˇri pˇrehr´ av´an´ı tohoto zvuku m´ a uˇzivatel moˇznost nastavit u ´roveˇ n v´ ystupu do sluch´atek tak, aby hlasitost sign´alu byla jeˇstˇe pˇrijateln´ a.
4
GUI pro demonstraci z´ akladn´ıch princip˚ u lokalizace
Prvn´ı program umoˇzn ˇuje ovlivˇ novat sign´al do kaˇzd´eho ucha a sledovat v´ ysledn´ y efekt na lateralizaci zdroje zvuku. Uˇzivatelsk´e rozhran´ı je zobrazeno na obr. 3. Program umoˇzn ˇuje dva typy sign´al˚ u – harmonick´ y sign´al (obr. 3 nahoˇre) a pˇrehr´ an´ı kr´atk´eho zvukov´eho souboru (napˇr. ˇreˇcov´e uk´azky - obr. 3 dole)). V pˇr´ıpadˇe harmonick´eho sign´alu si m˚ uˇze jeˇstˇe uˇzivatel vybrat z nˇekolika kmitoˇct˚ u, a tak testovat kmitoˇctovou z´avislost procesu lateralizace (lokalizace). Z´akladn´ım ovl´ adac´ım prvkem tohoto rozhran´ı jsou tˇri horizont´aln´ı posuvn´ıky. Prvn´ı posuvn´ık slouˇz´ı k ovl´ ad´ an´ı pomˇeru sign´al˚ u lev´eho a prav´eho ucha (ILD). Dalˇs´ı dva posuvn´ıky slouˇz´ı k nastavov´an´ı ITD – prostˇredn´ım se ovl´ ad´ a posun poˇc´atku testovac´ıch sign´al˚ u (jde o kr´ atk´e u ´seky harmonick´eho sign´alu), druh´ ym lze dos´ ahnout jemn´eho posunu f´aze sign´alu. Hodnoty nastaven´ ych parametr˚ u se vypisuj´ı v prav´e ˇc´asti rozhran´ı. V lev´e ˇc´asti jsou um´ıstˇena dvˇe zobrazovac´ı okna. V horn´ım oknˇe se zobrazuje odhad pozice vn´ıman´eho zvuku na z´akladˇe ILD (ˇcernˇe) a ITD (zelenˇe), v doln´ım ilustrace pr˚ ubˇehu pouˇzit´ ych sign´al˚ u.
Obr´azek 3: Uˇzivatelsk´e rozhran´ı programu pro demonstraci vlivu ILD (intenzitn´ı rozd´ıly) a ITD (ˇcasov´e rozd´ıly) na lateralizaci zdroje zvuku. Nahoˇre buzen´ı harmonick´ ym sign´alem, dole vstup z extern´ıho sign´alu (ˇreˇcov´a uk´azka) V pˇr´ıpadˇe pˇrehr´ an´ı kr´atk´eho extern´ıho souboru (.wav), napˇr. ˇreˇcov´e uk´azky (obr. 3 dole)), m´ a uˇzivatel k dispozici pouze dva posuvn´ıky – nastaven´ı pomˇeru amplitud a posun poˇc´atku sign´alu. D´ ale je uˇzivateli dostupn´ y reˇzim Demo, po stisku tohoto tlaˇc´ıtka je pˇrehr´ ana sekvence harmonick´ ych sign´al˚ u s r˚ uzn´ ym kmitoˇctem (v´ yˇskou) a r˚ uznˇe nastaven´ ymi parametry ILD a ITD.
5
GUI pro lokalizaci zdroje zvuku pomoc´ı HRTF
Druh´ y program umoˇzn ˇuje simulaci lokalizace zvukov´eho zdroje s vyuˇzit´ım HRTF. Jak bylo zm´ınˇeno v´ yˇse, vyuˇz´ıv´ a HRIR z datab´ aze [3]. Prvn´ı volbou je tedy volba pˇr´ısluˇsn´e sady HRIR (jak je pops´ ano v [2], zmiˇ novan´ a datab´ aze obsahuje HRIR od ˇrady subjekt˚ u), kter´a prob´ıh´ a z rozbalovac´ı nab´ıdky model. Je tedy moˇzn´e testovat individu´aln´ı rozd´ıly mezi jednotliv´ ymi subjekty, jejichˇz HRIR je k dispozici. Druhou volbou je volba vstupn´ıho sign´alu (nab´ıdka zvuk ). V programu jsou tˇri moˇznosti, prvn´ı je ˇsumov´ y sign´al, druh´a harmonick´ y sign´al a tˇret´ı umoˇzn ˇuje naˇc´ıst uˇzivatelem definovan´ y sign´al z extern´ıho souboru .wav. Podle vybran´e moˇznosti se uprav´ı vzhled prostˇredn´ı ˇc´asti rozhran´ı, v pˇr´ıpadˇe ˇsumu je moˇzno nastavit jen jeho d´elku, v pˇr´ıpadˇe harmonick´eho sign´alu jeho d´elku a kmitoˇcet a v pˇr´ıpadˇe extern´ıho souboru vybrat tento soubor.
Obr´azek 4: Uˇzivatelsk´e rozhran´ı programu pro demonstraci lokalizace zdroje zvuku pomoc´ı HRTF. Nejd˚ uleˇzitˇejˇs´ım nastaven´ım je nastaven´ı smˇeru pˇr´ıchodu zvuku. Toto prob´ıh´ a pomoc´ı posuvn´ık˚ u azimut a elevace – po jejich nastaven´ı se uˇzivateli zobraz´ı nastaven´ a poloha formou p˚ udorysu, bokorysu a n´arysu. Podle aktu´aln´ı polohy je automaticky vybr´ an vhodn´ y pohled. Po nastaven´ı vˇsech vstupn´ıch parametr˚ u se stisknut´ım tlaˇc´ıtka v´ypoˇcet provede vytvoˇren´ı vstupn´ıho sign´alu (popˇr. naˇcten´ı ze souboru), naˇcten´ı HRIR odpov´ıdaj´ıc´ı pˇr´ısluˇsn´emu smˇeru a konvoluce vstupn´ıho sign´alu a HRIR. V prav´e ˇc´asti rozhran´ı jsou okna, kde se zobrazuje vstupn´ı sign´al v ˇcasov´e i kmitoˇctov´e oblasti, pouˇzit´e HRTF a v´ ystupn´ı (upraven´ y) sign´al v ˇcasov´e i kmitoˇctov´e oblasti. Z d˚ uvod˚ u sn´ıˇzen´ı n´aroˇcnosti v´ ypoˇctu lze vykreslov´an´ı vˇsech pr˚ ubˇeh˚ u potlaˇcit zruˇsen´ım zaˇskrtnut´ı v pˇr´ısluˇsn´em boxu u kaˇzd´eho ok´enka. Po proveden´ı v´ ypoˇctu lze v´ ystupn´ı sign´al pˇrehr´ at, popˇr. uloˇzit do v´ ystupn´ıho souboru.
6
Z´ avˇ er
Tento pˇr´ıspˇevek prezentoval dvˇe GUI umoˇzn ˇuj´ıc´ı demonstraci a studium z´akladn´ıch princip˚ u lokalizace zdroje zvuku. Tato uˇzivatelsk´a rozhran´ı se vhodnˇe doplˇ nuj´ı, prvn´ı umoˇzn ˇuje uˇzivateli sezn´ amen´ı se z´akladn´ımi principy, druh´e nab´ız´ı komplexnˇejˇs´ı pohled (a vˇernˇejˇs´ı v´ ysledek) pomoc´ı metody HRTF. Vyuˇzit´ı pˇredstaven´ ych rozhran´ı je moˇzn´e pro demonstraˇcn´ı a v´ yukov´e u ´ˇcely, ale na naˇsem pracoviˇsti se pˇredpokl´ ad´ a jejich vyuˇzit´ı v projektech zamˇeˇren´ ych na asistivn´ı technologie. Pomoc´ı zm´ınˇen´ ych rozhran´ı lze prov´est z´akladn´ı ovˇeˇren´ı, zda u osob ze zrakov´ ym znev´ yhodnˇen´ım prob´ıh´ a lokalizace zdroje zvuku stejn´ ym zp˚ usobem jako u populace bez tohoto znev´ yhodnˇen´ı. Podle v´ ysledk˚ u tohoto ovˇeˇren´ı bude moˇzn´e napˇr. pˇrikroˇcit k implementaci rozhran´ı, kter´e bude usnadˇ novat orientaci zrakovˇe znev´ yhodnˇen´ ych osob.
Podˇ ekov´ an´ı ˇ ˇ jako souˇc´ast specifick´eho v´ ˇ Tento pˇr´ıspˇevek byl podpoˇren MSMT CR yzkumu na CVUT v Praze. Prezentovan´e programy vyuˇz´ıvaj´ı data z CIPIC HRTF datab´ aze [3].
Reference [1] Syrov´ y, V., Hudebn´ı akustika. Praha: AMU, 2003, pp. 427. ISBN 80-7331-901-2 [2] Algazi, V. R., Duda, R. O., Thompson, D. M., Avendano, C., The CIPIC HRTF Database, Proc. 2001 IEEE Workshop on Applications of Signal Processing to Audio and Electroacoustics, pp. 99-102, Mohonk Mountain House, New Paltz, NY, Oct. 21-24, 2001. [3] The CIPIC HRTF Database [online], c2001, [cit. 21. 10. 2009]. Dostupn´e z
.
Frantiˇsek Rund ˇ Katedra radioelektroniky, FEL CVUT v Praze, Technick´a 2, 166 27, Praha 6 tel. 22435 2108, e-mail: [email protected] ˇ Dominik Storek ˇ student FEL CVUT v Praze, e-mail: [email protected] Ondˇrej Glaser ˇ student FEL CVUT v Praze, e-mail: [email protected]
