Automatické hodnocení pauz v °e£i u Parkinsonovy nemoci J. Hlavni£ka, J.Rusz, R.mejla
Katedra teorie obvod·, Fakulta elektrotechnická, VUT v Praze
Abstrakt Studie se zabývá metodou pro hodnocení pauz v °e£i zdravé a °e£i postiºené vlivem Parkinsonovy nemoci. Realizace metody spo£ívala v návrhu klasi kátoru °e£ / pauza a sady p°íznak· pro popis fyziologické schopnosti produkce pauz. Klasi kátor je zaloºen na postupné separaci sloºek °e£i EM-algoritmem. Klasi kátor je schopen rozli²it hlásky / konsonanty / pauzu / respiraci jako samostatné t°ídy. Informa£ní zisk klasi kátoru byl zvý²en p°izp·sobením hranic okének poloze spektrálních zm¥n. Ze sady 22 p°íznaku projevilo 15 p°íznak· statistickou významnost (p<0.05 ) k odli²ení parkinsonického a zdravého mluv£ího. Známé p°íznaky poukazující na pomalost a sou£asné zrychlování °e£i u Parkinsonovy nemoci se poda°ilo vyjád°it automatickou metodou. Nov¥ byly objeveny p°íznaky vy²²ího ovlivn¥ní pauz respirací a vy²²í zastoupení respirace v pauzách.
1
Úvod
Parkinsonova nemoc (PN ) je po Alzheimerov¥ nemoci druhým nejroz²í°en¥j²ím neurodegenerativním onemocn¥ním. Jeho prevalence 0.3% pro celou populaci [1] vzr·stá s v¥kem nap°. od 65 let na 1.6% [2]. S ohledem na stárnutí populace ve vysp¥lých zemích se o£ekává nár·st po£tu pacient· PN z 4.1−4.6 milionu pacient· odhadovaných k roku 2005 aº na 8.7−9.3 milionu pacient· p°edvídaných k roku 2030 [3]. PN omezuje motoriku i celkovou kvalitu ºivota pacienta, který se postupn¥ stává zát¥ºí pro své okolí. Dobudoucna tedy PN p°edstavuje velký socio-ekonomický problém. Diagnostika i monitoring PN vyºaduje p°ítomnost pacienta ve zdravotnickém za°ízení. Telemedicínské aplikace pro posouzení PN jsou obvykle zaloºeny na detekci zjevných motorických p°íznak· ze signál· akcelerometru £i EMG. Tyto symptomy se v²ak za£ínají projevovat aº p°i 50 − 60% postiºení klí£ového mozkového centra [4, 5]. Náklady na snímací za°ízení, nutnost odborné asistence £i zát¥º pacienta pat°í mezi dal²í nevýhody p°ímého snímání motorických projev·. Oproti tomu po°ízení °e£ového signálu je neinvazivní, £asov¥ i technicky nenáro£né. Sou£asn¥ s tím lidská °e£ jako komplexní £innost re ektuje nejen du²evní tvorbu °e£i, ale také schopnost ovládat jemnou motoriku °e£ového aparátu a vyºaduje i správnou funkci v²ech jeho sou£ástí. Kaºdá porucha °e£ového ústrojí se tak projeví typickou poruchou °e£i. To £iní z °e£i kvalitní zdroj dat pro budoucí výzkum i aplikace nejen PN, ale i nap°. Huntingtonovy nemoci [6], Alzheimerovy nemoci [7], roztrou²ené sklerózy [8], schizofrenie [9] atd. Význam °e£ových poruch u PN pro nap°. brzkou diagnostiku [10, 11] £i monitoring progrese nemoci [12, 13] a odpov¥di na medikaci [14, 15] jiº byl p°edm¥tem studií. Hodnocení postiºení °e£i se v²ak opírá o £asov¥ náro£nou ru£ní segmentaci °e£ového signálu. Dal²ím logickým krokem do budoucna je tedy hodnocení automatizovat. Prezentovaná studie si klade za cíl navrhnout automatickou metodu pro hodnocení produkce pauz. Metoda zahrnuje robustní klasi kátor °e£ / pauza a sadu p°íznak·. Na rozdíl od b¥ºných detektor· °e£ové aktivity prezentovaný klasi kátor posuzuje °e£ a pauzu nikoliv na úrovni vnímání nýbrº na úrovni jejich skute£né fyziologické produkce. Li²í se tedy mnohem vy²²í citlivostí. Klasi kátory pro tyto ú£ely obvykle spo£ívají v prahování výkonové obálky empirickou konstantou [16], která je v²ak závislá na jakosti signálu. Pro automatickou klasi kaci byl publikován pouze jeden algoritmus [17], jeº klasi kuje na základ¥ odhadu této konstanty. Sada p°íznak· byla navrºena pro odli²ení zdravé °e£i a °e£i postiºené PN na základ¥ výstupu klasi kátoru.
2
Metoda
Databáze mluv£ích sestávala z kontrolní skupiny 23 zdravých mluv£í KS a skupiny 22 pacient· PN. Ob¥ skupiny byly pohlavím i v¥kov¥ vyváºené. V²ichni mluv£í spadají do v¥kové skupiny 50 − 80 let s pr·m¥rným v¥kem 65 let a sm¥rodatnou odchylkou 9.7 roku pro skupinu PN a s pr·m¥rným v¥kem 64 let a sm¥rodatnou odchylkou 10 let pro skupinu KS. Obsahem v²ech promluv byl standartizovaný £tený text o délce 80 slov. V²echny zvukové nahrávky byly ru£n¥ segmentovány na t°ídy °e£ / pauza. Hranice segment· byly stanoveny ze spektrogramu jako hranice zm¥n ve spektru. Prezentovaná metoda p°edpokládá multimodální logaritmicko-normální rozd¥lení parametr·: výkon signálu (P ), po£et pr·chod· nulou (ZCR ), rozptyl autokorela£ní funkce (ACR ) a melových kepstrálních koe cient· (MFCC ). Pro klasi kaci budeme uvaºovat t°ídy: zn¥lá °e£, nezn¥lá °e£, respirace, pauza. K odhadu parametr· normálního rozd¥lení t¥chto t°íd bylo pouºito EM-algoritmu. Abychom zvý²ili jakost informací za sou£asného sníºení dimenze dat, nebylo pouºito konven£ního okénkování s konstantní délkou okna nýbrº pruºné segmentace. Hranice okének stanoví automatický algoritmus z výstupu Autoregresního bayesovského detektoru zm¥n [18] jako nejvýznam¥j²í spektrální zm¥ny v okolí o délce dmin , jak je ilustrováno na obrázku (1). Délky okének mají prom¥nnou délku d ∈ < dmin ; 2 · dmin >. Odchylky hranic pruºné segmentace od hranic ru£n¥ segmentovaných vykazovaly nap°í£ celou databází normální rozd¥lení. Okénkování s konstantní délkou okna oproti tomu vykazuje vºdy rovnom¥rné rozd¥lení. Hranice pruºné segmentace se tedy blíºí lidskému rozhodování o hranicích segment·. e£ový signál vzorkovaný na 24kHz parametrizujeme v rámci okének pruºné segmentace. Zn¥lé sloºky °e£i odhadneme v prostoru (P, ZCR, ACR ), který nejlépe popisuje harmonicitu signálu. Ostatní t°ídy mají charakter ²umu a lze je výstiºn¥ji vyjád°it v prostoru MFCC. Samotná klasi kace je zaloºena na postupné separaci sloºek °e£i. Nejprve jsou separovány zn¥lé sloºky °e£i, poté nezn¥lé, respirace a pauzy. Konsonanty jsou velmi podobné respiraci, nicmén¥ v indoevropské jazykové skupin¥ se vyskytují v t¥sné blízkosti hlásek cca do 200ms. Na tomto principu spo£ívá vyhlazení rozhodování konsonant. Pro porovnání ú£inosti jsme implementovali téº konven£ní klasi kátor °e£ / pauza navrºený pro klasi kaci dysartrické °e£i [17]. K vyjád°ení fyziologických kvalit °e£ového projevu jsme navrhli sadu 22 p°íznak·. P°i °ádov¥ odli²ných délkách pauz se uplat¬ují odli²né orgány °e£ového aparátu (nap°. krátké pauzy - rty a jazyk, st°ední pauzy - téº hlasivky, dlouhé pauzy - navíc i respira£ní aparát). Pro pauzy jsme proto de novali následující £asové hranice: Minimální délku pauzy budeme uvaºovat od K
D
Y
L
O
V
f [kHz]
6 4 2 0
0.1
0.2
0.3
0.4
0.5
0.6
t [s] Obrázek 1: Spektrogram °e£ového signálu s vyzna£enými hranicemi pruºné segmentace (svislé £erné linie) pro parametr dmin = 20ms
15ms. Od této hranice po 50ms budeme hovo°it o krátkých pauzách, jejichº výskyt je vedlej²ím produktem artikulace - typicky na rozhraní zn¥lých a nezn¥lých foném·. Od 50ms do 100ms
budeme uvaºovat st°ední pauzy - ty mají význam jednak pro artikulaci explosív, jednak pro zvýrazn¥ní ko°en· sloºených slov. Pauzy od 100ms berme za dlouhé pauzy pro formální £len¥ní textu a vykonání respirace. Celá sada zahrnuje p°íznaky: • Základní: Po£et v²ech pauz (nP ), po£et v²ech krátkých pauz (nPk ), po£et st°edních pauz
(nPs ), po£et v²ech dlouhých pauz (nPd ) a st°ední artikula£ní rychlost (mVS ).
• Pom¥rná zastoupení: Pom¥r pauzy a °e£i (pPS ), zastoupení krátkých pauz (zPk ), za-
stoupení st°edních pauz (zPs ), zastoupení dlouhých pauz (zPd ) a zastoupení respirace (pRP ).
• Rychlost produkce: St°ední rytmus pauz (srP ), pom¥rná rytmicita respirace (prR ),
st°ední rychlost produkce pauz (mVP ), st°ední produkce krátkých pauz (mVPk ), st°ední produkce st°edních pauz (mVPs ) a st°ední produkce dlouhých pauz (mVPd ).
• Dynamiku produkce: Pom¥r produkce krátkých pauz (ppP ), akcelerace rytmu artiku-
lace (arA), akcelerace produkce pauz (aVP ), akcelerace produkce krátkých pauz (aVPk ), akcelerace produkce st°edních pauz (aVPs ) a akcelerace produkce dlouhých pauz (aVPd ).
Délka pauzy je pro sadu p°íznak· velmi d·leºitým údajem, proto ohodnocení klasi kátoru bere v potaz délku nalezených pauz podle de nice parametru s(l) ur£ené vztahem (1): P c(l) s(l) = 100. P , v(l)
(1)
kde c(l) zastupuje správn¥ detekované hranice pauz del²ích neº práh l. Pokud bylo detekováno více pauz del²ích prahu l neº o£ekáváme, pak hodnota v(l) bude zastupovat po£et po£et v²ech detekovaných pauz del²ích neº práh l. Pokud v²ak bylo detekováno mén¥ pauz neº o£ekáváme, pak bude hodnota v(l) zastupovat o£ekávaný po£et nalezených pauz. Hodnocení tak m·ºe sp°ísnit práv¥ p°ípadný nadbyte£ný £i podbyte£ný po£et pauz do jednoho výsledku. Pro lep²í £itelnost výsledné informace budeme hodnotit kumulativní ú£inností v závistlosti na rostoucí délce. P°íznaky byly hodnoceny nepárovým dvojvýb¥rovým t-testem.
3
Výsledky
Klasi kátor vykázal pro pauzy od 100ms ú£innost (> 50%) a pro pauzy od 200ms ú£innost (> 80%). P°i porovnání s konven£ním algoritmem [17] prosp¥l klasi kátor pro pauzy (< 100ms) o 20% vy²²í ú£inností a pro pauzy (> 100ms) o 10% vy²²í ú£inností. Skupina KS i PN zatíºila ob¥ hodnocené metody stejnorodou chybou ilustrovanou na obrázku (2). Z graf· je patrný p°edev²ím výrazný nár·st chybovosti pauz délek < 100; 200 > ms. P°í£inou je zna£ná podobnost parametr· n¥kterých konsonant s parametry pauz. Respirace byla detekována s ú£inností 75 − 85% se sm¥rodatnou odchylkou 16 − 25%. Testované promluvy obsahovaly ≈ 6 nádech· a kaºdá chyba detekce se tedy projeví silným propadem úsp¥²nosti. Ze sady 22 p°íznaku projevilo 15 p°íznak· statistickou významnost (p < 0.05). Výsledky jednotlivých p°íznak· ilustruje obrázek (3). Nejsigni kantn¥j²ím parametrem pro odli²ení °e£i PN jse zdá být sníºení rychlosti produkce pauz (p < 0.001). Ze skupiny základních charakteristik projevil nejvy²²í významnost (p < 0.01) niº²í po£et st°edních pauz u PN. V sad¥ rychlostních charakteristik obstály v²echny p°íznaky významnosti (p < 0.05) vyjma st°ední produkce krátkých pauz. St°ední rytmus pauz dosáhl hladiny (p < 0.01). Z hlediska pom¥rných zastoupení nelze p°ijmout za významné (p < 0.05) zastoupení st°edních a dlouhých pauz. Ve skupin¥ dynamických charakteristik nedostála významnosti (p < 0.05) pouze akcelerace produkce st°edních pauz.
(a)
(b)
100 20
Odchylka [%]
Úsp¥²nost [%]
80 60 40 KS prezentovaná m.
15
10 KS prezentovaná m.
PN prezentovaná m.
20
PN prezentovaná m.
KS konven£ní m.
0
50
100
150
200
250
KS konven£ní m.
5
PN konven£ní m.
300
PN konven£ní m.
50
100
Délka pauzy [ms]
150
200
250
300
Délka pauzy [ms]
Obrázek 2: a) pr·m¥rná úsp¥²nost prezentované metody ve skupin¥ KS (silná modrá) a skupin¥ PN (tenká £ervená) a pro konven£ní metodu ve skupin¥ KS (p°eru²ovaná silná modrá) a skupin¥ PN (p°eru²ovaná tenká £ervená) b) sm¥rodatná odchylka úspe²nosti prezentované metody ve skupin¥ KS (silná modrá) a skupin¥ PN (tenká £ervená) a pro konven£ní metodu ve skupin¥ KS (p°eru²ovaná silná modrá) a skupin¥ PN (p°eru²ovaná tenká £ervená)
(a)
80
(b)
*
KS PN
60
*
3 **
40
**
2
20
KS PN
4
*** *
1
nP
nPk
nPs
nPd
srP
mVS
prR
(c)
0.6
mVP mVPk mVPs mVPd (d)
0.8 *
*
KS PN
*
0.4 *
*
1
* **
0.5
*
KS PN *
0.2 0
pPS
zPk
zPs
zPd
pRP
ppP
arA
-aVP -aVPk -aVPs aVPd
Obrázek 3: Výsledné ohodnocení p°íznak· skupin KS (plná modrá) a PN (£ervená bez výpln¥): a) základní charakteristiky b) rychlost produkce c) pom¥rná zastoupení d) dynamika produkce t-test: ∗ p < 0.05, ∗∗ p < 0.01, ∗∗∗ p < 0.001
4
Diskuze
Význam¥ niº²í sníºení rychlosti produkce pauz u PN spolu se statisticky významným niº²ím po£tem st°edních pauz a pomalej²ím rytmem pauz poukazuje na niº²í rychlost °e£i u PN. Významn¥ niº²í hodnota p°íznaku akcelerace rytmu artikulace vypovídá o typickém zrychlování °e£i u PN. Tomu lze p°isoudit také zrychlení celkové produkce a produkce krátkých a dlouhých pauz. P°ihlédneme-li také k vy²²ímu zastoupení krátkých pauz a niº²ímu zastoupení st°edních pauz, d¥je se tak pravd¥podobn¥ zrychlování na úkor st°edních pauz. Tento poznatek v£etn¥ ostatních p°íznak· jiº byly p°edm¥tem studií [19]. V této studii se v²ak v²echny p°íznaky poda°ilo nov¥ vyjád°it a ohodnotit pln¥ automatickou metodou. Studie také zkoumala vliv respirace a bylo zji²t¥no vy²²í zastoupení respirace a vy²²í ovlivn¥ní rytmu pauz respirací u PN. To vzhledem k nesigni kantnímu po£tu dlouhých pauz i zastoupení dlouhých pauz sv¥d£í o postiºení respira£ního aparátu u PN.
5
Záv¥r
P°ínosy studie spo£ívají nejen ve zautomatizování hodnocení produkce pauz. Krom¥ jiº známých p°íznak· produkce pauz u PN (niº²í rychlost produkce pauz, niº²í rychlost artikulace a zrychlování °e£i) byly nalezeny i p°íznaky vy²²ího ovlivn¥ní pauz respirací a vy²²í zastoupení respirace v pauzách u PN. Klasi kátor je schopen rozli²it hlásky / konsonanty / pauzu / respiraci jako samostatné t°ídy, coº do budoucna roz²i°uje moºnou sadu p°íznak·. Dal²í uplatn¥ní metody lze o£ekávat i pro hodnocení produkce pauz u Huntingtonovy nemoci, která je z hlediska °e£ové poruchy protipólem PN. Metoda prezentovaná ve studii byla kompletn¥ implementována ve výpo£etním prost°edí MATLABr .
Pod¥kování Tento výzkum byl podpo°en projekty GAR 102/12/2230 a SGS 12/185/OHK4/3T/13.
Reference [1] Rajput, A. and Birdi, S. (1997) Epidemiology of Parkinson's disease, Parkinsonism and Related Disorders 3, 175186. [2] deRijk, M. C., Tzourio, C., Breteler, M. M., Dartigues, J. F., Amaducci, L., Lopez-Pousa, S., Manubens-Bertran, J. M., Alpérovitch, A., and Rocca, W. A. (1997) Prevalence of parkinsonism and parkinson's disease in Europe: the EUROPARKINSON Collaborative Study. European Community Concerted Action on the Epidemiology of parkinson's disease, Journal of Neurology, Neurosurgery and Psychiatry 62, 1015. [3] Dorsey, E. R., Constantinescu, R., Thompson, J. P., M.Biglan, K., Holloway, R. G., Kieburtz, K., Marshall, F. J., Ravina, B. M., Schi tto, G., Siderowf, A., and Tanner, C. M. (2006) Projected number of people with Parkinson disease in the most populous nations, 2005 through 2030, Neurology 68, 384-386. [4] Fearnley, J. M. and Lees, A. J. (1991) Ageing and parkinson's disease: substantia nigra regional selectivity, Brain 114, 2283-2301. [5] Marsden, C. D. (1992) Parkinson's Disease, Postgraduate Medical Journal 68, 538-543. [6] Rusz, J., Klempí°, J., Baborová, E., Tykalová, T., Majerová, V., mejla, R., R·ºi£ka, E., and Roth, J. (2013) Objective Acoustic Quanti cation of Phonatory Dysfunction in Huntington's Disease, PLOS ONE, 8 (6). [7] Ballard, K. J., Savage, S., Leyton, C. E., Vogel, A. P., Hornberger, M., et al. (2014) Logopenic and Non uent Variants of Primary Progressive Aphasia Are Dierentiated by Acoustic Measures of Speech Production, PLOS ONE, 9(2).
[8] Tjaden, K. and Wilding, G. (2011) Speech and pause characteristics associated with voluntary rate reduction in Parkinson's disease and Multiple Sclerosis, Journal of Communication Disorders 44, 655-665. [9] Nicolson, R., Lenane, M., Singaracharlu, S., Malaspina, D., Giedd, J. N., Hamburger, S. D., Gochman, P., Bedwell, J., Thaker, G. K., Fernandez, T., and Wudarsky, M. (2000) Premorbid Speech and Language Impairments in Childhood-Onset Schizophrenia: Association With Risk Factors, The American Journal of Psychiatry, 157(5). [10] Harel, B. T., Cannizzaro, M. S., Cohen, H., and Reilly N, a. S. P. J. (2004) Acoustic characteristics of Parkinsonian speech: A potential biomarker of early disease progression and treatment, Journal of Neurolinguistics 17, 439-453. [11] Rusz, J., mejla, R., R·ºi£ková, H., and R·ºi£ka, E. (2011) Quantitative acoustic measurements for characterisation of voice and speech disorders in early untreated Parkinson's disease, The Journal of the Acoustical Society of America 129, 350-367. [12] Maetzler, W., Liepelt, I., and Berg, D. (2009) Progression of Parkinson's disease in the clinical phase: potential markers, The Lancet Neurology 8, 1158-1171. [13] Skodda, S., R, H., and Schlegel, U. (2009) Progression of dysprosody in Parkinson's disease over timea longitudinal study, Movement Disorders 24, 716-722. [14] Ho, A. K., Iansek, R., Marigliani, C., Bradshaw, J., and Gates, S. (1998) Speech impairment in large sample of pacients with Parkinson's disease, Behavioural Neurology 11, 131-137. [15] Rusz, J., mejla, R., R·ºi£ková, H., R·ºi£ka, E., Klempí°, J., Majerová, V., Picmausová, J., and Roth, J. (2012) Evaluation of speech impairment in early stages of Parkinson's disease: a prospective study with the role of pharmacotherapy, Journal of Neural Transmission 120, 319-329. [16] Green, J. R., Beukelman, D. R., and Ball, L. J. (2004) Algorithmic Estimation of Pauses in Extended Speech Samples of Dysarthric and Typical Speech, Journal of medical speech-language pathology 12, 149 - 154. [17] Rosen, K., Murdoch, B., Folker, J., Vogel, A., Cahill, L., Delatycki, M., and Corben, L. (2010) Automatic method of pause measurement for normal and dysarthric speech, Clinical Linguistics and Phonetics 24, 141 - 154. [18] mejla, R., Rusz, J., Bergl, P., and Vok°ál, J. (2013) Bayesian changepoint detection for the automatic assessment of uency, and articulatory disorders, Speech Communication 55, 178-189. [19] Skodda, S. and Schlegel, U. (2008) Speech rate and rhythm in Parkinson's disease, Movement Disorders 23, 985-992.
Jan Hlavni£ka e-mail:
[email protected]
