Klasifikace Landau-Kleffnerova syndromu

Klasifikace Landau-Kleffnerova syndromu mal´ ych dˇ et´ı Petr Zlatn´ık ˇ CVUT FEL, K13131 Katedra teorie obvod˚ u

1. Abstrakt Tento pˇr´ıspˇevˇek pojedn´av´a o klasifikaci Landau-Kleffnerova syndromu, kter´ y se projevuje u mal´ ych dˇet´ı. Dan´ y probl´em je ˇreˇsen ve spolupr´aci s Fakultn´ı nemocnic´ı v Motole, kde jsou nahr´av´any ˇreˇcov´e promluvy od postiˇzen´ ych dˇet´ı. Syndrom lze detekovat a klasifikovat jednak ze sign´alu mozkov´e aktivity (EEG) nebo testov´an´ım promluv. Zde je vyuˇz´ıv´ano testov´an´ı a porovn´av´an´ı promluv s promluvami od zdrav´ ych dˇet´ı pomoc´ı princip˚ u rozpozn´avaˇc˚ u ˇreˇci. Do budoucna by mˇela vzniknout metoda, kter´a bude schopna jednak porovn´an´ım se zdrav´ ymi dˇetmi urˇcit jak hodnˇe je dan´e d´ıtˇe postiˇzen´e a mˇela by b´ yt schopna rozliˇsit, zda se syndrom u postiˇzen´eho d´ıtˇete l´eˇcbou lepˇs´ı ˇci ne. Uveden´e algoritmy jsou naprogramov´any v Matlabu verze 6.0.0.88. Pro pr´aci s datab´azema ˇreˇcov´ ych promluv byl vyuˇzit Cool Edit 2000.

´ 2. Uvod Landau-Kleffner˚ uv syndrom je vz´acn´a nemoc, kter´a se projevuje zˇr´ıdka u mal´ ych dˇet´ı mezi tˇret´ım aˇz sedm´ ym rokem. Jedn´a se o n´ahlou nebo postupnou poruchu t´e ˇc´asti mozku, kter´a zodpov´ıd´a za porozumˇen´ı a v´ yslovnost ˇreˇci. Dan´ y syndrom se tedy projevuje abnorm´aln´ımi stavy v EEG sign´alu. Pomoc´ı tohoto sign´alu je skuteˇcnˇe ve vˇetˇsinˇe pˇr´ıpad˚ u tento syndrom l´ekaˇri sledov´an a klasifikov´an. Typicky se dan´e d´ıtˇe nejprve vyv´ıj´ı norm´alnˇe a okolo tˇret´ıho roku se zaˇcne dan´ y syndrom projevovat neschopnost´ı d´ıtˇete pˇresnˇe zopakovat ˇreˇcen´e slovo a vˇetu, m´a probl´emy s v´ yslovnost´ı a m˚ uˇze m´ıt probl´emy s uˇcen´ım. V extr´emn´ıch pˇr´ıpadech d´ıtˇe nerozum´ı ani sv´emu vlastn´ımu jm´enu a t´ım se jev´ı na prvn´ı pohled jako sluchovˇe postiˇzen´e, nen´ı schopn´e rozeznat okoln´ı zvuky, jako je telefon. S t´ım souvis´ı stavy depres´ı, podr´aˇzdˇenosti a neschopnosti se soustˇredit.

3. Pouˇ zit´ e metody klasifikace 3.1. Porovn´ an´ı d´ elek okluze ve slovech Prvn´ı pokusy pˇri klasifikaci Landau-Kleffnerova syndromu vedly k tomu, ˇze byl pˇredpoklad vˇetˇs´ı d´elky okluze vybran´ ych slov nemocn´ ych dˇet´ı oproti zdrav´ ym. Okluze je speci´aln´ı typ souhl´asky. Souhl´aska obecnˇe je vytv´aˇrena vzduchovou turbulenc´ı vznikaj´ıc´ı tˇren´ım proudu vzduchu pˇri v´ ydechu o pˇrek´aˇzku, kterou tvoˇr´ı artikulaˇcn´ı org´any jako napˇr´ıklad rty, zuby nebo ˇspiˇcka jazyka. Pokud je pˇrek´aˇzka u ´pln´a (naz´ yv´a se tak´e z´avˇer), vznik´a v okamˇziku jej´ıho pˇreruˇsen´ı kr´atk´ y ˇsum, kter´ y se podob´a v´ ybuchu, explozi. Souhl´asky, kter´e vznikaj´ı pˇri vyuˇzit´ı u ´pln´e pˇrek´aˇzky se naz´ yvaj´ı okluze. Mezi nˇe patˇr´ı m, n, n ˇ, g, d, d’, b, p, t, t’, k. Protoˇze nemocn´e dˇeti maj´ı probl´emy s vysloven´ım slova a jejich reakce pˇri opakov´an´ı dan´eho slova je vˇetˇsinou pomalejˇs´ı neˇz u zdrav´ ych dˇet´ı, byl pˇredpoklad, ˇze bude vˇetˇs´ı d´elka okluze jednotliv´ ych hl´asek ve vybran´ ych slovech neˇz je tomu u zdrav´ ych dˇet´ı. Dan´a myˇslenka byla testov´ana na slovˇe ’pap´ır’, kde se testovala ve spektrogramu d´elka okluze ’p’. Pr˚ ubˇeh je na obr´azku 1, kde je dan´a d´elka na ˇcasov´e ose vyznaˇcena dvˇema svisl´ ymi ˇcarami. Pr˚ ubˇeh spektrogramu je z promluvy zdrav´eho d´ıtˇete.

Obr´azek 1: Spektrogram slova ’pap´ır’ s vyznaˇcen´ım d´elky okluze Bohuˇzel d´elka okluz´ı nemocn´ ych dˇet´ı nen´ı vˇetˇs´ı v porovn´an´ı se zdrav´ ymi. Z poslechu jednotliv´ ych promluv bylo zjiˇstˇeno, ˇze to je d´ano t´ım, ˇze nemocn´e dˇeti ˇreknou hl´asku ’p’ stejnˇe rychle jako zdrav´e, ale uˇz nejsou schopn´e vyslovit spr´avnˇe hl´asku ’r’ na konci slova.

Danou metodu proto nelze vyuˇz´ıt.

3.2. Vyuˇ zit´ı algoritmu borcen´ı ˇ casov´ e osy (DTW) Dalˇs´ı moˇznost pro klasifikaci syndromu bylo vyuˇzit´ı algoritmu borcen´ı ˇcasov´e osy (DTW, Dynamic Time Warping). Tento algoritmus byl pops´an v mnoha publikac´ıch, proto je zde o nˇem zm´ınˇeno struˇcnˇe, pro tyto u ´ˇcely se vych´azelo z [3]. Nejprve bylo nutno natr´enovat pr˚ umˇern´e modely jednotliv´ ych referenˇcn´ıch slov z promluv od co nejv´ıce zdrav´ ych dˇet´ı, bylo jich k dispozici pˇribliˇznˇe tˇricet. Toho se dos´ahlo t´ımto zp˚ usobem. Jednotliv´e promluvy byly nasegmentov´any na ˇcasov´e u ´seky 10 ms. Kaˇzd´ y ze segment˚ u byl pops´an jeden´acti LPC koeficienty pomoc´ı Burgova algoritmu, kter´e byly d´ale pˇrevedeny na kepstr´aln´ı. Protoˇze kaˇzd´e d´ıtˇe namluv´ı stejn´e slovo r˚ uznˇe rychle, tak se samozˇrejmˇe kaˇzd´ y model referenˇcn´ıho slova skl´adal z r˚ uzn´eho poˇctu segment˚ u pˇri dodrˇzen´ı kroku segmentace 10 ms. Proto bylo nutn´e normovat kaˇzd´ y model na pr˚ umˇern´ y poˇcet segment˚ u, aby ˇsel vypoˇc´ıtat pr˚ umˇern´ y model kaˇzd´eho slova ze vˇsech dˇet´ı. Toho se dos´ahlo pomoc´ı vztah˚ u v [3]. Nakonec byl vypoˇc´ıt´an pr˚ umˇern´ y model. Stejn´ ym zp˚ usobem bylo pops´ano slovo od nemocn´eho d´ıtˇete vˇcetnˇe v´ yˇse popsan´eho pr˚ umˇerov´an´ı. Potom jiˇz bylo moˇzn´e vypoˇc´ıtat matici kepstr´aln´ıch vzd´alenost´ı, v´ ypoˇcet byl proveden pomoc´ı klasick´ ych Euklidovsk´ ych vzd´alenost´ı. Tato matice byla proch´azena ve smˇeru nejmenˇs´ı vzd´alenosti z jednoho rohu do protˇejˇs´ıho (neb´ yv´a smˇer po u ´hlopˇr´ıˇcce, ale po obecn´e kˇrivce), jak je naznaˇceno na obr´azku 2 a byl vypoˇc´ıt´an naakumulovan´y souˇcet minim´aln´ıch kepstr´ aln´ıch vzd´ alenost´ı S, kter´ y lze matematicky popsat jako

Obr´azek 2: Pr˚ uchod matice kepstr´aln´ıch vzd´alenost´ı

Tento v´ ypoˇcet se prov´ad´ı v cyklu, tedy po postoupen´ı na dalˇs´ı pol´ıˇcko se prov´ad´ı znovu v´ ypoˇcet souˇctu kepstr´aln´ıch vzd´alenost´ı pro 3 nebliˇzˇs´ı okoln´ı pol´ıˇcka (S1, S2, S3) aˇz do pr˚ uchodu celou matic´ı, tzn. od roku 1,1 do rohu M, N , kde M, N jsou poˇcty segment˚ u referenˇcn´ıho a srovn´avan´eho sign´alu. V m´em pˇr´ıpadˇe samozˇrejmˇe M = N , protoˇze je jak pr˚ umˇern´ y model tak i testovan´e slovo normov´ano na pr˚ umˇern´ y poˇcet segment˚ u. Byl

pˇredpoklad, ˇze kdyˇz se budou s pr˚ umˇern´ ym modelem porovn´avat jednotliv´a slova od zdrav´ ych dˇet´ı, tak v matici kepstr´aln´ıch vzd´alenost´ı p˚ ujde vymezit oblast zdrav´ ych dˇet´ı a testovat, zda nemocn´e d´ıtˇe spadne dovnitˇr nebo ne. Pokud spadne vnˇe, tak se jedn´a o nemocn´e d´ıtˇe. Bohuˇzel se tato domnˇenka nepotvrdila. Pˇri porovn´an´ı nemocn´eho d´ıtˇete s pr˚ umˇern´ ym modelem doch´azelo k tomu, ˇze pr˚ uchod matic´ı byl v´ıce po u ´hlopˇr´ıˇcce neˇz pˇri porovn´an´ı zdrav´eho d´ıtˇete. Pˇri porovn´av´an´ı nemocn´ ych dˇet´ı s pr˚ umˇern´ ym modelem vˇsak ve vˇetˇsinˇe pˇr´ıpad˚ u byla podstatnˇe vˇetˇs´ı celkov´a naakumulovan´ a vzd´ alenost S neˇz pˇri porovn´av´an´ı se zdrav´ ymi. Proto se bylo ub´ır´ano t´ımto smˇerem. Metoda ale nebyla stoprocentnˇe korektn´ı. Algoritmus DTW vykazoval neschopnost rozpozn´an´ı napˇr´ıklad nevysloven´ı jedn´e hl´asky ve slovˇe. Kdyˇz zdrav´e d´ıtˇe vyslovilo slovo ’mateˇr´ıdouˇska’ pomaleji neˇz vˇetˇsina dˇet´ı z kter´ ych byl poˇc´ıt´an pr˚ umˇern´ y model, tak celkov´a naakumulovan´a vzd´alenost byla vysok´a a algoritmus oznaˇcil zdrav´e d´ıtˇe chybnˇe jako nemocn´e. Pokud ale nemocn´e d´ıtˇe vyslovilo ’matouˇska’ m´ısto ’mateˇr´ıdouˇska’, doch´azelo k tomu, ˇze vzd´alenost byla n´ızk´a a algoritmus oznaˇcil chybnˇe naopak nemocn´e d´ıtˇe za zdrav´e. Protoˇze ani tato metoda nen´ı pˇr´ıliˇs spolehliv´a, byla vyzkouˇsena metoda zaloˇzen´a na trochu jin´em principu.

3.3. Testov´ an´ı odchylek kepstr´ aln´ıch koeficient˚ u Jak jiˇz bylo uvedeno v´ yˇse, algoritmus DTW nen´ı spolehliv´ y. Proto byla vyzkouˇsena jeˇstˇe jedna moˇznost klasifikace vych´azej´ıc´ı ze z´akladu algoritmu DTW. Jednotliv´e promluvy od zdrav´ ych i nemocn´ ych dˇet´ı byly opˇet segmentov´any s d´elkou ˇcasov´eho u ´seku 10 ms. Kaˇzd´ y segment byl pops´an jeden´acti kepstr´aln´ımi koeficienty a bylo provedeno normov´an´ı na pr˚ umˇern´ y poˇcet segment˚ u pro jednotliv´a slova a mluvˇc´ı. Pro testovan´e slovo se z promluv vˇsech zdrav´ ych dˇet´ı urˇcila nejmenˇs´ı a nejvˇetˇs´ı hodnota kaˇzd´eho kepstr´aln´ıho koeficientu ve vˇsech segmentech a t´ım vznikly intervaly koeficient˚ u zdrav´ ych dˇet´ı. Potom bylo porovn´av´ano, kolik hodnot kepstr´aln´ıch koeficient˚ u nemocn´eho d´ıtˇete pˇres vˇsechny segmenty spadne mimo intervaly definovan´e zdrav´ ymi dˇetmi a kolik dovnitˇr. Poˇcet hodnot koeficient˚ u padaj´ıc´ıch mimo je u ´mˇern´ y stupni postiˇzen´ı dan´eho d´ıtˇete. Ani tento algoritmus vˇsak nen´ı schopen spolehlivˇe rozliˇsit zdrav´e d´ıtˇe od nemocn´eho. Probl´em je opˇet v tom, jako u DTW, ˇze pokud vˇetˇsina dˇet´ı tr´enovac´ı datab´aze namluv´ı urˇcit´e slovo pˇribliˇznˇe stejnˇe rychle, pak pˇri klasifikaci slova od d´ıtˇete kter´e ho namluv´ı pomaleji dojde k oznaˇcen´ı zdrav´eho d´ıtˇete za nemocn´e. Naopak pokud nemocn´e d´ıtˇe vypust´ı ve slovˇe hl´asku, obˇcas doch´az´ı k tomu, ˇze to algoritmus nezaznamen´a a naopak klasifikuje nemocn´e d´ıtˇe za zdrav´e.

4. Zhodnocen´ı Na z´avˇer lze konstatovat, ˇze srovn´av´an´ı d´elek okluze u zdrav´ ych a nemocn´ ych dˇet´ı nelze

vyuˇz´ıt. Neprok´azalo se, ˇze by byla u nemocn´ ych dˇet´ı vˇetˇs´ı d´elka. Bylo zjiˇstˇeno, ˇze jej´ı d´elka z´avis´ı pˇredevˇs´ım na tom, jak rychle dan´e d´ıtˇe testovan´e slovo vyslov´ı. Algoritmus DTW je nespolehliv´ y, pro nˇekter´a slova v´ıce, pro nˇekter´a m´enˇe, neuvaˇzuje se dalˇs´ı jeho vyuˇzit´ı v t´eto podobˇe pro dalˇs´ı pr´aci. Testov´an´ı odchylek kepstr´aln´ıch koeficient˚ u opˇet nen´ı spolehliv´e. Dan´ y algoritmus byl testov´an jiˇz na rozˇs´ıˇren´e datab´azi, jak na delˇs´ıch slovech jako je ’mateˇr´ıdouˇska’, ’televize’, tak i na kratˇs´ıch slovech kter´a se obt´ıˇznˇe vyslovuj´ı jako je ’krk’, ale i na jednotliv´ ych souhl´ask´ach a samohl´ask´ach. Pro dalˇs´ı pr´aci by bylo vhodn´e rozˇs´ıˇrit datab´azi jak zdrav´ ych tak i nemocn´ ych dˇet´ı a algoritmus otesovat znova. Srovn´an´ı u ´spˇeˇsnosti rozliˇsen´ı vˇsech tˇr´ı algoritm˚ u zdrav´ ych dˇet´ı od nemocn´ ych v % je v tabulce 1. SLOVO KRK MOTOVIDLO TELEVIZE POPELNICE ˇ ´IDOUSKA ˇ MATER ´ R˚ UZNOBAREVNY

*1 35 -

*2 96 83 97 83 67 67

*3 83 66 83 66 66 66

Tabulka 1: Tabulka u ´spˇeˇsnosti v % vˇsech tˇr´ı algoritm˚ u

´ eˇsnost srovn´av´an´ı d´elek okluze v % pro slovo ’popelnice’ pozn.: *1 - Uspˇ ´ eˇsnost algoritmu DTW pro r˚ pozn.: *2 - Uspˇ uzn´a slova v % ´ pozn.: *3 - Uspˇeˇsnost testov´an´ı odchylek kepstr´aln´ıch koeficient˚ u pro r˚ uzn´a slova v %

5. V´ yhled pro dalˇ s´ı pr´ aci Ve v´ yhledu je poˇc´ıt´ano s t´ım, ˇze bude vyuˇzit rozpozn´avaˇc na principu skryt´ ych Markovov´ ych model˚ u (HMM) s vyuˇzit´ım softwaru HTK. Zde je pˇredpoklad, ˇze narozd´ıl od v´ yˇse popisovan´ ych algoritm˚ u bude schopen l´epe rozliˇsovat a popisovat jednotliv´e hl´asky ve slovech a nebude doch´azet tolik ˇcasto k tomu, ˇze bude oznaˇceno zdrav´e d´ıtˇe za nemocn´e a naopak.

6. Podˇ ekov´ an´ı Tato pr´ace je podporov´ana grantem ˇc. 13131/13/03016 ”Modelov´an´ı biologick´ ych a ˇreˇcov´ ych sign´al˚ u” a v´ yzkumn´ ym z´amˇerem ˇc. 102/03/H085.

7. Literatura [1] P. Sovka, P. Poll´ak : Vybran´e metody ˇc´ıslicov´eho zpracov´ an´ı sign´ al˚ u. Ediˇcn´ı stˇredisko ˇ CVUT Praha, 2001 ˇ ıslicov´e zpracov´ [2] V. Dav´ıdek, P. Sovka : C´ an´ı sign´ al˚ u a implementace. Vydavatelstv´ı ˇ CVUT Praha, 2002 [3] J. Psutka: Komunikace s poˇc´ıtaˇcem mluvenou ˇreˇc´ı. Vydala Academia Praha, 1995, tisk CENTA, spol. s. r. o., Veveˇr´ı 39, Brno

8. Kontaktn´ı informace Ing. Petr Zlatn´ık ˇ e vysok´e uˇcen´ı technick´e v Praze Cesk´ ˇ ˇ a republika CVUT FEL K13131, Technick´a 2, 166 27 Praha 6, Cesk´ Tel.: (+420) 22435 2820 E-mail: [email protected]