Strategie ACE využívající virtuální elektrody v kochleárních implantátech Nucleus® 24 Martin Vondrášek České vysoké učení v Praze, Fakulta elektrotechnická
[email protected] Abstrakt: Kochleární implantát je elektronické zařízení, které nahrazuje sluchový vjem pacientům s těžkou sluchovou vadou pomocí stimulace sluchového nervu proudovými pulsy. Tento příspěvek se zabývá implementací virtuálních elektrod v kochleárních implantátech Nucleus® 24 do standardního řečového algoritmu ACE. Algoritmus ACEv využívající virtuální elektrody byl optimalizován s použitím simulací a testech na slyšících dobrovolnících. Poslechové testy a subjektivní poslech hudby na pacientech s kochleárními implantáty prokázaly zlepšení vnímání řeči a hudby.
1.
Úvod
Kochleární implantát [1] je elektronické zařízení zprostředkující sluchové vjemy pacientům s těžkou sluchovou vadou. Sluchové vjemy jsou vyvolávány přímou elektrickou stimulací sluchového nervu proudovými impulsy uvnitř hlemýždě. Algoritmus převodu akustického signálu na sled proudových impulsů je nazýván kódovací strategií. V současnosti jsou firmou Cochlear používány tři typy kódovacích strategií ACE, CIS a SPEAK. Algoritmy implementující kódovací strategie jsou uloženy v řečovém procesoru. Vlastní stimulace je prováděna implantátem, jehož tělo je umístněno na hlavě pod kůží pacienta, přičemž sada elektrod je zavedena do hlemýždě.
1.
Implementace virtuálních elektrod do strategie ACE
Algoritmus řečové strategie ACEv je uveden na obrázku 1. Vstupní řečový signál je rozdělen na segmenty v bloku „segmentation“. Na každý zpracovávaný segment je poté aplikována Fourierova transformace (blok FFT). Následující krok představuje filtraci ve spektru s použitím 43 filtrů. Ve standardní strategii ACE je řeč zpracovávána jen 22 filtry (na obr. 1 bez „v“). Sluchový vjem pacienta je tak teoreticky složen z 22 různých tónů. PP 1 virtual electrodes setting
PP 1v
x[t]
electrode 1 segmentation
FFT
PP 2
energy calculation
Band selection
LGF
channel mapping electrode 22
PP 21v
patient setting
PP 22
Obr 1: Blokové schéma strategie ACE s virtuálními elektrodami.
To je obvykle dostatečné množství pro rozlišení řeči, ale pro rozlišení mluvčího či hudby velmi málo. Pokud mezi každými dvěmi fyzickými elektrodami vytvoříme jedu elektrodu virtuální, dostaneme tak 43 elektrod a 43 různých tónů Zpracování řeči tak bude probíhat rovněž ve 43 pásmech. Filtry označené s „v“ odpovídají virtuálním elektrodám. V bloku „Energy calculation“ je na každém výstupu filtru určena velikost energie odpovídající příslušnému frekvenčnímu pásmu. Blok „band selection“ představuje algoritmus výběru informací podstatných pro dobrou srozumitelnost. Ve standardní strategii ACE představuje tento algoritmus prostý výběr M pásem s maximální energií. Pro použití ve strategii ACEv není tento algoritmu vhodný z důvodů popsaných v [4, 7]. Blok „band selection“ byl optimalizován s ohledem na upravenou banku filtrů a minimalizace ovlivnění hlasitosti sluchového vjemu při použití virtuálních elektrod [7]. Blokové schéma algoritmu výběru pásem je uvedeno na obrázku 2. START sort bands according to energy (E(1) is band with highest energy)
S=0 (selected maxima) M=maxima to select i=1
band with E(1) is selected as the maximum S=S+1 i=i+1
YES END
Cycle: M=S ?
NO
has the maximum E(i) less then 2 neighbor ?
NO
i=i+1 continue Cycle
YES
NO has the maximum E(i) less then 1 neighbor ?
YES
NO
is E(i)> 0.7* energy of the neighbor ?
YES
band E(i) is selected as the maximum
band E(i) is selected as the maximum
S=S+1
S=S+1
Obr 2: Blokové schéma algoritmu výběru pásem. Blok „LGF“ je převzat beze změny ze standardní strategie ACE a představuje logaritmickou závislost mezi velikostí stimulačního proudu a hlasitostí vnímané řeči u pacientů s kochleárními implantáty. V případě simulací a testů se slyšícími dobrovolníky byl tento blok vynechán. Posledním blokem na obrázku 1 je blok „channel mapping“ spolu s bloky individuálního nastavení pacienta („patient setting“ a „virtual electrode setting“). Tento blok přestavuje
převod velikosti stimulačních pulsů do dynamického rozsahu pacienta. Pro určení individuálních parametrů byl vytvořen program „Programming Tool“ [7].
2.
Ověření algoritmu simulací
Pro porovnání strategie ACE a ACEv byla použita kepstrální vzdálenost. Výstup obou porovnávaných strategií byl zpětně rekonstruován na řeč [7]. Oba rekonstruované řečové signály byly porovnávány s původní řečí. Jako vstup byla použita Česká řečová audiometrická databáze. Porovnání probíhalo zvlášť pro znělé a neznělé řečové úseky a pro šumové pozadí. Výsledná průměrná kepstrální vzdálenost je uvedena na obrázku 3, v závislosti na počtu přenášených maxim. Z uvedených výsledků vyplývá, že strategie ACEv podstatně lépe zpracovává neznělé úseky řeči a šumové pozadí. Porovnání bylo prováděno v programovém prostředí Matlab s použitím Nukleus Matlab Toolboxu [2, 3]. unvoiced ACE
unvoiced ACEv
4,8
voiced ACEv
5
8
3,8 3,7 Cepstral distance [dB]
4,7 Cepstral distance [dB]
voiced ACE
4,6 4,5 4,4 4,3 4,2
3,6 3,5 3,4 3,3 3,2 3,1 3,0 2,9
4,1
2,8 1
2
3
4
5
6
7
8
9
10
11
12
13
14
1
2
3
4
Maxima
6
7
9
10
11
12
13
14
Maxima
a)
b) pauses ACE
pauses ACEv
5
8
4,6
Cepstral distance [dB]
4,5 4,4 4,3 4,2 4,1 4,0 3,9 3,8 1
2
3
4
6
7
9
10
11
12
13
14
Maxima
c) Obr 3: Průměrná kepstrální vzdálenost pro znělé a neznělé úseky řeči a pro šumové pozadí.
3.
Testy se slyšícími dobrovolníky
Pro slyšící pacienty byla použita databáze „Percepce řeči sluchem“, standardně používaná pro vyšetření sluchu u sluchově postižených osob (pacienti používající naslouchátka i kochleární implantáty). Testy se slyšícími dobrovolníky byly prováděny v rámci diplomové práce [6]. Dosažená procentuální úspěšnost správných odpovědí je uvedena v následující tabulce. Poslechové skóre se s výjimkou pacienta „N“ nezměnilo nebo zlepšilo.
Pacient E F H I J K L M N O P Q
ACE [%] 97 100 100 95 100 95 96 95 95 89 93 95
ACEv [%] 97 100 100 97 100 97 98 99 93 97 98 99
Tab 1: Procentuální úspěšnost poslechových testů, dobrovolníci.
4.
Testy s pacienty s kochleárními implantáty
Pro testy s pacienty s kochleárními implantáty byla použita stejná databáze jako v případě testů se slyšícími dobrovolníky. Pro případ pacientů s kochleárními implantáty byly použity rozsáhlejší a časově náročnější testy. Procentuální úspěšnost čtyř testovaných pacientů je uvedena v následující tabulce. U pacientů A a C došlo k zlepšení poslechového skóre o 5 a 10 %. U těchto pacientů bylo v minulosti dosaženo velmi dobrého rozlišení frekvencí generovaných standardní a virtuální elektrodou. Pacienti B a D dosáhli stejného nebo nepatrně vyššího poslechového skóre. Tito pacienti v předcházejících testech hůře rozlišovali standardní a virtuální elektrody [7]. Pacient A B C D
ACE 80 91 78 90
ACEv 85 92 84 90
Tab 2: Procentuální úspěšnost poslechových testů, pacienti. Pacienti s kochleárními implantáty byli dále testováni na rozpoznání hudby. V prvním případě bylo vybráno deset hudebních nástrojů a pro každý byla nahrána chromatická stupnice. Poté byla tato stupnice zpracována strategií ACE i ACEv a prezentována pacientům. Pacienti rozhodovali která strategie lépe prezentuje stoupající melodii a zda je zvuk více či méně podobný skutečnému nástroji (všichni testovaní pacienti byli postlingválně ohluchlí). Preference pacientů („s“ – standardní straetgie ACE, „v“ -ACEv a „N“ – bez preference) je shrnuta v tabulce 3. piano varhany kytara viola struna trumpeta clarinet flétna synthetik xylophone Pacient A B C D
V N S N
V V V V
V S V V
V S S S
V S V N
N S V N
S V N V
S S V S
Tab 3: Rozpoznání hudebních nástrojů, pacienti.
V N V V
V S V V
S:V:N 2:6:2 6:2:2 2:7:1 2:5:3
Pro porovnání souvislé řeči a hudby bylo vybráno deset ukázek řeči (divadelní hry a pohádky) a dvacet hudebních ukázek všech žánrů. Pacientům byly postupně prezentovány všechny ukázky zpracované strategií ACE a ACEv. Pacienti preferovali strategii ACEv pro její lepší reprezentaci melodie řeči i hudby. Na druhé straně strategie ACEv zněla poněkud „metalicky“. Řeč prezentovaná strategií ACEv měla navíc vyšší F0. Oba výše prezentované nedostatky by mohly být odstraněny optimalizací použité banky filtrů a také delším zácvikem pacientů. Testované osoby totiž porovnávaly strategii kterou běžně používají se strategií kterou mohli slyšet jen v laboratoři v průběhu testů.
5.
Závěr
Virtuální elektrody byly implementovány do řečové strategie ACE. Použití virtuálních elektrod ve strategii ACE s sebou přináší problémy, které ale lze uspokojivě řešit. Výsledná řečová strategie pak umožňuje lepší frekvenční rozlišení v porovnání se standardní strategií ACE. Standardní strategie ACE i ACE s virtuálními elektrodami byly testovány na kvalitu řeči s hlediska její přirozenosti a srozumitelnosti pomocí simulací testů na slyšících dobrovolnících a na pacientech s kochleárními implantáty. Obě strategie budou rovněž porovnány na ukázkách hudebních nástrojů, souvislé řeči a ukázkách hudby.
6.
Poděkování
Tato práce vznikla za podpory výzkumného záměru “Transdisciplinární výzkum v biomedicínském inženýrství 2” č. MSM 6840770012 a grantem ” Modelování biologických a řečových signálů”, č 102/03/H085 Českého vysokého učení technického v Praze.
Reference [1] CLARK, G. Cochlear implants, fundamentals and applications. New York: Springer NY, 2003. 830 p. ISBN 0-387-95583-6. [2] Nucleus Reference manual. Cochlear Ltd. Australia, 2001. N94359F ISSI. [3] Swanson, B. Nucleus Matlab Neural Toolbox. Cochlear Ltd. Australia, 2004. [4] M. Vondrášek, T. Tichý, P Sovka.Virtual Electrodes in Nucleus® 24 Implant. NIC Workshop 2006, Nechrlen, Belgium 2006. [5] Vondrášek, M. - Tichý, T. - Sovka, P.: Virtual Electrodes Discrimination in NucleusR 24 Cochlear Implant. In Applied Electronics 2006. Plzeň: ZČU Plzeň, 2006, s. 229-232. ISBN 80-7043-442-2. [6] Zralíková, V.: Porovnání řečových strategií pro kochleární implantáty Nucleus® 24, Thesis, ČVUT-FEL, 2007. [7] Vondrášek, M.: Speech Preprocessing for Cochlear implants. Doctoral Thesis, CTU Prague 2007.
