Technologie počítačového zpracování řeči

hlasová komunikace pod kontrolou

Technologie počítačového zpracování řeči Pavel Cenek OptimSys, s.r.o.

5. odborný seminář Teorie a praxe IP telefonie Praha, 5. – 6. prosince 2012

Řečové technologie přehled a charakteristika

Copyright © 2012 OptimSys, s.r.o.

2

Řečové technologie Text

Syntéza řeči

Řeč

Rozpoznávání řeči

Rozpoznávání řečníka (Hlasová biometrie)

Jméno řečníka Jiří Černý Mluví Jiří Černý? Ano / Ne

Detekce řečové aktivity

Hranice řeči a ticha 5,152 s; 8,132 s; 14,26 s

Řeč

Identifikace jazyka Odhad Rozpoznávání pohlaví / řeči věku Odhad emocí Copyright © 2012 OptimSys, s.r.o.

Význam řeči Odkud: Brno, Kam: Aš Přepis řeči na text Dobrý den, chtěl bych... Detekce klíčových slov konkurence (15,268 s)

Jazyk Česky / Polsky / .. Pohlaví / Věk Muž, ~ 30 let Emoční stav Naštvaný / Veselý / ... 3

Charakteristiky Zpracování/generování streamu („on-the-fly“) Zpracování/generování nahrávky („off-line“) ●

Některé technologie jazykově závislé

●

Většinou nezávislé na mluvčím

●

Komplexní algoritmy pracující s velkým množstvím dat ◦

●

Náročné na výkon CPU a paměť

Algoritmy založené na pravděpodobnosti, strojovém učení, neuronových sítích ◦

Je třeba počítat s chybovostí

◦

Je třeba mít kvalitní data pro učení ▪

Příprava vyžaduje dost ruční práce


4

Syntéza řeči ●

Text-to-speech (TTS)

●

Generuje přirozeně znějící řeč z textu

●

Vstup: (označkovaný) text

●

Výstup: audio

●

Kvalita blížící se běžné lidské řeči s výbornou srozumitelností

●

Možnost poskytnout personalizované informace

●

Odpadají náklady na nahrávání hlášek

●

Konzistentní hlas hlášek v čase

●

Výslovnost cizích slov

●

Chyby v interpretaci textu (jak přečíst 123456?)

●

Chyby v intonaci


5

Rozpoznávání řeči ●

Automatic speech recognition (ASR)

●

Postup, který z mluvené řeči určí význam toho, co bylo řečeno

●

●

Vstup: audio (řeč) + tzv. gramatika – popis promluv/frází/vět, které systém může rozpoznat + jak “vypočítat” význam promluvy Výstup: text a význam vyřčené promluvy + věrohodnost, pokud systém rozuměl, nebo informace, že nerozuměl

●

Rychlejší a přirozenější komunikace než pomocí tlačítek telefonu

●

Možnost výběru z dlouhých seznamů

●

Možnost skoku „doprostřed“

●

Záměna podobných slov

●

Akcent, vady řeči, cizí slova

●

Hlučné prostředí


6

Přepis řeči na text ●

Speech-to-text (STT), LVCSR

●

Vytvoří čitelný přepis řeči

●

Vstup: audio (řeč)

●

Výstup: text ◦

●

●

Ne však gramaticky správný a bez chyb → nenahrazuje sekretářku/písařku

Zpřístupňuje obsah hovorů pro zpracování „konvenčními“ technologiemi (užívanými pro práci s texty) Kromě nejlepšího přepisu generuje i další pravděpodobné hypotézy, které lze počítačově zpracovávat

●

Rozpozná jen slova, která jsou ve slovníku

●

Je nutná „jazyková“ adaptace na konkrétní doménu (použití)


7

Detekce klíčových slov ●

Keyword spotting (KWS)

●

Nalezne v řeči textově zadaná klíčová slova

●

Vstup: audio (řeč) a seznam klíčových slov

●

●

●

Výstup: výskyty klíčových slov (kde, s jakou věrohodností) Ověří, zda se v obsahu hovoru vyskytuje daná fráze Při změně klíčových slov je nutné zpracovat nahrávky znovu


8

Rozpoznávání řečníka (Hlasová biometrie) ●

Identifikace řečníka (Speaker Identification, SI)

●

Kdo z dané množiny hovoří ◦

Vstup: audio + hlasové otisky množiny řečníků

◦

Výstup: nejpravděpodobnější řečník z dané množiny + věrohodnost detekce, nebo věrohodnost pro každého řečníka z dané množiny

●

Verifikace řečníka (Speaker Verification, SV)

●

Hovoří osoba XYZ? ◦

Vstup: audio + hlasový otisk konkrétního řečníka

◦

Výstup: věrohodnost, že řečník je opravdu XYZ

●

Výsledky často spolehlivější než detekce provedená člověkem

●

Jazykově nezávislá technologie


9

Další řečové technologie ●

Detekce řečové aktivity ◦

Označení segmentů, kde se vyskytuje řeč a kde ticho ▪

např. formou časových indexů hranic

●

Detekce jazyka

●

Odhad pohlaví a věku

●

Odhad emocí

●

◦

Víceméně stále laboratorní technologie, první pokusy o komerční uplatnění

◦

Problém: data

Jazykově nezávislé technologie


10

Využití řečových technologií


11

Hlasové automaty (IVR) ●

Při použití ASR nemusí být struktura automatu strom

●

Flexibilita hlášek díky TTS

●

Umožňují vést s člověkem dialog ◦

●

●

Umožňují reagovat na problémy ◦

Nápověda, pokud uživatel mlčí nebo selže rozpoznávání řeči

◦

Zúžení rozsahu dotazu při selhání rozpoznávání řeči

◦

Přechod k tlačítkové volbě

◦

Přesměrování na živého operátora

Do interakčního scénáře lze zapojit další řečové technologie ◦

●

A doptat se na chybějící informace

Např. hlasovou biometrii

Nedůvěra až averze k „plechovým hubám“


12

Obsluha příchozích hovorů ●

Řečové technologie otevírají zcela nové možnosti ◦

Kvalitnější automatický sběr informací od klienta ▪

◦

Automatizace jednoduchých, často se opakujících činností ▪

Odlehčení operátorům při zpracování rutinních dotazů

◦

Kvalitní informace v době, kdy není linka obsluhovaná operátorem

◦

Odhad směrování volajících (ACD) na základě detekce klíčových slov ▪

●

Snížení času na obsluhu hovoru operátorem

Zákazník řekne automatu svůj požadavek, odpadá nudné procházení stromem

Důležité rovněž propojení telefonie s informačními systémy


13

Automatické doručování hlasových zpráv ●

Upozornění na konec předplatného, fakturu po splatnosti, plánovaný výpadek služeb, změnu času nebo místa… ◦

Díky TTS může být zpráva vygenerovaná na míru každému volanému

◦

Na rozdíl od SMS víme, zda příjemce zprávu skutečně přijal (můžeme si vyžádat i explicitní potvrzení formou stisku klávesy telefonu)

●

Automatický telefonický průzkum, ankety

●

Automatický telemarketing ◦

●

Lze oslovit daleko více respondentů a udělat preselekci pro následné oslovení operátorem call centra

Lze obecně chápat jako „odchozí hlasový automat“ se všemi jeho možnostmi obousměrné komunikace


14

Vyhledání informací v archivu hovorů ●

Vyhledávání pomocí detekce klíčových slov

●

Vyhledávání pomocí přepisu řeči na text

●

Možnost zpracovat objemy zcela mimo možnosti ručního zpracování člověkem ◦

●

Rychlá navigace nad obsahem

Možnost vytěžit jinak nedostupné informace z historických dat ◦

◦

Obsahová analýza ▪

Frekvenční analýza významových slov

▪

Identifikace témat

Kontextová analýza ▪

Souvislost mezi obsahem hovorů a definovanými tématy


15

Hlasový vstup do CRM systémů a helpdesků ●

●

Obchodník bezprostředně po schůzce namluví zápis do CRM systému ◦

Do CRM se uloží nahrávka + její textový přepis (bude obsahovat chyby, ale lepší než žádný zápis)

◦

Čerstvé informace, na nic důležitého se nezapomene

◦


Na základě telefonátu klienta se v helpdesku vytvoří automaticky nový ticket, uloží se k němu nahrávka telefonátu + její textový přepis ◦

Zadaní požadavku může proběhnout plně automaticky přes hlasový automat

◦



16

Využití hlasové biometrie ●

Náhrada/doplněk hesla pro přístup k určité službě ◦

●

Služba pro automatický reset hesla ◦

●

Tichá, neinvazivní, neobtěžující autentizace

Vyhledání řečníka v archivu nahrávek ◦

●

Může významně odlehčit operátorům

Kontrola identity zákazníka z hlasu na pozadí ◦

●

Kombinace s dalšími technologiemi (ASR, KWS) jako ochrana proti nahrávkám hlasu

Zpětná analýza chování, detekce podvodů

Blokace na základě vzorku hlasu ◦

Funguje, i když volá z různých čísel


17

Analýza hlasového provozu call centra ●

Kombinace detekce klíčových slov, přepisu řeči na text, detekce hlasové aktivity, hlasové biometrie, … ◦

●

●

Ověření dodržování call skriptu a povinných frází ze strany agenta Sledování nevhodných slov u agentů ◦

●

Rychlost odpovědi, rychlost řeči, skočení do řeči, ...

Porovnávání práce agenta napříč časem ◦

●

Názvy konkurence, nevhodná slova, ...

Měření výkonnosti agenta na základě analýzy rozhovoru ◦

●

automatická preselekce „podezřelých“ hovorů

S jeho běžnými hodnotami, oproti zkušeným kolegům, průměru oddělení, průměru v rámci kampaně apod.

Detekce nespokojenosti zákazníka


18

Analýza hlasového provozu call centra (2) ●

●

●

●

●

Metodická kontrola 100% provedených hovorů Automatizovaná kontrola agentů vedoucí ke snížení počtu nespokojených zákazníků Snížení času věnovaného seniory na dohled nad prací agentů Podrobné statistiky o každém hovoru agenta naznačující nutnost doškolení Souhrnné reporty hodnocení dialogů a sledovaných slov/frází pro hodnocení agentů


19

Dělejte to jako my!

Děkuji za pozornost dotazy?

tický pohled na svět doporučují 4 z 5 psychologů Copyright © 2012 OptimSys, s.r.o.

[email protected] Pavel Cenek Tel: 511 205 391 OptimSys, s.r.o. Inovační park JIC Fax: 541 143 066 www.optimsys.cz U Vodárny 2 61600 Brno 20

Technologie počítačového zpracování řeči

Recommend Documents