Spraaktherapie in e-Health: spraaktechnologie en gaming Helmer Strik Centre for Language and Speech Technology (CLST) Department of Linguistics Radboud University Nijmegen
1
Inleiding Toenemende belangstelling voor e-Health (onderzoek, toepassingen, …) o.a. voor mensen met communicatieve beperkingen • Taal- en spraaktechnologie (T&ST) & serious gaming – mogelijkheden • Nodig :
• •
Veel onderzoek: goede applicaties, optimaal gebruik Mix van expertise
OSTT : 'Ontwikkelcentrum voor Spraak- en Taal-Technologie‘
• • • •
Mix van expertise Onderzoek => e-Health applicaties Applicaties gebruiken voor onderzoek Valorisatie
Vele uitdagingen, o.a. bruggen slaan
• •
Tussen vraag, wat willen de patiënten ? En aanbod, wat is mogelijk ?
T&ST : mogelijkheden
2
Opwaartse spiraal onderzoek wetensch. toegepast
atypische spraak
Spraaktechnologie : • Herken de woorden • Detecteer de fouten • geef feedback Nog vele uitdagingen
3
Toepassingen Focus op taal & spraak, communicatie Doelen, o.a.
• • • •
Diagnose Monitoring Therapie Ondersteunde communicatie (AAC)
Gebruik, o.a.
• •
Zorginstelling Thuis
Mogelijkheden voor extra-murale toepassingen, o.a.
• • •
4
Monitoring : metingen, (nood-)hulp nodig, ... Self management - hulp bij : innemen medicijnen, vinden juiste informatie, etc. Verbeterde communicatie met 'de buitenwereld', bijv. om sociaal isolement te voorkomen
e-Health projecten e-Health projecten :
• •
• •
ASR for dysarthric speech Sint Maartenskliniek (SMK) Nijmegen PEDDS - Pronunciation Error Detection for Dysarthric Speech ZonMw project ComPoli – Communicatie en revalidatie digiPoli ZonMw project CHASING - CHAllenging Speech training In Neurological patients by interactive Gaming Topsector creatieve industrie
Zie http://hstrik.ruhosting.nl/projects/
5
PEDDS PEDDS: Pronunciation Error Detection for Dysarthric Speech Aim: For dysarthric speakers - train pronunciation Method: error detection, feedback, etc. Develop speech technology Partners: Sint Maartenskliniek, CLST Grant: ZonMW URL: http://lands.let.ru.nl/~strik/research/PEDDS/
6
ComPoli ComPoli – Communicatie en revalidatie digiPoli People with communicative disabilities have problems to interact with digipoli's (websites for patients) Aim: to improve their communication
•
•
Develop language and speech technology (L&ST) chat-by-click word prediction speech synthesis speech recognition To test with end users
Partners: Sint Maartenskliniek, UMC Radboud, CLST Grant: ZonMW URL: http://lands.let.ru.nl/~strik/research/ComPoli/
7
CHASING CHASING – CHAllenging Speech training In Neurological patients by interactive Gaming Aims: • To develop and test an interactive, intuitive, user adaptive game for speech training that makes use of advanced speech technology and is compatible with mobile platforms • To study to what extent serious games and games principles motivate and support neurological patients in speech training Partners: CLST, Sint Maartenskliniek, Waag Society Grant: Top sector creative industries URL: http://hstrik.ruhosting.nl/chasing/
8
atypische spraak
Spraaktechnologie : • Herken de woorden • Detecteer de fouten • geef feedback Nog vele uitdagingen
_ CAPT _
9
a-typische spraak - e-Health & e-Learning a-typische spraak :
• •
e-Health : communicatieve beperkingen e-Learning : taalleerders
2 onderzoekslijnen : e-Health & e-Learning
• •
veel overlap - spraaktraining versterken elkaar
Opwaartse spiraal onderzoek wetensch. toegepast
e-Learning projecten [http://hstrik.ruhosting.nl/projects/]
• • • • • • • •
ATOP: ‘Automatic testing of oral proficiency’ Dutch-CAPT: Comp. Assisted Pronunciation Training DISCO: Development and Integration of Speech techn. into Courseware for lang. learning ST-AAP: Alfabetisering met een luisterende computer FASOP: Feedback and the Acquisition of Syntax in Oral Proficiency MPC: My Pronunciation Coach GOBL: Games Online for Basic Language learning DigLin: Digital Literacy Instructor
Financiering :
•
•
10
e-Learning projecten : resp. Senter, NWO MaGW (PROO), Stevin, ” demonstratieproject, NWO GW, STW, Eur. LLP (2x) e-Health projecten : SMK, ZonMw (2x), topsector creatieve industrie
Conclusies Spraaktraining - groeiende vraag, e-Health & e-Learning Intensief, 1 op 1 - beperkt mogelijk => Computer Assisted Instruction / Training / Learning
• • •
24/7, overal, intensief, met feedback Individueel, meer ontspannen, adaptief Gaming : motivatie - intensief
T&ST : langzaam beter, maar (meestal) niet foutloos
• • •
Zeker niet voor a-typische spraak Wat is wel / niet mogelijk met T&ST => Nuttige toepasingen zijn mogelijk
Uitdagingen :
• • • • •
Ontwikkel toepassingen, oefeningen Die realistisch en nuttig zijn (voor spraaktraining) Automatisch - met geavanceerde T&ST Voor herkenning, detectie van fouten, en feedback R&D: mix van expertise is nodig
e-Health & e-Learning zal steeds meer gebruikt worden !
11
Questions ?
ASR of L2 speech
12
