Spraakverwerking per computer David Weenink Golfvormen en segmentatie
Spraakverwerking per computer David Weenink Instituut voor Fonetische Wetenschapen ACLC Universiteit van Amsterdam
A MSTERDAM C E NTE R FOR LANGUAGE AND COMMUNICATION
Spraakverwerking per computer
Golfvormen en segmentatie
David Weenink Golfvormen en segmentatie
5000
CGN
4000
Hz
3000 2000 1000 0
de
vrouw
loopt
met
haar
dure
0.3
schoenen 1.9
Time (s)
De vrouw loopt met...
Woorden plakken aan elkaar Grenzen worden gemaakt in ons hoofd
Signaalkenmerken voor segmentatie
Spraakverwerking per computer David Weenink Golfvormen en segmentatie CGN
Signaalkenmerken voor segmentatie (oscillogram) Periodiciteit: stemhebbende klanken Lokaal maximum: klinkers Stilte interval: (soms) /p,t,k/ Murmur/prevoicing bij /b,d,g/ en pauze Explosie: plosieven Ruis: s, sj, f, ch Amplitudeverandering: overgangen van klanken
Foneemklasses voor Nederlandse corpora
Spraakverwerking per computer David Weenink Golfvormen en segmentatie
Het Corpus Gesproken Nederlands (CGN): Databank hedendaags Nederlands in Nederland en Vlaanderen Negen miljoen woorden (Nl: 5.6 M; Vl:3.3 M) 1000 uur spraak (1998–2004) Orthografisch transcriptie met oplijning Lemmatisering en verrijking met woordsoortinformatie Voor 1MW brede fonetische transcriptie met geverifieerde oplijning op woordniveau en syntactische verrijking Voor 250 kW prosodische annotatie
CGN
Labelen
Spraakverwerking per computer David Weenink Golfvormen en segmentatie CGN
De verantwoording voor Fonemische Transcriptie: Opsomming ’de’ segmenten / fonemen Nederlands niet triviaal De foneemset zal pragmatisch gekozen worden
Transcriptie
Spraakverwerking per computer David Weenink
Transcriptie is Weergave van spraak op basis van op het gehoor verkregen symbolen Interpretatief proces: de theorie biedt niet altijd voldoende houvast (bij het transcriberen is een scherp onderscheid tussen enerzijds de waarneming en anderzijds de aan de waarneming ten grondslag liggende ’theoretische’ veronderstellingen (kennis van de klankstructuur en fonotaxis, schriftbeeld, e.d.) niet vol te houden.) Datareductie proces: potentieel oneindige fonetische variatie wordt gereduceerd in termen van een beperkt aantal symbolen. Abstractienivo vari¨eert.
Golfvormen en segmentatie CGN
Spraakverwerking per computer
CGN: overview of available data
David Weenink
1 3
Component Spontaneous conversations1 Interviews with teachers of Dutch Spontaneous telephone dialogues2 Spontaneous telephone dialogues3 Simulated business negotiations Interviews/discussions/debates4 (political) Discussions/debates/meetings5 Lessons recorded in the classroom Live (eg sports) commentaries4 Newsreports/reportages4 News4 (broadcast) Commentaries/columns/reviews4 Ceremonious speeches/sermons Lectures/seminars Read speech Total face-to-face, 2 recorded via a switchboard, recorded on MD via a local interface,
4
#Words 177,127 59,751 270,027 6,257 25,485 100,250 34,126 36,064 35,116 32,744 32,601 32,502 7,077 23,056 135,071 1,007,254
broadcast,
5
NL 70,945 34,064 68,886 6,257 0 25,144 9,009 10,103 10,130 7,679 7,305 7,431 1,893 8,143 64,848 331,837
non-broadcast
Vl 106,182 25,687 201,141 0 25,485 75,106 25,117 25,961 24,986 25,065 25,296 25,071 5,184 14,913 70,223 675,41
Golfvormen en segmentatie CGN
Spraakverwerking per computer
Klinkers en diftongen
David Weenink Golfvormen en segmentatie
Klinkers
I A i e o 2
lIp lAt lip lex bom d2k
lip lat liep leeg boom deuk
E O y a u @
lEx bOm byr lat buk g-lE+k
leg bom buur laat boek gelijk
9: E:
fr9:-l@ sE:-n@
freule scene
O:
zO:-n@
zone
E∼ O∼
vak-sE∼ kO∼-Ze
vaccin cong´ e
A∼ Y∼
krwA-sA∼ pAr-fY∼
croissant parfum
wijs koud
9+
h9+s
huis
Diftongen
E+ O+
wE+s kO+t
CGN
Spraakverwerking per computer
Medeklinkers
David Weenink
Plosieven
p t k
pYt tAk kAt
put tak kat
b d g
bAt dAk gol
bad dak goal
f
fits
fiets
v
vAt
vat
z Z G
zAt ra-va-Z@ re-G@
zat ravage regen
n J
nAt o-rA-J@
nat oranje
r j
rAt jAs
rat jas
Fricatieven
s S x h
sAp Sal lIxt x@-hel
m N
mAt lAN
sap sjaal licht geheel
Nasalen
mat lang
Klinkerachtigen
l w *
lAt wAt -
lat wat (stilte)
Golfvormen en segmentatie CGN
Spraakverwerking per computer
Labelen met praat
David Weenink Golfvormen en segmentatie CGN
Labelinformatie wordt opgeslagen in een TextGrid.
Labelen met praat Selecteer Sound To TextGrid...
zin woord foneem
Selecteer Sound en TextGrid samen en kies Edit ... Write to short text file... Read from file...
file name.TextGrid
