Interactieve Multimodale Informatie Extractie

Interactieve Multimodale Informatie Extractie

NWO GW/EW Onderzoeksprogramma


opgesteld door de Programmavoorbereidingcommissie IMIX

finale versie, oktober 2002



Interactieve Multimodale Informatie Extractie Voorwoord Om het Nederlands in de zich snel ontwikkelende ICT-wereld te behouden, moeten Nederlandstalige informatie- en communicatiesystemen ontwikkeld worden. Behoud van het Nederlands in de ICT is niet alleen van maatschappelijk en cultureel belang, maar ook van economische belang. Economische verkeer drijft voor een deel op vaak talige communicatie en informatie. Verplichte overschakeling naar bijvoorbeeld het Engels zou het Nederlands bedrijfsleven de eerste tien jaren veel geld kosten. Bedrijven zijn momenteel - vooral als gevolg van de groeiende rekencapaciteit van computers - in staat commerciële ICT-applicaties te ontwikkelen met een beperkte taalvaardigheid. Dat wil zeggen dat deze taalvaardigheid een klein domein betreft, zoals bijvoorbeeld koersinformatie, treinreizen etc. De meeste van deze applicaties richten zich op de talen met een groot afzetgebied, Engels, Duits, Frans, Spaans, Japans, Chinees etc. De ontwikkeling van de taalspecifieke component van deze systemen is arbeidsintensief en dus kostbaar en vanwege het relatief kleine taalgebied van het Nederlands vaak niet rendabel. Daarnaast is het aanbod van taalen spraaktechnologische experts te klein om aan de huidige vraag te voldoen van de bedrijven die Nederlandstalige ICT-applicaties kunnen ontwikkelen. Om bedrijven op kortere en langere termijn in staat te stellen meer complexe Nederlandstalige informatiesystemen te ontwikkelen zodat de economische en culturele positie van het Nederlands in de mondiale ICT-wereld te behouden blijft, is een serieuze inspanning noodzakelijk ter verbetering van de digitale taalinfrastructuur en het kennispotentieel. • De digitale taalinfrastructuur voor het Nederlands, bestaande uit zowel data (lexica, terminologie, corpora) als softwarecomponenten moet op korte termijn verbeterd en uitgebreid worden. Reeds bestaande taalinfrastructuur moet goed beheerd, onderhouden, beschikbaar gemaakt en verder ontwikkeld worden. • Het onderwijs en onderzoek op het gebied van taalen spraaktechnologie moet georganiseerd en op peil gehouden worden. Een gezamenlijke inspanning van overheid, bedrijfsleven en kennisinfrastructuur, waarbij ieder zijn verantwoordelijkheid neemt, is vereist om deze doelstellingen te verwezenlijken. De ontwikkeling van Nederlandstalige informatie- en communicatietechnologie is alleen mogelijk door intensieve en goed gecoördineerde samenwerking en gezamenlijke financiering. Binnen de uit te voeren acties moet serieuze aandacht besteedt worden aan de noodzakelijke kennisoverdracht tussen alle participerende partijen. Voor wat betreft de ontwikkeling van de digitale taalinfrastructuur wordt op verzoek van het Platform Nederlands in taalen spraaktechnologie waarin verschillende Vlaamse en Nederlandse overheden vertegenwoordigd zijn een prioriteitenlijst opgesteld. Het hier voorliggende onderzoeksplan Interactieve Multimodale Informatie Extractie richt zich op de versterking van het onderzoekspotentieel in Nederland en het produceren van innovatieve strategisch-fundamentele onderzoeksresultaten die als basis zullen dienen voor toekomstig toegepast onderzoek naar en ontwikkeling van ICT-applicaties waarin Nederlandstalige taalen spraaktechnologie is ingebed. De resultaten van dit onderzoeksprogramma zullen helpen om het in de toekomst mogelijk te maken om als gebruiker te communiceren en interacteren met een machine die zich gedraagt als een intelligent agent. In die dialoog moet de machine zich behulpzaam kunnen


gedragen: ze moet overweg kunnen met vaag geformuleerde vragen en opdrachten van de mens, en zo nodig om verduidelijking vragen. In de meest geavanceerde vorm moet de machine in staat zijn om de relevante informatie in ongestructureerde tekst te ‘begrijpen’, zodat ze op een intelligente of behulpzame wijze kan reageren op vragen over die informatie. Alleen door een gezamenlijke inspanning zal de mogelijkheid blijven bestaan om elektronische informatie en diensten te benaderen in onze eigen moedertaal.


Interactieve Multimodale Informatie Extractie Inhoudsopgave 1

INLEIDING..............................................................................................................................6

2

SAMENSTELLING NWO PROGRAMMAVOORBEREIDINGSCOMMISSIE.............6

3

ACHTERGRONDEN...............................................................................................................7 3.1

MAATSCHAPPELIJKE EN ECONOMISCHE BEHOEFTE VOOR TALIGE INFORMATIE, TAAL- EN SPRAAKTECHNOLOGIE ALS ONDERDEEL VAN DE INFORMATIETECHNOLOGIE ....................................7 3.2 AANSLUITING BIJ BELEID VAN EZ EN OCENW .............................................................................9 3.3 AANSLUITING BIJ BELEID VAN NWO............................................................................................. 12 3.4

4

INTERACTIEVE MULTIMODALE INFORMATIE EXTRACTIE.................................. 18 4.1 4.2

5

ORGANISATORISCHE UITGANGSPUNTEN ..................................................................................... 18 CONCRETISERING IN ONDERWERPEN VAN ONDERZOEK ......................................................... 19 4.2.1 Automatische spraakherkenning........................................................................................... 20 4.2.2 Natuurlijke Taal Verwerking ................................................................................................ 21 4.2.3 Taalgeneratie.............................................................................................................................. 22 4.2.4 Spraaksynthese.......................................................................................................................... 22 4.2.5 Dialoog Management .............................................................................................................. 23 4.2.6 Multimodaliteit......................................................................................................................... 23 4.2.7 Structuur in ongestructureerde informatie........................................................................ 25 4.2.8 Systeemintegratie ..................................................................................................................... 25

ORGANISATIE VAN HET PROGRAMMA .....................................................................26 5.1 5.2

5.3

6

3.3.1 Aansluiting bij het beleid van het betrokken NWO gebieden........................................ 12 DE STAND VAN ZAKEN IN HET NEDERLANDSE ONDERZOEKSVELD ..................................... 13 3.4.1 Het NWO Prioriteit Programma Taal- en Spraaktechnologie ...................................... 14 3.4.2 Informatie Extractie ................................................................................................................. 17

VORMGEVING VAN HET PROGRAMMA.......................................................................................... 26 5.1.1 De Stuurgroep........................................................................................................................... 26 5.1.2 De Programmacommissie ....................................................................................................... 26 INTERNE EN EXTERNE KENNISTRANSFER ..................................................................................... 27 5.2.1 Publicaties .................................................................................................................................. 27 5.2.2 Demonstrator ............................................................................................................................ 27 5.2.3 Jaarlijkse Seminars ................................................................................................................... 27 5.2.4 Workshops .................................................................................................................................. 28 5.2.5 Klankbordgroep / Gebruikersgroep(en) ............................................................................... 28 5.2.6 Uitwisseling/detachering van onderzoekers....................................................................... 28 5.2.7 Octrooien .................................................................................................................................... 28 5.2.8 WWW Site ................................................................................................................................. 28 5.2.9 Internationale samenwerking ................................................................................................ 29 SUBSIDIEVORMEN ................................................................................................................................ 29 5.3.1 Kleine Programma’s................................................................................................................. 29 5.3.2 Individuele projecten ............................................................................................................... 29 5.3.3 Reisbeurzen en Internationale Samenwerking .................................................................. 30 5.3.4 Coördinatie................................................................................................................................. 30

CONCEPT-BEGROTING ..................................................................................................... 31


1

Inleiding

Deze notitie bevat een voorstel opgesteld door een Voorbereidingscommissie voor een NWO Onderzoeksprogramma op het gebied van de Interactieve Multimodale Informatie Extractie. Het programma kan bouwen op een aanzienlijke hoeveelheid expertise in een aantal Nederlandse universiteiten. Bovendien sluit het programma nauw aan bij behoeften in de maatschappij en bij de plannen en ontwikkelingen binnen het kaderprogramma voor onderzoek en ontwikkeling van de Europese Unie, met name het deelprogramma “Information Society Technologies”. De opzet van deze notitie is als volgt: Eerst worden de achtergronden geschetst waartegen dit voorstel ontstaan is. Daarbij wordt begonnen met een beschrijving van de maatschappelijke behoefte aan onderzoek en ontwikkeling op het gebied van interactieve toegang tot on-line informatie, zoals die onder andere blijkt uit ambtelijke nota’s (o.a. van het Ministerie van Economische Zaken), uit de plannen voor onderzoek in het Information Society Technologies programma van de Europese Unie, en - last but not least - uit de aanzienlijke R&D inspanningen in het internationale bedrijfsleven. De notitie schetst vervolgens een onderzoeksprogramma dat aansluit bij de stand van zaken in de wetenschap, bij de maatschappelijke behoeften en bij het beleid van NWO en EZ en OCenW. Dan volgt een hoofdstuk waarin een voor het programma adequate organisatiestructuur beschreven wordt. De notitie eindigt met een concept begroting.

2 ◊ ◊ ◊ ◊ ◊ ◊ ◊ ◊ ◊ ◊

Samenstelling NWO Programmavoorbereidingscommissie Prof. dr. L. Boves, Katholieke Universiteit Nijmegen (voorzitter) Prof. dr. W. Daelemans, Katholieke Universiteit Brabant/Universiteit Antwerpen Mw. prof. dr. F.M.G. de Jong, TNO-TPD/Universiteit Twente Dr. A. Kellner, Philips Research, Aachen Dr. G.J. van Noord, Rijksuniversiteit Groningen Prof. dr. A. Nijholt, Universiteit Twente Mw. dr. E.A. den Os, KPN Research, Leidschendam Prof. dr. R. Scha, Universiteit van Amsterdam Dr. H.J.M. Steeneken, TNO-TM, Soesterberg Dr. J. Terken, Technische Universiteit Eindhoven - IPO

Ambtelijke ondersteuning: ◊ Mw. drs. A. Dijkstra, NWO (secretaris)

finale versie - Pagina 6


3

Achtergronden

In dit hoofdstuk wordt ingegaan op de maatschappelijke en wetenschappelijke achtergronden en overwegingen die geleid hebben tot het formuleren van een voorstel tot het instellen van een Onderzoeksprogramma Interactieve Multimodale Informatie Extractie. Multimodaliteit heeft betrekking op de zintuiglijke kanalen (horen, zien, voelen, ruiken, proeven) waarmee informatie wordt verwerkt en geproduceerd. Met multimodale interactie wordt bedoeld dat tijdens de interactie tussen mens en systeem meerdere zintuiglijke kanalen worden aangesproken bij het invoeren van informatie door de gebruiker in het systeem, of bij het verwerken van door het systeem geproduceerde informatie door de gebruiker.1 Het kernpunt van dit onderzoeksprogramma wordt gevormd door strategischfundamenteel onderzoek op het gebied van de taalen spraaktechnologie.2 Daarom wordt hieronder allereerst ingegaan op de plaats van taalen spraaktechnologie in het grotere geheel van de informatietechnologie. Vervolgens wordt aangegeven op welke punten het initiatief aansluit bij beleid van de Nederlandse en Europese overheden en bij beleid dat binnen NWO geformuleerd is.

3.1

Maatschappelijke en economische behoefte voor talige informatie, taalen spraaktechnologie als onderdeel van de Informatietechnologie

Niemand kan precies voorspellen hoe de ‘Informatiemaatschappij’ er over tien of twintig jaar uit zal zien, maar één ding is zeker: informatie zal in toenemende mate één van de essentiële productiefactoren gaan vormen, naast arbeid, kapitaal en grondstoffen. Op zijn allerminst wordt ‘informatie’ een van de meest belangrijke grondstoffen, zoals gesuggereerd wordt door de opkomst van termen als ‘informatie mijnbouw’. Voor die nieuwe tak van mijnbouw, en voor de productiefactor ‘informatie’ moet nieuwe technologie ontwikkeld worden, die zoals alle succesvolle technologie uiteraard gefundeerd moet zijn op fundamenteel wetenschappelijke inzichten. Het is voor de positionering van het voorgestelde onderzoeksprogramma van belang om ‘informatie’ te onderscheiden van ‘gegevens’. Wij beschouwen ‘informatie’ als een verzameling gegevens die geselecteerd zijn op grond van hun onderlinge samenhang en hun relatie met een specifieke vraag of een specifiek probleem. Onder ‘informatie extractie’ verstaan we daarom het zoeken, groeperen en presenteren van een zo compact mogelijke verzameling gegevens die een zo compleet mogelijk antwoord geeft op een specifieke vraag. Zowel de ruwe gegevens waarin naar het antwoord gezocht wordt, als de vorm waarin het antwoord gepresenteerd wordt kunnen naast talige ook grafische gegevens bevatten, maar de nadruk zal liggen op talige gegevens. Talige gegevens kunnen in de vorm van geschreven en gesproken uitingen bestaan. De vraag die het zoeken naar informatie in gang zet zal meestal in de vorm van (gesproken of geschreven) taal zijn. Taal, natuurlijke taal, zal in de informatiemaatschappij een doorslaggevende rol spelen. Een groot deel van de ruwe data is alleen beschikbaar in de vorm van taal: van teksten in boeken, tijdschriften, kranten, rapporten in en over bedrijven, etc. Natuurlijk zijn niet alle ruwe gegevens in talige vorm beschikbaar (denk alleen maar aan de numerieke gegevens die het weer en het klimaat weergeven, en aan de cijfers die de kasstromen en productie van

1 2

Voor documenten die bestaan uit een mix van audio, tekst en beeld reserveren we de term multimedia. Er lopen reeds een aantal onderzoeksprogramma´s die zich bezighouden met andere modaliteiten: o.a. met beeldverwerking finale versie - Pagina 7


bedrijven representeren). Maar heel veel essentiële informatie (zoals octrooien) bestaat voornamelijk in talige vorm (soms aangevuld met grafische informatie). ‘Natuurlijke Taal’ heeft twee aspecten die beide - zij het misschien op verschillende wijze relevant zijn als het gaat om de ontwikkeling van de informatiemaatschappij. Enerzijds hebben alle natuurlijke talen een aantal eigenschappen gemeen: spraak wordt altijd en overal geproduceerd met dezelfde organen en alle talen hebben een syntactische structuur die met gelijksoortige formalismen te beschrijven is, en alle talen worden gebruikt voor het weergeven en overdragen van informatie. Op een zeker niveau van abstractie zal taaltechnologie dus taal-onafhankelijk zijn (en daarmee een potentieel exportproduct kunnen vormen). Anderzijds hebben alle talen veel unieke en idiosyncratische eigenschappen; dat is wat talen onderling verschillend maakt. De ervaringen die de laatste decennia opgedaan zijn in de taalen spraaktechnologie laten zien dat die taalgebonden eigenschappen een grotere rol spelen dan men zou denken of hopen op grond van de ontwikkelingen die zich in dezelfde periode voorgedaan hebben in de theoretische taalkunde. Dat betekent dat veel van het technologische ontwikkelwerk voor alle talen afzonderlijk gedaan moet worden, wat economisch gezien voor de ‘kleinere’ talen minder aantrekkelijk is. Spraak en taal zijn niet onder alle omstandigheden de enige, of de meest geprefereerde interactie-modi. Daarom zal het onderzoek zich richten op situaties waarin taal en spraak met andere interface-modaliteiten gecombineerd worden. Er zal gekeken worden naar de mogelijkheid om spraak- en toetsenbordinvoer voor navigatie te combineren met tekstuele en grafische representaties van de informatie. Een mogelijke toepassing zou kunnen bestaan uit teleshopping, bijvoorbeeld het van thuis uit kiezen en boeken van vakantiereizen, maar men kan ook denken aan kiosken die bijvoorbeeld in overheidsgebouwen of in ziekenhuizen ‘on site’ informatie kunnen geven. In de toepassingen die wij voor ogen hebben moet de gebruiker navigeren door een complexe ruimte, waarin een groot aantal keuzeparameters die deels onderling afhankelijk zijn - een rol spelen. In ieder geval is de ruimte te complex om nog op een acceptabele manier te kunnen navigeren op basis van een voorgestructureerd vraag - en antwoordspel. Aan de invoerkant kan de gebruiker beschikken over een toetsenbord (wellicht met beperkte functionaliteit, maar voldoende om posities op een klein beeldscherm aan te wijzen) en spraak. Voor de uitvoer kan de machine beschikken over spraak, maar ook over een scherm waarop grafische afbeeldingen en tekst weergegeven kunnen worden. Het domein waarover de machine moet kunnen converseren en onderhandelen bevat deels gestructureerde en deels ongestructureerde (vrije tekst, beelden) informatie; de dialoog manager moet daarom beschikken over het vermogen om complexe informatie - die niet altijd in talige vorm beschikbaar hoeft te zijn - om te zetten in een vorm die geschikt is voor weergave via spraak, via schrift of via beeld (of een combinatie daarvan). In de interactie met de gebruiker moet de machine zich gedragen als een intelligent agent. Dat betekent in ieder geval dat de machine in staat moet zijn om een dialoog te voeren waarin het initiatief wisselt tussen mens en machine. In die dialoog moet de machine zich behulpzaam kunnen gedragen: ze moet overweg kunnen met vaag geformuleerde vragen en opdrachten van de mens, en zo nodig om verduidelijking vragen. In de meest geavanceerde vorm moet de machine in staat zijn om de relevante informatie in ongestructureerde data (in ieder geval in ongestructureerde tekst) te ‘begrijpen’, zodat ze op een intelligente of behulpzame wijze kan reageren op vragen over die informatie.



3.2

Aansluiting bij beleid van EZ en OCenW

In het Actieplan Electronic Commerce3 dat in maart 1998 gepubliceerd is door het Ministerie van Economische Zaken worden drie factoren onderscheiden die de gewenste groei van Electronic Commerce in Nederland zouden kunnen belemmeren. Dat zijn economische factoren, waarbij de verhouding tussen kosten en baten een belangrijke rol speelt, juridische factoren (aansprakelijkheid, authenticatie en intellectueel eigendom) en technische factoren (waaronder in feite ook de gebruikersvriendelijkheid en de toegankelijkheid van de diensten te rangschikken zijn). In dit verband moet ook gewezen worden op het rapport De ICT kennisinfrastructuur in Nederland4 dat - in opdracht van het ministerie van Economische Zaken en met begeleiding vanuit het ministerie van OCenW door TNO Strategie, Technologie & Beleid in februari 1998 opgeleverd is - en de Technologie Radar5 opgesteld in opdracht van het Ministerie van Economische Zaken. Het onderzoeksprogramma Interactieve Multimodale Informatie Extractie sluit op twee punten aan bij het actieplan Electronic Commerce en de TechnologieRadar. Het Nederlands behoort tot de kleinere talen, wat repercussies heeft voor de kosten/baten verhouding bij de ontwikkeling van taalen spraaktechnologie. Tegelijkertijd groeit (met name in de landen om ons heen, maar zeker ook in de USA) het inzicht dat ook in open culturen en economieën als de Nederlandse een zeer grote behoefte bestaat - en zal blijven bestaan - aan de mogelijkheid om de elektronische informatie en diensten te benaderen in de eigen taal. In dit verband moet ook gewezen worden op de herhaaldelijk uitgesproken en bevestigde stelling van de Europese Commissie dat alle burgers recht hebben op informatie van en dienstverlening door de overheden in hun eigen taal.6 Tal van recente studies tonen aan dat het Internet in hoog tempo meertalig wordt7, en dat Internet-gebruik achter blijft in die landen en culturen waar onvoldoende aanbod van diensten en informatie in de eigen taal bestaat. Ook de aansluiting bij technische factoren die de ontwikkeling van ‘electronic commerce’ kunnen belemmeren is duidelijk: doordat ‘taal’ zo’n belangrijke rol speelt bij de toegankelijkheid (extractie) en de verwerking van informatie, zullen taalen spraaktechnologie een doorslaggevende ‘enabling’ rol spelen bij het creëren van de ‘opritten’ naar de elektronische snelwegen waarlangs en waarop de elektronische economische activiteiten zich zullen afspelen. In dit verband zal basistechnologie die in Nederland voor het Nederlands ontwikkeld wordt relatief gemakkelijk veralgemeniseerd kunnen worden en zich kunnen ontwikkelen tot een exportproduct.

3

4

5

6 7

Het Actieplan Electronic Commerce is één van de initiatieven vallend binnen het kader van de notitie Boven-NAP Herijking van het Nationaal Actieprogramma Elektronische Snelwegen opgesteld door de Ministeries van Verkeer en Waterstaat, Justitie en Onderwijs, Cultuur en Wetenschappen, Sociale Zaken en Werkgelegenheid en de Staatssecretarissen van Binnenlandse Zaken en Koninkrijksrelaties en Onderwijs, Cultuur en Wetenschappen. Benchmarkstudie kennispositie: De ICT kennisinfrastructuur in Nederland, opgesteld in opdracht van het ministerie van Economische Zaken en het ministerie van Onderwijs, Cultuur en Wetenschappen in het kader van het Actieprogramma Electronische Snelwegen. De Technologie Radar is in 1998 in opdracht van EZ opgesteld door RAND Europe en Coopers & Lybrand Technology Consultants en heeft tot doel de voor de toekomstige bedrijvigheid in Nederland meest strategische technologieën te identificeren. Op basis van zo'n overzicht wordt de vraag beantwoord of de beschikbare kennisinfrastructuur voldoende is toegerust om de ontwikkeling van deze technologieën te bevorderen en te ondersteunen. In het kader van de TechnologieRadar hebben EZ, NWO begin 1999 gezamenlijk workshop “Taal- en spraaktechnologie in Nederland en Vlaanderen” georganiseerd. Zie ook de Cultuurnota 1997-2000 van het Ministerie van Onderwijs, Cultuur en Wetenschappen. In Wired (mei 2000) werd voorspeld dat eind dit jaar het amerikaans/engels niet meer de meest gebruikte taal op het internet zal zijn. De drie meest gebruikte ‘domain name suffixes’ zijn momenteel nog .com, .net en .org maar deze worden meteen gevolgd door .jp (Japan) en .de (Duitsland). Nog maar de helft van de domein namen staat geregistreerd in de Verenigde Staten en dit aandeel daalt gestaag. finale versie - Pagina 9


Op basis van onderzoek dat in de afgelopen tien jaar is uitgevoerd blijken bedrijven momenteel - mede als gevolg van de groeiende rekencapaciteit van computers - in staat te zijn commerciële ICT-applicaties te ontwikkelen met een zeer beperkte taalvaardigheid. Om bedrijven op termijn in staat te stellen meer complexe (Nederlandstalige) informatiesystemen te ontwikkelen is een serieuze inspanning noodzakelijk ter vergroting van de strategisch-fundamentele kennis op het gebied van de Nederlandse taalen spraaktechnologie. Verder moet het lopende onderzoek verbreed worden in de richting van complexere multimodale informatiesystemen. Dit zijn ook de doelstellingen van het nieuwe onderzoekprogramma Interactieve Multimodale Informatie Extractie. In overleg met de beoogde bedrijfspartners is een concept programmavoorstel met onderzoeksthema´s voor de (middel)lange termijn uitgewerkt: de verbetering van automatische spraakherkenning o.a. door modellering van prosodische informatie, onderzoek op het gebied van desambiguering binnen de natuurlijketaalverwerking, en onderzoek op het gebied van dialoogmodellering, taalgeneratie, spraaksynthese, multimodaliteit, multimediatechnologie en human factors. Een aantal van de experts uit de voorbereidingscommissie die dit programmavoorstel heeft opgesteld zijn ook betrokken bij het vorig jaar opgerichte Platform voor Nederlands in taalen spraaktechnologie waarin zitting hebben de Nederlandse Taalunie, OC&W, EZ, SENTER, NWO, het Ministerie van de Vlaamse Gemeenschap, het IWT en het FWO. Binnen dit platform worden overheidsinspanningen gecoördineerd en voorbereid; het platform heeft ter advisering een aantal werkgroepen ingesteld met experts uit het bedrijfsleven en de kennisinfrastructuur. De voorbereidingscommissie is van mening dat het noodzakelijk is een nieuw multidisciplinair fundamenteel-strategisch onderzoek-programma op te zetten met voldoende kritische massa, dat als basis kan dienen voor een volledige onderzoekslijn - van fundamenteel naar toegepast - op het gebied van de Nederlandse taalen spraaktechnologie. Om de ontwikkelingen op het gebied van de taalen spraaktechnologie continue gaande te houden is het noodzakelijk een volledige onderzoekslijn te realiseren waarbij onderzoek in alle fasen parallel aan elkaar uitgevoerd wordt. Momenteel lopen er reeds een aantal initiatieven voor het kortere termijn onderzoek (R&D) dat voornamelijk gefinancierd wordt door het bedrijfsleven in specifieke gevallen aangevuld met subsidies van de Europese Commissie (KP5) - o.a. KPN Telecom, KU Nijmegen en Universiteit Twente - en van EZ. Dit ministerie heeft aan een consortium bestaande uit KPN, KU Nijmegen en de TU Eindhoven 5 miljoen gulden toegekend voor een BTS Spraaktechnologie. Daarnaast heeft het IOP-MMI 1,2 miljoen gulden toegekend aan een project van de KU Nijmegen, KU Brabant en TU Eindhoven dat zich richt op multi-modale toegang tot transactie- en informatiesystemen. In deze al lopende samenwerkingsverbanden (BTS, IOP) wordt samengewerkt aan vooral toepassingsgericht en toegepast spraaktechnologisch en ergonomisch onderzoek. In het nieuwe Interactieve Multimodale Informatie Extractie onderzoeksprogramma wordt gericht op fundamenteel-strategisch onderzoek op dit gebied als investering in de toekomst van de Nederlandse taalen spraaktechnologie. De voorbereidingscommissie heeft zorggedragen voor afstemming met de bovengenoemde gerelateerde lopende programma´s. De geschetste initiatieven sluiten aan bij het in 2000 verschenen actieplan Concurreren met ICT-competenties; Kennis en Innovatie voor de Digitale Delta, opgesteld in opdracht van het Ministerie van Economische Zaken en het Ministerie van Onderwijs, Cultuur en Wetenschappen waar wordt opgemerkt: Onderzoeksterreinen waarvoor een dergelijke aanpak [concurrent research] nodig is sluiten aan bij de rol die Nederland wil hebben als kennisintensieve maatschappij en economie. “Nederland Kennisland” vergt een stevige technologische fundering voor het opbouwen, beheren, ontsluiten en raadplegen van kennis. Onderzoek op gebied van “Data en Knowledge Engineering” is samen met de finale versie - Pagina 10


terreinen “Software Engineering” en “Software Architectuur” belangrijk voor de strategische vooruitgang op terrein van effectiviteit en efficiency van ICT applicatie ontwikkeling en -onderhoud. Multi media componenten waaronder Taal en Spraaktechnologie zullen ICT gebruikersvriendelijk en toegankelijk kunnen maken.8 Schema concurrent research taalen spraaktechnologie ontwikkelingslijn fundamenteel/ strategisch oz

toegepast oz / middellange termijn

korte termijn research en development

Bedrijven R&D BTS-spraaktechnologie IOP-MMI TOKEN2000 IMIX

Een onderzoeksprogramma op het gebied van de Interactieve Multimodale Informatie Extractie past ook binnen de thema´s die de Europese Commissie gedefinieerd heeft binnen het Vijfde Kaderprogramma, dat - naast het principe van recht op toegang tot informatie in de eigen taal - uitdrukkelijk uitgaat van de wens om tot een maximale synergie te komen tussen nationaal gefinancierde projecten/programma’s en projecten die gesteund worden door Europees onderzoeksgeld. Ook in het Vijfde Kaderprogramma speelt Informatie Technologie, en daarin ook en met name Taal- en Spraaktechnologie9 een vooraanstaande rol. De door de EU te financieren projecten zullen echter voornamelijk gericht zijn op de ontwikkeling van generieke technologie en kennis; de implementatie van die technologie voor de afzonderlijke talen zal tot op grote hoogte overgelaten worden aan de lidstaten (subsidiariteitsprincipe) en aan het internationale bedrijfsleven. Daarnaast versterkt de EU ook subsidie voor een specifieke HLT awareness actie (EUROMAP/HOPE). In dat kader is begin 1999 een goed bezochte workshop georganiseerd over de ‘(on)mogelijkheden van taalen spraaktechnologie. Eind maart 2001 heeft in Eindhoven een vervolg daarop plaatsgevonden. Ook heeft EZ een visieworkshop georganiseerd waar onder andere besproken is of er een roadmap taalen spraaktechnologie opgesteld moet gaan worden. Stimulering van onderzoek op het gebied van de Taal- en Spraaktechnologie is ook meer indirect van groot belang voor de economische ontwikkeling van Nederland, en in het bijzonder van de informatietechnologie. Het rapport Kennis en economie 199710 van het CBS onderstreepte reeds dat in Nederland een tekort bestaat aan hoog opgeleide informatici en technici, en dat tegelijkertijd zowel de instroom van eerstejaars als de uitstroom van afgestudeerden in de universitaire informatica-opleidingen daalt. Als gevolg daarvan moesten bedrijven die investeerden in automatiseringssystemen voor hoogwaardig technologisch onderzoek steeds vaker uitwijken naar het buitenland. Deze situatie is ondertussen bepaald niet verbeterd.11 Zowel de bedrijven die geparticipeerd hebben in het

Actieplan Concurreren met ICT-competenties; Kennis en Innovatie voor de Digitale Delta, 2000, pagina 49. Human Language Technologies is één van de centrale aandachtgebieden binnen de ICT actielijn Multimedia Content and Tools. Voor meer informatie zie: http://www.hltcentral.org/. 10 Kennis en economie 1997, Centraal Bureau voor de Statistiek., Voorburg, 1998. 11 Zie ook de Kabinetsreactie Deltawerkers voor de digitale delta, 2000. 8 9



NWO Prioriteit Programma Taal- en Spraaktechnologie en de industriële internationale experts die de eindevaluatie uitgevoerd hebben bevestigen dit probleem. Het is hier niet de plaats om alle oorzaken voor die daling te analyseren, en een onderzoeksprogramma Interactieve Multimodale Informatie Extractie zal zeker niet al die oorzaken kunnen wegnemen. Toch zal een dergelijk programma zeker bijdragen aan de oplossing. Een aanzienlijk aantal VWO abituriënten besluit niet voor Informatica te kiezen omdat zij die opleiding te abstract en te moeilijk vinden, waardoor een groot deel van dat potentieel verloren gaat. Als er echter - in het verlengde van het universitaire onderzoek - sterke en aantrekkelijke opleidingen zouden zijn op het gebied van de Informatietechnologie, die eerder een alfa-gamma dan een bèta uitstraling hebben, zou een belangrijk deel van dat potentieel via de weg van die opleiding alsnog voor de informatietechnologie bewaard blijven.

3.3

Aansluiting bij beleid van NWO

Het beleid van NWO zoekt aansluiting bij het beleid van het tweede kabinet Kok op het terrein van onderzoek en wetenschapsontwikkeling. Een van de doelen in het regeerakkoord is de versterking van het fundamenteel-strategisch onderzoek, onder andere door middel van NWO Onderzoeksprogramma’s. Het onderzoeksprogramma dat ons voor ogen staat heeft het karakter van fundamenteelstrategisch onderzoek: het is gericht op concrete doelen die het fundamentele onderzoek sturing geven en die tegelijkertijd een kader scheppen waarin dat concreet experimenteel onderzoek gedaan kan worden. Dat het onderzoek nauw verband houdt met maatschappelijke prioriteiten is hierboven al aangestipt. Op dit punt kan nog toegevoegd worden dat de ontwikkeling van Taal- en Spraaktechnologie voor het Nederlands ook een cultureel belang dient: als deze technologie voor het Nederlands achter blijft bij de ontwikkelingen voor de grotere talen, zal dat de positie van het Nederlands als cultuurtaal op den duur (en die duur zal kort zijn) aantasten. Het is met name tegen die achtergrond dat het initiatief genomen is voor de opbouw van een Corpus Gesproken Nederlands (gefinancierd door de Nederlandse en Vlaamse overheden, samen met NWO). Ook de Nederlandse Taalunie stelt zich tegenwoordig actief op ten aanzien van concrete initiatieven ter bevordering van de ontwikkeling van die technologie om de status van het Nederlands als cultuurtaal in de informatiemaatschappij te verdedigen.12

3.3.1 Aansluiting bij het beleid van het betrokken NWO gebieden De benadering van taal als het vehikel bij uitstek om informatie te representeren en over te dragen maakt taalwetenschap tot een essentieel multidisciplinaire onderneming. Dat geldt nog meer en nog duidelijker voor de taalen spraaktechnologie dan voor de meer theoretisch georiënteerde onderdelen van de taalwetenschap. Immers, een technologische benadering van taal sluit zeer nauw aan bij ontwikkelingen in de Informatica en Informatiekunde; daarnaast blijken taalen spraaktechnologie in toenemende mate te dienen als kraamkamer voor de ontwikkeling van probabilistische modellen, die in eerste instantie toegepast worden voor automatische spraakherkenning en natuurlijke taal verwerking,

12 In

het rapport De Positie van het Nederlands in taalen spraaktechnologie. opgesteld in opdracht van de Nederlandse Taalunie Als eerste concrete actie in dit kader is op 19 april 1999 in Gent tijdens Flanders Technologie het Platform Nederlands in taalen spraaktechnologie ingesteld door de Vlaamse minister-president L. Van den Brande. Aan het Platform wordt deelgenomen door zowel Nederlandse (OCenW, EZ, NWO) als Vlaamse partners (Ministerie van de Vlaamse Gemeenschap, IWT, FWO). finale versie - Pagina 12


maar die vervolgens ook toepasbaar blijken in totaal andere gebieden van de wetenschap en het bedrijfsleven. In de meest recente Strategienota van het Gebiedsbestuur Geesteswetenschappen is de interactieve taalen spraaktechnologie in Multimodale Informatie Extractie opgenomen als een onderwerp dat ondersteuning verdient en behoeft.13 Het onderwerp wordt ingepast binnen het NWO Thema ‘Informatisering en digitalisering’ zoals dat door het Algemeen Bestuur van NWO is gedefinieerd in de Strategienota Thema´s en Talent 2002-2005.14 Op basis van een conceptversie van het IMIX onderzoeksvoorstel heeft het Gebiedsbestuur Geesteswetenschappen een reservering gemaakt in haar meerjarenbegroting. Ook sluiten het voorgestelde onderzoeksprogramma goed aan bij de strategische plannen van het Gebied Exacte Wetenschappen15 en de Nationale Onderzoeksagenda Informatica16. Het Gebiedsbestuur Exacte Wetenschappen (GB-E) heeft op basis van de conceptversie van dit onderzoeksprogramma reeds aangegeven de voorgestelde plannen voor aansluiting van het taalen spraaktechnologische onderzoek bij het informaticaonderzoek te willen ondersteunen om op die manier de noodzakelijke integratie tussen het linguïstische en computationele onderzoek verder te bevorderen. Het Gebiedsbestuur Exacte Wetenschappen heeft ten behoeve van de uitvoering van dit onderzoeksprogramma reeds een reservering gemaakt binnen het EFFECT-fonds. De door het GB-E voorgestelde nadere uitwerking van het onderzoeksplan gericht op toepassing binnen de multimediatechnologie en in het bijzonder de multimediaontsluiting is in het onderzoeksprogramma Interactieve Multimodale Informatie Extractie gerealiseerd. Taal- en spraaktechnologie zijn voor de multimediaontsluiting naast beeldverwerking - dat door het GBE gestimuleerd wordt binnen het Computational Science Programma17 - een essentieel onderdeel. Ook is zorggedragen voor afstemming met het onderzoekprogramma ToKeN200018 dat gezamenlijk gefinancierd wordt door NWO, OCenW en het NAP en de ontwikkeling van zodanige methoden en technieken voor geavanceerde multimediale informatiesystemen tot doel heeft, zodat deze systemen in het gebruik zo goed mogelijk aansluiten op de menselijke belevingswereld. Tenslotte moet nog toegevoegd worden dat het voorgestelde onderzoeksprogramma aansluit bij de strategische plannen van een aantal Letterenfaculteiten, die investeren in het opzetten en consolideren van opleidingen en onderzoeksprogramma’s die “taal als informatiemedium” als centrale onderzoeksthema hebben.

3.4

De stand van zaken in het Nederlandse onderzoeksveld

In deze sectie wordt een korte samenvatting gegeven van de stand van zaken op de belangrijkste deelgebieden van het brede terrein van de interactieve toegang tot informatie. De huidige status quo is voor een groot deel gevormd door het onderzoek in het in het jaar 2000 succesvol afgesloten Prioriteit Programma Taal- en Spraaktechnologie. In dat programma

Strategienota Gebied Geesteswetenschappen 2002-2005, mei 2001 NWO Strategienota Thema´s met Talent 2001-2005, mei 2001. 15 Strategienota Exacte Wetenschappen, mei 2001. 16 Nationale Onderzoeksagenda Informatica NOAG-i 2001-2005, conceptversie december 2000, is tot stand gekomen via NWO Exacte Wetenschappen in samenwerking met het Informaticaonderzoek Platform Nederland (IPN), de NWO Adviescie Informatica. (ACI), de ministeries EZ en OCenW en vertegenwoordigers uit het bedrijfsleven en de onderzoekswereld. 17 Programma Computational Science, NWO Exacte Wetenschappen, mei 2000. 18 ToKeN2000: http://www.cwi.nl/Token2000/ 13 14



hebben de vier academische groepen samengewerkt met Philips Research en KPN Research. Dat programma heeft mede als basis gediend voor Nederlandse deelname aan een aantal projecten in het vierde en vijfde Kaderprogramma van de Europese Unie. Daarnaast is er ook een substantiële (zowel qua omvang als qua kwaliteit) hoeveelheid onderzoek geweest dat geen rechtstreekse banden had met het Prioriteit Programma. Ook is er een er en redelijk aantal kleinere bedrijven die taalen spraaktechnologie ontwikkelen of integreren, o.a. Comsys, Polderland, G2Speech, Q-go, Knowledge Concepts In het bijzonder heeft in Nederland een aantal onderzoeksgroepen internationaal gerespecteerde resultaten bereikt op het gebied van informatie-extractie uit tekst, vooral gestimuleerd door de Message Understanding Conferences (MUC) in de VS (DARPA), en meer recent de Topic Detection and Tracking evenementen (georganiseerd in verlengde van TREC).

3.4.1 Het NWO Prioriteit Programma Taal- en Spraaktechnologie Het TST-programma is in 1995 van start gegaan in een situatie waarin Nederland op een aantal relevante punten een achterstand had op het buitenland. Hoewel afzonderlijke deeldisciplines in het spraakonderzoek en in de taalkunde ook internationaal gezien een vooraanstaande rol vervulden, was er op dat moment nauwelijks sprake van integratie van een aantal cruciale disciplines19. Het TST-programma had verscheidene doelen, waarvan de belangrijkste waren: • het ontwikkelen van taalen spraaktechnologie voor het Nederlands die zich qua prestaties kan meten met de beste in de wereld, en gebaseerd is op een solide theoretische basis; • het ontwikkelen van operationele modules voor spraakherkenning, natuurlijke taalverwerking, dialoog management, taalgeneratie en spraaksynthese die geïntegreerd kunnen worden tot een praktisch werkend laboratoriumsysteem dat automatisch over de telefoon informatie kan verschaffen over de Nederlandse treindienstregeling; • het ontwikkelen van wetenschappelijk goed gefundeerde methoden voor het doen van ergonomisch onderzoek aan complexe, geautomatiseerde dialoogsystemen; • het bijdragen aan het overbruggen van de kloof tussen de onderzoeksmethoden en de manier van denken in de probabilistische Informatietheorie en de meer regel-gebaseerde aanpak in de taalkunde; • door de ontwikkeling van praktisch bruikbare taalen spraaktechnologie voor het Nederlands bijdragen aan de realisering van commerciële toepassingen van die technologie, waardoor het Nederlands in het zakelijke verkeer dezelfde status kan behouden als de grotere talen van de ons omringende landen. Dit TST-programma was indertijd opgezet tegen de achtergrond van concrete maatschappelijke, wetenschappelijke en culturele belangen. Deze belangen zijn onveranderd of zelfs toegenomen. Het Prioriteit Programma Taal- en Spraaktechnologie is formeel in de zomer van 2000 afgesloten met een evaluatie uitgevoerd door de gebruikersgroep en een internationale groep van experts. De resultaten van het TST-programma werden door beide commissies zeer positief beoordeeld. Het volledige rapport van de eind-evaluatie is met de reacties van de betrokken gebiedsbesturen aangeboden worden aan het Algemeen Bestuur van NWO.20

19 NWO

Prioriteitsprogramma Taal en Spraaktechnologie, research plan 1995-1997, 1995 en NWO Prioriteitsprogramma Taal en Spraak-technologie, research plan 1997-2000, 1997. 20 Eind-Evaluatie van het NWO PRIORITEIT-programma Taal- en Spraaktechnologie, oktober 2000. finale versie - Pagina 14


Hieronder worden de belangrijkste resultaten van het TST-programma per thema samengevat.21 Automatische Spraakherkenning (Katholieke Universiteit Nijmegen) Bij het begin van het TST-programma bestond er nog geen continue spraakherkenner voor het Nederlands. Momenteel beschikken we over een herkenner die zich voor de taken in een gesproken informatie-dialoog kan meten met de beste elders op de wereld (al is een formele vergelijking natuurlijk erg moeilijk als er verschillende talen met verschillende eigenschappen in het geding zijn). Nederland heeft weer een plaats op de landkaart van de automatische spraakherkenning, wat o.a. tot uiting gekomen is in de organisatie van een succesvolle workshop over het modelleren van uitspraakvariatie (één van de urgente problemen in automatische spraakherkenning) in Rolduc in mei 1998.22 Ook was Nederland met een aanzienlijk aantal papers vertegenwoordigd op de grote internationale conferenties als Eurospeech in 1997 en 1999, ICSLP in 1998 en 2000, ICASSP in 1998, 1999 en 2000. Last but not least heeft het TST-programma voor de onderzoeksgroep in Nijmegen en voor KPN Research de mogelijkheid geopend om een leidende rol te spelen in een aantal projecten in het vierde en vijfde Kaderprogramma (o.a. ARISE, CAVE, Picasso, SMADA, MUMIS). Natuurlijke Taalverwerking (Universiteit van Amsterdam en Rijksuniversiteit Groningen) Op het deelgebied van de Natuurlijke Taalverwerking (NLP) is grote vooruitgang geboekt met betrekking tot het robuust en efficiënt maken van de analyse-technieken, niet in de laatste plaats doordat twee onderzoeksgroepen parallel, deels in concurrentie met elkaar maar ook in nauw onderling overleg, op twee verschillende manieren aan de oplossing van de problemen gewerkt hebben. De Groningse onderzoeksgroep heeft een op het domein van Openbaar Vervoer Informatie Systemen (OVIS) toegesneden unificatie-grammatica ontwikkeld op basis van een zorgvuldige bestudering van een corpus van uitingen uit dit domein. Zeer snelle parseeralgoritmes zijn ontwikkeld voor het analyseren van zinnen of woord-grafen volgens zulke grammatica's. Deze algoritmes zijn gecombineerd met robuustheidstechnieken die het mogelijk maken om een zin te analyseren als een sequentie van constituenten als er geen complete syntax-boom voor geconstrueerd kan worden. Op deze manier is het mogelijk gebleken om de uitingen in het OVIS-domein zeer snel en effectief te interpreteren. De Amsterdamse onderzoeksgroep heeft een NLP-module ontwikkeld gebaseerd op de z.g. Data-Oriented Parsing (DOP) methode - een statistische aanpak die nieuwe invoer probeert te analyseren op basis van een rijk geannoteerd corpus. Deze aanpak beoogt een antwoord te zijn op het probleem van de ambiguïteit, waardoor large-coverage grammars op grote schaal geplaagd worden. Omdat DOP de frequentie van voorkomen van lexicale items en van syntactische structuren en van combinaties daarvan allemaal in de beschouwing betrekt, is het potentieel superieur aan eerder bestaande probabilistische methodes (zoals Markovmodellen of stochastische CFG's), die intrinsieke beperkingen hebben. Data-Oriented Parsing is een recente uitvinding, die bij het begin van dit project nog in de kinderschoenen stond. Het resultaat van de Natuurlijke Taalverwerking is een representatie van de betekenis van de gesproken uitingen in een formalisme dat in het TST-programma ontwikkeld is, en dat bekend staat als een Update-taal.

21 NWO

Prioriteitsprogramma Taal en Spraaktechnologie, progress report 1995-1997, 1997 en NWO Prioriteitsprogramma Taal en Spraak-technologie, progress report 1998-1999, 1999. 22 ESCA Workshop Modeling Pronunciation Variation for Automatic Speech Recognition Rolduc, 4-6 May 1998. finale versie - Pagina 15


Dialoogmanagement (Technische Universiteit Eindhoven-IPO) Het onderzoek aan dialoogmanagement in het TST-programma heeft zich geconcentreerd op de representatie van de context waarin uitingen van een beller geïnterpreteerd moeten worden. In eerste instantie wordt de dialoog gemodelleerd als het invullen van een formulier. Omdat deze modellering belangrijke beperkingen heeft, is in het TST-programma een geavanceerder formalisme voor contextrepresentatie ontworpen, een zgn. framestructuur, waarin informatie gelijktijdig op meer dan een manier kan worden gerepresenteerd. In dit formalisme bestaan informatietoestanden uit een verzameling hiërarchisch geordende slots, waarvan de onderlinge afhankelijkheden worden gemodelleerd m.b.v. logische regels. Update-expressies beschrijven een verandering van de informatietoestand, en logische regels zorgen ervoor dat de totale verzameling slots consistent blijft, of dat inconsistenties gedetecteerd worden zonder dat de hele informatietoestand onbruikbaar wordt. Default regels zorgen ervoor dat het systeem plausibele aannames kan maken over zaken die de gebruiker niet expliciet genoemd heeft. Op deze manier wordt de mogelijkheid geschapen voor het voeren van veel flexibeler dialogen dan wanneer vastgehouden zou zijn aan het eenvoudige formulier als model. Taalgeneratie (Technische Universiteit Eindhoven-IPO) In het TST-programma is een eerder op het TUE-IPO ontwikkelde methode voor generatie van gesproken taal verder uitgewerkt. Deze methode maakt gebruik van syntactische templaten met open slots: zinspatronen met de bijbehorende syntactische structuur, waarmee informatie kan worden uitgedrukt die in niet-talige datastructuren is opgeslagen. Coherentie van de voortgebrachte tekst wordt bereikt d.m.v. context-afhankelijke toepasbaarheidscondities die aan deze templaten gekoppeld worden. De templatenmethode heeft voordelen boven grammatica-gebaseerde methoden, als het gaat om toepassing in kleine conversatie-domeinen waar volstaan kan worden met een beperkte variatie in zinspatronen, maar waarbij deze zinnen syntactisch zeer complex kunnen zijn. Voor het OVIS-domein dat in het TST-programma onderzocht is, is de templaat-methode krachtig genoeg gebleken. Spraaksynthese (Technische Universiteit Eindhoven-IPO) In een telefonisch informatiesysteem moet de machine spraak genereren als uitvoersignaal. De bovengenoemde generatiemethode met templaten is in het TST-programma gecombineerd met twee methoden van spraaksynthese: frasenconcatenatie en difoonsynthese. De methode van frasenconcatenatie, waarbij vooraf uitgesproken en opgenomen zinsdelen worden gecombineerd, rekening houdend met de context, levert een uitstekende spraakkwaliteit op, met name als de prosodie van de te concateneren frasen gericht aan de contexteisen aangepast kan worden. Voor de verbetering van de natuurlijkheid van difoonsynthese wordt nauw samengewerkt met onderzoekers van Bell Labs-Lucent (USA). Daarbij wordt o.a. onderzoek gedaan naar ‘greedy search’ technieken, voor het in een grote database met spraakopnamen identificeren van difonen of multi-fonen die optimaal passen in de context van de te synthetiseren spraak. Ergonomisch onderzoek (Katholieke Universiteit Nijmegen, Technische Universiteit Eindhoven-IPO) Het ergonomische onderzoek in het TST-programma heeft zich geconcentreerd op twee problemen: de optimale presentatie van reisadviezen in gesproken vorm en de cognitief ergonomische problemen in de interactie tussen bellers en informatie-automaten. Het onderzoek naar informatie-presentatie heeft voorlopige adviezen opgeleverd over de randvoorwaarden waarmee rekening gehouden moet worden als complexe feitelijke



informatie gepresenteerd moet worden in een vluchtig medium als spraak. Onderzoek aan dialoogsystemen is uiterst lastig, omdat het gedrag van het systeem niet volledig te voorspellen valt (bijvoorbeeld doordat de fouten van de spraakherkenner bij een unieke uiting van de gebruiker niet te voorspellen zijn). In het TST-programma is met succes gewerkt aan het toepasbaar maken van diepte-interviews als techniek om meer inzicht te krijgen in de oorzaken van het gedrag van proefpersonen in de omgang met de systemen.

3.4.2 Informatie Extractie Parallel aan het onderzoek binnen TST-programma is in Nederland onderzoek verricht naar informatie-extractie uit tekst, vooral gestimuleerd door de Message Understanding Conferences (MUC) in de VS (DARPA), en meer recent de Topic Detection and Tracking evenementen (georganiseerd in verlengde van TREC). In deze competitief georganiseerde en toepassingsgerichte wedstrijden is de robuuste automatische extractie van vooraf bepaalde kennis of het herkennen en traceren van nieuwe of bestaande topics het doel. Aan deze information retrieval en information extractie-projecten is een groot aantal academische en bedrijfspartners betrokken, o.a. TNO-TPD, TNO-TM, Telematica Instituut, Universiteit Twente, CWI, VDA (Hilversum, NOB (Hilversum), NAA (Hilversum, Q-go (Amsterdam), IRION (Delft), IBM Nederland (Zoetermeer), Eidetica (Watergraafsmeer) en Bixyte (Delft). Deze evolutie heeft geleid tot een explosie van onderzoek naar minder traditionele modules in natuurlijke taalverwerking: herkenning van named entities zoals bedrijfsnamen, eigennamen, datums en adressen etc., shallow of partieel parseren in plaats van volledig parseren (cf. ook de in sectie 3.3.1.2 beschreven ontwikkeling binnen de onderzoeksgroep in Groningen), co-referentie resolutie, desambiguering van woordbetekenis en herkenning van event structuren in plaats van volledige semantische interpretatie, en het gebruik van machine learning technieken om automatisch regels af te leiden voor het koppelen van informatievelden aan oppervlakkig geanalyseerde teksten. Opvallend in deze evolutie is dat technieken voor information retrieval en natuurlijke taalverwerking in toenemende mate naar elkaar groeien, bijv. in de detectie van topics of in CLIR (Cross-Language Information Retrieval), en dat deze technieken voor taal en spraak ook worden gecombineerd met andere interfacemodaliteiten (bijv. de automatische indexering van video-beelden, automatische ondertiteling van videobeelden en spraak e.d.). Op het terrein van Information Retrieval en Information Extraction hebben TNO-TPD, TNOTM, CWI Amsterdam en de Universiteit Twente deelgenomen aan projecten in het vierde en vijfde Kaderprogramma en o.a. aan het door het Telematica Instituut gefinancierde project DRUID dat zich richt op de ontwikkeling van tools en demonstrators voor de ontsluiting van multimedia archieven met behulp van onder meer taalen spraaktechnologie (zie ook. http://dis.tpd.tno.nl/druid/). Nieuw te starten informatie-extractieonderzoek zal naar verwachting gebruik kunnen maken van de testcollectie (omvang 150 miljoen woorden; meer dan twee complete jaargangen van kranten) voor het Nederlands die in het kader van DRUID is ontwikkeld voor evaluatiedoeleinden, en die ter beschikking zal komen van alle groepen die extractieen retrieval-systemen ontwikkelen.



4


De maatschappelijke, wetenschappelijke en culturele behoeften aan onderzoek op het terrein van de Interactieve Multimodale Informatie Extractie vormen samen met de verworvenheden van eerder onderzoek en de deskundigheid van onderzoekers in de Nederlandse kennisinfrastructuur en het Nederlandse bedrijfsleven de basisvoorwaarden voor de formulering van een nieuw programma. Bij de invulling en de vormgeving van dat programma zal rekening gehouden worden met andere activiteiten in binnen- en buitenland die op een of andere wijze in verband gebracht moeten worden met het hier voorgestelde programma. Het hier voorgestelde onderzoeksprogramma is een aanvulling op het onderzoek dat uitgevoerd wordt in het IOP Multimodale Mens-Machine Interactie (MMI)23. In dat IOP ligt de nadruk sterk op User Centered Design en de ergonomie van informatiesystemen. In het IOP-MMI zal geen fundamenteel onderzoek gedaan worden aan taalen spraaktechnologie als zodanig; het onderzoek zal veeleer gericht zijn op de bruikbaarheid van bestaande technologie voor de verbetering van mens-machine interactie. Ook is er afstemming met TOKEN2000 en het NWO-programma Cognitiewetenschap. Daarnaast zal zorg gedragen worden voor de afstemming en kennisuitwisseling met het onderzoek dat uitgevoerd wordt in industriële laboratoria. In dit kader waren in de voorbereidingcommissie naast experts uit de universitaire wereld (KUN, UvT, UvA, RUG, UT, TUE) en onderzoeksinstituten (TNO) ook industriële experts opgenomen van KPN Research en Philips Research. Voorts is het onderzoeksvoorstel voorgelegd aan een aantal kleine en middelgrote bedrijven die zich bezighouden met de ontwikkeling van informatie-extractiesoftware en taalen spraaktechnologie en die zich verenigd hebben in de Nederlandse Organisatie voor Taal- en Spraaktechnologie (NOTaS)24. Deze stichting heeft tot taak de belangen te behartigen van bedrijven en kennisinstellingen die actief zijn op het terrein van taalen spraaktechnologie en de sector een eigen gezicht te geven in binnen- en buitenland. Het afgesloten TST-programma heeft geleid tot een sterk verbeterde samenwerking tussen een aantal belangrijke universitaire onderzoeksgroepen. Nu is er behoefte aan een verbreding van het draagvlak voor een nieuw onderzoeksprogrammaprogramma, met name in de richting van de Informatica, Software Engineering en Probabilistiek.

4.1

Organisatorische Uitgangspunten

Bij de definitie van een nieuw programma moet rekening gehouden worden met de volgende specifieke uitgangspunten: • Houd Taal- en Spraaktechnologie bij elkaar Hoewel in het TST-programma al veel bereikt is op het vlak van de integratie van spraaktechnologie en taalwetenschap is de ontwikkeling nog lang niet voltooid. Zowel taal- als spraaktechnologie kunnen profiteren van de verdere ontwikkeling van statistische technieken die optimaal toegesneden zijn op de modellering van taalen spraakverschijnselen.

23 Zie

ook rapportage Voorstudie innovatiegericht onderzoeksprogramma (IOP) Mens-Machine Interfaces, opgesteld door Berenschot in opdracht van het Ministerie van Economische Zaken. 24 NOTaS is een initiatief van de N.V. Brabantse Ontwikkelingsmaatschappij (BOM), Katholieke Universiteit Brabant, Technische Universiteit Eindhoven en een aantal bedrijven: GIOS Voice Professionals, Knowledge Concepts, ManWard, ORCAvoice, Polderland Language & Speech Technology en Van Dale Data. finale versie - Pagina 18


• Houd vast aan de strategie om specifieke taken en domeinen te definiëren als kristallisatiekern en evaluatieplatform voor het onderzoek Ondanks het feit dat het door de prominente rol van een concrete demonstrator soms moeilijk was om aan de buitenwereld duidelijk te maken dat het door NWO ondersteund onderzoek in het TST-programma primair wetenschappelijk gericht was, is toch de overheersende ervaring dat het paradigma juist was en terecht gekozen. Focussering van onderzoek door middel van een demonstrator is waarschijnlijk de enige vorm waarin gedistribueerd onderzoek zo georganiseerd kan worden dat een redelijke mate van onderlinge samenhang gewaarborgd is. Het is zeker de enige organisatievorm die waarborgt dat essentiële gaten en tekortkomingen (maar ook eventueel overlaps) in de planning maar ook tijdens de loop van het project tijdig aan het licht komen. • Bewaar de aansluiting met informatie-ergonomie Een programma dat georganiseerd is rond één of meer demonstrators kan niet buiten ergonomisch onderzoek. Ergonomisch onderzoek is de enige manier om essentiële tekortkomingen in de taalen spraaktechnologie zoals die geïntegreerd is in een demonstrator op het spoor te komen. Bovendien heeft het TST-programma aangetoond dat er een grote behoefte is aan de ontwikkeling van onderzoeksparadigma’s die de informatie-ergonomie minder afhankelijk maken van taakspecifieke, enigszins anekdotische resultaten. • Kies demonstrators die kunnen rekenen op belangstelling uit het bedrijfsleven en/of de maatschappij Om inhoudelijk-wetenschappelijke en economische redenen is het noodzakelijk om te werken aan meer dan één demonstrator. Immers, alleen als aan tenminste twee demonstrators gewerkt wordt is er een platform voor onderzoek naar de portabiliteit van de gekozen oplossingen. Om een programma te verzekeren van voldoende steun uit de maatschappij moeten die demonstrators zo gekozen worden dat er voldoende vertrouwen bestaat in het maatschappelijke en/of economisch nut van het onderzoek. • Zorg voor goede afstemming met ander academisch en bedrijfsonderzoek in binnen- en buitenland Afstemming is nodig met onderzoek in de academische sfeer, maar ook met onderzoek in de (grote) bedrijven. Speciale aandacht moet gegeven worden aan een goede kennisuitwisseling tussen onderzoeksinstellingen en bedrijfsleven. • Garandeer een lange termijn perspectief voor het programma Ondanks de wens (en de noodzaak) om toe te werken naar laboratorium demonstrators die een platform bieden voor het testen van de feitelijke adequaatheid van de nieuw verworven kennis - wat onvermijdelijk leidt tot de a priori eis dat de beoogde demonstrators praktisch realiseerbaar moeten zijn - moet fundamenteel-strategisch onderzoek gericht zijn op toepassingen die niet op korte termijn op industriële schaal gerealiseerd kunnen worden. Korte of middellange termijn spin-offs daarentegen zijn zeker wenselijk.

4.2

Concretisering in onderwerpen van onderzoek

In deze sectie wordt een globaal beeld geschetst van de onderwerpen van onderzoek waaraan gewerkt moet worden om het ideaal van een intelligente agent die helpt bij het zoeken en presenteren van informatie dichterbij te brengen. Daarmee wordt bedoeld een machine die in staat is om een dialoog te voeren waarin het initiatief wisselt tussen mens en machine. In die dialoog moet de machine zich behulpzaam kunnen gedragen: ze moet overweg kunnen met vaag geformuleerde vragen en opdrachten van de mens, en zo nodig om verduidelijking vragen. In de meest geavanceerde vorm moet de machine in staat zijn om de relevante informatie in ongestructureerde data (in ieder geval in ongestructureerde



tekst) te ‘begrijpen’, zodat ze op een intelligente of behulpzame wijze kan reageren op vragen over die informatie. Vooralsnog wordt afgezien van specifieke keuzes voor projecten. Immers, de uiteindelijke definitie van het onderzoeksprogramma zal tot op zekere hoogte afhangen van de maatschappelijke steun en interesse voor specifieke problemen. Hieronder wordt alleen in globale termen aangegeven hoe de onderwerpen bijdragen aan het bereiken van het einddoel. Tegen de achtergrond van het beschikbare budget is het niet bij voorbaat gegarandeerd dat alle hieronder genoemde onderwerpen met concrete projecten afgedekt zullen worden. Voor het welslagen van het programma is dat ook niet per definitie vereist. Het is zeer wel mogelijk dat een of meer van de hieronder genoemde thema’s vanuit andere bronnen voldoende gefinancierd kunnen worden. Daarbij moet onderstreept worden dat de volgorde waarin de onderwerpen genoemd worden geen enkele suggestie ten aanzien van hun relatieve belang impliceert.

4.2.1 Automatische spraakherkenning De prestaties van de Automatische Spraakherkenningsmodule (ASR module) zijn nog steeds verantwoordelijk voor een aanzienlijke hoeveelheid problemen die verderop in een interactief multimodaal informatiesysteem ontdekt en opgelost moeten worden, o.a. door de Natuurlijketaalverwerkings- (NLP-) en de Dialoog Management (DM) modules. Voor een groot deel zijn die problemen een gevolg van de maximum likelihood decodering in de bestaande ASR systemen: die leveren bij elke spraakuiting de meest waarschijnlijke rij van woorden uit het lexicon van de herkenner, ook als een deel van de woorden (of zelfs alle) in die uiting in feite niet in dat woordenboek voorkomen. Eén manier om in een vroeg stadium te voorkomen dat NLP en DM opgezadeld worden met onzinnige input is de uitbreiding van maximum likelihood decodering met betrouwbaarheidsmaten, die aangeven hoe groot de kans is dat de output van de ASR module correct is. Hoewel het op dit moment redelijk lukt om bruikbare betrouwbaarheidsmaten op te leveren voor geïsoleerd uitgesproken woorden, blijft het definiëren en berekenen van betrouwbaarheidsmaten voor continue spraak een onopgelost probleem. De snelheid en effectiviteit van mens-mens dialogen is voor een niet onbelangrijk deel het gevolg van het feit dat mensen vaak aan een half woord - of tenminste aan een halve uiting voldoende hebben om te begrijpen wat de gesprekspartner bedoelt. Voor gebruik in interactieve toepassingen is het daarom zeer wenselijk dat ook de decoder in de ASR module in staat is om een begrijpelijke output op te leveren voordat de spreker uitgesproken is. Dit vermogen kan alleen gerealiseerd worden door middel van een speciaal ontwerp van de decoder, waarbij het waarschijnlijk onvermijdelijk is om betrouwbaarheidsmaten al tijdens de decodering toe te passen. Een ander probleem in ASR dat vooralsnog niet opgelost is betreft de robuustheid van de decoder tegen achtergrondlawaai (en tegen verstoringen van het signaal tijdens de transmissie, een probleem dat met name in cellulaire netwerken urgent is). In het TSTprogramma is een aanzet gegeven tot praktische implementaties van ‘missing feature’ theorie in de decodering, waarvan verwacht wordt dat ze een basis biedt voor de integratie van kennis over de manier waarop menselijke spraakperceptie robuust is tegen verstoringen door achtergrondlawaai. Tegelijkertijd moet ook onderzoek naar het gebruik van fysische continuïteit in de akoestische vectoren die het invoersignaal representeren meer aandacht krijgen.



Met name in spontane spraak doet zich een grote mate van variatie voor in de manier waarop woorden uitgesproken worden. Alle bestaande ASR systemen gaan uit van lexicale modellen die bestaan uit sequenties (soms uit netwerken) van discrete klankeenheden. In principe moet een netwerk-representatie tot betere herkenresultaten leiden, maar in de praktijk blijkt dat lang niet altijd het geval te zijn. De modellering van uitspraakvariatie op een zodanige wijze dat ASR systemen er gegarandeerd profijt van hebben blijft een onopgelost probleem. Een nauw verwant probleem betreft de ontwikkeling van procedures en technieken voor de training van akoestische modellen die enerzijds ontsnappen aan ‘vervuiling’ doordat de transcriptie niet voldoende nauwkeurig was maar aan de andere kant wel voldoende ruim zijn om allerlei variatie die niet expliciet gemodelleerd kan worden te verdisconteren. In hetzelfde kader moet ook onderzoek gedaan worden naar discriminatieve trainingstechnieken, als aanvulling op de conventionele maximum likelihood gebaseerde training. Tot dusver is het niet gelukt om een ASR systeem te bouwen dat profijt heeft van de detectie en de verwerking van prosodische eigenschappen van spraaksignalen. Desondanks bestaat de overtuiging dat mensen die eigenschappen wel degelijk gebruiken bij de interpretatie van gesproken uitingen. Het ligt daarom in de rede om te onderzoeken of relevante prosodische kenmerken voldoende betrouwbaar gedetecteerd kunnen worden, en vervolgens geïntegreerd in de search die tot de uiteindelijke output van de herkenner leidt. Waarschijnlijk zal dat binnen de looptijd van het programma alleen kunnen bij gebruik van multi-pass decoders, waarin de prosodische informatie gebruikt wordt voor het herscoren en herordenen van een aantal hypothesen die in eerste instantie berekend zijn zonder gebruik van prosodische informatie.

4.2.2 Natuurlijke Taal Verwerking Op het gebied van de Natuurlijke Taalverwerking (NLP) blijven de basisproblemen voorlopig onopgelost. Er is nog steeds geen zicht op een robuuste en efficiënte syntactische parsering van complexe en lange uitingen en een groot lexicon. Evenmin mag verwacht worden dat iemand er op korte termijn in zal slagen om een effectieve manier te ontwikkelen om syntactische analyses van willekeurige complexe uitingen te desambigueren. Het is evenmin duidelijk wat uiteindelijk de beste mix van deterministische, regelgebaseerde en probabilistische technieken zal zijn voor de oplossing van het robuustheid en efficiency probleem en voor het desambigueringsprobleem. Analyses van mens-mens dialogen waarin een klant praat met een ‘agent’ met het doel informatie te krijgen of een ‘eenvoudig’ probleem op te lossen (wat is voor mij de beste hypotheek? wat is voor mij de meest aantrekkelijke vakantiebestemming? etc.) wijzen uit dat de klanten doorgaans relatief korte en eenvoudige zinnen produceren. De omzetting van die uitingen naar een betekenisrepresentatie die kan dienen als uitgangspunt voor het zoeken naar informatie in zelfs maar een beperkt domein is echter nog een onopgelost probleem. Dat probleem wordt nog moeilijker omdat rekening gehouden moet worden met de aanwezigheid van fouten in de output van de automatische spraakherkenner die de invoer levert voor de NLP module(s). Het zoeken van gegevens die bijdragen aan het antwoord op de vragen van de ‘klant’ in vaak grote tekstbestanden vergt een combinatie van probabilistische verwerking (meestal bedoeld om een klein aantal potentieel relevante documenten te identificeren) en een of andere vorm van syntactisch-semantische analyse van de zinnen in die documenten. In het onderhavige programma zal de nadruk vooral liggen op de meerwaarde die een taalkundige analyse kan bieden in combinatie met probabilistische verwerking. finale versie - Pagina 21


4.2.3 Taalgeneratie Taalgeneratie gebaseerd op de templatenmethode is alleen bruikbaar in kleine, overzichtelijke domeinen. De templatenmethode biedt in principe de mogelijkheid geleidelijk over te gaan naar een grammatica-gebaseerde methode, door de templaten te verkleinen en het proces van substitutie in open slots recursief te maken. Het is ons voornemen deze mogelijkheid in de toekomst nader te onderzoeken en na te gaan hoe het hieruit voortkomende grammatica-formalisme zich verhoudt tot 'tree adjoining grammars'. De taak van de taalgeneratie is niet alleen het voortbrengen van correcte zinnen en coherente teksten, maar ook het genereren van 'hogere-orde informatie', benodigd voor een goede kwaliteit van de spraaksynthese. Momenteel wordt uitsluitend informatie doorgegeven over focus (door middel van accentmarkeringen) en segmentatie (door middel van grensmarkeringen). Er zijn echter ook andere spraakkenmerken waarvan bekend is of vermoed wordt dat ze variëren als functie van hogere-orde informatie: onder meer spreektempo, toonhoogtebereik en zinsmelodie. Vermoed wordt dat variatie van deze eigenschappen op de een of andere manier samenhangt met de dialoogstructuur. Verder is er nog variatie in spreekstijl (niet tot een enkel kenmerk te herleiden). De centrale onderzoeksvraag hierbij is hoe spraakkenmerken variëren als functie van hogere-orde informatie. Onderzoek op dit vlak betreft de samenhang tussen dialoogkenmerken en spraakkenmerken, en het modelleren van de variatie in deze spraakkenmerken. Inzicht op dit terrein zal leiden tot een verbeterd ontwerp van de interface tussen de taalgeneratie-module en spraaksynthese.

4.2.4 Spraaksynthese Bij concatenatieve methoden voor spraaksynthese worden spraakfragmenten van uiteenlopende lengte in een spraakcorpus opgezocht, aan elkaar geplakt en met minimale nabewerking afgespeeld. Voor beperkte domeinen leveren deze methoden nagenoeg natuurlijke spraakkwaliteit op. Er zit wel een nadeel aan: het samenstellen van een domeinspecifiek spraakcorpus is tijdrovend en kostbaar. Het is daarom wenselijk om methoden te ontwikkelen die de ontwikkeling van domeinspecifieke corpora sneller en goedkoper maken. Voor situaties waarin a priori geen beperkingen aan het domein kunnen worden opgelegd, of waarin de verzameling te produceren uitingen aan verandering onderhevig is, levert concatenatieve synthese een veel minder natuurlijk klinkend resultaat. Dit komt tot uitdrukking op twee manieren. De spraakkwaliteit is relatief slecht voor woorden die niet als zodanig in het corpus beschikbaar zijn, zoals bijvoorbeeld eigennamen, terwijl die woorden juist wel hoog-informatief zijn. Daarnaast zijn er problemen met de realisatie van de informatie die de taalgeneratiemodule levert over de meest wenselijke prosodie van de uitingen. Deze problemen vergen onderzoek aan diverse aspecten van spraaksynthese, onder meer naar methoden om nabewerkingen uit te voeren op het spraaksignaal met het doel contextuele adequaatheid te realiseren zonder dat de kwaliteit aangetast wordt. Het streven naar contextuele adequaatheid maakt ook onderzoek naar variatie in spreekstijlen nodig. In de huidige generatie synthesizers genereert de taalgeneratiemodule naast de tekst alleen informatie over accenten, frasering en illocutionary force c.q. type dialooghandeling (vraag, bewering e.d.). Gegeven deze informatie ligt de resulterende spraak vast, en is het niet mogelijk om variatie aan te brengen in samenhang met factoren zoals expressiviteit en attitude (vriendelijk, overtuigend, neutraal). Dit beïnvloedt de effectiviteit van de informatie-overdracht. Om de gewenste variatie in de spraak te kunnen aanbrengen is onderzoek nodig naar de wijze waarop spraakkenmerken variëren in finale versie - Pagina 22


samenhang met genoemde factoren. In de tweede plaats raken we hier aan de grens van de mogelijkheden van de concatenatieve methoden: het aansturen van de betreffende spraakkenmerken vergt een geavanceerde parametrische representatie van het materiaal in het spraakcorpus, zodat rechtstreeks ingegrepen kan worden in de spraakkenmerken. Vanzelfsprekende voorwaarde is dat de manipulatietechnieken de spraakkwaliteit intact laten.

4.2.5 Dialoog Management Doel van het onderzoek is te komen tot een gefundeerd en formeel kader voor dialoogmanagement in een multimodale omgeving. Een interessante onderzoekslijn is dialoogmanagement op basis van 'rational agency'. Door normen op te stellen van rationeel gedrag en deze uit te werken in een formeel systeem, lijkt het mogelijk te zijn om natuurlijk opererende dialoogsystemen te maken. Recent onderzoek laat veelbelovende resultaten zien op het gebied van de modellering van common ground (de kennis die de deelnemers aan een dialoog van elkaar hebben). Tot dusver zijn dergelijke dialoogsystemen echter vrijwel uitsluitend toegepast in experimenten waarin de in- en uitvoer uitsluitend bestonden uit schrijftaal. Bovendien ging het vaak om interacties die zeer atypisch waren voor interactieve, multimodale dialogen. Het is daarom in hoge mate interessant om de rationaliteitsprincipes en de ideeën over common ground te integreren en te testen in een multimodaal dialoogsysteem. Een alternatieve benadering die nader onderzoek verdient is die waarbij dialoogmanagement wordt beschouwd als een 'machine learning' probleem. Een nadeel bij deze benadering is (nog) dat er extreem grote hoeveelheden data nodig zijn om significante conclusies te kunnen trekken. Ook deze benadering is tot dusver nooit toegepast bij multimodale interacties.

4.2.6 Multimodaliteit Om misverstanden bij het gebruik van de term multimodaliteit in de context van Interactieve Multimodale Informatie Extractie te voorkomen, beginnen we met een begripsafbakening. Multimodaliteit heeft betrekking op de zintuiglijke kanalen (horen, zien, voelen, ruiken, proeven) waarmee informatie wordt verwerkt/geproduceerd. We spreken van multimodale interactie wanneer bij de interactie tussen mens en systeem meerdere zintuiglijke kanalen worden aangesproken bij het invoeren van informatie door de gebruiker in het systeem, of bij het verwerken van door het systeem geproduceerde informatie door de gebruiker. De verschillende zintuiglijke kanalen kunnen zowel sequentieel gebruikt worden (eerst spraakinvoer, bij falen van de herkenning invoer via een toetsenbord) als simultaan (selecteren van velden op een touch screen met peninvoer en geven van de waarde voor het veld door middel van spraak). Documenten die bestaan uit een mix van audio, tekst en beeld reserveren we de term multimedia. Onderzoek op het vlak van multimodale interactie heeft betrekking op zeer diverse onderwerpen, van herkenning van gebaren die door middel van een data glove worden ingevoerd en herkenning van handgeschreven Chinese karakters tot gebruik van non speech audio. In de context van het huidige programma, waar een belangrijke rol is ingeruimd voor taalen spraaktechnologie, beperken we ons tot die onderwerpen die raakvlakken hebben met talige vormen van informatie-overdracht. Dat betekent dat we geen onderzoek voorstellen op het vlak van handschriftherkenning of herkenning van gebaren anders dan de identificatie van point and click achtige gebaren. Op het vlak van multimediale informatie extractie sluiten we onderzoek uit op het gebied van beeldherkenning en video interpretatie.



Een eerste onderzoeksthema ligt op het vlak van multimodale invoer. Er is grote behoefte aan modellen die beschrijven en voorspellen hoe de invoer van de gebruikers over de verschillende modaliteiten gedistribueerd is, en hoe de distributie in de tijd georganiseerd is: welke informatie of commando’s worden bijvoorbeeld door point-and-click-achtige gebaren gerealiseerd en welke door middel van spraak of getypte invoer. De beoogde modellen moeten ons in staat stellen om de interface zo te ontwerpen dat de gebruiker aangemoedigd wordt om voor een bepaalde handeling de optimale combinatie van modaliteiten te kiezen. Sequentiële multimodale interactie wordt vaak toegepast als de interactie in een bepaalde modaliteit problemen oplevert, bijvoorbeeld wanneer de prestatie van spraakherkenning achteruit gaat door omgevingsruis. Onderzoek op het vlak van dergelijke mode switching is met name van belang voor het ontwerp van Dialoogmanagement strategieën: idealiter moet en systeem zo ontworpen zijn dat de gebruiker onder alle omstandigheden de modi kan gebruiken die op dat moment voor haar of hem het meest comfortabel en effectief zijn. In dit verband is ook onderzoek nodig naar de cognitieve belasting die het gevolg is van mode switching, met name als de switch afgedwongen of gestimuleerd wordt door het systeem. En tweede thema ligt op het vlak van multi-modaliteit in de uitvoer van het systeem. De vragen zijn hetzelfde als op het vlak van multimodale invoer, maar nu gerekend vanuit het perspectief van het systeem. Een specifiek probleem in dit verband betreft de vraag welke analogieën we het systeem kunnen laten genereren van menselijke multimodale handelingen. Bijvoorbeeld doet zich de vraag voor of we begrijpelijke systeem-analogieën kunnen bedenken voor de combinatie van pointing/clicking en spreken door de gebruiker. Een andere vraag betreft de effectiviteit van de communicatie: welke mogelijkheden heeft het systeem om in een vroeg stadium vast te stellen of de communicatie nog effectief is. Mogelijke onderzoeksthema's liggen hier op het vlak van verbale en non-verbale backchanneling, zowel auditief als visueel (zie ook onder Spraakherkenning). Tenslotte is de vraag welke eisen en beperkingen multimodale interactie met zich meebrengt op het vlak van architectuur en formalismen voor de representatie van de betekenis van multimodale handelingen. Gangbare benaderingen maken gebruik van een unificatieaanpak, waarbij methoden die ontwikkeld zijn voor de automatische spraakherkenning worden gegeneraliseerd naar andere modaliteiten en waarbij de globaal meest waarschijnlijke interpretatie wordt gezocht op grond van de informatie uit parallelle kanalen. Het is echter geenszins zeker dat representaties en procedures die in monomodale contexten succesvol zijn zich eenvoudig naar multimodale contexten laten generaliseren. Een van de problemen die specifiek zijn voor multimodale interactie heeft betrekking op de synchronisatie van informatie in verschillende modaliteiten. Voor een deel is de asynchroniteit het gevolg van de traagheid van de spraakherkennings- en taalinterpretatie algoritmen; voor een ander deel wordt ze veroorzaakt doordat gebaren nu eenmaal niet op een nauwkeurige manier met spraak gesynchroniseerd kunnen worden (bijvoorbeeld in het geval van een vingerwijzing naast een gesproken uiting die een aantal seconden in beslag neemt). Op dit moment bestaat er geen kader waarin de problemen die samenhangen met de synchronisatie bevredigend opgelost kunnen worden. Daarnaast ontstaan in een multimodale context problemen met de consistentie van de informatie uit de verschillende kanalen. Zeker in een omgeving waarin herkenfouten (in spraak, maar ook in gebaren) aan de orde van de dag zijn, kunnen gemakkelijk onderling tegenstrijdige interpretaties ontstaan. Er is behoefte aan modellen die dergelijke schijnbare tegenstrijdigheden kunnen verzoenen.



4.2.7 Structuur in ongestructureerde informatie Voor een goede koppeling tussen een intelligente multimodale interface en de in een database opgeslagen informatie bestaat is het noodzakelijk om een conceptuele afbeelding van de inhoud te maken, waaraan de interactie kan worden gerelateerd. Voor ongestructureerde informatie (vrije teksten spraakbestanden) vergt dat een andere aanpak dan voor gestructureerde aanpak. Verscheidene Nederlandse onderzoeksgroepen hebben methoden onderzocht om ongestructureerde informatie te organiseren. Het is zeer vruchtbaar gebleken om technieken die in de spraaktechnologie gemeengoed zijn (statistische taalmodellen) toe te passen. Taalmodellen blijken uitermate geschikt voor diverse problemen op het gebied van ongestructureerde informatie. Daarbij wordt onder meer gebruik gemaakt van automatische classificatie (gebaseerd op een leerset) en ‘unsupervised clustering’. Het ligt in de verwachting dat een hybride aanpak die uitgaat van een combinatie van de statistische benadering en NLP technieken interessante verbetering op zal leveren voor extractietoepassingen, met name voor de automatische afhandeling van zogenaamde ‘named entities’ en domeinspecifieke terminologie. Daarnaast liggen er vraagstukken die gerelateerd zijn aan de analyse van de informatiebehoefte van de gebruiker die gedurende de interactie wordt opgebouwd en de mogelijkheid om die analyse mee te laten wegen in de probabilistische afhandeling van de informatievraag.

4.2.8 Systeemintegratie Systemen die in staat zijn tot multimodale interactie hebben noodzakelijkerwijs een zeer complexe architectuur. In interactieve toepassingen is een snelle response cruciaal, zeker als gebruiker en systeem via een telecom-netwerk met elkaar communiceren: de praktijk wijst uit dat mensen onzeker worden over de toestand van het systeem als een reactie op een vraag langer dan twee seconden uitblijft. Dergelijke snelle responses vereisen een optimaal efficiënte implementatie van alle voor de toepassing noodzakelijke software.Tegen de hier geschetste achtergrond is het nodig om onderzoek te doen naar software architecturen die optimaal geschikt zijn voor de integratie van grote modulaire programma-systemen in een real-time omgeving. Voor de openheid van het programma is het essentieel dat een modulaire software architectuur gecreëerd wordt waarin afzonderlijke onderzoeksgroepen hun eigen versie van een module kunnen integreren en testen, zonder daarbij gedwongen te zijn om de complete toepassing zelf te implementeren. Het Onderzoeksprogramma Interactieve Multimodale Informatie Extractie zal daarom in nauwe samenwerking met gerelateerde programma’s in Europa, de USA (Communicator) en Japan streven naar een maximaal open modulaire architectuur. Daarnaast zullen de teksten databestanden die in het programma gebruikt zullen worden voor alle Nederlandse onderzoekers toegankelijk gemaakt worden.



5

Organisatie van het Programma

In dit hoofdstuk wordt ingegaan op de organisatorische structuur die het beste tegemoet komt aan de voorwaarden voor een succesvol onderzoeksprogramma op het gebied van de taalen spraaktechnologie in het kader van interactieve multimodale informatie-extractie. Bij de keuzes die gemaakt zijn is gestreefd naar een optimale afweging van de omvang van de totale begroting enerzijds en de wens om te komen tot een samenhangend programma, dat zal resulteren in een of meer demonstrators anderzijds.

5.1

Vormgeving van het Programma

Voor een fundamenteel-strategisch programma dat de integratie van nieuwe kennis in concreet werkende laboratoriumsystemen beschouwt als een cruciaal evaluatie-mechanisme, is een structuur waarin het onderzoek aangestuurd wordt door een stuurgroep en een programmacommissie de aangewezen organisatievorm.

5.1.1 De Stuurgroep De Stuurgroep wordt benoemd door de financierende instellingen en is daaraan verantwoording schuldig. De Stuurgroep benoemt de Programmacommsssie en is verantwoordelijk voor de formele toekenningen van subsidies. De Stuurgroep neemt haar beslissingen op basis van de voorstellen van de Programmacommissie. De Stuurgroep stelt jaarlijks de begroting van het Programma vast, binnen de kaders van de beschikbare financiële middelen. Indien dat voor een adequate uitvoering van het programma noodzakelijk is, zal de Stuurgroep stappen ondernemen om de financiële ruimte voor het programma te vergroten. Daarnaast controleert de Stuurgroep de uitvoering van het onderzoeksprogramma met betrekking tot de voortgang en de samenhang. De Stuurgroep zal bestaan uit maximaal vijf leden en minstens één vertegenwoordiger vanuit de industrie bevatten. De leden van de Stuurgroep hoeven geen directe inhoudelijke betrokkenheid bij het onderzoek te hebben.De Stuurgroep vergadert twee maal per jaar. Indien het verloop van het Programma dat noodzakelijk maakt kan de frequentie van de vergaderingen verhoogd worden.

5.1.2 De Programmacommissie De Programmacommissie bepaalt en bewaakt de inhoudelijke richting van het onderzoek. Voor dat doel doet de Programmacommissie voorstellen voor de financiering van onderzoek, die aan de Stuurgroep voorgelegd worden ter goedkeuring. De Stuurgroep neemt de uiteindelijke beslissing over de toekenning van subsidies. De Programmacommissie moet samengesteld zijn uit onderzoekers uit de kennisinfrastructuur, verantwoordelijke onderzoeksmanagers uit de medefinancierende bedrijven en een onafhankelijke voorzitter. Aan het begin van het Programma formuleert de Programmacommissie een aantal onderzoeksthema’s die in hun onderlinge samenhang het gebied van multi-modale interactieve toegang tot talige informatie afdekken, en die gezamenlijk kunnen leiden tot een of meer concrete laboratoriumsystemen. Het onderzoeksveld zal vervolgens uitgenodigd worden om voorstellen in te dienen voor onderzoek aan die thema´s. De Programmacommissie zal de selectie en evaluatie van de voorstellen organiseren. Bij dat proces zullen buitenlandse deskundigen betrokken worden. De onderzoeksvoorstellen zullen beoordeeld worden o.a. op basis van de kwaliteit van het onderzoeksvoorstel en de betrokken partners, en de inbedding en verankering van het onderzoek. Op grond van de resultaten van de beoordeling en selectie stelt de Programmacommissie een finale versie - Pagina 26


meerjarenbegroting op, die ter goedkeuring voorgelegd wordt aan de Stuurgroep. Daarnaast zal de Programmacommissie jaarlijks een voortgangsrapportage en een afrekening plus begroting ter goedkeuring aanbieden aan de Stuurgroep. Ook stelt de Programmacommissie in het eerste jaar een plan op voor de kennisoverdracht. Halverwege de looptijd van het Programma zal de Programmacommissie een integrale evaluatie van het Programma laten uitvoeren. Voor deze evaluatie zullen buitenlandse deskundigen ingeschakeld worden. De Programmacommissie zal drie maal per jaar een bijeenkomst organiseren waar alle onderzoekers die bij het Programma betrokken zijn hun resultaten en hun plannen voor komend onderzoek zullen presenteren. Bij die seminars kunnen buitenlandse deskundigen betrokken worden.

5.2

Interne en Externe Kennistransfer

In deze sectie wordt een indicatie gegeven van de manier waarop de interne en externe overdracht van de kennis die in het programma ontwikkeld wordt georganiseerd zal worden om op die manier snellere innovaties en take-up van onderzoeksresultaten op basis van de onderzoeksresultaten te stimuleren en faciliteren. In eerste instantie zal kennisoverdracht bevorderd worden door a) de vertegenwoordiging van bedrijven en kennisinstellingen in de Programmacommissie via de aansturing van het onderzoek en b) door de gezamenlijke participatie van industriële en academische onderzoekers binnen deelprojecten en deelprogramma´s. De programmacommissie zal daarnaast in het eerste jaar van het programma een specifiek plan ten behoeve van de kennisoverdracht formuleren en implementeren. De kosten van dit plan bedragen circa 10% van het totale budget. Hieronder wordt reeds een aantal initiatieven genoemd die zeker geïmplementeerd zullen worden.

5.2.1 Publicaties De resultaten van het fundamenteel-strategisch onderzoek zullen gepubliceerd worden in de gebruikelijke wetenschappelijke media (proefschriften, tijdschriftartikelen, bijdragen aan congressen en workshops). Wellicht is één kanttekening gewenst: in de wetenschapsgebieden die het nauwst met het centrale thema van het programma verbonden zijn heeft zich de laatste jaren een ingrijpende verschuiving van de publicatie-activiteit voorgedaan. Waar tot voor kort een klein aantal vooraanstaande tijdschriften met een peer review systeem de toon aangaf, gebeurt het tegenwoordig steeds vaker dat organisatoren van congressen bijdragen selecteren op basis van een full paper. Daardoor nemen de grote internationale congressen steeds meer de rol van de traditionele tijdschriften over. Het kan daarom zijn dat de output in de vorm van publicaties voor een groter deel dan vroeger gebruikelijk uit congresbijdragen zal blijken te bestaan.

5.2.2 Demonstrator De demonstrators die ontwikkeld zullen worden, zullen niet alleen een nuttige functie vervullen als kristallisatiekernen voor het onderzoek maar zeker ook een belangrijke bijdrage leveren aan de kennisoverdracht.

5.2.3 Jaarlijkse Seminars Elk jaar zal de programmaleiding een seminar organiseren dat zich primair richt op de Nederlandse onderzoekers die actief zijn op gebieden die nauw met het programma gerelateerd zijn. Hoewel die seminars zich primair richten op kennisoverdracht binnen het Nederlandse taalgebied, zal de organisatie internationaal zijn: ieder jaar zal een aantal



vooraanstaande buitenlandse onderzoekers uitgenodigd worden om aan het seminar deel te nemen, en om de status van het onderzoek in Nederland te becommentariëren.

5.2.4 Workshops Bij de start van het programma, na twee en een half jaar, en aan het einde van het programma zal een internationale workshop georganiseerd worden over een of meer thema’s die rechtstreeks met de onderwerpen van het programma te maken hebben. Aan de workshops zullen telkens zo’n 100 onderzoekers deelnemen, waarvan de meerderheid uit het buitenland afkomstig zal zijn. De workshop aan het begin van het programma zal een belangrijke rol vervullen bij de invulling van de details van de planning voor de eerste twee jaren. De beide overige workshops zullen ook en met name een rol spelen bij de evaluatie van het programma; daarbij kunnen aan de workshop halverwege het programma consequenties voor de planning van de tweede helft verbonden worden.

5.2.5 Klankbordgroep / Gebruikersgroep(en) Om de overdracht van de kennis naar de maatschappij en het bedrijfsleven te waarborgen zal er een grote Klankbordgroep en een aantal kleinere per programmalijn wisselende Gebruikersgroepen geformeerd worden, waarin geïnteresseerde bedrijven en instellingen vertegenwoordigd zijn. Deze vertegenwoordigers moeten een zodanige achtergrond hebben in bedrijfsspecifieke R&D dat ze in staat zijn inhoudelijke feedback te geven over de voortgang, de richting en de resultaten van het onderzoek. Naast de reeds eerder genoemde wetenschappelijke workshops zullen in overleg met het bedrijfsleven ook indien gewenst speciale seminars voor gebruikers georganiseerd worden. In dit kader moet ook samenwerking met SENTER, dat op dit gebied grote expertise heeft, plaatsvinden.

5.2.6 Uitwisseling/detachering van onderzoekers Gestreefd zal worden naar een optimalisatie van de kennisdiffussie door tijdelijke uitwisseling of detachering van academische onderzoekers in bedrijven en van industriële onderzoekers in kennisinstellingen.

5.2.7 Octrooien Octrooi-aanvragen, die vrijwel altijd door aan het programma deelnemende bedrijven ingediend zullen worden, zijn een belangrijke vorm van kennisoverdracht. In dit programma zal ernaar gestreefd worden om octrooieerbare kennis te ontwikkelen. Projectpartners zullen afspraken vastleggen ten aanzien van octrooien en licenties. Voor de eventuele exploitatie van octrooien zal STW ingezet worden.

5.2.8 WWW Site Het programma zal een WWW site onderhouden, die gebruikt zal worden om bedrijven, instellingen en de populair wetenschappelijke pers toegang te geven tot de resultaten van het onderzoek. De onderzoekers in het programma zullen gestimuleerd, en waar nodig ondersteund worden, om de resultaten van hun onderzoek op een voor buitenstaanders toegankelijke wijze te presenteren. Daarnaast zal er een ‘gesloten’ deel van de WWW site onderhouden worden, dat alleen toegankelijk is voor onderzoekers die rechtstreeks bij het programma betrokken zijn.



5.2.9 Internationale samenwerking Interactieve Multimodale Informatie Extractie is in hoge mate een internationaal georiënteerd onderzoeksgebied. Onderzoekers die binnen het programma werkzaam zijn zullen, als dat zinvol is, in staat gesteld worden om een deel van hun onderzoek in buitenlandse laboratoria verrichten. Hoewel het Nederlands als taal in het programma centraal zal staan, zijn er toch ruimschoots voldoende mogelijkheden voor internationale samenwerking. Juist de meer fundamentele elementen van taalen spraaktechnologie en multimodale interactie hebben een algoritmisch, en daardoor in hoge mate een taalonafhankelijk karakter. Het ligt voor de hand dat het programma aansluiting zoekt bij internationale programma’s, zoals de DARPA Communicator (USA) - voor aspecten die te maken hebben met multimodaliteit en interactiviteit - SmartKom (Duitsland) - Dialogische Mensch-TechnikInteraktion durch koordinierte Analyse und Generierung multipler Modalitäten -dat gesubsidieerd wordt door het Bundesministerium für Bildung und Forschung (BmBF) binnen het programma ‘Mensch Technik Interaktion’, en CLEF en TREC (voor informatie extractie). Het programma zou de basis kunnen zijn voor een sterke Nederlandse vertegenwoordiging in die programma’s.

5.3

Subsidievormen

Het Programma zal bestaan uit een mix van subsidievormen. Het is de bedoeling dat het Programma, op basis van de bijdrage van NWO, voor substantiële aanvullende inkomsten zal zorgen, o.a. in de vorm van participatie in verwante Integrated Projects (of conventionele projecten) in het 6de Kaderprogramma van de EU. Daarnaast mag verwacht worden dat het Programma op basis van de NWO subsidie bijdragen zal weten te verwerven uit andere (semi-)overheidsprogramma’s, alsmede bijdragen van de industrie (met name in natura, in de vorm van bijdragen aan demonstrators, begeleidingstijd, databestanden, etc.

5.3.1 Kleine Programma’s Kleine Programma’s vormen de kern van het onderzoek. Voorgesteld wordt om programma’s te initiëren op de vier cruciale thema’s die in onderzoek naar interactieve multimodale informatie-extractie onderscheiden kunnen worden, nl. spraakherkenning/begrijpen in de context van een multimodale interactie, taal-centrische presentatie van informatie in multimodale systemen, dialoogmanagement en redenering, en een vorm van question-answering. Voor de afzonderlijke kleine programma’s is een subsidiebedrag beschikbaar van gemiddeld 300 kEuro. Daarnaast wordt verwacht van de participerende instellingen/bedrijven dat ze een serieuze matching bijdrage leveren (richtsnoer is ongeveer 50% van de gevraagde NWO-subsidie). De vier programma’s moeten gebruik maken van eenzelfde sofware infrastructuur, voorkeur gebaseerd op de Galaxy Communicator Software Infrastructure die door DARPA in het public domain gebracht is.

5.3.2 Individuele projecten Hier zijn projecten bedoeld die voorgesteld en uitgevoerd kunnen worden door individuele post-docs. De projecten moeten aansluiten bij een van de Kleine Programma’s. Individuele projectsubsidies moeten de ruimte scheppen voor veelbelovende jonge onderzoekers om een creatieve benadering van de problemen te ontwikkelen, of om ‘gaten’ in het systeem van de Kleine Programma’s te dichten. Per project zal ongeveer een bedrag van 170 kEuro beschikbaar zijn. Er wordt ruimte gereserveerd voor drie individuele projecten met een looptijd van drie jaar. Het is niet reëel finale versie - Pagina 29


om voor dit soort projecten matching financiering te vinden bij de universiteiten. Wel wordt van deze projecten geëist dat de voorgestelde ontwikkelingen compatibel zijn met de centrale software infrastructuur.

5.3.3 Reisbeurzen en Internationale Samenwerking Voor een succesvolle uitvoering van het Programma is het nodig dat de resultaten van het onderzoek regelmatig en frequent gepresenteerd kunnen worden voor internationale fora. Omdat de onderzoekers in het Programma alleen adequaat kunnen functioneren in een gezonde infrastructuur, zullen de reisbeurzen ook toegankelijk zijn voor onderzoekers die niet rechtstreeks bij het Programma betrokken zijn. In 5.2.9 is gewezen op het belang van internationale samenwerking. Deelname aan internationale projecten als Communicator, TREC, etc. kost tijd en geld. De begroting van het Programma moet hier ruimte voor bevatten. Voor internationalisering wordt een bedrag van 100 kEuro gereserveerd, op te brengen door NWO.

5.3.4 Coördinatie De samenhang in het Programma kan alleen gewaarborgd worden als de Programmacommissie ondersteund wordt door een coördinator die een substantieel deel van de werktijd aan de afstemming van de onderdelen van het Programma kan besteden. Voor de looptijd van het Programma wordt voor coördinatie een bedrag gereserveerd van 165 kEuro, inclusief de coördinatie op bureau-niveau binnen NWO.



6

Concept-Begroting

Voor de uitvoering van het hierboven geschetste ‘kernprogramma’ is een bijdrage van NWO beschikbaar van ruim 2.0 MEuro. Van de participerende universiteiten/bedrijven wordt bij Kleine Programma´s matching verlangd ten bedrage van 50% van de gevraagde NWOsubsidie, in de vorm van nieuwe post-doc aanstellingen en aio-plaatsen. Daarnaast stellen de universiteiten de benodigde materiële en personele infrastructuur ter beschikking (deze bijdrage is niet in de begroting opgenomen). Het totale budget van het Programma zal groter zijn, door bijdragen in natura van de participerende bedrijven, en aanvullingen uit het 6de Kaderprogramma en andere financieringsbronnen. Met name zal opnieuw een poging gedaan worden om additionele financiering te verkrijgen van het ministerie van Economische Zaken. Binnen NWO ligt het zwaartepunt van het onderzoek binnen de gebieden Geesteswetenschappen en Exacte Wetenschappen die ondertussen reeds samen ruim 1.2 M€ gereserveerd hebben voor dit programma. Het Algemeen Bestuur van NWO heeft een toekenning gedaan van 0.8 M€ uit het 23 M€ budget. STW zal zoals gewoonlijk pas op basis van de ingediende complete onderzoeksvoorstellen beslissen over deelname aan het onderzoeksprogramma. In tabelvorm (in kEuro):

Inkomsten 1e geldstroom * NWO/GW NWO/EW NWO/AB 3e geldstroom * Totaal

jaar 1

jaar 2

jaar 3

jaar 4

jaar 5

jaar 6

jaar 7

totaal

PM 10 0 0 PM

PM 100 100 100 PM

PM 150 100 200 PM

PM 150 100 200 PM

PM 150 100 200 PM

PM 100 100 100 PM

PM

PM

21 45 0

681 545 800

PM

PM

10

300

450

450

450

300

66

2.026

10 0 PM PM 0 0 0

23 100 PM PM 60 10 20

22 275 PM PM 130 20 15

11 275 PM PM 130 20 10

11 275 PM PM 130 20 10

11 275 PM PM 60 20 10

12 50

100 1.250

PM PM

PM PM

0 10 0

510 100 65

10

213

462

446

446

376

72

2.025

Uitgaven Beheerskosten Kleine programma´s Matching 1e geldstroom Matching 3e geldstroom Individuele projecten Internationalisering Coördinatie Totaal

* Matching bijdragen van participerende instellingen en bedrijven (ook bijdragen in natura van bedrijven via deelname in kleine programma´s) finale versie - Pagina 31

Interactieve Multimodale Informatie Extractie

Recommend Documents