VRT ONDERZOEK & INNOVATIE
Meerjarenplan 2013-2015
Januari 2013
VRT Onderzoek & Innovatie Auguste Reyerslaan 52 1043 Brussel +32 2 741 36 32 Innovatie.vrt.be
Dit document heeft betrekking op de toegevoegde opdracht van de VRT beheersovereenkomst 2012-2016. De opdracht maakt het voorwerp uit van de specifieke overeenkomst “onderzoek en innovatie” tussen de VRT en Vlaamse Gemeenschap, vertegenwoordigd door de Vlaamse Viceministerpresident van de Vlaamse Regering en Vlaams minister van Innovatie, overheidsinvesteringen, Media en Armoedebestrijding.
1
INHOUDSOPGAVE
1
STRATEGISCHE UITDAGINGEN EN TRENDS .................................................................................................................................................. 3
2
AANPAK ............................................................................................................................................................................................................. 5
3
TRAJECTEN ......................................................................................................................................................................................................6
3.1
Productieapparaat van de toekomst ................................................................................................................................... 6 3.1.1 Snelle productie van constante flow ...................................................................................................................................... 6 3.1.2 Multiplatform productie en hybride distributie................................................................................................................. 7 3.1.3 Automatische archivering, annotatie en ontsluiting...................................................................................................... 9
3.2
Crowd sourcing en data driven journalism........................................................................................................................ 11
3.3
Gepersonaliseerde en participatieve gebruikerservaringen................................................................................... 12
2
1
STRATEGISCHE UITDAGINGEN EN TRENDS
Het mediaproductiesysteem in volle evolutie De afgelopen jaren heeft de VRT net als veel andere omroepen in grote mate de transitie van een tape- naar bestandsgebaseerde manier van werken gerealiseerd. Daarbij is een van de belangrijkste uitgangspunten het mogelijk maken van crossmediale productie (radio, televisie en online) – eerst voor Standaard Definitie (SD) en stilaan ook voor Hoge Definitie (HD). Die ontwikkeling zal zich de komende jaren voortzetten en de echte voordelen van bestandsgebaseerde workflows zullen in de toekomst ongetwijfeld nog duidelijker worden. Tegelijk is ook de mediacontext grondig aan het evolueren. De continue vraag naar steeds hogere kwaliteit zal een impact hebben op het toekomstige productieapparaat. Geavanceerde camera’s maken kwaliteitsvolle productie in hogere resoluties (1080p50, 4K, 3D en zelfs Ultra High Definition) en hogere beeldfrequenties (tot 300 beelden per seconde) mogelijk, maar introduceren een veelheid aan nieuwe formaten die moeten worden ingepast in de bestaande workflows. Hierbij neemt het belang van efficiënte kwaliteitscontrole – het liefst zo automatisch mogelijk - in het productieproces toe. Er zal ook meer content moeten worden geproduceerd met zo weinig mogelijk extra middelen. Dat wordt alleen mogelijk door efficiëntere productie workflows op te zetten, en een betere samenwerking tussen de verschillende redacties, productieafdelingen en externe partners te realiseren. Wat interne (op locatie) en externe samenwerking betreft, is cloud technologie een veelbelovende maar nog te onderzoeken trend. Ook kan er door gebruik te maken van semiprofessionele apparatuur en toepassingen (consumerisatie), goedkoper geproduceerd worden aan voldoende hoge kwaliteit. Hier zal een afweging tussen kost, gebruiksgemak en behaalde kwaliteit moeten worden gemaakt. Daarnaast is ook een efficiënte ontsluiting van materiaal noodzakelijk, zowel op het moment dat het geproduceerd wordt (zo snel mogelijk dus) als wanneer het gearchiveerd is. De opkomst en democratisering van “Connected Devices” zoals tablets en smartphones, stelt de eindgebruiker in staat om altijd en overal informatie op te vragen (het “anytime/anywhere principe”). Hierdoor wordt publicatie op elk moment van de dag op de verschillende platformen steeds meer een vereiste. Deze snelle productie van een constante flow, bijvoorbeeld voor nieuwsen duidingproducties, zal ongetwijfeld een impact hebben op de toekomstige architectuur van het onderliggende productiesysteem: het centrale magazijn of Media Asset Management (MAM), het Content Management Systeem (CMS) en het uitzendsysteem hebben nieuwe en bijkomende noden en vereisten en zullen er bijgevolg anders uitzien dan vandaag het geval is. Ook een efficiënte ontsluiting van archiefmateriaal, bijvoorbeeld ter aanvulling van “live” materiaal, is hierbij onontbeerlijk. Toekomstig mediagebruik Er stellen zich daarnaast ook heel wat uitdagingen in de context van het toekomstig mediagebruik. Er zullen naast de traditionele mediamakers van vandaag nieuwe spelers op de markt komen, die de huidige verhoudingen kunnen beïnvloeden. Ook de precieze manier waarop media-inhoud zal worden gebruikt, staat voor grote veranderingen. Media-ervaringen zullen meer en meer samenhangen met de gebruikscontext. Het is in die zin belangrijk te anticiperen op deze nieuwe “mediamomenten” van de dag en het gebruikersgedrag. Een andere belangrijk aandachtspunt voor een omroep is het meten (analytics) en in kaart brengen van de interesses, de behoeftes en het gedrag van de eindgebruiker. Hoe meer over de gebruiker
3
geweten is, hoe beter er kan worden ingespeeld op zijn noden. Zo kan bijvoorbeeld gepersonaliseerde content worden aangeboden die afhangt van de specifieke context of situatie (moment van de dag, historiek, emotie, …). Ook de gebruikerservaring verandert en wordt interactiever. Nieuwe gebruikerservaringen, zoals augmented reality ontstaan, en de gebruiker zal op meerdere vlakken actief participeren. Er speelt zich ook een evolutie in de huiskamer en daarbuiten af gezien het stijgende gebruik van smartphones en tablets. Steeds meer merken we dat de smartphone de centrale controle unit wordt waar andere devices zoals settop boxes, tv en radio mee aangestuurd kunnen worden. Steeds meer toestellen en gebruiksvoorwerpen kunnen onderling communiceren wat nieuwe vormen van interactiviteit mogelijk maakt. Een belangrijke uitdaging voor ons is hoe de consument in de toekomst met media zal omgaan en media zal ervaren op basis van deze nieuwe omgeving. Sterke verhalen, sterke omroepen Het vertellen van een sterk verhaal is altijd de grote onderscheidende factor geweest voor een omroep, maar dat zal in de toekomst nog belangrijker worden om zich te kunnen blijven onderscheiden van andere content platformen. Onze aandacht gaat uit naar ‘digital storytelling,’ waarbij we op verschillende manieren proberen om een verhaal via andere kanalen dan lineaire radio en tv tot bij de eindgebruiker te brengen. Het brengen van een verhaal in een andere, meer interactieve vorm zoals een game of een interactieve documentaire vraagt een bepaalde expertise. Niet alleen zal het verhaal op een andere manier verteld moeten worden, maar is er ook een andere toolset nodig om dit soort verhalen te bouwen en te publiceren. Ook het vertellen van een verhaal gebaseerd op data, de zogenaamde datajournalisitiek, verdient onze aandacht aangezien deze vorm van verhalen vertellen een bijkomende dimensie geeft aan het nieuws of zelfs als een nieuwe manier van nieuws brengen beschouwd kan worden. Meer en meer informatie wordt beschikbaar onder andere door de opkomst van Linked Open Data en crowdsourcing, maar niet altijd in een vorm die voor een journalist bruikbaar is. Ook het verwerken van de data en het visualiseren tot nuttige en samenhangende verhalen blijft een grote uitdaging. Toekomstmuziek voor radio Dat het internet stilaan alomtegenwoordig is, zorgt er ook voor dat radio zich moet voorbereiden op de toekomst. Vandaag is radio een broadcastmedium dat met zendapparatuur, zendmasten en radioontvangers werkt, maar op termijn zal die rol worden overgenomen door het internet. Internetradio is vandaag al niet meer weg te denken uit het medialandschap, en met de opmars van mobiel internet zal die markt alleen maar groeien. Een eerste fase in deze evolutie is de ontwikkeling van hybride radio, waarbij het klassieke broadcastmodel wordt gebruikt voor het gewone radioluisteren, en het internet om aanvullende content en comforttoepassingen zoals pauzeren en terugspoelen aan te bieden. Er is ook een grote uitdaging op komst op vlak van content, want als het internet het platform wordt waarop radio uitzendt, dan wordt radio plots een tweewegsmedium, waar het tot nu toe steeds eenrichtingsverkeer was. Dat is een zodanig ingrijpende evolutie dat er nu moet worden gestart met radio daarop voor te bereiden. De strijd om de luisteraar speelt zich in de toekomst immers in een heel andere arena af.
4
2
AANPAK
Prototype werking Binnen de onderzoekswerking onderscheiden we twee manieren van werken. De onderzoeksthema’s kunnen uitgewerkt worden in de vorm van langlopende projecten enerzijds en proof of concept projecten anderzijds. Deze twee manieren van aanpak onderscheiden zich op het vlak van doorlooptijd, diepgang met betrekking tot de onderzoeksvraag en eindresultaat. Met de klassieke projectwerking focussen we ons vooral op een aantal fundamentele technologische vraagstukken die uitgewerkt worden in een bredere langere termijn context. We werken hier veelal samen met een aantal academische en industriële partners waarbij de doorlooptijd op 2 of 3 jaar wordt vastgelegd. In het geval van een proof of concept proberen we vooral kleinere meer afgebakende onderzoeksvragen te beantwoorden al dan niet in samenwerking met een industriële partner. We proberen dan zeer gericht en over een korte periode een stuk technologie of een bevinding te verwerken in een prototype.
De Proeftuin We starten een innovatielabel op dat de naam “De Proeftuin” meekrijgt. Het label fungeert als de overkoepelende vlag waaronder projecten en prototypes van VRT Onderzoek & Innovatie kunnen worden getest en extern bekendgemaakt. Het doel is het creëren van kennis over toekomstig mediagebruik via een iteratief proces: testen, evalueren en de verkregen kennis omzetten naar de praktijk (aanpassingen, herwerkingen,...). De Proeftuin is een samenwerking met VUB-SMIT. Een gezamenlijk postgraduaat van het SMIT en VRT O&I zal de testen begeleiden. De Proeftuin zal een eigen branding en website hebben, om de onafhankelijkheid van andere VRT-merken te bewaren. Het wordt de plaats waar te testen projecten blootgesteld worden aan het publiek, al dan niet in een open testomgeving.
5
3
TRAJECTEN
Vanuit de strategische uitdagingen en trends worden hieronder de belangrijkste onderzoeksthema’s voor de komende jaren voorgesteld, en de verschillende onderzoeksaspecten per thema in meer detail opgelijst en toegelicht. Het hoofdthema “productieapparaat van de toekomst” groepeert drie onderliggende thema’s:
Snelle productie van constante flow Multiplatform productie en distributie Automatische archivering, annotatie en ontsluiting
De thema’s rond nieuwe gebruikerservaringen en grote data sets vervolledigen het onderzoekplaatje. Het onderzoek heeft dus hoofdzakelijk betrekking op de technologische aspecten van de productie, de distributie en de consumptie van media.
3.1
Productieapparaat van de toekomst
3.1.1 Snelle productie van constante flow Het belangrijkste kernwoord bij de productie van nieuws- en duidingsprogramma’s, en actuagedreven (live) programma’s is zonder twijfel “snel”. Dat is enerzijds zichtbaar aan de productiekant; de tijdspanne tussen een onderwerp definiëren en de uiteindelijke afgewerkte reportage bedraagt slechts enkele uren, vaak zelfs minder. Op deze tijdschaal maken enkele minuten vaak het verschil. Ook bij de distributie van deze programma’s is snelheid cruciaal. Belangrijk nieuws wacht niet op de geprogrammeerde Journaals van 13u, 18u of 19u, maar moet in de loop van de dag “snel” het publiek bereiken via de verschillende kanalen. Het gaat dus om een constante flow aan nieuws. Om de nieuwsgaring en de publicatie op elk moment van de dag op een zo snel mogelijke manier te laten verlopen, moet er worden bestudeerd hoe we het huidige productieapparaat en de actuele workflows hoeven bij te sturen, aan te passen of zelfs ronduit te vervangen. Welke stappen in de workflow zorgen voor (onnodige) vertragingen en wrevel? Hoe kan de productie van een constante nieuwsflow worden geïntegreerd in de huidige processen? Welke aanvullende rol kan de online nieuwsredactie tijdens de nieuwsgaring en captatie spelen, en hoe wordt dit optimaal afgestemd op nieuwsproductie voor tv? Hoe kunnen we op een snelle en eenvoudige wijze aangepaste versies van een verhaal produceren, die geschikt zijn voor de verschillende platformen? Ook voor mobiele ploegen, maakt snelheid vaak het verschil. Zij kunnen langs heel wat communicatiekanalen beeldmateriaal uitwisselen met het omroepcentrum en de mogelijkheden breiden zich continu uit. Waar vroeger enkel (aardse) straalverbindingen werden gebruikt, is er nu de keuze uit satellietverbindingen, TNG (vooral in stedelijk gebied), directe glasvezelverbindingen of zelfs publieke internetverbindingen – in mobiele (3G), of vaste (DSL of kabel) variant. Elk communicatiekanaal heeft evenwel eigen specifieke voor- en nadelen (snelheid van inzetbaarheid, bandbreedte, simplex of duplex, bruikbaar tijdens het rijden,…). Als we erin slagen de voordelen van de verschillende communicatiekanalen te combineren, kan dit een aanzienlijke tijdswinst opleveren.
ONDERZOEKSASPECTEN
Verschillende communicatiekanalen inzetten en eventueel combineren, wordt in de toekomst belangrijker. Zeker nu de overgang naar HD volledig is ingezet, stijgt de vraag naar bandbreedte alleen maar. Bijgevolg zal de beschikbare bandbreedte zo optimaal mogelijk
6
moeten worden benut. Ook vanuit het perspectief van de montage-workflow, zijn geoptimaliseerde scenario’s mogelijk. Zo kan eerst een lage resolutie versie worden doorgestuurd, zodat alvast kan worden begonnen met de montage, terwijl de hoge resolutie versie langzamer binnenloopt.
CONCRETE DOELSTELLINGEN
Een prototype bouwen van een nieuw productieapparaat met het oog op een snelle productie voor een constante flow. Dat rekening houdend met de huidige sterktes, zwaktes, en toekomstige vereisten.
3.1.2 Multiplatform productie en hybride distributie In de crossmediale media productie-architectuur, zoals die vandaag de dag geïmplementeerd is, staat vooral de uitwisseling van materiaal tussen tv, radio en online centraal, maar blijven de productiesystemen voor deze verschillende outputkanalen grotendeels nog aparte silo’s. In de toekomst wordt het steeds belangrijker om niet alleen op de verschillende platformen afzonderlijk te publiceren, maar om een coherent verhaal te brengen met aangepaste en aanvullende content per kanaal. We spreken dan over “tri-media productie” en het produceren van een transmediaal verhaal. De programmamaker of journalist heeft nood aan geïntegreerde en flexibele tools die toelaten dit tri-media verhaal op te bouwen. Belangrijke vereisten hierbij zijn flexibiliteit en snelheid in de vorm van locatie-onafhankelijk kunnen werken. Op dit moment zijn dit soort tools en mogelijkheden nog niet of niet voldoende voorhanden. Tri-media productie workflows zullen dan ook een grote impact hebben op de toekomstige architectuur van een bestandsgebaseerde productieomgeving. Ook aan de distributiezijde dient nog meer onderzoek worden verricht naar het gebruik van nieuwe technologieën zoals adaptive streaming, en naar de (hybride) combinatie van broadcast en internet technologie bij het distribueren van content.
ONDERZOEKSASPECTEN
Flexibele tools voor multiplatform productie: applicatieve ondersteuning voor de journalist of programmamaker om een multiplatform verhaal te produceren. Hierbij wordt het (her)gebruik van kanaalspecifieke content geoptimaliseerd. Voorbeelden hiervan zijn tweedeschermapplicaties die inhoudelijk integreren in programmaformats (bijvoorbeeld in de regie of tijdens de montage), en semiautomatisch afgeleide versies publiceren naar de verschillende kanalen. Ook is er een groeiende nood aan tools die de programmamaker toelaten om op een overzichtelijke manier de verschillende tijdslijnen van zijn verhaal te visualiseren en aan te passen.
Toekomstige productiesystemen en integraties: waaraan moeten de systemen in een bestandsgebaseerde productieomgeving voldoen om tegemoet te komen aan de toekomstige noden van multiplatform productie? Hoe zal de rol van het Media Asset Management (MAM) systeem verder evolueren? Hoe worden de specifieke vereisten per programmatype het best afgedekt? Hoe komen we tot een optimale en nauwere integratie (of zelfs samensmelting) van het MAM en het Content Management Systeem (CMS)? Welke vereisten worden er gesteld aan back-office systemen indien we willen inspelen op de trend waarbij content zo toegankelijk mogelijk moet worden opengesteld, maar anderzijds zoveel mogelijk toegespitst op de interesses en context van de gebruiker? Dat CMS zal ook een nieuwe rol moeten spelen bij de radioproductie, want radio is steeds meer ook een visueel medium. De luisteraar kijkt veel radio, via smartphones, televisie en webradio’s. Deze visuele content zal aan de snelheid en met de dynamiek van radio moeten
7
worden geproduceerd en ontsloten, en zal deel moeten uitmaken van het productieproces dat daardoor een heel nieuwe dimensie krijgt.
Hybride distributie: momenteel is distributie opgesplitst in een broadcast en broadband (ook wel over-the-top of OTT genoemd) gedeelte. De eerste is geoptimaliseerd om een breed publiek simultaan dezelfde content aan te bieden; de tweede om iedereen een individuele communicatie toe te laten. Hybride distributietechnieken proberen deze twee voordelen te combineren.
Toekomstige formaten: tegelijk met de evolutie naar HD-productie, doen ook geavanceerdere formaten hun intrede. Hierbij zien we vooral hogere resoluties (bv. 4K en zelfs U-HDTV) en hogere frame rates als belangrijkste op te volgen ontwikkelingen. We zullen onderzoeken wat de impact van deze nieuwe formaten en technologieën is op broadcast ecosystemen, workflows en audiovisuele kwaliteit. Een van de onderzoeksonderwerpen omvat hierbij ook de efficiënte codering van deze toekomstige formaten (bv. HEVC).
Locatie onafhankelijk kunnen werken: efficiëntere en flexibelere workflows houden in dat programmamedewerkers ook locatie-onafhankelijk moeten kunnen werken. Dat houdt in dat bij de opnames van bijvoorbeeld een fictiereeks, er op die locatie een tijdelijke, flexibele, virtuele workspace kan worden opgezet, die gesynchroniseerd is met het centrale systeem en professionele montage ter plaatse mogelijk maakt. In het ideale en decentrale postproductie model kunnen programmamedewerkers en externe partijen locatie-onafhankelijk samenwerken op project basis, zowel voor montage, grafiek, sonorisatie als kleurcorrectie. Dit betekent een fundamentele shift met het huidige workflow model, waarbij enkel binnen de gebouwen van de omroep efficiënt kan worden samengewerkt.
Cloud computing: de toepassing van cloud technologie is geen doel op zich maar kan voor een omroep een aantal voordelen met zich meebrengen, bijvoorbeeld in de hierboven beschreven decentrale post-productie architectuur. Het kan bijvoorbeeld de samenwerking met externe partijen vergemakkelijken. De vraag die we ons moeten stellen, is hoe cloudgebaseerde services en productiemodellen een meerwaarde kunnen bieden voor bestandsgebaseerde productie in zo’n gedecentraliseerde architectuur. Ook kan worden onderzocht welke aanpassingen aan de bestaande productie-architectuur noodzakelijk zijn, om ze cloud-capable te maken.
Broadband/broadcast grafiek of visualisatie: in een programma worden vaak grafische elementen toegevoegd (SVO’s). Denk aan scores, grafieken, kaarten,… Vaak wordt dezelfde informatie ook online ter beschikking gesteld na de uitzending. Momenteel is de softwarestack voor visualisaties gebruikt in een uitzending echter verschillend van deze van het web. Is het niet mogelijk om dezelfde taal en technologie te gebruiken voor beide? Of concreet: hoe kunnen we webcontent in een beeldmenger brengen en laten voldoen aan alle eisen: (gedeeltelijk) transparant zijn, niet-vierkante pixels gebruiken (anamorphic), synchroon videosignaal aan tv-resoluties (GenLock en 50Hz), …
CONCRETE DOELSTELLINGEN
Inzicht verwerven in de optimale toekomstige architectuur van het productieapparaat in de context van multiplatform productie en welke bijkomende tooling hiervoor vereist is, door het opzetten van gerichte proof of concepts. Inzicht verwerven in het gebruik van geavanceerde videoformaten (bv. 4K) in een productieen distributiecontext.
8
Inzicht verwerven in het optimale gebruik en toepassen van geavanceerde distributiemechanismes in de context van multikanaalspublicatie. Bestuderen en (indien opportuun) opzetten van een locatie-onafhankelijke productie werkomgeving.
3.1.3 Automatische archivering, annotatie en ontsluiting Een omroep als VRT produceert elk jaar een grote hoeveelheid mediamateriaal. Bovendien bestaat er een groot archief aan filmrollen en tapes, die momenteel stuk voor stuk worden gedigitaliseerd. Goede annotatie is essentieel om al dit materiaal snel en efficiënt te kunnen ontsluiten. De annotatie van al deze archiefstukken gebeurt momenteel nog manueel. Daarnaast gaat ook heel wat tijd verloren bij de (eveneens) manuele kwaliteitscontrole van de gedigitaliseerde audio en video. VRT beschikt net als andere omroepen niet over de mankracht, het budget en de tijd om al het beschikbare mediamateriaal op deze manier te annoteren en te ontsluiten. Er is dus een grote nood aan tools die via automatische annotatie en kwaliteitscontrole deze manuele processen ondersteunen. ONDERZOEKSASPECTEN
Kwaliteitscontrole
Momenteel is al heel wat kwaliteitscontrole software voor video beschikbaar. Deze systemen produceren echter erg complexe rapporten die moeilijk te interpreteren zijn, heel veel valse alarmen geven en soms dezelfde artefacten door verschillende foutcodes aangeven. Er is nog onderzoekswerk nodig om enerzijds de algoritmes te verbeteren, zodat er minder valse alarmen of uiteenlopende interpretaties zijn, en anderzijds om naverwerking uit te voeren op de rapporten om ze correct en automatisch te interpreteren.
Annoteren
Ook al het geproduceerde mediamateriaal manueel annoteren, is een erg tijdrovend proces. Mediamateriaal niet annoteren, is echter problematisch, want zelfs al is er een groot archief met mediamateriaal, het verliest al zijn waarde als de inhoud ervan niet ontsloten kan worden en er dus geen informatie over is terug te vinden. De voorbije decennia zijn al heel wat onderzoeksinspanningen geleverd om op een automatische manier informatie over de inhoud van audiovisuele media te weten te komen. Dat heeft geresulteerd in een veelheid aan algoritmes en tools. Veel van deze algoritmes leveren echter “laag-niveau” kenmerken op. Deze kenmerken zijn immers niet altijd onmiddellijk interpreteerbaar door gebruikers. Dit is de zogenaamde “semantische kloof” (Engels: semantic gap). De laatste jaren spitst het onderzoek zich vooral toe op het overbruggen van deze semantische kloof. Er wordt voornamelijk op zoek gegaan naar manieren om de laag-niveau kenmerken om te zetten naar concepten die eenvoudig door een gebruiker kunnen worden geïnterpreteerd. Indien er al tekstuele informatie beschikbaar is over de media-inhoud (zoals een transcript, een script,…) staan deze technieken al relatief ver. Via named entity recognition kan men op zoek gaan naar de belangrijke concepten in deze tekstuele metadatabronnen. Het identificeren van deze concepten kan dan verder gebruikt worden om “hoog-niveau” informatie over de media af te leiden (zoals thema, genre,…). Wanneer er geen tekstuele informatie over video’s beschikbaar is, wordt het een stuk moeilijker. Een eerste oplossing kan spraakherkenning zijn om een transcript te genereren. Spraakherkenning kan perfect als techniek worden toegepast wanneer het over media gaat waarin duidelijk gearticuleerde taal wordt gebruikt, zoals een nieuwsproductie. Ook bij ondertiteling wordt spraakherkenning
9
momenteel al gebruikt. De ondertitelaar herhaalt hierbij de gesproken woorden in de video om zo tot een perfect transcript te komen, dat kan worden gebruikt voor ondertiteling. Toch werkt spraakherkenning onvoldoende wanneer er spontane spraak of sterke regionale accenten voorkomen, als er veel achtergrondgeluid aanwezig is, of als er gewoon weinig spraak in de video is. Onder meer om die reden is spraakherkenning niet rechtstreeks toepasbaar op video’s voor automatische ondertiteling en annotatie. Naast de inhoud van de spraak kan ook sprekersinformatie nuttig zijn. Sprekersclustering groepeert de spraakfragmenten van een audiobestand per spreker en is een eerste stap richting herkenning. Effectieve herkenning, waarbij ook de naam van de spreker wordt bepaald, is momenteel niet accuraat genoeg bij gebruik van een brede database van sprekers. In deze laatste gevallen moet toevlucht worden gezocht in tools voor automatische beeldanalyse. Een basistool hierbij is shotdetectie, dat al uitvoerig werd onderzocht en op punt staat. Ook het automatisch segmenteren van video’s in individuele scenes (sceneherkenning) is al uitgebreid onderzocht. Moeilijker wordt het wanneer via beelden automatisch op zoek wordt gegaan naar de inhoud van video. Daarbij kan bijvoorbeeld worden gedacht aan gezichtsherkenning om de personen in de video te identificeren. Een heel erg actief actueel onderzoeksdomein is het automatisch herkennen van concepten in video. Voorbeelden zijn het automatisch herkennen van evenementen (bv. een huwelijk, een voetbalwedstrijd, de benoeming van een nieuwe regering,…), het automatisch herkennen van acties (bv. het moment waarop een doelpunt valt in een voetbalwedstrijd). Deze algoritmes presteren evenwel nog altijd onvoldoende wanneer het aantal mogelijke te herkennen concepten te groot wordt. Ten slotte kan ook heel wat informatie over audio en video door wat de gebruiker te weten is gekomen automatisch verrijkt worden met wat de wereld erover weet. De Linked Open Data (LOD) cloud bevat heel wat ontologieën die kennis aan elkaar linken. Indien er voor de concepten die aanwezig in het archief een zelfde concept bestaat in de LOD cloud, dan kun deze met elkaar worden verbonden. Zo heeft een gebruiker meteen ook toegang tot alle kennis die in de ontologie waarnaar wordt verwezen, opgeslagen zit. De verbanden tussen eigen metadata en ontologieën in de LOD cloud vinden, is echter geen triviaal proces. De concepten worden niet altijd bij naam genoemd, of worden slechts onrechtstreeks vermeld (bv. "de eerste minister”, waarbij het niet onmiddellijk duidelijk is of het over Elio Di Rupo, Yves Leterme, Nicolas Sarkozy of nog iemand anders gaat). Ook de concepten met elkaar linken, vereist verder onderzoek.
Zoeken
Audio- en videomateriaal annoteren, is geen doel op zich. De werkelijke toegevoegde waarde is audiovisueel materiaal terugvinden. Uiteraard is de kwaliteit van de annotatie hierbij cruciaal. Huidige state-of-the-art tools voor het terugvinden van video beperken zich tot het invullen van trefwoorden in de zoekopdracht, en het presenteren van een lineaire lijst met resultaten, gerangschikt volgens bepaalde criteria. Men is het er al langer over eens dat deze lineaire lijst met resultaten niet altijd de beste methode is om resultaten weer te geven als het gaat om videomateriaal. Er moet dus op zoek worden gegaan naar nieuwe visualisatietechnieken voor zoekresultaten. De annotatie levert bijvoorbeeld heel wat tijdsgecodeerde metadata op, waardoor het exact is geweten op welk moment in een video de zoekopdracht een match geeft. Ook het zoeken op basis van ingevulde trefwoorden is niet altijd toereikend. Soms zoekt een gebruiker op basis van een voorbeeld van een type video naar soortgelijke video’s. Dit is het zogenaamde “query by example”.
10
Een ander probleem is het feit dat de manier waarop gezocht wordt afhankelijk is van de gebruiker en zijn rol binnen de productieorganisatie. Zo zal een beeldonderzoeker bij de nieuwsdienst helemaal anders zoeken dan een redactiemedewerker bij een quiz of amusementsprogramma. Het modelleren van de taken voor deze verschillende gebruikersgroepen en het aanpassen van de interface en achterliggende systemen naar hun specifieke behoeften is een aspect waarmee de performantie van zoekopdrachten sterk kan worden verbeterd. CONCRETE DOELSTELLINGEN
3.2
Nagaan of op basis van tijdsgecodeerde tekstuele metadata integrale programma’s automatisch kunnen worden opgesplitst in individuele items. Metadata uit automatische extractietools omzetten in bruikbare concepten. Nagaan in hoeverre spraakherkenning en beeldanalyse-algoritmen rechtstreeks toegepast op programma’s kunnen worden gebruikt voor automatische ondertiteling. Hierbij zullen volgende technieken worden onderzocht: geforceerde alignering op basis van scripts, sprekerherkenning, automatische taalidentificatie, shot- en scenedetectie,… Onderzoeken hoe bestaande kwaliteitscontrolealgoritmes kunnen worden verbeterd door bijvoorbeeld een automatische naverwerking van de analyseresultaten.
Crowd sourcing en data driven journalism
“Data is the new gold”1, zo heette de speech die Neelie Kroes, Europees Commisaris voor de Digitale Agenda, een tijdje geleden gaf. Hiermee zette ze het belang en de ontwikkeling van open data onmiddellijk flink wat kracht bij. “Analysing data is the future for journalism”2 zegt Tim-Berners Lee, de uitvinder van het World Wide Web, waarmee hij duidelijk stelt dat data driven journalistiek nog een grote rol zal spelen in de toekomst van de journalistiek. Datajournalistiek kan effectief een enorme meerwaarde betekenen bij het maken en brengen van nieuws. Toonaangevende spelers in dit domein zijn de redacties van The New York Times en The Guardian die zelfs een volledige blog3 gewijd hebben aan hun inspanningen. Met de enorme groei van beschikbare data en de vooruitgang in technologie om deze data te verwerken en te visualiseren, wordt het voor journalisten noodzakelijk om op basis van deze data nieuwe verhalen te maken. De rol en de expertise van de journalist zullen dusdanig veranderen. Het ligt voor de hand dat technologie hierin ondersteunend kan zijn en een belangrijke rol zal spelen. Journalisten zullen in staat zijn om grote hoeveelheden data te consulteren en ze vervolgens te clusteren, te filteren en te analyseren dankzij de nodige standaarden, beschikbare datasets en tools om deze data te verwerken. Met behulp van visualisatiesoftware zal het resultaat van zo een analyse in een eenvoudig overzicht kunnen worden verwerkt en kan een enorme set data worden gereduceerd tot een begrijpelijk geheel. We stellen vast dat er niet alleen op het vlak van publieke databronnen, onder Europese impuls, een enorme toename van data is, maar ook op het vlak van sociale interacties (onder meer door sociale netwerken zoals Facebook, Twitter,…) en user generated content. Deze content is vanuit een journalistiek standpunt erg waardevol, maar moeilijker te analyseren vanwege de enorme hoeveelheid real-time data, het ongestructureerde karakter en de taal van deze interacties. Ook hier zien we een aantal technologische initiatieven die het mogelijk maken om de sociale data te 1
Kroes, Neelie. Vice-President of the European Commission responsible for the Digital Agenda. “Data is the new gold”. Opening Remarks. Press Conference on Open Data Strategy. Brussels. 12 december 2011.
. 2 Arthur, Charles. “Analysing data is the future for journalist, says Tim Berners-Lee”. The Guardian. 22 november 2010. < http://www.guardian.co.uk/media/2010/nov/22/data-analysis-tim-berners-lee>. 3 Datablog The Guardian. .
11
monitoren, verzamelen, clusteren, filteren en analyseren. Dat laat toe om crowd sourced applicaties te ontwikkelen waarmee bepaalde trends gespot kunnen worden of nieuwe vormen van interactie uitgebouwd kunnen worden. Crowdsourcing kan naast zijn functie bij nieuwsgaring, factchecking, en andere journalistieke taken nog een rol opnemen als een soort werkverdeler. Onder het motto “vele handen maken licht werk”, willen we onderzoeken hoe we het publiek kunnen inschakelen bij diverse taken die zo groot zijn dat ze anders verscheidene jaren in beslag (zouden) nemen (bijvoorbeeld archief-annotatie). Het gebruik van data voor journalistieke doeleinden stelt een aantal vereisten aan de datasets. Zo moeten zij eenvoudig terug te vinden zijn en bovendien beschikbaar gesteld in een formaat dat zowel voor mensen als machines leesbaar en bruikbaar is. Momenteel wordt hier in veel gevallen niet aan voldaan wat de introductie van datajournalistiek bemoeilijkt. Een interessant initiatief is de Linked Open Data Community die deze tekortkomingen proberen weg te werken door datasets te structureren en deze open te stellen via het web. ONDERZOEKSASPECTEN
Crowd sourced data applicaties: bestuderen en toepassen van nieuwe crowd sourcing technieken en platformen. Uitbouwen van nieuwe toepassingen die gebruik maken van crowdsourcing. Visualisatietechnieken: in welke mate kunnen visualisatietechnieken worden ingezet om dynamische infografieken te genereren die grote hoeveelheden data op een begrijpelijke manier voorstellen? Data driven journalism: welke tools zijn er beschikbaar om data te verzamelen, te analyseren en te visualiseren. Kunnen deze tools bijdragen tot de dagelijkse journalistieke werking en hoe kunnen we deze introducteren? Linked Open Data: nagaan hoe we gebruik kunnen maken van Linked Open Data sets. Hoe kunnen we andere datasets omvormen en ter beschikking stellen als Linked Open Data.
CONCRETE DOELSTELLINGEN
3.3
Data mining en clustering technieken toepassen, en een gebruiksvriendelijke user interface ontwikkelen die de journalist toelaat om de beschikbare informatie intelligent te filteren en te groeperen Visualisatietechnieken toepassen die het resultaat van de analyse van een grote hoeveelheid data op een inzichtelijke manier voorstellen. Linked Open Data leren gebruiken binnen infografieken en eigen datasets ter beschikking stellen als Linked Open Data. Data over een bepaald thema (verkeer, weer,…) verzamelen, analyseren en overzichtelijk terugsturen naar de gebruikers die er om vragen.
Gepersonaliseerde en participatieve gebruikerservaringen
Het doel van dit onderzoeksthema is om op middellange termijn met een aantal concrete proof of concepts te onderzoeken hoe het media-aanbod op een gepersonaliseerde manier aan de mediagebruiker kan worden aangeboden en hoe dat kan leiden tot een meer doorgedreven participatieve dynamiek. Door niet alleen inhoudelijk, maar ook technologisch beter af te stemmen op de noden van een steeds diverser en gefragmenteerder publiek (360°-beleving) kan een betere beleving en ‘match’ ontstaan.
12
Centraal binnen dit onderzoeksthema staat de volgende vraag: wat kunnen bepaalde opkomende technologieën, netwerken en initiatieven, gericht op de personalisatie van mediacontent en interactie met en participatie van het publiek, betekenen voor een omroep? Welk potentieel hebben deze technologieën om het publiek van zowel radio als televisie beter te bereiken en beter te leren kennen (het meten van de gebruikerservaring)? Hoe betrekken we het publiek meer bij programma’s en laten we hen sterker laten interageren met programmamakers en redacteurs? ONDERZOEKSASPECTEN
Mediawijsheid van jongeren
Het stimuleren van de ‘mediageletterdheid’ (of ‘mediawijsheid’) van jongeren is een belangrijk aandachtspunt voor de VRT. Deze doelstelling gaat echter verder dan het bevorderen van technologische kennisverwerving. Het ontwikkelen en aanbieden van vernieuwende platformen en technologieën (zowel online, mobiel als in games) moet hand in hand gaan met een intuïtieve gebruikersinterface op maat van de jongeren, aangepast aan hun wensen en voorkeuren, om zo creatie, interactie en personalisatie maximaal te stimuleren. We willen onderzoeken hoe dit op een optimale manier kan worden uitgewerkt, rekening houdend met de moeilijkheden en gevaren rond online privacy (zeker bij jonge kinderen). Op die manier kan ook in kaart worden gebracht welke nieuwe technologieën, netwerken en initiatieven de gidsfunctie van de VRT voor jongeren kunnen bevorderen en de band met deze doelgroep kunnen versterken. Daarnaast is het belangrijk om betere meetmethoden te ontwikkelen die toelaten om het potentieel van en de ervaring met vernieuwende designs en producten bij kinderen en jongeren beter in te schatten, om zo uiteindelijk tot betere producten te komen. Concreet betekent dit het uitwerken van prototypes voor applicaties en games rond nieuwe technologieën als internet of things, alternatieve input devices, tweedeschermtoepassingen, maar ook community building- en beveiliging, digitale storytellingtechnieken en het (laten) onderzoeken van deze toepassingen in samenwerking met erkende specialisten.
Automatische recommendatiesystemen
Automatische recommentatiesystemen zijn systemen die aan de hand van allerlei gegevens en parameters een voorspelling proberen te maken van de voorkeuren van een gebruiker. Hiervoor worden filtering algoritmes ontwikkeld die uit de lijst met alle mogelijke resultaten de meest relevante voor een bepaalde gebruiker selecteren. Hoe kunnen zulke recommendatiesystemen bijdragen tot een betere gebruikerservaring?
Meten van de gebruiker
We hebben al aangehaald dat kennis beschikken over een gebruiker cruciaal is om goede aanbevelingen te maken. Wat een gebruiker allemaal doet, bekijkt, leuk of niet leuk vindt, is het resultaat van een erg complex proces, waarin heel wat factoren een rol spelen. Als we dus dergelijke systemen willen uitrollen, moet heel wat informatie over de gebruiker worden gecapteerd. Naast het meten van het gedrag van de gebruiker is ook het analyseren en visualiseren van dit gedrag van belang. Door de resultaten van de aanbevelingsalgoritmen te combineren met de gevisualiseerde metingen kan een redactie veel sneller inspelen op de noden van de gebruikers. De apparaten waarmee we omgaan bevatten meer en meer sensoren. Een smartphone bijvoorbeeld bevat meestal verschillende antennes om signalen op te vangen: een aanraakscherm, een gpssensor, een gyrometer, een microfoon en een camera. Al deze informatie opvangen, is niet het enige probleem. Een tweede kwestie is de informatie die uit al deze sensoren komt, vertalen naar concrete
13
concepten. Een voorbeeld hiervan zijn emoties. Er is al heel wat technologie beschikbaar die emoties kan afleiden uit beeldmateriaal van het gezicht van de gebruiker. Maar kunnen emoties ook worden afgeleid indien er geen camera in de buurt is? Een soortgelijk voorbeeld is het meten van de aandacht van de gebruiker. Hoe kom je te weten of een gebruiker effectief aan het kijken is?
Empathische belevingen
Een empathische beleving creëren, is nog een stap moeilijker dan de context van een gebruiker te detecteren en op basis daarvan aanbevelingen te maken. Het herkennen van emoties uit de gegevens die uit de vele sensoren binnenkomen, is op zich al een grote uitdaging. Technologieën om emoties uit allerlei sensordata te detecteren, beginnen echter stilaan matuur te worden. De volgende stap is het creëren een empathische beleving, op basis van modellen die uit deze emoties en eventueel andere contextuele informatie voortkomen. De juiste manieren vinden om deze emoties op te vangen en ze om te zetten naar een empathische ervaring, is echter nog een hele zoektocht. Empathisch kunnen reageren en anticiperen op de intenties van een gebruiker heeft veel voordelen. Zo kan bijvoorbeeld de gebruikservaring van technologische platformen en mediaconsumptie sterk worden verbeterd. Een empathische beleving creëren is echter enkel mogelijk als elke schakel in de complexe keten van mediaconsumptie zich bewust is van de gemoedstoestand en intenties van de eindgebruiker.
Digital storytelling
Digital storytelling gaat over het vertellen van een verhaal via een online medium waar interactie mogelijk is (wat zelden het geval is bij een lineair verhaal op tv of radio). Het doel is mogelijkheden en beperkingen te onderzoeken van nieuwe technologieën om digital storytelling te gebruiken binnen een omroep. Met andere woorden, onderzoeken welke technologieën en ontwikkelingen kunnen bijdragen tot de uitwerking van een online aangepast of apart verhaal en bijhorend aanbod. Zo kan er nagegaan worden of game-engines en de bijbehorende redactietools in dit verhaal passen.
Tweedescherm / Augmented reality (AR)
Augmented Reality houdt zich voornamelijk bezig met het zo realistisch mogelijk toevoegen van computergemaakte beelden aan rechtstreekse, reële beelden. In plaats van informatie af te beelden op klassieke en geïsoleerde beeldschermen, worden de data geprojecteerd in het gezichtsveld van de gebruiker of is deze toegankelijk via een tweede scherm. Het doel is om de mogelijkheden, beperkingen en kostprijs te onderzoeken om deze technologie te implementeren in een omroep- of programmacontext. Kan extra beleving aanbieden op evenementen of zelfs in het dagelijkse leven bijdragen tot het stimuleren van participatie en dynamiek rond mediacontent? Wat kan Augmented Reality meer algemeen betekenen voor programma’s en de publieksbeleving er rond?
Future living room
In dit project onderzoeken we hoe de mediabeleving van de toekomst er gaat uitzien en welke impact dit heeft op de ruimte waarin deze beleefd wordt. Zal de woonkamer nog steeds de belangrijkste ruimte blijven voor broadcast media zoals televisie? Welke impact hebben de persoonlijke (mobiele) toestellen op de toestellen die een hele groep dienen (zoals de televisie)?
14
Ook het zogenaamde "internet of things" vormt een onderdeel van Future Living Room. Dit is een situatie waarbij ieder voorwerp (auto's, koelkasten, koffiemachines, automaten, verkeerslichten,…) intelligent wordt en kan communiceren via het internet. We doen onderzoek naar welke tools, applicaties en technologieën binnen deze nieuwe trend kunnen bijdragen aan een betere mediabeleving.
Interactive radio
Interactieve radio is aangepast aan de omstandigheden waarin de luisteraar programma’s, informatie en muziek ‘consumeert’. We willen onderzoeken of en hoe het luisteren naar radio semiautomatisch kan worden aangepast aan de persoonlijke wensen en voorkeuren van de luisteraar, en dat afhankelijk van de context waarin hij luistert. Welke context-specifieke concepten en functionaliteiten (alarmklok, weer en verkeer, live updates, interactie met het programma,...) kunnen een toegevoegde waarde betekenen tijdens het luisteren (bv. ’s morgens: ontwaken/slaapkamer, wassen/badkamer, ontbijten/leefruimte, verplaatsing/auto,trein,..., werk)?
Alternatieve manieren van gebruikersinput
Andere concepten dan muis, touch en toetsenbord hanteren als inputbeleving, zoals gesture control en voice control, vinden steeds meer ingang. Verder onderzoek moet uitwijzen wat er zowel conceptueel als technologisch mogelijk is om die alternatieve manier van input in te zetten. Daarnaast willen we nagaan hoe de eindgebruiker hier mee omgaat.
CONCRETE DOELSTELLINGEN
Augmented Reality: Binnen dit thema willen we met een aantal verschillende proof of concepts onderzoeken welke technieken er kunnen gebruikt worden om met een eenvoudige webcam zoveel mogelijk interactie toe te laten in een mediacontext.
Mediageletterdheid bij jongeren: op basis van een of meerdere proof of concepts onderzoeken welke nieuwe platformen en technologieën toelaten om de functie van de VRT als betrouwbare gids voor kinderen en jongeren in een steeds sneller evoluerend medialandschap verder uit te bouwen. We willen daarnaast ook analyseren welke aspecten van de gebruikersinterface bij dit soort van applicaties bepalend zijn voor een optimale gebruikerservaring bij jongeren.
Interactive radio: we onderzoeken hoe webradio kan laten uitgroeien tot een digitale, interactieve en participatieve radio, door in te spelen op de omstandigheden (context, waar, wanneer en hoe) waarin naar radio wordt geluisterd.
Alternatieve manieren van gebruikersinput: we onderzoeken welke technologieën en platformen bijdragen tot het creëren van alternatieve manieren van gebruikersinput tijdens interactie met games en gelijkaardige toepassingen in een mediacontext. We willen deze aspecten praktisch onderzoeken en prototypes bouwen die deze alternatieve manieren van interactie zoals gesture control en voice control voorzien.
Aanbevelingen en meten van de gebruiker: het gedrag van de gebruikers meten en daaruit hun drijfveren achterhalen. Daarbij willen we dit gedrag relateren aan de context van de gebruiker (locatie, toestel, tijdstip) zodat we een gericht en gepersonaliseerd aanbod kunnen
15
geven. Door het gedrag in real-time te meten en te visualiseren willen we nagaan of een redactie op basis hiervan zijn contentaanbod kan optimaliseren..
Empathische belevingen: zoeken naar manieren om op basis van een beperkte set sensoren emoties te detecteren, en dat op een impliciete wijze. Daarbij willen we emoties van grote groepen gebruikers in real-time kunnen detecteren en die terugkoppelen naar programmamakers en andere stakeholders, zodat deze daarop (in real-time of nadien) gepast kunnen reageren. Op basis van de gedetecteerde emoties willen we modellen afleiden, waarmee we de eindgebruikers beter leren begrijpen. Parallel gaan we op zoek naar systemen om de gedetecteerde emoties te gebruiken en om te zetten in concrete empathische signalen naar de eindgebruiker op een impliciete manier. Al deze bouwstenen willen we combineren om voort te bouwen aan de gebruikerservaring van de toekomst.
Future living room: We onderzoeken het effect van de evolutie van persoonlijke mediatoestellen (smartphones, tablets,...) op het consumeren van media, en in het bijzonder de impact in de gemeenschappelijke ruimte. In eerste instantie zetten we enkele technische proof of concepts op om inzicht te krijgen in wat er in de toekomst mogelijk zal zijn (schermen overal, de smartphone als remote, Internet of Things, empathic, personalisatie). Op deze resultaten bouwen we verder om uit te zoeken hoe de gebruiker met deze mogelijkheden omgaat, en wat dit betekent voor broadcast media als televisie en radio.
Digital storytelling: we onderzoeken welke tools en technieken in aanmerking komen om een verhaal in een andere vorm te vertellen en zo de gebruiker nauwer te betrekken. Dit kan in de vorm van een game zijn, maar kan net zo goed als een interactieve documentaire gerealiseerd worden.
16
