2 nd screen gebruik en ontwikkeling in Europees onderzoek

Het 2e scherm in het 7e kader Omar Niamut, Senior Research Scientist DGMME, November 2012

Het 2e scherm in het 7e kader 2nd screen gebruik en ontwikkeling in Europees onderzoek Omar Niamut – Senior Research Scientist Dutch Guild of Multimedia Engineers – November 20, 2012


TNO en Multimedia TNO – Thema Informatiemaatschappij

Actief in ontwikkeling van nieuwe TV en media standaarden

Forum Nederland

Kennisontwikkeling in Europese en nationale projecten


TNO en 2nd Screen Mobifix • Three screen TV • Sessie transfer van mobiel naar TV (Airplay)

2007

2008

ConnecTV • Social TV Pilot met 50 personen • TV ervaring delen • Watching apart together

FascinatE • Navigatie in ultra hoge resolutie video • Tiled HTTP Adaptive Streaming

2009

2010

Mobifix: TV as an app • Live TV as an app • 2nd screen interaction


TNO en Omar Niamut 2006-2007: ConnecTV proef

2008-2010: IPTV standaardisatie

2010 – heden: EU projecten

Focus: vergroten en delen van de beleving


Europees onderzoek Kaderprogramma (FP7): ondersteuning van innovatie, bevorderen van internationale samenwerking

TNO maakt Europese kennis toepasbaar in Nederland. Bijv. via het HbbTV NL forum of settopbox-loos TV kijken via CI+ voor operators.


7K/2K

Watch on mobile

Zoom in

Watch in public


FascinatE: interactive and immersive media Format-agnostische productie: formaat wordt pas bepaald bij transport en/of weergave Beyond HD: weergave van hoge-resolutie panorama video en 3D audio Virtual Director: automatische productie en regie NUI: interactieve navigatie op basis van gebaren

TNO: netwerk en 2nd screen toepassingen


FascinatE: netwerk


FascinatE: netwerk 2nd screen en mobiel

CDN en HTTP adaptive streaming


Demo: tiled adaptive streaming over HTTP DASH extensie met spatiele segmentatie 2nd screen voor interactie en replay toepasbaar in CDN

A/V Relay

HAS delivery of spatial segments

HTTP server

A/V Proxy Segment Client

Frame Combiner

CDN servers Spatial Manifest

Event Signalling

2nd Screen for control/display


HBB-NEXT: volgende generatie HbbTV User Identity: cross-device authenticatie en voorkeuren Cloud Offloading: HBB Apps op connected devices Media Sync: synchronisatie van broadcast- en broadbandcontent Multi-User Personalisation; aanbevelingen aan groepen, bijv. gezinnen

TNO: media sync, personalisation, standaardisatie


Media Synchronisatie Inter Media

Video content provided by RBB


Media Synchronisatie Inter Device


Media Synchronisatie Inter Destination


Heterogene Inter-Media Synchronisatie Synchroniseren van verschillende media flows op één apparaat Mogelijk via PCR/PTS of timeline ETSI TS 102 823: Embedding timestamps in media streams Encapsulatie van broadcast timeline in Packetized Elementary Stream (PES), naast audio en video PES PoC: synchronisatie van MPEG-2 TS met MPEG-DASH

Source: Veenhuizen, van Brandenburg. Frame accurate media synchronization of heterogeneous media sources in an HBB context. 1st Media Sync Workshop, Berlin, October 2012.


Heterogene Inter-Media Synchronisatie

Primary Broadcaster

Consumer

Camerabeelden uit meerdere hoeken

Secondary

Broadcaster

Primary Consumer

2nd party

Meertalige ondertiteling

Secondary

Broadcaster

Primary rd

3 party

Consumer Secondary

Gebarentolk


2nd Screen: Inter-Device en Inter-Destination Sync Uitdaging: frame accurate synchronization van audio en video Vereist multi-device clock synchronization met een nauwkeurigheid van ~40 ms Scenarios: gesynchroniseerde second screen ondertiteling, gesyncte multi angle camera feeds, gebarentolk op 2e scherm, multi-screen reclames TNO brengt 2nd screen use cases en scenarios in tbv. HbbTV 2.0


STEER: volgende generatie Social TV Networked Media: P2P, transcoding, adaptive streaming Social Informatics: social network analysis en aanbevelingen Living Lab / Live Events: uitproberen met echte gebruikers, verbinden van groepen rondom live gebeurtenissen TNO: technologie opschalen, standaardisatie, AmersfoortBreed Bitnomica: uitbreiding van sociale video app tot 2nd screen app; multimediaal geheel rondom events, in plaats van alleen aanvulling op bestaande TV programma's


Afronding en Acknowledgements 2e scherm: naadloos opgenomen in EU onderzoek Beyond HD, social TV, synchronisatie Toekomstig onderzoek gericht op N-screen omgeving Zie ook: A Day Made of Glass (Corning, 2011)

Arjen Veenhuizen, Ray van Brandenburg, Martin Prins Oskar van Deventer, Rob Koenen Jacco Taal (Bitnomica) Jean-Francois Macq (Alcatel-Lucent) Spyros Denazis (University of Patras) Jet-Stream CDN SIS Live and the Premier League The research leading to these results has received funding from the European Union’s Seventh Framework Programme (FP7/2007-2013) under grant agreements no. 248138, no. 287848 and no. 318343.


Vragen? Meer informatie? Omar Niamut Senior Research Scientist Media Networking [email protected] +31 (0)88 866 72 18

FascinatE and STEER WP leader Web: http://www.fascinate-project.eu/ Web: www.fp7-steer.eu Web: http://www.hbb-next.eu Twitter: @Fascinate_Prjct and @hbbnext Facebook and Vimeo

2 nd screen gebruik en ontwikkeling in Europees onderzoek

Recommend Documents