Het 2e scherm in het 7e kader Omar Niamut, Senior Research Scientist DGMME, November 2012
Het 2e scherm in het 7e kader 2nd screen gebruik en ontwikkeling in Europees onderzoek Omar Niamut – Senior Research Scientist Dutch Guild of Multimedia Engineers – November 20, 2012
Het 2e scherm in het 7e kader Omar Niamut, Senior Research Scientist DGMME, November 2012
TNO en Multimedia TNO – Thema Informatiemaatschappij
Actief in ontwikkeling van nieuwe TV en media standaarden
Forum Nederland
Kennisontwikkeling in Europese en nationale projecten
Het 2e scherm in het 7e kader Omar Niamut, Senior Research Scientist DGMME, November 2012
TNO en 2nd Screen Mobifix • Three screen TV • Sessie transfer van mobiel naar TV (Airplay)
2007
2008
ConnecTV • Social TV Pilot met 50 personen • TV ervaring delen • Watching apart together
FascinatE • Navigatie in ultra hoge resolutie video • Tiled HTTP Adaptive Streaming
2009
2010
Mobifix: TV as an app • Live TV as an app • 2nd screen interaction
Het 2e scherm in het 7e kader Omar Niamut, Senior Research Scientist DGMME, November 2012
TNO en Omar Niamut 2006-2007: ConnecTV proef
2008-2010: IPTV standaardisatie
2010 – heden: EU projecten
Focus: vergroten en delen van de beleving
Het 2e scherm in het 7e kader Omar Niamut, Senior Research Scientist DGMME, November 2012
Europees onderzoek Kaderprogramma (FP7): ondersteuning van innovatie, bevorderen van internationale samenwerking
TNO maakt Europese kennis toepasbaar in Nederland. Bijv. via het HbbTV NL forum of settopbox-loos TV kijken via CI+ voor operators.
Het 2e scherm in het 7e kader Omar Niamut, Senior Research Scientist DGMME, November 2012
7K/2K
Watch on mobile
Zoom in
Watch in public
Het 2e scherm in het 7e kader Omar Niamut, Senior Research Scientist DGMME, November 2012
FascinatE: interactive and immersive media Format-agnostische productie: formaat wordt pas bepaald bij transport en/of weergave Beyond HD: weergave van hoge-resolutie panorama video en 3D audio Virtual Director: automatische productie en regie NUI: interactieve navigatie op basis van gebaren
TNO: netwerk en 2nd screen toepassingen
Het 2e scherm in het 7e kader Omar Niamut, Senior Research Scientist DGMME, November 2012
FascinatE: netwerk
Het 2e scherm in het 7e kader Omar Niamut, Senior Research Scientist DGMME, November 2012
FascinatE: netwerk 2nd screen en mobiel
CDN en HTTP adaptive streaming
Het 2e scherm in het 7e kader Omar Niamut, Senior Research Scientist DGMME, November 2012
Demo: tiled adaptive streaming over HTTP DASH extensie met spatiele segmentatie 2nd screen voor interactie en replay toepasbaar in CDN
A/V Relay
HAS delivery of spatial segments
HTTP server
A/V Proxy Segment Client
Frame Combiner
CDN servers Spatial Manifest
Event Signalling
2nd Screen for control/display
Het 2e scherm in het 7e kader Omar Niamut, Senior Research Scientist DGMME, November 2012
HBB-NEXT: volgende generatie HbbTV User Identity: cross-device authenticatie en voorkeuren Cloud Offloading: HBB Apps op connected devices Media Sync: synchronisatie van broadcast- en broadbandcontent Multi-User Personalisation; aanbevelingen aan groepen, bijv. gezinnen
TNO: media sync, personalisation, standaardisatie
Het 2e scherm in het 7e kader Omar Niamut, Senior Research Scientist DGMME, November 2012
Media Synchronisatie Inter Media
Video content provided by RBB
Het 2e scherm in het 7e kader Omar Niamut, Senior Research Scientist DGMME, November 2012
Media Synchronisatie Inter Device
Het 2e scherm in het 7e kader Omar Niamut, Senior Research Scientist DGMME, November 2012
Media Synchronisatie Inter Destination
Het 2e scherm in het 7e kader Omar Niamut, Senior Research Scientist DGMME, November 2012
Heterogene Inter-Media Synchronisatie Synchroniseren van verschillende media flows op één apparaat Mogelijk via PCR/PTS of timeline ETSI TS 102 823: Embedding timestamps in media streams Encapsulatie van broadcast timeline in Packetized Elementary Stream (PES), naast audio en video PES PoC: synchronisatie van MPEG-2 TS met MPEG-DASH
Source: Veenhuizen, van Brandenburg. Frame accurate media synchronization of heterogeneous media sources in an HBB context. 1st Media Sync Workshop, Berlin, October 2012.
Het 2e scherm in het 7e kader Omar Niamut, Senior Research Scientist DGMME, November 2012
Heterogene Inter-Media Synchronisatie
Primary Broadcaster
Consumer
Camerabeelden uit meerdere hoeken
Secondary
Broadcaster
Primary Consumer
2nd party
Meertalige ondertiteling
Secondary
Broadcaster
Primary rd
3 party
Consumer Secondary
Gebarentolk
Het 2e scherm in het 7e kader Omar Niamut, Senior Research Scientist DGMME, November 2012
2nd Screen: Inter-Device en Inter-Destination Sync Uitdaging: frame accurate synchronization van audio en video Vereist multi-device clock synchronization met een nauwkeurigheid van ~40 ms Scenarios: gesynchroniseerde second screen ondertiteling, gesyncte multi angle camera feeds, gebarentolk op 2e scherm, multi-screen reclames TNO brengt 2nd screen use cases en scenarios in tbv. HbbTV 2.0
Het 2e scherm in het 7e kader Omar Niamut, Senior Research Scientist DGMME, November 2012
STEER: volgende generatie Social TV Networked Media: P2P, transcoding, adaptive streaming Social Informatics: social network analysis en aanbevelingen Living Lab / Live Events: uitproberen met echte gebruikers, verbinden van groepen rondom live gebeurtenissen TNO: technologie opschalen, standaardisatie, AmersfoortBreed Bitnomica: uitbreiding van sociale video app tot 2nd screen app; multimediaal geheel rondom events, in plaats van alleen aanvulling op bestaande TV programma's
Het 2e scherm in het 7e kader Omar Niamut, Senior Research Scientist DGMME, November 2012
Afronding en Acknowledgements 2e scherm: naadloos opgenomen in EU onderzoek Beyond HD, social TV, synchronisatie Toekomstig onderzoek gericht op N-screen omgeving Zie ook: A Day Made of Glass (Corning, 2011)
Arjen Veenhuizen, Ray van Brandenburg, Martin Prins Oskar van Deventer, Rob Koenen Jacco Taal (Bitnomica) Jean-Francois Macq (Alcatel-Lucent) Spyros Denazis (University of Patras) Jet-Stream CDN SIS Live and the Premier League The research leading to these results has received funding from the European Union’s Seventh Framework Programme (FP7/2007-2013) under grant agreements no. 248138, no. 287848 and no. 318343.
Het 2e scherm in het 7e kader Omar Niamut, Senior Research Scientist DGMME, November 2012
Vragen? Meer informatie? Omar Niamut Senior Research Scientist Media Networking
[email protected] +31 (0)88 866 72 18
FascinatE and STEER WP leader Web: http://www.fascinate-project.eu/ Web: www.fp7-steer.eu Web: http://www.hbb-next.eu Twitter: @Fascinate_Prjct and @hbbnext Facebook and Vimeo