EBU TC - FACT FINDING MISSIE IN JAPAN Tokio/Osaka, 20-24 januari 2014 Achtergrond Acht leden van het EBU Technical Committee (inclusief twee plaatsvervangers) en twee Technical Liaison Officiers namen deel aan een “Fact Finding” missie in Japan van 20 tot 24 januari. De missie werd geleid door Simon Fell en Hans Hoffmann van EBU. Voor VRT verving Luk Overmeire TC lid Dieter Boen. Volgende bedrijven werden bezocht: Sony, Panasonic, NTT, NHK STRL, NHK & FujiTV en ARIB (Association of Radio Industries and Businesses – een standaardisatieorgaan). Bij Panasonic en Sony werden zowel de consumenten- als de professionele divisies bezocht. Het doel was om een dialoog op te starten met de Japanse omroepen, technologiebedrijven en standaardisatieorganen en om de impact van de Olympische Spelen in Tokyo in 2020 beter te kunnen inschatten. Volgende thema’s stonden hierbij met stip op de agenda:
Genetwerkte mediaproductie UHDTV Hybridcast Toegankelijkheid Spectrum Kennismaking met het Japanse NexTV Forum
Sony Tijdens het bezoek aan de professionele afdeling van Sony ging de meeste aandacht naar hun ontwikkelingen in verband met IP-gebaseerde liveproductie. In dit concept wordt de traditionele SDI-gebaseerde realtime studio- en broadcastinfrastructuur (gedeeltelijk) vervangen door IP-gebaseerde productietechnologie. Sony presenteerde zijn roadmap die de komende jaren onder meer het vervangen van de klassieke SDI-router door een IP-gebaseerde AV-router omvat. Hierbij wordt een standaard, generieke IP-switch (Cisco, Juniper) uitgebreid met mediaspecifieke netwerkbeheer software (Sony know-how) zodat het kan gebruikt worden in realtime broadcast productieworkflows. Een van de interessante toepassingen is remote productie. Bij de overgang naar IP-realtime infrastructuur zijn een IP-gebaseerde 4K OB truck en studio mogelijke eerste stappen. Sony heeft ook een chip en een convertor board ontwikkeld die het omzetten van SDI naar IP (bvb. voor camera’s) mogelijk maakt. Er wordt voortgebouwd op bestaande en draft standaarden (SMPTE-2022), deels wordt ook nieuwe technologie voorgesteld. Om de Quality of Service te garanderen, wordt een SDN-gebaseerd (SDN = Software Defined Network) bandbreedte reservatiesysteem toegepast die rekening houdt met de bandbreedte vereisten van de gekoppelde IP-systemen (bvb. camera’s). De data rate wordt verdubbeld om pakketverlies op te vangen. Om de nodige bandbreedte onder controle houden, gebruikt Sony momenteel een propriëtaire low latency compressie die momenteel nog een vertraging van ongeveer 10ms introduceert, bijvoorbeeld bij het switchen van verschillende bronnen. De doelstelling van 1ms hebben ze voorlopig nog niet
bereikt. De 4K (of meer algemeen UHDTV) strategie van Sony is volledig netwerkgebaseerd, multilink SDI-oplossingen worden momenteel niet overwogen. De roadmap is met een tijdsvenster van twee jaar vrij agressief, de eerste producten komen dit jaar op de markt.
Figuur 1 – Real-time IP Productie Systeem Sony presenteerde ook zijn state-of-the-art UHDTV producten. Voor HD kunnen al tot 240 beelden per seconde opgenomen worden (F55), voor 4K is dit maximaal 120fps. Het dynamisch bereik van de 4K-camera’s is 14 stops. De huidige 4K-producten zijn nog gebaseerd op de BT.709 kleurenruimte, BT.2020 staat op de roadmap maar de timing werd niet nader gespecifieerd. UHDTV technologie kan ook ingezet worden om de huidige HDbeleving te verbeteren. Via het stitchen van twee 4K-beelden tijdens opnames van (bvb. minder belangrijke) evenementen kan op een kosteffectieve manier een geschikt HDbeeld (HD cut out) geselecteerd worden. Ten slotte werd er ook een 4K-opnameserver gedemonstreerd op basis van XAVC-I (600Mbps), met maximum 20u opslagcapaciteit (8TB). Sony CE (consumentendivisie) demonstreerde een hogere kwaliteit stereosysteem voor de eindgebruiker (lineaire PCM voor eindgebruiker), in deze context werken ze samen met de muziekindustrie. Spotify heeft geen interesse, want die encoderen al aan 320kbps. Net zoals bij Panasonic leek ook bij Sony de interesse in hogere beeldfrequenties (HFR) en dynamisch bereik (HDR) groter bij de consumenten- dan bij de professionele divisies. Voor HDR codering en decodering zijn de beschikbare oplossingen van Dolby en Philips propriëtair, Sony probeert in functie van de use case het beste van beide oplossingen te combineren. EBU streeft uiteraard naar een open standaard, die ook HD niet uit het oog verliest, bvb. de ondersteuning van 10 bits in HEVC encodering van HD content (om op lange termijn een 8 bit legacy in HD schermen te vermijden). Voor de Europese omroepen is de introductie van UHDTV productie immers nog verre toekomstmuziek. Wat 8Kbeeldschermen betreft, zijn nog geen concrete beslissingen genomen, er werd wel aangegeven dat het in elk geval haalbaar is.
Figuur 2 – 4k stitching en HD cut out Panasonic Panasonic introduceerde een concept voor nieuwsgaring waarbij een cameraopname in de omroep door de journalist kan voorbereid worden, en de concrete opdracht via de cameraman ter plaatse naar de camera kan getransfereerd worden. De ENG camera streamt via publieke 4G/LTE een proxy versie van de opgenomen content naar een private cloud, zodat in het omroepgebouw een ruwe montage kan gebeuren en (enkel) het nodige hogeresolutiemateriaal kan worden getransfereerd. Dit maakt snellere workflows mogelijk, op termijn zelfs livestreaming vanop locatie. Een andere meerwaarde is de mogelijke toepassing van audio- en videoherkenning services op de cloud server zodat op automatische wijze metadata kan gegenereerd worden. Het huidige product ondersteunt integratie met INews en het Edius montagesysteem. Het business model omvat een maandelijkse kost van 200 euro per camera, met inbegrip van de cloud server. De AJPX270 camera, die dit concept ondersteunt, komt einde maart op de markt.
Value-Added Service Audio Recognition Video Recognition
Highlight Editing a A
Bb
e
d
a b e d
Cloud Servers 4G/LTE
Internet
News Director
News
On-Site Crew
TV Station
Automation
Systems
Figuur 3 – P2 netwerk workflow concept Wat UHDTV betreft, demonstreerde Panasonic hun 4K-resolutie tablet, die binnenkort commercieel verkrijgbaar zal zijn. De tablet is enkel bedoeld voor professionele doeleinden. Net als Sony bieden zijn ook een 4K-camcorder aan die 14-bit HDR ondersteunt. In samenwerking met NHK wordt momenteel een 8K-recorder ontwikkeld, met 2u opnamecapaciteit. Ten slotte werd ook hun 4K professionele referentiemonitor gedemonstreerd. Panasonic is ook actief in het optimaliseren van HEVC encodering voor distributie. Interessante streefwaarden in dit verband zijn 30-40Mbps voor 4k en 80-100Mbps voor 8K (bij 60 beelden per seconde). NHK STRL NHK STRL is de R&D afdeling van NHK, samen met BBC R&D de meest gerenommeerde broadcaster onderzoeksafdeling ter wereld. 210 medewerkers zijn verdeeld over 6 R&D afdelingen: UHDTV, gebruikersinterfaces, 3DTV, geavanceerde toestellen, transmissie en hybride broadcasting. Hier kregen we een aantal inspirerende demo’s te zien. Uiteraard konden de 8K-camera’s hierbij niet ontbreken, die we ook van de IBC en NAB beurzen kennen. Daarnaast werd er een immersieve audiobeleving gedemonstreerd op basis van een twaalftal luidsprekers die in het frame van een beeldscherm geïntegreerd waren. Verder werden er ook tactiele en haptische toestellen gepresenteerd, die informatie aan slechtzienden kunnen overdragen op basis van de tastzin. Een veelbelovende demo in dezelfde context betrof computer graphics-gebaseerde automatische gebarentaal voor het (Japanse) weerbericht. Na het omzetten van spraak naar een reeks van gebaren worden de bewegingen van de avatar sneller dan real-time berekend. De gebaren zagen er goed uit, maar een aandachtspunt is de expressie op het gezicht van de avatar – bijvoorbeeld om het verschil tussen gewone en hevige regen te kunnen uitbeelden. Bij de Europese omroepen is er veel
interesse in dergelijke toepassingen en kan eventueel een gezamenlijk Europees onderzoeksproject in het kader van Horizon 2020 overwogen worden.
Figuur 4 – Automatische gebarentaal op basis van CG animatie Ook heel leerrijk ten slotte was de BT.2020 kleurenruimte demonstratie op basis van een laser projectie vanop een aantal meter van de achterzijde van het projectiescherm. In het bijzonder voor rode Ferrari’s (een vaak gebruikt beeld tijdens onze vijfdaagse) en helderblauw water, kon de meerwaarde van een BT.2020 kleurenruimte t.o.v. BT. 709 waargenomen worden. Het blijkt echter niet realistisch om te verwachten dat dergelijke technologie anno 2020 ook in consumentenbeeldschermen geïntegreerd zal kunnen worden. Met behulp van een aantal technologische verbeteringen (quantum dots en laser back light werden genoemd) hoopt men toch voldoende winst t.o.v. BT. 709 te kunnen realiseren. NHK & Fuji TV Het belangrijkste thema tijdens deze ontmoeting was de Japanse Hybridcast technologie. Dit is een hybride broadcast/broadband technologie, equivalent aan HbbTV in Europa, die sinds september 2013 in Japan gestart is, en – net als 8K – door de Japanse overheid ondersteund wordt. Een Hybridcast applicatie draait in een HTML5-browser van de Hybridcast ontvanger (bvb. een Hybridcast TV scherm) en ontvangt applicatie controle informatie via het broadcastsignaal. De applicatie kan vervolgens extra informatie met betrekking tot het programma opvragen via een webserver. Via een trigger signaal worden de broadcast- en broadbandsignalen met elkaar gesynchroniseerd. Killer services voor Hybridcast zijn catch up, aanbeveling van content en start over services. Ook multicameratoepassingen, interactieve spelprogramma’s en naamtagging bij sportwedstrijden behoren tot de mogelijkheden. Momenteel zijn de Hybridcast applicaties enkel toepasbaar voor een specifiek broadcastkanaal (broadcast applicatie controle). In een volgende stap zullen ook unmanaged applicaties die op meerdere tv-kanalen kunnen toegepast worden mogelijk worden. Hybridcast technologie wordt ondersteund door Sharp, Toshiba en Panasonic.
NTT NTT (Nippon Telegraph and Telephone communication) is een van de grootste telecom spelers ter wereld, met een onderzoeksafdeling van zowat 2500 R&D’ers. Ook hier kregen we een aantal inspirerende demo’s te zien. De visual syncAR, een tweedescherm augmented reality prototype waarbij op basis van een visueel watermerk een synchronisatie tot stand kan worden gebracht tussen de content op een televisiescherm en een animatie op een tablet, werd gedemonstreerd aan de hand van beelden van een dansende zangeres en een bijhorende avatar die de dansbewegingen uitbeeldde. Dit principe kan ook toegepast worden in de context van audiodescriptie en automatische gebarentaal. In het kader van de Olympische Spelen 2020 in Tokyo, wil men trouwens op publieke plaatsen informatieve (Japanse) videobeelden via dergelijke technologie van automatische vertaling en gebarentaal voorzien. Andere demo’s betroffen het transfereren van content elementen over meerdere toestellen in de huiskamer, en een interactieve kijkervaring op basis van panoramische video beelden (afkomstig van meerdere camera’s). In de laatste toepassing kunnen de trajecten die gebruikers volgen bij het bekijken van de content gecapteerd en eventueel hergebruikt worden. ARIB ARIB (Association of Radio Industries and Businesses) is een standaardisatie orgaan, opgericht in 1995. De associatie omvat omroepen, telecom operatoren en technologiebedrijven. De activiteiten i.v.m. standaarden omvatten zowel spectrum, mobiele toepassingen als broadcast en radio. Studies en R&D projecten in de context van broadcasting vormen input voor nieuwe (ARIB) standaarden. Onderzoeksthema’s omvatten onder meer UHDTV, Hybridcast en kwaliteit. NexTV Forum Het NexTV Forum is een Japanse alliantie van omroepen, telecombedrijven, technologie bedrijven en consumenten elektronica bedrijven, dat ondersteund wordt vanuit de overheid, en zich focust op volgende generatie broadcasting toepassingen. Het forum is opgericht in mei 2013 en vormt een sterke drijvende kracht richting 2020, met een heel duidelijke roadmap: 4K-testen in 2014, 8K-testen in 2016 en wijdverspreide 4K/8K tvbeleving in 2020.
BESLUIT IP-gebaseerde productie Na de succesvolle overgang van tape-gebaseerde naar bestandsgebaseerde workflows, wordt de mogelijke toepassing van pakketgebaseerde netwerken voor realtime productie en live-evenementen ter vervanging van SDI, algemeen beschouwd als de belangrijkste volgende paradigmashift in hoe omroepen opereren, met een significante impact op workflows en infrastructuur. In een omroepcontext met steeds meer verschillende formaten kan dit het voordeel bieden dat bvb. in OB VANs minder kabels en connectoren noodzakelijk zijn, of toch alleszins minder verschillende type kabels. Ook zou op termijn de factor “economy of scale” van generieke IT-infrastructuur een voordeel moeten kunnen opleveren (wat op dit moment nog niet het geval is). Een van de belangrijkste argumenten pro-IP is het feit dat t.o.v. van SDI op een veel gemakkelijkere manier metadata (al dan niet automatisch gegenereerd) gekoppeld kan worden met de audiovisuele stream en doorheen de realtime workflow kan meegestuurd worden. Op die manier kunnen ook voor liveproducties added value services (bvb. personalisatie) naar de eindgebruiker ontwikkeld en aangeboden worden. IP-gebaseerde productie netwerken laten ook een flexibele en configureerbare virtuele infrastructuur toe, en dit binnen een gedistribueerde architectuur. Dit laat toe om snel en dynamisch in te spelen op concrete noden in de productie workflows. De huidige IP-gebaseerde live infrastructuur componenten zijn echter nog immatuur, in het bijzonder voor productie-infrastructuur zoals camera’s of gespecialiseerde productieservers. Er liggen nog vele uitdagingen in het verschiet, de belangrijkste zijn tijdssynchronisatie (genlock, lipsync, …), netwerk management, software defined networks, seamless switching, quality of service en low latency compressie. Een fase die SDI ook ooit ondergaan heeft, en ons ook nu te wachten ligt willen we een minstens equivalente functionaliteit en vooral ook betrouwbaarheid aanbieden. Op dit moment is de meerwaarde dan ook eerder beperkt, zijn de nodige standaarden nog niet volledig en is de interoperabiliteit tussen verschillende IP-oplossingen nog niet gegarandeerd. Of de komst van UHDTV IP-gebaseerde productie in een stroomversnelling kan brengen (cfr. multi-SDI verbindingen), is ook nog een open vraag met netwerkcapaciteit en snelle verbindingen (bvb. 40 en 100GbE) als belangrijkste aandachtspunten. Er komen dan ook heel wat propriëtaire oplossingen op de markt, en het gevaar van vendor lock-in loert om de hoek. Standaarden en interoperabiliteit vormen dus een prioriteit, en in dit kader tekent de EBU werkgroep JT-NM (Networked Media) in samenwerking met VSF (Video Services Forum) en SMPTE een systeem referentiearchitectuur uit voor IPgebaseerde real-time productie. De relevante standaarden in dit verband zijn SMPTE 2022 (layer 3 IP video) en IEEE AVB (Audio Video Bridging, layer 2). AVB is vooral geschikt voor lokale productie infrastructuur, en heeft als nadeel specifieke hardware te vereisen. SMPTE 2022 is wel geschikt voor LAN en WAN omgevingen, maar is als standaard nog immatuur.
De meeste EBU TC leden staan vrij positief tegenover IP als mogelijke vervanger van SDI, en verwachten dat deze technologie op termijn op een stapsgewijze manier (eiland per eiland) kan geïntroduceerd worden, zeker vanaf 2020 (volgens sommigen al vroeger). NHK stond hier dan weer kritisch tegenover, en argumenteerde dat dit voor een grote omroep met een complexe architectuur nog niet echt een realistisch alternatief voor de toekomst is. Het lijkt dan ook aangewezen om op regelmatige basis (bvb. na de grote beurzen NAB en IBC) een herevaluatie en inschatting van deze technologie te doen. UHDTV Bij de Europese omroepen wordt UHDTV technologie op dit moment niet als doel op zich gezien, maar in de eerste plaats een mogelijke meerwaarde in de productieketen om de huidige kwaliteit van HD content verder te verbeteren. Een voorbeeld hiervan is het gebruik van big sensor camera’s met hoger dynamisch bereik, waardoor een betere color grading kan bekomen worden. Met betrekking tot de verschillende technologische parameters van UHDTV kunnen op basis van de verschillende demonstraties in Japan volgende conclusies getrokken worden: -
-
-
-
-
HDR: erg overtuigende demonstraties, duidelijke meerwaarde, kan momenteel nog niet weergegeven worden maar veelbelovende technologie die de komende jaren een grote toegevoegde waarde kan opleveren. Er moet wel nog in samenspraak met de camerafabrikanten een objectieve meetmethode ontworpen worden voor HDR. Grotere kleurenruimtes (BT.2020): niet realistisch op middellange termijn (2020) voor consumentenbeeldschermen. Ook beperktere meerwaarde t.o.v. HDR en HFR (zelfde demobeelden komen steeds terug) HFR: veelbelovende technologie, maar op dit moment niet echt een prominent paradepaardje bij de fabrikanten. Wel al 240 beelden per seconde voor HD camera’s, 120 beelden per seconde voor 4k 4K/8K: duidelijke roadmap en sterk ondersteund door Japanse overheid met uiteraard ook NHK R&D als belangrijke trekker. 8k komt eraan vanaf 2016, ook in beeldschermen – toepassingen vooral in de context van evenementen en openbare lokaties. Ook de meerwaarde van 4k in een klassieke huiskamer zal de komende tien jaar eerder beperkt blijven, 4k content op tablet kan wel een impact hebben de komende jaren Objectgebaseerde audio: hoewel ook veelbelovend (bvb. binaural audio voor tablets), geen specifieke demo’s
Net zoals 8K, wordt ook Hybridcast sterk ondersteund door de Japanse overheid. Er is een duidelijke roadmap en standaardisatie (W3C) speelt een belangrijke rol in dit proces. Een samenwerking tussen het Europese hbbtv.org en Hybridcast dient te worden opgezet. Er is veel aandacht voor geavanceerde Access Services (gebarentaal en tactiele toestellen), de onderzoeksresultaten zijn beloftevol maar er is nog een flinke weg af te leggen om dit ook in de dagdagelijkse praktijk bruikbaar te maken. Er zijn ideeën om een Horizon 2020 project in te dienen rond automatische gebarentaal.
