Rapportage Streaming Video naar Mobile Devices
Versie 1.0 Datum 31 december 2008 SURFnet/Kennisnet Innovatieprogramma
Projectgegevens Project Projectjaar Programmalijn Onderdeel Activiteit Deliverable Toegangsrechten Auteur(s) Externe partij Opleverdatum Versie
: : : : : : : : : : :
SURFnet/Kennisnet 2008 Hoge kwaliteit video en collaboratietools Technologie Scouting – streaming video naar mobile devices Rapportage streaming video naar mobile devices Intern Henny Bekker, Maarten Kremers, Frans Ward Streaming Media Partners Europe (vh NetMasters) woensdag 31 december, 2008 1.0
Samenvatting Zowel de SURFnet als de Kennisnet doelgroep gaat steeds vaker mobiel online. Een mobile devices wordt daarmee wellicht het belangrijkste device tot internet Het doel van dit onderzoek is om live streaming naar mobile telefoons/devices werkend te krijgen en daar van te leren met het oog op toekomstige dienstverlening. Uit het onderzoek blijkt dat zowel de opstelling van Wirecast als Xenon werken in de testopstelling. Wel is duidelijk dat Xenon opstelling meer gericht op mobile devices dan Wirecast en dat Xenon een Over het algemeen een beter beeld / resultaat lijkt te geven dan Wirecast. De mobile devices kunnen goed omgaan met in het bijzonder de MPEG4 en H.263 streams. Wel is een kanttekening dat H.264 de H.264 codec van Wirecast, op comptabiliteitsproblemen stuit met de geteste mobile devices en dat het configureren van streaming video op een mobile devices voor eindgebruikers een drempel kan opwerpen.
2
Inleiding Zowel de SURFnet als de Kennisnet doelgroep gaat steeds vaker mobiel online. Nu is er onder 3G/UMTS nog te weinig bandbreedte voor realtime mobiele videodiensten, maar de verwachting is dat dit in de komende jaren gaat wijzigen. Verder worden mobile devices, waaronder de mobiele telefoon steeds vaker voorzien van een WLAN mogelijkheid. Mobiel wordt daarmee wellicht het belangrijkste toegang device tot internet: veel meer mensen beschikken over een telefoon dan over een PC / laptop en de telefoon staat continu aan in de nabijheid van de gebruiker. Daarom dienen de live video diensten ook op dit platform aangeboden te kunnen worden. On demand video is niet moeilijk te realiseren. Live daarentegen wel. Dat stelt hoge eisen aan de techniek en de organisatie van de gehele productie en distributie keten. In het licht van de SURFnet en Kennisnet dienstverlening speelt bij dit onderzoek ook de vraag naar afscherming. Die blijft echter binnen dit onderzoek buiten beschouwing. Het doel van dit onderzoek is om live streaming naar mobile telefoons/devices werkend te krijgen en daar van te leren met het oog op toekomstige dienstverlening.
Aanpak / Opzet PoC De opzet en de aanpak van de PoC staan beschreven in de bijlage Advies PoC. Naast de aanbevelingen voor een PoC voor streaming naar mobile devices, is aan Streaming Media Partners Europe tevens gevraagd te onderzoeken te doen naar de mogelijkheid om opnames van live video vanaf mobile devices en de streaming hiervan naar internet, (‘mobile live recording’). Hiervan is tevens een advies voor een PoC opgesteld, maar om uiteenlopende redenen is besloten om van de uitvoering van deze PoC af te zien.
Testopstelling Voor het testen van het streamen naar mobile devices is gebruikt gemaakt van een softwarematig encodering. Hiertoe is conform de aanbeveling voor de aanpak van de PoC een testopstelling gerealiseerd, bestaande uit een PC voorzien van voldoen processorcapaciteit en geheugen en het besturingsysteem Windows Server 2008 met hierop de volgende drie Vidiator Xenon applicaties: Offline encoder, Live encoder en Streaming. De offline encoder voorziet in het creëren / transcoderen van video-on-demand files specifiek voor streaming naar mobile devices (bijvoorbeeld.3gp bestanden) . De live encoder encodeert on-the-fly live video afkomstig vanuit in dit geval een DV camcorder en/of VoD bestanden voor mobile (afkomstig bijvoorbeeld uit de offline encoder). De streamingserver voorziet in de distributie van de stream. Aanvullend is er nog gebruik gemaakt van een tweede opstelling (uit de live HD-streaming opstelling) waarbij gebruikt gemaakt van een PC voorzien van voldoende processorcapaciteit en geheugen en het besturingsysteem Windows Vista evenals een Apple Power Mac eveneens voorzien van voldoende processorcapaciteit en geheugen met als besturingsysteem Mac OS X.. Als encoderingapplicatie is in beide gevallen Wirecast gebruikt.. Onder Windows kan Wirecast zowel Windows Media als Quicktime MPEG4 / H.264 encoderen, maar voor deze test is enkel de Quicktime MPEG4 / H.264 codec gebruikt. Onder het Mac OS kan alleen Quicktime gebruikt
3
worden. Verder zijn als streamingserver gebruik gemaakt van een Quicktime-server en van de live streaming video omgeving van SURFnet (VDO-X / Darwin), wat eventuele mogelijkheden biedt om de PoC te laten aansluiten bij een eventuele toekomstige integratie in de streaming video dienstverlening van SURFnet / Kennisnet. Verder zijn er een viertal mobile devices getest: waarbij elke device een gangbaar OS van de mobile devices vertegenwoordigd. De mobile devices zijn: Device HTC Touch HD HTC Cruise Nokia N96 Apple iPhone
OS Windows Mobile 6.1 Windows Mobile 6.0 Symbian S60 iPhone OS
Tabel 1: Overzicht Devices Tot slot is als bron zowel realtime input (in de vorm van een DV camcorder) als bestaande content (Video on Demand) gebruikt.
Testplan In het generieke testplan voor deze PoC is het van belang te testen met de live-encoder en streamer, in combinatie met de genoemde telefoons, op basis van een live bron en een diversiteit aan netwerkverbindingen (3G en WLAN) Verder staan in de bijlage Opzet PoC nog nadere aanbevelingen voor het testen van de PoC.
Werking / Resultaten De mobile devices & netwerkverbinding Bij het uitvoeren van de PoC bleek dat het werkend krijgen van streaming video (vanuit bestaande streaming video content) op de devices, de nodige issues opleverde. Zo geldt dat bij een aantal flatfee internet abonnementen bij een privé GSM-aansluiting streaming video geblokkeerd wordt, waardoor een deel van de doelgroep niet via 3G de uitzendingen kan bekijken, ook al is het toestel hier geschikt voor. Verder is voor streaming video via 3G vaak een apart connectie-profiel nodig. Binnen de streaming video player moet dan dit profiel worden ingesteld in plaats van het reguliere 3G internet verbinding. Verder vereist KPN bijvoorbeeld nog een wijziging in een proxy setting, zoals bij de HTC: bij het omschakelen van 3G naar WLAN en vice versa, zal niet alleen een andere verbinding moet worden gekozen, maar zal ook deze setting apart moeten worden aangepast. Ook het instellen van de WLAN verbinding bleek niet altijd triviaal: Onder de Nokia N96 is dit niet gelukt. Al met al is het configureren van streaming video voor 3G in zijn algemeen en in beperktere mate voor WLAN evenals het wisselen tussen 3G en WLAN zeker is met name onder Windows Mobile niet altijd een triviale handeling en dat kan in combinatie met een grote verscheidenheid aan mobile devices voor een eindgebruiker een drempel opwerpen.
4
Testopstelling 1: Vidiator Xenon De offline encoder behoorde niet tot de kern van het onderzoek, maar deze applicatie was wel nuttig: deze tool voorziet het converteren / transcoderen van diverse gangbare videoformaten naar videoformaten special voor mobile devices, zoals 3gp. In de encoder was het mogelijk een keur aan instellingen aan te passen. De live encoder is de applicatie voor het daadwerkelijk live encoderen. Als input was het hier mogelijk een live bron of een 3gp / mp4 (gecreëerd uit bijvoorbeeld de offline encoder) . Het bijzondere aan deze applicatie is bij dat een live bron op een mountpoint, simultaan op meerdere bitrates kan worden geëncodeerd: de Xenon streamer kan op basis van de beschikbare bandbreedte de juiste bitrate doorsturen. Het nadeel van deze feature is dat ze uitsluitend werkt tussen de live encoder en streamer van Xenon. Daarbij komt dat de communicatie tussen deze applicatie gebaseerd is op een eigen proprietary protocol. Verder is nog een succesvolle test uitgevoerd om de live encoder te koppelen aan de streaming video omgeving van SURFnet. (VDO-X / Darwin). De koppeling is door middel van multicast en streaming RTP gerealiseerd, maar in deze opstelling valt wel het multibitrate-voordeel weg. Testopstelling 2: Wirecast Bij Wirecast is het mogelijk op basis van een één bron (camera) een combinatie van codecs en resoluties en bitrate te genereren. Elke combinatie vormt dan wel een apart mountpoint. Wirecast is succes gekoppeld aan een Quicktimeserver en aan de streaming video omgeving van SURFnet.
5
Overzicht van testen Onderstaande tabellen vormen een overzicht van een (aantal van) de testen. Wirecast 1 t/m 4 zijn gestreamd met Wirecast onder Windows. Wirecast 5 en 6 met Wirecast onder Mac OS. Alle Wirecaststreams zijn gestreamd via de Quicktimeserver. De Xenonstreams zijn via de applicaties van Xenon geencodeerd en gestreamd.
Stream
Codec
Resolutie
Bitrate (kbit/s)
Quality
Beelden / sec
Wirecast1 Wirecast2 Wirecast3 Wirecast4 Wirecast5 Wirecast6
MPEG4 H.264 MPEG4 MPEG4 H2.63 H2.63
176x144 176x144 240x180 320x240 176x144 176x144
80 80 220 684 80 220
Medium Medium Medium Medium Medium Medium
15 15 10 15 15 15
XenonLive Xenon1 Xenon2 Xenon3
MPEG4 H.263 MPEG4 H.264
176x144 176x144 176x144 176x144
256 60 60 128
-
12 10 10 12
Tabel 2: Eigenschappen Streams
Stream Wirecast1 Wirecast2 Wirecast3 Wirecast4 Wirecast5 Wirecast6
PC [RE] R=OK R=NOK:4 R=OK R=OK R=OK R=NOK:5
PC [QT] Q=OK Q=OK Q=OK Q=OK Q=OK Q=OK
Mac Q=OK Q=OK Q=OK Q=OK Q=OK Q=OK
NE90:6 R=OK R=NOK:8 R=OK R=OK R=NOK:3 R=NOK:3
N96:7 R=OK R=NOK:8 R=OK R=OK R=OK R=OK
HTC-T:1 S=OK:2 S=NOK:3 S=OK S=OK S=OK S=OK
HTC-C W=OK W=NOK:9 W=OK W=OK W=OK W=OK
iPhone NOK NOK NOK NOK NOK NOK
Palm NOK NOK NOK NOK NOK NOK
XenonLive Xenon1 Xenon2 Xenon3
R=OK R=OK R=OK R=OK
Q=OK Q=OK Q=OK Q=OK
Q=OK Q=OK Q=OK Q=OK
R=OK R=OK R=OK R=OK
R=NOK:A R=OK R=OK R=OK
S=OK S=OK:2 S=OK S=OK
S=OK:2 S=OK S=OK S=OK
NOK NOK NOK NOK
OK OK:B OK:B NOK
Tabel 3: Resultaten Streams
6
Note 1: 2: 3: 4: 5: 6: 7: 8: 9: A: B:
Type Mac PC HTC-C HTC-C R Q W S OK NOK
Verklaring codes table 3 Streaming via WLAN te laten verlopen is niet gelukt Blokkerig beeld via WLAN en G3 Type mediabestand wordt niet ondersteund Update required Loading NOK unable to connect Update required loading OK not able to play [keep loading] Na upgrade RealPlayer 11.0.6 OK Symbian v. RealPlayer v60.30.19.01 Unable to connect to server; file not found [1 to 4] or unable to play media clip [5 & 6] RealPlayer was standaard geconfigureerd RTSP proxy @KPN Alleen een gedeelte van de clip [geen geluid en geen beeld] Onbekende fout Mediaclip kan niet worden afgespeeld Device geeft ‘unsupported format’ aan, maar speelt de stream wel af.
Afkortingenlijst table 3 MacOS X v10.52 RealPlayer 5.7.5 (249.30.1) WindowsXP/SP3 RealPlayer 10.5 QuickTime 7.5.5 (990,7) HTC Touch HD HTC Touch Cruise RealPlayer QuickTime Windows Media Streaming media client HTC OK Niet OK – Stream wordt niet ingeladen of geeft geen beeld
Resultaten testen Als wordt gekeken naar de resultaten van de test dan is deze succesvol voor zowel Wirecast als Xenon. Wat wel opvalt binnen de test, is dat de H.264 codec van Wirecast, op comptabiliteitsproblemen stuit met de geteste mobile devices. Over het algemeen lijkt Xenon een beter beeld / resultaat te geven dan Wirecast.
7
Conclusie Zowel de opstelling van Wirecast als Xenon werken in de testopstelling. In de opzet van de applicatie is Xenon duidelijk gericht op het encoderen voor mobile devices, waar Wirecast dit meer algemeen doet. Verder heeft Xenon als voordeel dat deze applicatie is bij dat een live bron op een mountpoint simultaan op meerdere bitrates kan encoderen, maar deze feature is dat ze uitsluitend beschikbaar als zowel de live encoder als de streamer van Xenon worden gebruikt. De mobile devices kunnen goed omgaan met in het bijzonder de MPEG4 en H.263 streams: dit leverde veelal succesvolle resultaten op. De H.264 codec van Wirecast stuit op comptabiliteitsproblemen met de geteste mobile devices. Xenon lijkt over het algemeen een beter beeld / resultaat te geven dan Wirecast. Wel is een grote kanttekening dat het configureren van streaming video voor 3G en ook soms ook WLAN en het wisselen hiertussen is bij met name Windows Mobile devices zeker niet altijd een triviale actie is en dat kan in combinatie met een grote verscheidenheid aan mobile devices voor een eindgebruiker een drempel opwerpen.
8
Bijlage: Live streaming van en naar de iPhone De bestandformaten die ondersteund worden door de iPhone zijn: H.264 Baseline Profile Level 3.0 video, up to 640 x 480 at 30 fps. MPEG-4 Part 2 video (Simple Profile) AAC-LC audio, up to 48 kHz .mov, .mp4, .m4v, .3gp file formats Any movies or audio files that can play on an iPod, including protected files if the iPhone is authorized to play them. Volgens een bericht van Apple heeft men voor H.264 gekozen omdat dit veel betere video kwaliteit levert en dat de batterij van mobiele apparaten hierdoor langer meegaan. Er is niet gekozen voor Flash, omdat dit een grove aanslag zou zijn om de CPU van de iPhone als mede vanwege de speciale hardware die goed overweg zou kunnen met H.264. Daar de iPhone geen Flash ondersteund zullen veel streaming video sites niet goed werken. Voor de “Apple TV” en de iPhone heeft YouTube alle streaming content omgezet naar het H.264 video formaat. Voor de iPhone is een speciale YouTube applicatie ontwikkeld waarbij de content wireless gestreamt kan worden op het 3.5” scherm van de iPhone. Dit kan over Wi-Fi of EDGE netwerken. Op de site van Apple is de applicatie in actie te zien (http://www.apple.com/iphone/features/youtube.html). In het filmpje is te zien hoe de applicatie werkt en dat ervoor een speciaal icoontje in het menu erbij is gekomen. Er zijn en komen steeds meer streaming video applicaties beschikbaar via de AppStore, maar vanwege Apple's policy om de ingebouwde camera niet te gebruiken om live video op te nemen of te verspreiden via internet, zullen deze applicaties vooral video NAAR de iPhone sturen en niet andersom. Er zijn wel applicaties te vinden die dit mogelijk maken, zoals Qik en Flixwagon die iPhone gebruikers in staat stellen live video te streamen vanaf de iPhone naar het internet, maar dit kan alleen als je iPhone “jailbroken” is. Zie ook: http://flixwagon.com/ With Flixwagon, you can broadcast live video from your iphone to the web, keep videos for later, stream to your blog, notify your friends and more.
http://flixwagon.com/pickphone/IPhone?symfony=b6d1e8b14cdd260dacba277947433589 In order to use Flixwagon on your iPhone you’ll need a "jailbroken" iPhone that can run 3rd party apps using the Cydia or Installer applications.
9
Meer voorbeelden van streaming video NAAR de iPhone: iPhone Remote Telekinesis Zoals de naam suggereert kun je er je Mac mee bedienen (via Wifi en GPRS), maar de werkelijk coole functionaleit is dat je video kunt streamen van je Mac naar je iPhone.
Joost voor de iPhone Joost is een gratis applicatie die het mogelijk maak om video's streaming op de iPhone te bekijken. Alle video's zijn gratis en in een zeer goede kwaliteit. Helaas kan je Joost alleen gebruiken via een WiFi connectie, en dus niet via Edge of 3G. Voor mensen die een iPhone met “jailbreak” bezitten is het mogelijk om via Cydia "VoiPover3G" te downloaden. "VoiPover3G" doet je iPhone doet geloven dat je WiFi hebt, terwijl je eigenlijk Edge of 3G gebruikt. Naast het kijken naar verschillende music clips en TV programma's, kan je ook zoeken naar video's. Deze applicatie is gratis verkrijgbaar in de AppStore http://iphonefreakz.com/2008/12/08/app-store-joost-video-streamer/
OrbLive 2.0 Met OrbLive is het mogelijk om live TV te kunnen kijken op je iPhone. Wat OrbLive doet is je toegang geven tot een Windows PC en je in staat stellen om alle media, incl. webcams en TV-tuner's te kunnen benaderen. OrbLive gives you immediate, anytime access to ALL your media. No sync-ing or uploading favorites. In fact, you can forget about your iTunes library. OrbLive uses the network to beam media from your home PC*. And Orb has optimized the transmission so it’s great over 3G, WIFI, or Edge. Imagine all your music, videos, photos – even live TV if you have a tuner card – in the palm of your hand. Turn your iPhone or iPod touch into an on-demand media center. Get OrbLive today for $9.99 in the App Store. Or try OrbLive Free on your iPhone or iPod touch before you buy. And all you need for live TV is the tuner card – no other boxes or services to buy. http://www.orb.com/en/orblive
10
Voor deze publicatie geldt de Creative Commons Licentie “Attribution-Noncommercial-Share Alike 3.0 Netherlands”. Meer informatie over deze licentie is te vinden op http://creativecommons.org/licenses/by-nc-sa/3.0/nl/
11
