Rok / Year: 2014
Svazek / Volume: 16
Číslo / Number: 4
Analýza YouTube video služby v reálné mobilní síti Analysis of YouTube Service in Live Mobile Network Dalibor Uhlíř, Jiří Hošek
[email protected],
[email protected] Fakulta elektrotechniky a komunikačních technologií VUT v Brně
Abstrakt: Mobilní YouTube video služba se stala dominantní aplikací, která je na jedné straně velice populární mezi uživateli mobilních sítí, na druhé straně však představuje pro operátory jisté výzvy a případně také nutnost investic do rozvoje jejich sítí. Cílem této práce tedy bylo provést analýzu této služby v reálné mobilní síti se zaměřením zejména na celkové množství přenášeného provozu a identifikaci komponent tvořících celkové zpoždění při přehrávání YouTube videa viditelného z pohledu koncového uživatele. Dosažené výsledky umožňují získat jasný přehled o tom, které části komunikačního řetězce mají vliv na celkové zpoždění přehrávání YouTube videa.
Abstract: Mobile video service YouTube has become the dominant application which is on one hand very popular among end users, on the other hand, presents a number of challenges for operators including the investments in the development and optimization of their networks. The aim of this work was to analyse this service in real mobile network, focusing in particular on the total amount of transmitted traffic and identify the components making up the total delay visible from the perspective of the end user when playing YouTube videos. The results obtained allow obtaining a clear view of that part of the communication chain which affects the overall YouTube playback delay the most.
VOL.16, NO.4, AUGUST 2014
Analýza YouTube video služby v reálné mobilní síti Dalibor Uhlíř, Jiří Hošek Fakulta elektrotechniky a komunikačních technologií Vysoké učení technické v Brně Email:
[email protected],
[email protected]
Abstrakt – Mobilní YouTube video služba se stala dominantní aplikací, která je na jedné straně velice populární mezi uživateli mobilních sítí, na druhé straně však představuje pro operátory jisté výzvy a případně také nutnost investic do rozvoje jejich sítí. Cílem této práce tedy bylo provést analýzu této služby v reálné mobilní síti se zaměřením zejména na celkové množství přenášeného provozu a identifikaci komponent tvořících celkové zpoždění při přehrávání YouTube videa viditelného z pohledu koncového uživatele. Dosažené výsledky umožňují získat jasný přehled o tom, které části komunikačního řetězce mají vliv na celkové zpoždění přehrávání YouTube videa.
1
• stažená velikost videa,
Úvod
YouTube se stal v posledních několika letech dominantní aplikací v oblasti online video streamingu. Jeho masovou oblibu, která stále narůstá, dokládá i to, že každou minutu je na YouTube nahráno více než 100 hodin video záznamů. Více než 40 % uživatelů přistupuje na YouTube z mobilních zařízení, což představuje zásadní objem dat, který je nutné přenést přes mobilní sítě [1]. Díky tomu se YouTube stal ”nejhladovější” mobilní službou, jejíž síťový provoz tvoří 21 % v Evropě a 27 % v Severní Americe z celkového množství přenesených dat v širokopásmových sítích [1]. Vzhledem k výše uvedeným faktům představuje YouTube velkou výzvu pro mobilní operátory, neboť je nutí optimalizovat jejich sítě speicálně pro tuto aplikaci tak, aby udrželi požadovanou kvalitu služby QoS (Quality of Service) a samozřejmě také spokojené zákazníky. Aby však taková optimalizace byla co nejvíce efektivní a případné investice byly hospodárné, je třeba mít k dispozici kvalitní analýzu služby YouTube. Cílem tohoto článku je tedy formou experimentální studie provedené v reálné mobilní síti třetí generace (3G) detailně rozebrat YouTube spojení a identifikovat dílčí složky celkového zpoždění přehrávání videa, neboť právě zpoždění přehrávání je jedním z klíčových parametrů, které ovlivňují výslednou kvalitu vnímanou koncovým zákazníkem služby.
2
ciální sítě jako Facebook, Twitter, Google+, atd., což ještě zvyšuje jeho popularitu [2]. YouTube videa jsou dostupná ve formátech Flash Video (FLV), MPEG-4 (MP4) a WebM. Pro mobilní uživatele je výchozím formátem 3GP. Jako základní komunikační protokol je použit HTTP. Pro ukládání a doručování video obsahu využívá YouTube infrastrukturu geograficky distribuovaných a spolupracujících serverů - Content Delivery Network (CDN) spravovanou firmou Google (stejně jako samotný YouTube). Pro spuštění přehrávání a následně během přehrávání je generován požadavek HTTP GET, který jako parametr obsahuje některé z následujících informací, v závislosti, ve které fázi přehrávání je zaslán:
YouTube služba
Služba YouTube byla založena v roce 2005 a aktuálně umožňuje miliardám lidí vyhledávat, sledovat a sdílet originální video obsah. Na YouTube jsou napojeny i další so-
• identifikace videa, • zda je zapnut celoobrazový režim přehrávání, • délka videa, • výška a šířka okna přehrávače, • výška a šířka displeje, • itag - speciální identifikátor rozlišení videa a formátu. Stažení videa z YouTube serveru začíná kliknutím na náhled (odkaz) videa uživatelem v přehrávači. Následně, přehrávač v mobilním zařízení (nativní aplikace nebo internetový prohlížeč) pošle HTTP videoplayback požadavek a YouTube server odpoví HTTP 302 s odkazem na server z CDN. Klient po té posílá znovu videoplayback požadavek na cílový server, kde se skutečně nachází požadovaný obsah. Odpověd a požadavek se opakují tak dlouho, než je požadované video nalezeno [3]. Po té klient obdrží úvodní blok dat označovaný jako ”burst of data”. Tato fáze se nazývá ”initial burst phase”. YouTube při ní pošle blok dat o velikosti 64kB, označených jako ”chunk”. Z toho první paket s video daty má velikost v rozmezí 800 až 1200 bytů, všechny ostatní pak 40 695 bytů. Jakmile má přehrávač dostatek dat v bufferu, začne přehrávat video a změní svůj status. Množství dat, které přehrávač stáhne (bufferuje), než je spuštěno přehrávání, vychází z bufferovací strategie služby YouTube. Informace o ní nejsou veřejné a i přesto, že existuje několik prací [4], kde se autoři snažili reverzním inženýrstvím tuto strategii odhalit, je stále poměrně komplikované stanovit zpoždění způsobené bufferováním. Co
166
VOL.16, NO.4, AUGUST 2014
je však možné jistě říci, že počáteční fáze načítání YouTube videa se vyznačuje výrazně vyšší propustností, která se po spuštění přehrávání ustálí okolo hodnoty dostatečné do udržení nepřetržitého přehrávání požadovaného toku. Na obrázku 1 je zobrazena YouTube komunikační architektura při doručování multimediálních dat přes mobilní síť. Specifika celulární sítě jsou popsány v další kapitole. Význam jednotlivých fází uvedených v obrázku je následující: 1. Žádost o video. 2. YouTube v závislosti na vytížení serverů v CDN přesměruje uživatele na konkrétní server, kde se nachází požadovaný stream.
Další prvek, který je součástí komunikačního řetězce v mobilní sítí, je Service Delivery Gateway (SDG). Toto zařízení funguje také jako load balancer. SDG pracuje na principu poměrně jednoduchého pravidla. V případě přijetí paketu, který je určen pro port HTTP 80 nebo 8080 a jedná se o paket odcházející z rádiové části mobilní sítě - Radio Access Networks (RAN) do Internetu, a nebo se jedná o paket přícházející z Internetu z portu 80 nebo 8080, jsou všechny tyto pakety zaslány do MSP. Vyjímkou oproti tomuto zacházení s pakety je situace, kdy má koncový zákazník deaktivovanou službu HTTP Proxy. Běžně je však tato služba aktivní pro každého nového zákazníka. Prvek MPS nabízí dvě základní na sobě nezávislé funkce pro zpracování síťového provozu: • optimalizace videa,
3. CDN server zašle uživateli potřebná data, popřipadě jej přesměruje na další server v CDN. Každé video (záznam) na YouTube má jednoznačný identifikátpor (ID), který je povinnou součástí výsledného URL odkazující na cílový soubor. Toto URL se však liší, pokud uživatel přistupuje z mobilní nebo pevné sítě, viz následující příklad: • Pevná síť: http://www.youtube.com/watch?v=VIDEO ID
• komprese dat. Na obrázku 2 je zobrazeno umístění prvku MSP v architektuře mobilní 3GPP Long Term Evolution (LTE) sítě. Prvek Aggregation Services Router (ASR) je srdcem páteřní mobilní sítě a zpracovává veškerý provoz jdou z/do Internetu.
• Mobilní síť: http://m.youtube.com/watch?v=VIDEO ID
Obrázek 2: Umístění MSP prvku v architektuře mobilní sítě (řešení pro 3GPP LTE síť) Obrázek 1: Architektura doručování YouTube video obsahu
3
Detailně je možné popsat práci MSP v 4G / LTE síti následujícím způsobem:
Multi-Service Proxy
Jedním z klíčových prvků mobilní sítě, který ovlivňuje přenos multimediálního streamu je Multi-Service Proxy (MSP), proto byla tomuto prvku věnována značná pozornost. MSP je fyzicky tvořen jedním nebo i více servery využívajících operační systém UNIX a nacházející se v páteřní (core) části mobilní sítě. Hlavním cílem MSP je zpracovávání HTTP provozu, který prochází mobilní sítí. Z tohoto pohledu je to tedy vhodný kandidát na implementaci různých optimalizačních algoritmů (např. komprese multimediálních dat).
167
• Data odcházejí z mobilního zařízení přes RAN do páteřní sítě, která je v případě 3G sítě tvořená prvky SGSN a GGSN, a v případě LTE sítě pak ASR (SCSCF, I-CSCF, P-CSFC). Dále pak data pokračují do SDG, což je následník F5 load balanceru z 3G sítě. • SDG pracuje na třetí síťové vrstvě a rovnomě vytěžuje MSP servery, kam posílá HTTP provoz. V případě jiného než HTTP provozu, data odcházejí rovnou do Internetu. V každé zóně má MSP služba několik desítek serverů, které jsou ekvivalentně vyvažovány z SDG. Z důvodů redundance a efektivity je oddělena signalizace a provoz do různých virtuálních lokálních sítí
VOL.16, NO.4, AUGUST 2014
(VLAN). Pro účely přenosu datového provozu je použita jedna VLAN síť směrem k mobilním terminálům a druhá pak směrem do Internetu. • Pokud MSP přijme data, zpracuje je a pošle zpět na SDG, které je opět pošle do Internetu. Každé datové centrum je rozděleno na několik zón. Každá zóna znamená po dvou párech ASR, po dvou SDG a několik desítek MSP serverů. • Pokud jdou data z Internetu k mobilnímu uživateli, nejdříve dorazí na SDG, které je v případě HTTP přepošle na MSP, od kterého se po zpracování vrátí zpět. Následně SDG posílá data do ASR a ten pak do RAN sítě.
Zpoždění, které MSP služba do sítě přináší, bylo možné změřit pomocí příkazu wget, kdy v jednom případě byla HTTP Proxy vypnuta a ve druhém zpanuta. Dosažené výsledky jsou popsány v následující kapitole 5. 4.1
Při analýze YouTube provozu v živé mobilní síti se objevilo několik následujících problémů, které bylo nutné vyřešit: • Zjišťování odezvy YouTube serveru z mobilního zařízení - jedním ze základních nástrojů pro zjišťování odezvy v TCP/IP sítích je program PING (případně Traceroute). V případě analýzy YouTube v mobilní síti je však problém ten, že PING využívá protokol Internet Control Message Protocol (ICMP), který však není směrován přes MSP a tím pádem jeho cesta sítí není stejné jako mají YouTube data a výsledky tak mohou být nekonzistentní. Z toho samého důvodu není možno ”pingnout” YouTube z MSP, protože odpověď z YouTube nebude nikdy na MSP doručena.
Kromě zmíněných prvků jsou samozřejmě data zpracovávána také dalšími zařízeními jako např. firewall, Network Address Translation (NAT) a dalšími systémy, která však nejsou předmětem tohoto článku a proto byly pro zjednodušení vynechány. Kromě zmíněné MSP komprese se dosahuje snížení objemu dat v síti také používáním cache a technikou nazývanou ”content adaption”. Mezi další funkce MSP pak patří např. ”header enrichment”, která sice při zpracování provozu nehraje stěžejní roli, ale je využívána globálními provozovateli, jako je Google (YouTube), Facebook a další. Jde o techniku vkládání dalších informací do hlaviček paketů, například telefonních čísel do odchozích paketů, což v případě zmíněných globálních poskytovatelů obsahu na Internetu zjednodušuje autorizaci uživatele.
4
• Zachytávání extrémně vysokého objemu dat - analýza byla prováděna v reálné mobilní síti, kde datový toko běžně dosahuje několika desítek GB za sekundu. Takový objem se ukázal jako problémový pro nástoj tcpdump, který nestíhal všechna data zpracovat a docházelo k přetečení interního bufferu. Empirickým způsobem bylo stanoveno, že se měření budou provádět ve 30-ti sekundových intervalech, kdy tcpdump byl ještě schopen zpracovat veškerý příchozí provoz. Následně byla použita funkce průměrování.
Metodologie měření
Cílem provedeného výzkumu bylo analyzovat YouTube provoz v reálné mobilní síti a experimentálně identifikovat jednotlivé složky celkového zpoždění, které vnímá koncový uživatel při přehrávání videa z YouTube serveru. Klíčová měření byla provedena na MSP prvku a na mobilním zařízení. Pomocí nástroje tcpdump byl na MSP zachytáván zvlášť objem příchozích dat směrem od mobilních uživatelů, objem příchozích dat z Internetu, objem odchozích dat do Internetu a objem odchozích dat k mobilním uživatelům sítě ze všech MSP serverů v zóně. Data byla měřena v různých zónách v různých časech během dne, vzhledem k tomu, že objem přenesených dat se v průběhu dne mění poměrně zásadním způsobem. Následně byla data vyexportována do souboru .pcap. Pro sledování dat mezi mobilní sítí a YouToube byl jako koncové zařízení použit mobilní telefon s operačním systémem Android. Pro účelý analýzy síťového provozu byl použit nástroj Shark. Výsledky byly opět uloženy do souboru .pcap a poté zpracovány programem WireShark. Díky této strategii se podařilo analyzovat YouTube spojení zvlášť pro úsek mobilní zařízení - MSP a MSP - Internet (YouTube CDN server). Tímto způsobem bylo zjištěno spoždění mezi dotazem na video soubor a prvním paketem obsahujícím požadovaný obsah.
Problémy při analýze YouTube provozu v reálné mobilní síti
• Identifikace pouze YouTube provozu - z celkového objemu zachycených dat nebylo možné jednoznačně odlišit YouTube provoz od ostatního provozu patřícího do služeb Google (Gmail, Google+, atd.). Filtrování provozu bylo prováděno na základě zdrojových a cílových IP adres, avšak jelikož Google sdílí svoji infrastrukturu pro všechny svoje služby, nebylo tímto způsobem možné jednoznačně odlišit YouTube dat např. od Google+ provozu. Toto je třeba brát do úvahy při analýze dosažených výsledků. Na druhou stranu však YouTube představuje dominantní podíl celkového objemu Google dat, takže případné zkreslení není až tak významné.
5
Analýza dosažených výsledků
V této kapitole jsou popsány klíčové výsledky dosažené při analýza YouTube provozu v reálné 3G mobilní síti. Na základě naměřených výsledků je možné říci, že ve špičce v 2G páteřní síti je během hodiny přeneseno zákazníky s aktivní HTTP Proxy (MSP) zhruba 0.7 TB dat přes HTTP protokol. Ve 3G síti je to pak přibližně 85 TB a v LTE 15 TB dat. Vlivem probíhající transformace mobilní sítě na 4G / LTE nelze však jasně říci, že naměřené
168
VOL.16, NO.4, AUGUST 2014
hodnoty ukazují jasný poměr dat mezi jednotlivými technologiemi. Všechna datová centra, ať už původní 2G nebo 3G, byla totiž povýšena, aby mohla zpracovávat LTE provoz a záleží tedy na DNS, na do které zóny bude zákazník nasměrován. Výše uvedené hodntoy byly měřeny na MSP rozhraní posílající data směrem k mobilním zařízením, tj. takovém, které již zpracovává nižší objem dat díky aktivní MSP optimalizaci. Na základě zjištěných výsledků bylo možné určit efektivitu MSP, pokud jde o snížení celkového objemu přenesených dat či vlivu na dobu odezvy. Měřením bylo zjištěno, že MSP svými funkcemi sníží objem dat v průměru o 30 %, příčemž o něco lepších výsledků se dosahuje u dat, která přijdou od mobilních zařízení a odcházejí do Internetu. Jelikož je však objem dat ve směru Internet − > mobilní zařízení (downlink) více jak dvacetinásobný ve srovnání s opačným směrem (uplink), co se celkového objemu ušetřených dat týka, výrazně efektivnější je směr downlink. Někteří dodavatelé MSP řešení dokonce uvádí teoretickou optimalizaci HTTP provozu až 50 %. Dalším z parametrů, který byl analyzován, byla doba, kterou data stráví uvnitř MSP prvku. Pro tyto testovací účely byl použit 10MB soubor a skript využívající nástroj Wget. Vypnutím HTTP Proxy (provoz neprocházel přes prvek MSP) byl testovací soubor stažen v průměru o 0,15 s rychleji a přenosová rychlost byla vyšší o cca 2,6 MB/s. Potvrdil se tedy teoretický předpoklad, že zařazení prvků MSP do komunikačního řetězce má vliv na klíčové síťové indikátory. Na druhou stranu tato degradace kvality služby není v porovnání s výrazným snížením objemu přenášených dat díky použití MSP až tak kritická. Je tedy poměrně logické, že mobilní operátoři používají tuto službu pro velkou většinu svých zákazníků. Dalším z analyzovaných síťových KPI bylo zpoždění mezi zasláním požadavku na přehrání YouTube videa na mobilním zařízení a přijetím prvního video paketu. Na obrázku 3 je zobrazena kumulativní distribuční funkce celkového počátečního zpoždění mezi mobilním zařízením a YouTube CDN serverem. Z grafu je zřejmé, že pro více než 50 % přenosů je toto počáteční zpoždění více než 1,86 s. Z pohledu koncového uživatele je však doba, než je zobrazen první video snímek, ještě větší, neboť je třeba k uvedeným hodnotám připočítat také dobu strávenou bufferováním. Jak již bylo však dříve zmíněno, tato doba je silně závislá na aktuální síťových podmínkách a zvolené YouTube strategii. Při prováděných měřeních se tato doba pohybovala přibližně okolo 3 sekund. Dále bylo snahou rozdělit toto celkové počáteční zpoždění na dílčí složky. Celý komunikační řetězec byl tedy rozdělen na část mobilní zařízení < − > MSP a MSP < − > YouTube server. Získané výsledky jsou uvedeny v tabulce 1. Z dosažených hodnot je jasně zřetelné, že při běžných podmínkách má zásadní podíl na celkové zpoždění přenosu část sítě mezi MSP a YouTube CDN serverem, tedy část sítě (Internet), kterou mobilní operátor může jen těžko ovlivnit.
Obrázek 3: Kumulativní distribuční funkce počátečního zpoždění mezi mobilním zařízením a YouTube CDN serverem Tabulka 1: Počáteční zpoždění pro dílčí úseky YouTube komunikačního řetězce Síťový úsek Mobilní zařízení < − > MSP MSP < − > YouTube server
6
Prům. zpoždění [s] 0,17 1,88
Závěr
Z provedené experimentální studie vyplynulo, že co se snížení objemu přenesených dat týká, je MSP řešení jednoznačným přínosem a ušetří operátorům velké množství síťových zdrojů. Současně je však také vidět, že rychlost přenosu se použitím MSP sníží a zpoždění naopak zvýší. Tuto určitou nevýhodu je však možné eliminovat vhodným zpracováním dat uvnitř MSP. Efektivita MSP a vhodné optimalizační techniky pro současné i budoucí mobilní sítě tedy bude předmětem navazující práce.
Poděkování Popsaný výzkum vznikl za podpory projektu CZ.1.07/2.3.00/30.0005, Vysoké učení technické v Brně.
Literatura [1] Sandvine Incorporated ULC, The Global Internet Phenomena Report: 1H 2013, Sandvine Incorporated ULC, 2013. [technická zpráva]. [2] M. Wattenhofer, R. Wattenhofer, and Z. Zhu, The YouTube Social Network. In: Proceedings of the 6th International AAAI Conference on Weblogs and Social Media, AAAI Press, 2012. ISBN: 978-1-57735-568-7. [3] P. Ameigeiras, J. J. Ramos-Munoz, J. Navarro-Ortiz, and J. Lopez-Soler, Analysis and Modelling of Youtube Traffic. Transactions on Emerging Telecommunications
169
VOL.16, NO.4, AUGUST 2014
Technologies, vol. 23, no. 4, pp. 360–377, 2012. ISSN: 2161-3915. [4] B. Staehle, M. Hirth, R. Pries, D. Staehle, and D. Staehle, Yomo: A youtube application comfort monitoring tool, University of Würzburg, 2010. [technická zpráva].
170