Nederlands Instituut voor Beeld en Geluid
Augmented Landmarks Adviesrapport
Versie 1.0 [Final] Hans Horn, Youssef Ibrahimi, Ismail Ait Mouhou Thomas Gunther, Arnold Eriks en Rio Tri Harsono 24-5-2010
Inhoudsopgave Voorwoord.............................................................................................................................................. 4 Management samenvatting ................................................................................................................. 5 1.
Inleiding .......................................................................................................................................... 6
2.
Onderzoeksopzet .......................................................................................................................... 7
3.
Mobiele locatiebepaling ............................................................................................................... 8
4.
5.
3.1.
Inleiding .................................................................................................................................. 8
3.2.
Huidige situatie ...................................................................................................................... 8
3.3.
Onderzoeksresultaten .......................................................................................................... 8
3.3.1.
Netwerkgebaseerde locatiebepaling.......................................................................... 9
3.3.2.
Apparaatgebaseerde locatiebepaling ........................................................................ 9
3.4.
Conclusie ............................................................................................................................. 13
3.5.
Aanbevelingen..................................................................................................................... 14
3.6.
Vervolgonderzoek ............................................................................................................... 14
Standaardisatie geo- en metadata ........................................................................................... 15 4.1.
Inleiding ................................................................................................................................ 15
4.2.
Huidige situatie .................................................................................................................... 15
4.3.
Onderzoeksresultaten ........................................................................................................ 15
4.3.1.
Extraheren geodata .................................................................................................... 15
4.3.2.
Overige contentplatformen ........................................................................................ 17
4.3.3.
Uniformering en standaardisering metadata .......................................................... 17
4.3.4.
Geoinformatie .............................................................................................................. 18
4.4.
Conclusie ............................................................................................................................. 19
4.5.
Aanbevelingen..................................................................................................................... 19
Mobiele ontwikkelplatformen..................................................................................................... 20 5.1.
Inleiding ................................................................................................................................ 20
5.2.
Huidige situatie .................................................................................................................... 20
5.3.
Onderzoeksresultaten ........................................................................................................ 21
5.3.1.
Android OS .................................................................................................................. 21
5.3.2.
BlackBerry OS ............................................................................................................. 22
5.3.3.
iPhone OS.................................................................................................................... 23
5.3.4.
Symbian OS................................................................................................................. 24
5.3.5.
Windows Mobile OS ................................................................................................... 25
5.4.
Conclusie ............................................................................................................................. 27 2
6.
7.
5.5.
Aanbevelingen..................................................................................................................... 27
5.6.
Vervolgonderzoek ............................................................................................................... 28
Mobiele multimediaformaten ..................................................................................................... 29 6.1.
Inleiding ................................................................................................................................ 29
6.2.
Onderzoeksresultaten ........................................................................................................ 29
6.2.1.
Audioformaten ............................................................................................................. 29
6.2.2.
Videoformaten ............................................................................................................. 31
6.2.3.
Beeldformaten ............................................................................................................. 33
6.3.
Conclusie ............................................................................................................................. 34
6.4.
Aanbevelingen..................................................................................................................... 35
Mobiele Augmented Reality applicaties .................................................................................. 36 7.1.
Inleiding ................................................................................................................................ 36
7.2.
Huidige situatie .................................................................................................................... 36
7.3.
Onderzoeksresultaten ........................................................................................................ 36
7.3.1.
Layar ............................................................................................................................. 37
7.3.2.
Acrossair AR Browser ................................................................................................ 38
7.3.3.
Wikitude World Browser ............................................................................................ 39
7.3.4.
Nulaz AR Browser ...................................................................................................... 40
7.3.5.
Open Gamaray ............................................................................................................ 41
7.4.
Conclusie ............................................................................................................................. 42
7.5.
Aanbevelingen..................................................................................................................... 42
7.6.
Content toevoegen aan bestaande AR applicaties ....................................................... 43
8.
Eindconclusie .............................................................................................................................. 46
9.
Scenario‟s .................................................................................................................................... 47
Figuren, grafieken en tabellen .......................................................................................................... 49 Appendices .......................................................................................................................................... 50 Appendix A
Grafiek en tabel top 5 populairste smartphone ontwikkelplatformen .......... 50
Appendix B
Screenshots Augmented Reality applicaties .................................................. 50
Appendix C
Enquête smartphone eindgebruikers ............................................................... 50
Appendix D
Enquête smartphone ontwikkelaars ................................................................. 50
3
Voorwoord Voor u ligt het adviesrapport van de projectgroep we2 in het kader van het project Informatiekunde aan de Faculteit der Exacte Wetenschappen, Vrije Universiteit Amsterdam.Dit rapport beschrijft het uitgevoerde onderzoek naar specifieke eisen voor een toekomstig te ontwikkelen mobiele Augmented Reality applicatie van het Nederlands Instituut voor Beeld en Geluid (verder: Beeld en Geluid). Op basis van de onderzoeksresultaten is op vijf gewenste aandachtsgebieden een advies uitgebracht. Daarnaast bevat het rapport een scenarioschets van een Augmented Reality applicatie die op basis van de onderzoeksresultaten is gevormd. Dit adviesrapport is opgesteld in de periode begin februari 2010 tot halverwege mei 2010 in opdracht van de Research & Development afdeling van Beeld en Geluid. Aan dit resultaat hebben docenten, onderzoekers en andere personen meegewerkt. Wij bedanken hen voor hun medewerking. Met name bedanken wij Maarten Brinkerink van Beeld en Geluid voor de beschikbare tijd en het gestelde vertrouwen in de projectgroep. Daarnaast gaat onze dank uit naar de stuurgroepleden van de Vrije Universiteit Amsterdam, Roxane Segers en Véronique Malaise, voor de begeleiding tijdens het project. Tot slot gaat onze dank uit naar de docenten van het project Informatiekunde, Jan Top en Mark van Assem.
4
Management samenvatting In de periode van maandag 8 februari tot en met dinsdag 18 mei heeft projectgroep we2 in opdracht van Het Nederlands Instituut voor Beeld en Geluid een requirementsanalyse uitgevoerd. Het doel van deze analyse is het beantwoorden van een vijftal vraagstukken betreffende de ontwikkeling van een AR applicatie van Beeld en Geluid voor de lange termijn. Het betreft de volgende onderwerpen: [1] De technieken voor mobiele locatiebepaling. [2] Het extraheren en koppelen van geoinformatie. [3] De mobiele ontwikkelplatformen / besturingssystemen. [4] De mobiele multimediaformaten. [5] Best practices andere mobiele AR applicaties. Voorafgaand aan dit onderzoek is een tweetal interviews gehouden met de opdrachtgever om de opdracht te verduidelijken en te formaliseren. Vervolgens is onder begeleiding van de stuurgroep van de Vrije Universiteit Amsterdam het onderzoek gestart. Het uiteindelijke advies bestaat uit een inventarisatie van de mogelijkheden binnen het onderwerp en één of meerdere aanbevelingen die van belang zijn bij de ontwikkeling van een mobiele AR applicatie. Volgens de uitkomsten van het subonderzoek naar de techniek voor het bepalen van de locatie van de gebruiker dient Beeld en Geluid A-GPS als uitgangspunt te hanteren. Vanwege de nauwkeurigheid en bewezen standaard, zal het gebruik in de mobiele markt zich consolideren rond deze verfijnde variant van GPS. Daarnaast zijn er alternatieven in opkomst van partijen als Skyhook en Google die via gestandaardiseerde applicatie interfaces, locatiediensten voor mobiele apparaten aanbieden. Om de bepaalde GPS-coördinaten te kunnen koppelen aan de relevante informatie uit de database (Thesaurus) van Beeld en Geluid zal via een interface met de geografische database van Geonames een vertaling worden gemaakt van deze geoinformatie naar natuurlijke zoektermen. Met deze natuurlijke zoektermen kan er zowel in de Thesaurus als in andere contentplatformen zoals DBpedia en Flickr gezocht worden. Om de nauwkeurigheid van de gezochte informatie te verhogen is het aan te bevelen de content-items die in de toekomst worden toegevoegd, te verrijken met geoinformatie. De toekomstige AR dienst kan het beste ontwikkeld worden voor zowel Symbian OS én Android OS. Deze twee platformen zijn beide open source en scoren qua marktaandeel, verkoopkanaal en populariteit onder ontwikkelaars erg hoog. Op basis van de te gebruiken ontwikkelplatformen en de eisen van de AR dienst zijn de mobiele audio-, video- en afbeeldingsformaten onderzocht. Voor het audioformaat is geen definitieve keuze gemaakt, omdat het preferente audioformaat Ogg-Vorbis op dit moment niet ondersteund wordt door Android OS. AAC is in tegenstelling tot Ogg-Vorbis niet open source, maar biedt op dit moment wel ondersteuning voor beide platformen. Het meest geschikte videoformaat is WMV. Doordat dit op dit moment niet ondersteund wordt door Symbian OS en Android OS is H.264 de beste optie. Voor afbeeldingen is JPEG het vertrouwde en meest toegepaste formaat vanwege de optimale verhouding tussen bestandsgrootte en kwaliteit. Uit de analyse van andere mobiele AR browsers komen de volgende eisen naar voren waaraan een AR applicatie moet voldoen. [1] Het accuraat tonen van de juiste informatie. [2] Mogelijkheid tot toevoegen content via open standaard ARML. [3] Categoriseren van content. [4] Gebruik OpenStreetMap. [5] Gebruik OpenGL voor weergave POIs. Door de resultaten en aanbevelingen van de deelonderzoeken te combineren is één gebruikers scenario gerealiseerd dat de best practices van een AR applicatie beschrijft en visualiseert. Het is van belang om bij de ontwikkeling van een generieke en toekomstvaste AR applicatie uit te gaan van open standaarden en vrij toegankelijke bronnen.
5
1. Inleiding Beeld en Geluid is sinds januari 2010 gestart met een pilot-project op het gebied van Augmented Reality, onder de naam Augmented Landmarks. Dit project omvat de uiteindelijke realisatie van een mobiele applicatie waarmee het Nederlands digitale erfgoed wordt ontsloten. Met deze applicatie wordt de gebruiker op basis van zijn fysieke locatie in staat gesteld om beeld-, video- en tekstinformatie op te vragen, die opgeslagen is in het digitale archief van Beeld en Geluid. Voor een snelle ontwikkeling van deze applicatie heeft Beeld en Geluid specifieke keuzes gemaakt voor onder andere het te gebruiken (ontwikkel-)platform en het mobiele toestel. Om in de toekomst een generieke applicatie te kunnen ontwikkelen voor de lange termijn, moet deze voldoen aan de wensen en standaarden van de markt en Beeld en Geluid. Het in dit rapport uitgewerkte onderzoek draagt hieraan bij door specifieke requirements vragen te beantwoorden. Deze vragen hebben betrekking op een aantal deelgebieden die in een studie, uitgevoerd door projectgroep we2 van de faculteit Exacte Wetenschappen van de Vrije Universiteit Amsterdam (verder: VU), worden beantwoordt. Het eerste deelgebied van het onderzoek behandelt de verschillende technieken voor locatiebepaling. Vervolgens worden de mogelijkheden voor het koppelen van deze locatie aan de beschikbare geoinformatie beschreven. Daarna worden de meest gangbare mobiele ontwikkelplatformen en diens aspecten onderzocht. Het vierde deelgebied omvat een bestudering van de gebruikelijke mobiele multimediaformaten. Het laatste subonderzoek beschouwt de mobiele AR applicaties die in de markt beschikbaar zijn. Tot slot wordt een ideaal scenario geschetst waarin de best practices van de deelresultaten zijn gecombineerd. Ieder deelonderzoek bestaat uit een analyse van de huidige situatie van Beeld en Geluid, gevolgd door een bestudering van de standaard in de markt en sluit af met een conclusie van het onderzoek en de uiteindelijke aanbevelingen op dat onderwerp.
6
2. Onderzoeksopzet In opdracht van Het Nederlands Instituut voor Beeld en Geluid is een analyse uitgevoerd van een vijftal requirements vragen in het kader van een toekomstig te ontwikkelen Augmented Reality applicatie. Aan de hand van de met Beeld en Geluid overeengekomen opdracht is het onderzoek ingericht naar de beantwoording van de volgende thema‟s: [1] De technieken voor mobiele locatiebepaling. [2] Het extraheren en koppelen van geoinformatie. [3] De mobiele ontwikkelplatformen / besturingssystemen. [4] De mobiele multimediaformaten. [5] Best practices andere mobiele AR applicaties. Alvorens kon worden gestart met het onderzoek, is in een tweetal interviewsessies de behoefte van Beeld en Geluid in kaart gebracht. Dit resulteerde in een opdrachtomschrijving die door beide partijen formeel is bekrachtigd. Vervolgens is de onderzoekfase gestart met een literatuurstudie naar deze onderwerpen. Het project is aan de hand van de Prince2 projectmethodiek uitgevoerd, waarbij gebruik is gemaakt van de SharePoint. Dit is een omgeving voor documentuitwisseling. Om een duidelijk beeld te krijgen van de materie en een solide basis voor het onderzoek te vormen, is veel informatie gezocht. Hierbij is gebruik gemaakt van academische bronnen zoals de Universiteitsbibliotheek van de VU en het Internet. Gezien het actuele karakter van Augmented Reality is veel informatie via online bronnen beschikbaar, zoals officiële webpagina‟s van ontwikkelaars van mobiele platformen en applicaties. Daarnaast is gebruik gemaakt van de expertise van de stuurgroepleden die betrokken zijn bij eerder uitgevoerde en onderhanden zijnde studies van de VU bij het Nederlands Instituut voor Beeld en Geluid. Voor het waarborgen van de kwaliteit van de deelonderzoeken zijn zoveel mogelijk verschillende bronnen per onderdeel geconsulteerd. Van de academische publicaties mag worden verondersteld dat de aangeboden informatie op basis van wetenschappelijk onderzoek is verkregen en daardoor betrouwbaar is. Van de online bronnen is niet altijd met zekerheid vast te stellen of de aangeboden informatie juist is. Daarom zijn zoveel mogelijk websites gebruikt van gerenommeerde instanties die deskundig zijn op het gebied van AR. Bij twijfel aan de betrouwbaarheid van een bron is deze niet gebruikt of gecontroleerd door bevestiging te zoeken in bronnen die wel als betrouwbaar kunnen worden aangemerkt. Daarnaast is de validiteit van de informatiebronnen gewaarborgd door gebruik te maken van verschillende actuele en deskundige bronnen. Vanwege de vele ontwikkelingen op het gebied van mobiele platformen, applicaties en standaarden, is veel aandacht besteed aan de actualiteit van de bronnen. Door het gebruiken van de meeste actuele informatie wordt de juistheid en volledigheid van de informatie in hoge mate verzekerd. De kwaliteit van dit onderzoek is gewaarborgd door naleving van de in het projectplan beschreven kwaliteitseisen en het toepassen van beheersingsmaatregelen. Deze eisen werden afgedwongen via regelmatige groepsbijeenkomsten waarin de voortgang en de inhoud van het werk werd getoetst. Een voorbeeld van een kwaliteitseis is dat ieder deelonderzoek volgens een vaste structuur is opgezet en uitgevoerd. De tussentijdse versies van de deelonderzoeken zijn middels een review door ander groepsleden gecontroleerd op inhoud en vorm. Deze werkwijze bracht onduidelijkheden aan het licht waarvervolgens middels discussie de juiste oplossing of beschrijving kon worden gekozen. Op de deelresultaten en de conceptversies is een laatste controle uitgevoerd door de stuurgroep. Ook de algemene projectvoortgang werd onder supervisie van de stuurgroep bewaakt. De opdrachtgever is tussentijds via e-mail op de hoogte gehouden van de status en voortgang van het onderzoek. 7
3. Mobiele locatiebepaling 3.1.
Inleiding
De te ontwikkelen Augmented Reality (verder: AR) dienst van Beeld en Geluid omvat de interactie tussen de gebruiker met een mobiel apparaat en de database van het instituut dat het archief vormt met duizenden uren aan opgeslagen audio en video. Het doel van deze applicatie is om de gebruiker van de gewenste informatie uit het archief te voorzien en deze toe te voegen aan de „werkelijkheid‟ van de locatie of het object waar de gebruiker zich op dat moment bevindt. Deze AR ervaring maakt gebruik van drie kern technologieën: het mobiele apparaat, draadloze netwerken en locatiebepaling. Dit laatste betreft het vaststellen van de feitelijke positie waar de gebruiker zich bevindt, oftewel het bepalen van de geolocatie. Hiervoor zijn diverse technieken voorhanden. Na een beknopte uitleg zullen de voor- en nadelen van deze technieken nader worden toegelicht. Vervolgens wordt een aanbeveling gedaan welke plaatsbepalingmethode Beeld en Geluid idealiter kan toepassen in de ontwikkeling van haar toekomstige generieke AR dienst. Om de koppeling tussen de werkelijkheid en de informatie te maken is een belangrijk onderdeel van AR systemen, het bepalen van de positie (en de oriëntatie) van de gebruiker. Deze informatie is nodig om de juiste positie gerelateerde informatie te verschaffen. Er is veel informatie beschikbaar over (experimentele) AR systemen. Vele van deze systemen werken echter in een beperkt gebied of beschikken niet over voldoende middelen van communicatie. Vaak gaat het om commerciële of maatwerk applicaties die specifiek toepasbaar zijn binnen één domein, zoals een museum, en zich beperken tot enkele functies. Dit hoofdstuk beschrijft de meest gangbare technieken en richt zich voornamelijk op de bepaling van de zogenaamde geolocatie.
3.2.
Huidige situatie
In de ontwikkeling van haar huidige Augmented Landmarks applicatie gaat Beeld en Geluid uit van GPS (Global Positioning System) als technologie voor locatiebepaling. In een eerdere pilot “Augmented Landmarks voor het Nationaal Comité 4 en 5 mei” werd ook het gebruik van QR-codes genoemd. Een beperkende voorwaarde van deze techniek is dat het mobiele apparaat voorzien moet zijn van een ingebouwde camera. Hoewel dit niet onoverkomelijk is, bestaat er nog een groter nadeel. Om de relevante informatie over een object of monument te kunnen verschaffen dient het fysiek voorzien te zijn van deze barcode. Dit is in veel gevallen niet wenselijk. Ook zijn er ook „werkelijkheden‟ waar geen fysieke code op aan te brengen is zoals een plein of een plaats. Het uitgangspunt van Beeld en Geluid om GPS als techniek voor locatiebepaling te hanteren is gebaseerd op het feit dat het dé standaard is in de markt op het gebied van plaatsbepaling in mobiele AR diensten.
3.3.
Onderzoeksresultaten
Voor het bepalen van de locatie van een gebruiker van een mobiel apparaat bestaan er diverse technologieën. Deze zijn in te delen naar netwerkgebaseerde, apparaatgebaseerde en hybride systemen 1 . Iedere techniek bezit bepaalde eigenschappen. Het voornaamste aspect hierbij is de ruimtelijke nauwkeurigheid. De nauwkeurigheid van de positie die wordt doorgegeven is gerelateerd aan de 1
Zhao, Y. (2002). Standardization of Mobile Phome Positioning for 3G Systems. IEEE Communications Magazine .
8
nauwkeurigheid van de gebruikte techniek. De mate waarin de vastgestelde coördinaten overeenkomen met de daadwerkelijke positie van de gebruiker bepaalt het succes van het ophalen van de juiste informatie c.q. content. Daarnaast is het bereik of dekking van de techniek van belang en of het zowel binnen als buiten toepasbaar is.2 3.3.1. Netwerkgebaseerde locatiebepaling Bij netwerkgebaseerde locatiebepaling wordt het volgen en vaststellen van de positie van de gebruiker gedaan door een basisstation dat deel uitmaakt van een netwerk. Het mobiele apparaat zendt een signaal uit of bevindt zich binnen bereik van dat netwerk. Wireless Local Area Network WLAN is een draadloos netwerk technologie die voornamelijk wordt ingezet voor draadloos internet en communicatie. Een commerciële toepassing die van deze technologie gebruik maakt zijn de zogenaamde Wi-Fihotspots. Via deze hotspots kan ook de locatie van de gebruiker worden vastgesteld. De gegevens van de toegangspunten waarmee een gebruiker verbonden is kunnen niet alleen informatie bevatten over de plaats van de gebruiker, maar ook over de context van de omgeving waarin de gebruiker zich bevindt. Zoals de temperatuur op die plek. Cell-ID Een ander voorbeeld van netwerkgebaseerde plaatsbepalingstechniek zijn de GSM basisstations. Op basis van het Cell ID van de zendmast in een mobiel netwerk wordt via triangulatie de plaats van de gebruiker vastgesteld. Dit is een driehoeksmeting van het signaal van de gebruiker door een basisstation. De relevante lengte- en breedtegraad van deze basisstations is bekend en wordt gekoppeld aan de informatie van de gebruiker van het mobiele apparaat om de locatie te schatten. De mate van nauwkeurigheid wordt bepaald door de radius van dit basisstation. Door het grote dekkingsgebied is de nauwkeurigheid van deze technologie laag. Arrival Andere geolocatie technieken die volledig gebaseerd zijn op draadloze netwerken zijn Time of Arrival (ToA), Time Difference of Arrival (TDoA) en Angle of Arrival (AoA). Deze technologieën bieden een snellere plaatsbepaling dan bijvoorbeeld GPS, maar zijn onnauwkeuriger. Dit is namelijk sterk afhankelijk van de concentratie van basisstations. Een algemeen nadeel van netwerkgebaseerde geolocatie bepaling is de mate van nauwkeurigheid. De dekking van een basisstation is vaak groot door de radius en daarmee ook het gebied waarbinnen de gebruiker zich zou kunnen bevinden. 3.3.2. Apparaatgebaseerde locatiebepaling Bij apparaatgebaseerde locatiebepaling wordt de plaats van de gebruiker berekend door het apparaat zelf op basis van signalen van basisstations. Het apparaat dient voorzien te zijn van specifieke software om de geolocatie te kunnen bepalen.
2
Zie voetnoot 1
9
GPS GPS is een apparaatgebaseerd plaatsbepalingssysteem dat een mobiele ontvanger in staat stelt op basis van meerdere satellieten zijn locatie, snelheid, richting en tijd op het aardoppervlak te bepalen. De GPS-ontvanger registreert de duur van een ontvangen GPS-signaal van meerdere satellieten naar de huidige positie op aarde en gebruikt de aankomsttijd van het signaal om de afstand tot de satelliet te meten. Dit gebeurt via triangulatie. Deze driehoeksmeting bepaalt de locatie op basis van het aantal ontvangen signalen van iedere satelliet. De informatie wordt vervolgens vertaald naar bruikbare formaten zoals lengte- en breedtegraad, tijd en hoogte. GPS maakt het mogelijk om de positie van een gebruiker te bepalen op de gehele aarde. In theorie is dit mogelijk binnen enkele meters. GPS is erg succesvol in afgebakende en voorspelbare omgevingen, zoals bij voertuig navigatie. In de praktijk blijkt echter dat er bij GPS ook zwakheden kunnen optreden in dekking en nauwkeurigheid. De ontvanger moet een constante signaalverbinding hebben met minstens drie satellieten om een nauwkeurige positie vast te kunnen stellen. Met name bij een specifieke locatiegebaseerde ervaring, zoals AR, kan hierin een grote variatie ontstaan. Deze variatie in dekking wordt bepaald door de locatie zelf, door het tijdstip en door de mate van bebouwing in de omgeving. Radio Frequency ID Een andere apparaatgebaseerde techniek om de positie van de gebruiker te bepalen is via RadioFrequencyID (RFID). Met deze technologie leest de gebruiker met behulp van zijn mobiele apparaat of speciale RFID lezer op een afstand van enkele meters de gegevens uit een „tag‟ die aangebracht zijn op of in objecten. Aangezien de gebruiker vaak niet ver verwijderd is van het object is de nauwkeurigheid een groot voordeel van deze techniek. Aan de andere kant moet ieder object een RFID chip bevatten. Bij oorlogsmonumenten is dat bijvoorbeeld niet wenselijk. Daarnaast is niet alle „werkelijkheid‟ waarover men beelden of geluiden wil ontvangen een tastbaar object, zoals een belangrijk plein. Dit maakt het plaatsen van een RFID chip onmogelijk. QR-code Een variant van RFID is plaatsbepaling op basis van een QR-code (Quick Response code). Dit is een tweedimensionale barcode waarmee een object geïdentificeerd kan worden. De gebruiker scant met het mobiele apparaat de QR-code en leest de informatie van de code uit, die een URL bevat. Vervolgens wordt via internet deze internetlocatie geopend. Bij deze techniek gelden dezelfde voor- en nadelen als bij RFID. Veel mobiele apparaten, met name smartphones, bevatten tegenwoordig een ingebouwde accelerometer waarmee de versnelling en de beweging van de gebruiker kan worden waargenomen en geregistreerd. Aangevuld met een digitaal kompas en een gyroscoop kan ook de rotatie en oriëntatie worden vastgesteld. Hoewel dit een belangrijk aspect is van een ervaring op locatie, bijvoorbeeld om te weten waar de gebruiker naar kijkt, is deze techniek op zichzelf niet voldoende om de absolute locatie van de gebruiker vast te stellen. Het moet worden gezien als een verrijking van de plaatsbepalingsinformatie. Daarnaast zijn er gespecialiseerde optische technieken om de plaats van de gebruiker vast te stellen. Objecten of gezichten bijvoorbeeld kunnen herkend worden door een ingebouwde camera of optische sensor. Maar ook met deze techniek kan men niet de absolute locatie van de gebruiker bepalen en moet worden gezien als een verrijking van de plaatsbepalingsinformatie. Een algemeen geldend 10
nadeel van apparaatgebaseerde geolocatie bepaling is dat het mobiele apparaat voorzien moet zijn van specifieke software. Hierbij ontstaat een afhankelijkheid met aanbieders van mobiele ontwikkelplatformen zoals het iPhone besturingssysteem. Hieronder volgt een overzicht van de voornaamste geolocatie technieken met de belangrijkste eigenschappen: Technologie
Nauwkeurigheid
Duur
Voorwaarden
GPS
Hoog. Indien satelliet in lijn met ontvanger. 5-50m.
~ 10-15 min. start ~ 1-2 sec updates
Alleen ondersteuning apparaat.
A-GPS
Zeer hoog. 5-50m.
~ 10-40 sec start ~ 5-10 sec updates
Specifieke ondersteuningsapparatuur, zoals servers en netwerk.
ToA, TDoA en AoA
Gemiddeld. Afhankelijk van brondichtheid. 40-400m.
~ 6-10 sec
Ondersteuning basisstation en mobiele aanbieder.
Cell-ID
Matig. Afhankelijk van brondichtheid. Tussen 100-5500m.
~ 4-8 sec
Ondersteuning basisstation en mobiele aanbieder of bron database.
Wi-Fi
Sterk. Afhankelijk van dichtheid Wi-Fi spots. < 50-250m.
~ 4-8 sec
Ondersteuning apparaat, netwerk en Wi-Fi database.
Kompas, accelerometer, gyroscoop, optische sensoren
Niet van toepassing.
0.1 tot 1s
Tabel 1. Vereisten en nauwkeurigheid van de meest gebruikte technologieën bij mobiele AR applicaties.
GPS GPS is het dé facto satellietplaatsbepalingssysteem.3 Het is een wereldwijd veelgebruikt hulpmiddel voor navigatie. Op vele terreinen zoals landkaartontwikkeling, bodemonderzoek, wetenschappelijke doeleinden, surveillance en routevastlegging wordt GPS ingezet. Daarnaast wordt het tijdbepalingsmechanisme toegepast in vele applicaties. Bijvoorbeeld als bron voor tijdsynchronisatie bij mobiele netwerkprotocollen. Uit de tabel blijkt dat alle technieken hun beperkingen hebben. Hoewel GPS de meest gebruikte manier is om op het gebied van AR de locatie van de gebruiker vast te stellen, kent het ook nadelen. Zo werkt de GPS techniek niet in gebouwen of plaatsen waar het signaal niet kan doordringen.4 Voor de AR applicatie van Beeld en Geluid kan dit een belemmering zijn, omdat er ook content aan te bieden is op plaatsen als musea, stations 3
Kaplan, E. (1996). Understanding GPS-Principles and Applications. Lim, D. l. (2007). Design of an assisted GPS receiver and its performance analysis. IEEE International Symposium on Circuits and Systems , pp. 1742-1745. 4
11
en dergelijke. Daarnaast is de mate van nauwkeurigheid belangrijk. GPS vereist dat de satellieten in een zichtbare rechte lijn met het mobiele apparaat staan. Zelfs dan zijn de GPS sensoren in bijvoorbeeld smartphones nog niet in staat om zich te focussen op objecten en gebouwen die zich op enkele meters van de gebruiker bevinden. De nauwkeurigheid van de sensor ligt ongeveer tussen 10 en 100 meter. Dit is onvoldoende om in het voorbij lopen een focus te bepalen. Dit maakt het vervolgens onmogelijk om de juiste informatie te kunnen geven over gebouwen en monumenten.Bij het bepalen van de aanvankelijke positie door GPS ontvangers duurt het enige tijd voordat het signaal kan worden opgepikt, omdat het eerst basisinformatie van de satellieten nodig heeft zoals de tijd waarop het signaal verzonden is, ruimtelijke informatie over waar de satellieten zich bevinden en de staat van het GPS-systeem. Deze „slow start‟ wordt soms veroorzaakt door het feit dat de GPS ontvanger enige tijd niet is gebruikt of een grote afstand heeft afgelegd gedurende inactiviteit. De GPS ontvanger moet eerst deze basisinformatie üpdaten. Als een ontvanger deze gegevens al in het geheugen heeft is het in staat sneller de locatie te bepalen. A-GPS Om het nadeel van de plaatsbepaling in of rond gebouwen het hoofd te bieden hebben mobiele aanbieders Assisted GPS, afgekort als A-GPS, ontwikkeld. Het is een verbeterde versie van GPS. Bij deze hybride techniek wordt het bepalen van de locatie van de gebruiker gedaan door een GPS-ontvanger die ondersteund wordt door locatieinformatie van externe netwerkgeoriënteerde bronnen, zoals draadloze netwerken (Wi-Fi, Bluetooth) en GSM basisstations. Bij A-GPS levert deze bron, bijvoorbeeld het GSM netwerk van een mobiele aanbieder, via een server signaal- en navigatie informatie aan het mobiele apparaat met GPS-ontvanger. Vervolgens stuurt het mobiele apparaat de standaard GPS informatie over de locatie terug naar de server. 5 Op basis van die informatie wordt via een complexe berekening de positie van de gebruiker bepaald. De GPS server heeft zijn eigen GPS ontvanger en is daarmee in staat snel en heel nauwkeurig te bepalen welke signalen de ontvanger van het mobiele apparaat ontvangt. Daarnaast heeft het draadloze netwerk al een redelijke schatting van de locatie van het mobiele apparaat. Door het verdelen van informatie en de verwerking daarvan zorgt AGPS voor een optimalisatie in het dataverkeer tussen de satellieten en de ontvanger. AGPS levert een hogere mate van nauwkeurigheid dan GPS. 6 Een ander bijkomend voordeel is dat bij A-GPS de gebruiker zelf kan bepalen of hij/zij privacygevoelige informatie wil verzenden of niet. A-GPS maakt gebruik van de bestaande infrastructuur. Hoewel dit een voordeel is, bestaat er een afhankelijkheid met de mobiele aanbieder die de netwerk informatie moet leveren aan de GPS-ontvanger. Een alternatief hiervoor is het verkrijgen van deze informatie via bijvoorbeeld draadloze netwerkverbindingen (Wi-Fi). Er zijn Wi-Fi databases op internet die relevante identificatie informatie (i.e. SSID en MAC adres) van toegangspunten bevatten. Deze informatie kan worden gebruikt om te bepalen waar het signaal vandaan komt. Het nadeel hiervan is dat er informatie van vele toegangspunten beschikbaar moet zijn om een zinvolle locatie database te creëren. Daarnaast zijn er in de markt andere initiatieven om het monopolie op locatie informatie door mobiele 5
Richton, B. V. (2006). Assisted GPS for Wireless Phone Location - Technology and Standards. The International Series in Engineering and Computer Science . 6 Zie voetnoot 5
12
aanbieders te doorbreken. Zo verzamelt Google deze informatie via gebruikers die hun navigatie applicatie hebben geïnstalleerd. Zij brengen ieder draadloos toegangspunt en beschikbaar basisstation in kaart door een koppeling te maken tussen de actuele GPS coördinaten en de netwerkinformatie.
3.4.
Conclusie
Beeld en Geluid richt zich met de ontwikkeling van haar Augmented Landmarks applicatie op een breed publiek en een hoge mate van nauwkeurigheid bij het bepalen van de geolocatie. De meeste mobiele AR applicaties zijn gericht op het aanbieden van waardevolle informatie over de werkelijkheid, maar schieten op dit vlak nog tekort vanwege technische beperkingen. Ook de diversiteit en relatieve onvolwassenheid van deze technologieën zorgt voor de nodige uitdagingen. Daarnaast zijn de meeste technologieën apparaatgebaseerd óf netwerkgeoriënteerd. Dit maakt de keuze voor één technologie niet eenvoudig. Beeld en Geluid is in de ontwikkeling van haar huidige AR applicatie uitgegaan van GPS als toegepaste methode voor het bepalen van de geolocatie. In de markt voor mobiele locatie gebaseerde ervaringen is Assisted GPS de meest toegepaste techniek. A-GPS is een verfijnde variant van GPS, waarbij het resultaat van de locatiebepaling volgens dezelfde methode als GPS werkt. De techniek gebruikt zowel GPS- als netwerkinformatie om de locatie van de gebruiker te berekenen en heeft daarmee de hoogste nauwkeurigheid. Door het combineren van de netwerkgebaseerde- en apparaatgebaseerde aanpak is A-GPS een hybride systeem voor mobiele locatie bepaling. Volgens de “Hyper Cycle” van Gartner7 voor de netwerk- en communicatie branche is de markt voor locatie gebaseerde diensten gefragmenteerd, maar zijn opkomende trends en technologieën zoals A-GPS aan de orde. Hoewel A-GPS al veel gebruikt wordt heeft het nog niet de status van GPS, dat geldt als de primaire technologie op dit terrein. Het slagen van een technologie hangt onder andere af van standaardisatie 8 en interoperabiliteit9. De standaarden die toegepast worden in mobiele systemen moeten geschikt gemaakt worden voor globale mobiele AR diensten. Hoewel de markt zich zal consolideren rond deze technieken met een hoge nauwkeurigheid, blijft het tegelijkertijd een terrein waarin de ontwikkelingen elkaar snel opvolgen. Wellicht gedreven door het gebrek van één ideale techniek zijn er diverse oplossingen in opkomst, zoals gestandaardiseerde applicatie interfaces die locatiediensten voor mobiele apparaten aanbieden. Daarmee wordt een volgend alternatief geboden in het nauwkeurig kunnen verstrekken van de positie van de gebruiker. Met name partijen als Google en Skyhook leveren sinds kort diensten voor nauwkeurige plaatsbepaling. Deze systemen koppelen Wi-Fi toegangspunten, het GSM netwerk en cartografische diensten in één product voor locatie bepaling. Het is ongetwijfeld een combinatie van deze methoden die de beste locatie informatie gaat voortbrengen.
7
Gartner. (2009). IT Research Institute. Mennecke, B. S. (2003). Mobile commerce: technology, theory and applications. 9 Wegner, P. (1996). Interoperability. ACM Computing Surveys 8
13
3.5.
Aanbevelingen
Totdat de fase bereikt is waarin bovenstaande methode de standaard vormt, is het verstandig om te kiezen voor de technologie die het meest gehanteerd wordt in de markt. Ondanks het feit dat A-GPS nog geen gemeengoed is in de mobiele wereld, biedt het wel het grootste vertrouwen vanwege de hoge nauwkeurigheid. Ook voor de lange termijn is plaatsbepaling via GPS/A-GPS vooralsnog de te hanteren technologie. De markt met de technieken voor het bepalen van de geolocatie dient nauwgezet gevolgd te worden.
3.6.
Vervolgonderzoek
Dit subonderzoek heeft zich beperkt tot een praktische aanbeveling op de te gebruiken techniek voor het vaststellen van de locatie van een gebruiker van een mobiel apparaat. Als het gaat om een specifieke locatie gebaseerde ervaring zoals AR, is het onderzoeken van de technieken die van belang zijn voor de ervaring en dus oriëntatie van de gebruiker noodzakelijk. Een onderzoek naar instrumenten zoals een optische sensor, kompas, camera, gyroscoop en accelerometer (sensor gebaseerde locatietechnieken) behoort tot de mogelijkheden van toekomstig werk.Daarnaast zijn er (externe) factoren zoals hardware afhankelijkheid, kwaliteit van de chips, batterij en CPU gebruik en andere aspecten zoals privacy die buiten de scope van dit onderzoek vallen en bij toekomstig vervolgonderzoek relevant kunnen zijn.
14
4. Standaardisatie geo- en metadata 4.1.
Inleiding
In de huidige ontwikkeling van de AR applicatie van Beeld en Geluid speelt de koppeling tussen de coördinaten en de datagegevens een belangrijke rol. Deze AR applicatie dient op basis van de GPS-coördinaten de juiste informatie te verzamelen uit de verschillende contentplatformen. Hierbij speelt de standaardisatie van deze gegevens een grote rol. Dit hoofdstuk is gewijd aan een mogelijke oplossing voor het extraheren van deze data uit de bronomgeving, in dit geval de Thesaurus van Beeld en Geluid. Eerst wordt de huidige situatie van Beeld en Geluid beschreven met betrekking tot het opslaan van de data, toevoegen van metadata en het doorzoeken van de database. Vervolgens wordt een alternatief aangedragen voor het extraheren van data uit een bronomgeving, de mogelijkheid om contentplatformen te koppelen en technieken voor het standaardiseren van de metadata.
4.2.
Huidige situatie
Beeld en Geluid heeft ruim 700.000 uur aan radio-, televisie-, film- en muziekmateriaal in haar bronomgeving. Het archief kent een dagelijkse groei van filmmateriaal waarbij ook particulieren en instellingen hun collecties toevertrouwen aan Beeld en Geluid. Hierbij is niet alleen het archiveren van belang, maar ook het bereikbaar houden van de data voor het publiek, bijvoorbeeld via een AR dienst. De bronomgeving van Beeld en Geluid is een Oracle database genaamd Thesaurus. De Thesaurus is ingedeeld in zes assen zoals beschreven in GTAA (Gemeenschappelijke Thesaurus Audiovisuele Archieven). Dit zijn inhoudelijke categorieën genaamd: Onderwerp, Genre, Maker, Persoon, Geografische Naam en Naam. Dagelijks wordt materiaal toegevoegd aan Thesaurus. Documentalisten beschrijven middels iMMIX 10 de inhoud van het materiaal in de catalogus. Niet alleen nieuw materiaal wordt beschreven, maar ook bestaand materiaal wordt geüpdate. Met nieuwe (ICT-) technieken worden de mogelijkheden om materiaal te beschrijven verbeterd en daardoor wordt de vindbaarheid vergroot. De datacollectie van Beeld en Geluid bevat echter geen directe verwijzing naar de geolocatie van de data. Uit intern onderzoek is gebleken dat vanwege de omvang van de datacollectie het onmogelijk is om aan alle data de geolocatie toe te voegen. Dit betekent dat een huidige AR applicatie niet in staat zou zijn een één-op-één koppeling te leggen tussen de geolocatie en de gegevens in de bron, tenzij de geolocatie op een andere wijze vertaald kan worden naar natuurlijke zoektermen.
4.3.
Onderzoeksresultaten
4.3.1. Extraheren geodata De data binnen Thesaurus bestaat alleen uit natuurlijke termen, zoals de naam ‟Dam‟ in Amsterdam. De informatie bevat geen geolocatie gegevens zoals geocoördinaten. Om informatie uit Thesaurus te krijgen ten behoeve van de AR applicatie, is het belangrijk dat de coördinaten omgezet worden naar natuurlijke zoekwoorden. Geografische databases bieden de functionaliteit om coördinaten om te zetten naar natuurlijke zoektermen. In deze paragraaf worden de geografische databases Getty Thesaurus of Geographic Names11 (TGN) en Geonames12 behandeld.
10
http://instituut.beeldengeluid.nl/index.aspx?ChapterID=8591 http://www.getty.edu/research/conducting_research/vocabularies/tgn/ 12 http://www.geonames.org/ 11
15
Getty Thesaurus of Geographic Op het internet zijn bronnen met informatie beschikbaar die een locatie omschrijven of verband houden met een locatie. Een van die geografische bronnen is de database Getty Thesaurus of Geographic Names (TGN). De focus ligt op plaatsnamen, waarvan er 912.000 in de database beschikbaar zijn. Daarnaast bevat TGN achtergrondinformatie over de plaatsen zelf, zoals de geschiedenis, cultuur, bevolking, kunst en architectuur. In totaal bevat TGN ongeveer 1.1 miljoen namen en andere informatie over plaatsen. Een nadeel van het gebruik van TGN is dat de coördinaten in het systeem geschat zijn en alleen als referentie gebruikt kunnen worden. Daarnaast zijn er kosten verbonden aan het gebruik van de TGN database. Geonames Een andere mogelijkheid is het gebruik van de database Geonames. Geonames is in staat om, gebaseerd op de GPS positie, de locatie om te zetten naar een natuurlijke zoekterm. Voordelen van het gebruik van Geonames voor locatiebepaling zijn:
Geonames biedt een alternatief voor het koppelen van de GPS-locatie met de brondata uit de Thesaurus. Geonames heeft meer dan acht miljoen geografische namen in de database en bevat zeven miljoen unieke eigenschappen waarvan 2.6 miljoen plaatsen en 2.8 miljoen alternatieve namen. De data is gratis toegankelijk via een aantal webservices13. Beeld en Geluid is reeds bekend met Geonames.
De geografische coördinaten worden als startpunt binnen Geonames gebruikt. Bij het linken naar Geonames kan de exacte locatie van de gebruiker bepaald worden. Via Geonames´ functie:findNearbyPlaceName, kan de dichtstbijzijnde plek gevonden worden voor de bijbehorende lattitude/longitude query als een XML document. Op basis van deze geoinformatie in natuurlijke taal is de AR applicatie in staat de Thesaurus van Beeld en Geluid te doorzoeken voor relevante content. Geonames ondersteund twee soorten webservices: JSON en XML. Het output formaat van JSON omzeilt beveiligingsmaatregelen in browsers die verhinderd dat communicatie mogelijk is met een andere webserver dan de huidige domein/pagina14. Semantisch web Via het Semantische web kan er gebruik gemaakt worden van externe databronnen. Het Semantische web houdt in dat informatie op het internet zo wordt uitgedrukt dat niet alleen personen in staat zijn dit te kunnen verwerken maar dat ook computers dat kunnen. Hiervoor moet betekenis (semantiek) aan de data toegevoegd worden. Dit wordt gedaan op basis van ontologieën, beschrijvingen van concepten en de relaties ertussen in de metadata uit te breiden. 15 Voor de uitwisseling is een door W3C ontwikkelde RDF(Resource Description Framework) en/of OWL (Web Ontology Language) representatie benodigd. OWL gebruikt het bestandsformaat RDF voor model/dataopslag. RDF maakt gebruik van XML als bestandsformaat. Hiermee kan de data ontvangen worden van een RDF opslag plaats gebruikmakend van de seRQL1617query language of
13
http://www.geonames.org/export/ws-overview.html http://www.xml.com/pub/a/2005/11/09/fixing-ajax-xmlhttprequest-considered-harmful.html 15 http://nl.wikipedia.org/wiki/Semantisch_Web 16 http://www.openrdf.org/doc/sesame/users/ch06.html 17 Brugman, H.,Malaisé, V., Gazendam, L., A Web Based General Thesaurus Browser to Support Indexing of Television and Radio Programs 14
16
de SPARQL query language 18 . Voorbeelden van contentplatformen waarvan via het Semantische web informatie ontvangen kan worden zijn DBpedia en Flickr wrappr. 4.3.2. Overige contentplatformen DBpedia Alle documenten op HTML en het Web lijken nu op een groot boek. RDF, schema en inference talen zorgen ervoor dat alle data in de wereld zal lijken op een grote database (Bernes-Lee, 1999). DBpedia 19 extraheert gestructureerd informatie uit Wikipedia en maakt de informatie beschikbaar op het Web. Op dit moment zijn 2.6 miljoen objecten beschreven, DBpedia heeft labels en korte uitreksels in 30 talen, 609.000 links naar afbeeldingen en 3.150.000 links naar externe webpagina‟s. DBpedia zet de gestructureerde informatie van Wikipedia om naar een “rich knowledge base”.Steeds meer data uitgevers zijn gestart met het maken van RDF links van de brondata naar DBpedia. Dit maakt DBpedia een van de centrale spelers bij het semantische web. Beeld en Geluid zou gebruik kunnen maken van DBpedia. Vier mechanismen zijn hiervoor beschikbaar, namelijk Linked data, SPARQL endpoint, RDF dumps en lookup index. DBpedia biedt verschillende mogelijkheden om de data van een dataset te ontvangen. Het is hierdoor flexibel en kan aangepast worden aan de wensen van Beeld en Geluid. Flickr wrappr Flickr is een online webapplicatie om foto‟s te delen. Wanneer binnen de Flickr API een zoekactie wordt verricht, kunnen alleen foto‟s waaraan geoinformatie is toegevoegd („taggen‟) worden gezocht. Hierdoor worden verkeerd getagde foto‟s ook getoond. Flickr wrappr is een verlengde van DBpedia via RDF linkt naar foto‟s die gepost zijn op Flickr. Voor alle 1.95 miljoen DBpedia objecten genereert de wrappr een collectie van Flickr foto‟s die het object weergeven. Wanneer een onderwerp gezocht wordt, raadpleegt het DBpedia SPARQL voor meerdere labels en de geocoördinaten. Op basis hiervan kan gezocht worden in de Flickr Search API en de resultaten worden gegenereerd in RDF. Flickr wrappr kan ook alleen geografische queries ondersteunen, wat dicht bij de wensen van Beeld en Geluid komt. 4.3.3. Uniformering en standaardisering metadata In paragraaf 4.3.1 is beschreven hoe data te extraheren uit Thesaurus met behulp van een geografische database. Het omzetten van de coördinaten naar een natuurlijke zoekterm gebeurt echter niet altijd foutloos. De unieke geolocatie informatie (met name GPS-coördinaten) blijft belangrijk. Het is daarom aan te bevelen de toekomstig toe te voegen content aan de Thesaurus te verrijken met deze geolocatie informatie. In deze paragraaf worden de volgende standaarden behandeld om deze informatie vast te leggen:
standaardiseren geografische metadata standaardiseren POIs standaard voor beschrijving en uitwisseling van combinaties van webresources
Standaardiseren geografische metadata Indien de geolocatie opgeslagen wordt binnen Thesaurus, is het aan te raden dit op een zo uniform mogelijke manier te doen. Voor het opslaan van geografische metadata informatie is ISO 19115 een belangrijke standaard. Geonovum 20 heeft hiervoor een Nederlands profiel gemaakt die voldoet aan de richtlijnen gesteld door INSPIRE 18
http://www.w3.org/TR/rdf-sparql-query/ http://wiki.dbpedia.org/UseCases 20 http://www.geonovum.nl/images/stories/nederlands%20metadata%20profiel%20op%20iso%201911 5%20voor%20geografie%20-%20v1%202%20-%20definitief.pdf 19
17
(Infrastructure for Spatial Information in Europe). De Nederlandse versie van de ISO standaard kan als voorbeeld dienen om de geodata te uniformeren en standaardiseren. Standaardisatie POI ARML is gebaseerd op KML, een open standaard (XML taal) gefocust op geografische visualisatie, wat onder meer gebruikt wordt door Google Maps. ARML kan gebruikt worden om de POI binnen de applicatie te uniformeren en standaardiseren. De AR applicatie toont interessante plaatsen (i.e. POI) zoals monumenten en andere historische plaatsen. Binnen de AR applicatie worden POIs getoond in de buurt van de huidige locatie. Elke POI heeft informatie zoals geocoördinaten, naam, beschrijving, informatie en adres. ARML21 is een standaard om de beschrijving van POIs te standaardiseren. Standaard voor beschrijving en uitwisseling van combinaties van webresources Het Open Archives Initiative Object Reuse and Exhange (OAI –ORE) 22 heeft een standaard gedefinieerd voor de beschrijving en uitwisseling van combinaties van web resources. De combinatie kan data van verschillende typen bevatten zoals tekst, afbeeldingen en video. Het doel van OAI-ORE is om “rich content” te delen met applicaties. RDF wordt vaak gebruikt als standaardmodel voor data-uitwisseling op het web. Het initiatief Linked Data 23 heeft als doelstelling het web te gebruiken om alle gerelateerde data te linken, die op dit moment nog niet is gelinkt. Het is een beschrijving voor het exposeren, delen, het verbinden van stukjes data, informatie en kennis op het Semantische web, gebruikmakend van onder andere RDF. 4.3.4. Geoinformatie Door de introductie van nieuwe technieken zoals AR wordt een exacte locatiebeschrijving via coördinaten van de data binnen de database waardevoller. De toevoeging van geografische coördinaten aan data, zoals video, audio, foto en tekstbestanden wordt geotagging genoemd. Voor fotomateriaal is EXIF de meest gangbare standaard. Bij camera‟s die GPS bezitten worden de geografische coördinaten automatisch aan de EXIF informatie toegevoegd indien de foto‟s als JPEG opgeslagen worden. Een andere standaard is de machine tag (triple tag) die gebruikt wordt door Flickr en, de door Adobe ontwikkelde, Extensible Metadata Platform (XMP). Het voordeel van XMP is dat het geschikt is voor PDF en andere afbeeldingformaten. Videomateriaal heeft op dit moment nog geen standaard zoals EXIF bij fotocamera‟s. Wel kan er bijvoorbeeld bij Youtube een geotag bij video‟s geplaatst worden. Geotagging bij websites gebeurd vaak op basis van:
ICBM method, RDF feeds of GEO Microformat.
Wanneer data nog geen geotag bevat kan het later toegevoegd worden met behulp van geocoding of geoparsing. Geocoding is het converteren van geografische beschrijvingen zoals een adres, huisnummer, postcode of plaats naar geografische coördinaten. Geoparsing houdt in dat op basis van ongestructureerde plaatsbeschrijvingen (bijvoorbeeld: “10 km ten noorden van Hilversum”) geografische plaatsen in teksten worden herkend en dat daarbij geografische coördinatenworden toegevoegd. Behalve op tekst kan dit ook op andere media worden toegepastzoals audio. In tegenstelling tot geocoding kan de inhoud van tekst en audio doorzocht worden en vertaald naar coördinaten. Op dit moment zijn de meeste applicaties nog in ontwikkeling. Applicaties
21
http://www.openarml.org/ http://www.openarchives.org/ore/ 23 http://linkeddata.org/ 22
18
die al iets verder ontwikkeld zijn, zijn bijvoorbeeld DIGMAP 24 , gericht op digitale bibliotheken, en Gutenkarte25. Het is de moeite waard om de voortgang van deze en andere geoparsing methodes te volgen om in de toekomst automatisch data te kunnen geotaggen.
4.4.
Conclusie
Voor het gebruik van AR is het belangrijk de juiste data bij de locatie te kunnen tonen. Het punt waarmee Beeld en Geluid geconfronteerd wordt is dat in Thesaurus geen locatiecoördinaten zijn opgeslagen. De locatie kan alleen via natuurlijke zoektermen gevonden worden. Het ontbreken van coördinaten in Thesaurus maakt het lastiger de data op basis van GPS-coördinaten te extraheren voor de toekomstige AR applicatie. Er is een tussenstap nodig om GPS-coördinaten om te zetten naar natuurlijke zoektermen. Geonames is voor het omzetten de meest geschikte dienst. Geonames is vergeleken met Getty Thesaurus of Geographic Names een gratis dienst, heeft een grotere database en een betere coördinatiebeschrijving. Met behulp van de natuurlijke zoektermen kan niet alleen in Thesaurus data gezocht en gevonden worden, maar eveneens in contentplatformen zoals DBpedia (Wikipedia) en Flickr wrappr. Dit maakt onderdeel uit van het Semantische web. Het later toevoegen van geotags kan door middel van geocoding en geoparsing.
4.5.
Aanbevelingen
In deze paragraaf wordt het uiteindelijke advies aan Beeld en Geluid gegeven. Naar de toekomst toe is het verstandig om van nieuwe ingevoerde data in Thesaurus de geolocatie vast te leggen. Dit houdt in dat de ingevoerde data vanaf dat moment wel geolocatie coördinaten zal bevatten. Naar de toekomst toe is dit alvast een begin voor het verrijken van de Thesaurus met geolocatie informatie, en waar van toepassing ook met geotags. Daarnaast is het voor de ontwikkeling van een AR applicatie aan te bevelen om gebruik te maken van Geonames en in het bijzonder de JSON techniek die Geonames aanbiedt. Door het gebruik van Geonames heeft Beeld en Geluid een alternatief voor het missen van de geolocatie informatie tijdens de ontwikkeling van een AR applicatie op dit moment. Ook is het aan te bevelen om de huidige broninformatie te verrijken met informatie door gebruik te maken van de contentplatformen DBpedia en Flickr. Voor het vastleggen van de metadata is het aan te raden ISO 19115 als voorbeeld te gebruiken. De standaarden OAI-ORE en RDF kunnen belangrijk zijn om verschillende databronnen te koppelen. Binnen de AR applicatie kan van de ARML standaard gebruik gemaakt worden om de bijbehorende gegevens van de POI te uniformeren en standaardiseren.
24 25
http://geoparser.digmap.eu/ http://gutenkarte.org/
19
5. Mobiele ontwikkelplatformen 5.1.
Inleiding
Tegenwoordig heeft een onderneming veel mogelijkheden wanneer het aankomt op de keuze voor welk mobiel platform zij een applicatie of dienst moeten ontwikkelen. Aspecten zoals het marktaandeel en de distributiemogelijkheden van de applicaties zijn niet weg te denken bij het onderzoek naar het juiste mobiele platform. Een derde aspect: het open source „gehalte‟ van het mobiele platform en het open source „gehalte‟ van de ontwikkeltaal voor het mobiele platform, speelt echter een steeds belangrijkere rol in de uiteindelijke keuze voor een mobielplatform.In dit subonderzoek wordt er aan bovenstaande drie punten uitvoerig aandacht besteed. Dit subonderzoek wordt afgesloten worden met een advies. Dit advies bestaat uit het beste mobiele ontwikkelplatform, specifiek voor de situatie waar Beeld en Geluid zich op dit moment in bevindt. In de uiteindelijke afweging worden de aanbevelingen van de overige subonderzoeken meegenomen. Naast het advies worden er aanbevelingen gedaan voor vervolgonderzoek.
5.2.
Huidige situatie
Beeld en Geluid is sinds januari 2010 bezig met het ontwikkelen van een applicatie voor een AR dienst. Deze applicatie is specifiek gericht op Augmented Landmarksen is ontwikkeld voor het mobiele besturingssysteem (verder: OS = Operating System), genaamd iPhone. De keuze voor het iPhone OS is onder andere gebaseerd op een vooronderzoek uitgevoerd door Beeld en Geluid. Zoals reeds in de inleiding genoemd wordt er in dit subonderzoek aandacht besteed aan de volgende gebieden: 1. Het marktaandeel van elk mobiel ontwikkelplatform 2. Het open source „gehalte‟ van elk mobiel ontwikkelplatform. Hierbij wordt een onderscheid gemaakt tussen: a. Het al dan niet open source „zijn‟ van het mobiele besturingssysteem b. Het al dan niet aanwezig zijn van open sourceontwikkelmogelijkheden voor het mobiele besturingssysteem 3. Het al dan niet aanwezig zijn van een door de fabrikant onderhouden verkoopkanaal Aangezien het onderzoeken van alle mogelijke mobiele ontwikkelplatformen buiten de scope van dit subonderzoek ligt, is er een voorselectie van mobiele ontwikkelplatformen gemaakt. Deze voorselectie is gebaseerd op het onderzoek van smartphones marktonderzoeksleider Canalys26. De onderstaande vijf mobiele ontwikkelplatformen (op alfabetische volgorde gesorteerd) zijn de meest populaire mobiele ontwikkelplatformen per 2010 en zullen in de volgende paragraaf één voor één aan bod komen:
26
Android OS BlackBerry OS iPhone OS Symbian OS Windows Mobile OS
Canalys Smart Phone Analysis, February 2010, http://www.canalys.com/pr/2010/r2010021.html
20
5.3.
Onderzoeksresultaten
Deze paragraaf staat in het teken van de vijf verschillende mobiele ontwikkelplatformen genoemd in de vorige paragraaf. Elke subparagraaf bestaat uit de naam van het mobiele ontwikkelplatform en begint met een korte introductie over het mobiele ontwikkelplatform. 5.3.1. Android OS Android is een software suite voor mobiele apparaten welke bestaat uit een besturingssysteem, programmatuur en mobiele applicaties. Het Android besturingssysteem bestaat uit een gemodificeerde Linux kernel27. Aanvankelijk was het Android OS ontwikkeld door Android Incorporated, een dochteronderneming van zoekmachine gigant Google Incorporated. Tegenwoordig wordt Android ontwikkeld door de Open Handset Alliance 28 . Het Android OS is voornamelijk te vinden op de smartphones van HTC29. Andere smartphone fabrikanten, zoals Motorola en Samsung, maken op kleine schaal ook gebruik van Android voor hun smartphones. Marktaandeel In grafiek 5 (appendix A) is te zien dat het wereldwijde marktaandeel in 2009 van Android ongeveer 5% bedroeg. Dit komt overeen met een laatste plaats van de top 5 mobiele ontwikkelplatformen. Echter, in 2008 bedroeg het marktaandeel van het Android besturingssysteem slechts een half procent. De groei die het besturingssysteem heeft doorgemaakt is gigantisch, om precies te zijn ruim 1000% ten opzichte van het vorige jaar. De cijfers welke in tabel 6 staan zijn afkomstig van een onderzoek gehouden naar mobiele besturingssystemen geïnstalleerd op smartphones. Aangezien het Android OS ook op netbooks 30 en smartbooks 31 geïnstalleerd kan worden valt het uiteindelijke marktaandeel van Android hoger uit. Open source Het Android besturingssysteem is gedeeltelijk open source. Het besturingssysteem is vrijgegeven onder de Apache licentie. Deze licentie houdt in dat de oorspronkelijke copyright en disclaimer intact moeten blijven bij het aanpassen van de broncode. Het Android besturingssysteem zelf is in de programmeertaal C ontwikkeld. 32 Ontwikkeling voor het Android OS is mogelijk met behulp van de open source programmeertaal Java.33Dit houdt in dat alle code geschreven in de „taal‟ Java op andere Java platformen zou moeten werken, waaronder op Android. Android maakt echter niet gebruik van de standaard Java Virtual Machine34 (verder: Java VM), maar van een eigen variant. Het is dus niet mogelijk om een generieke applicatie te schrijven en deze bijvoorbeeld „out-ofthe-box‟ te laten draaien op het BlackBerry OS. Later in dit subonderzoek volgt er meer over het BlackBerry OS.
27
De linuxkernel is de kern laag van besturingssystemen uit de Linuxfamilie, waar Android onder valt. Het Open Handset Alliance bestaat uit een consortium van bedrijven die samenwerken aan Android. 29 HTC Corporation is een Taiwanese product van smartphones die voornamelijk draaien op Android. 30 Netbooks is een categorie kleine, lichte en goedkope laptop computers. 31 Smartbooks zijn mobiele apparaten welke gepositioneerd kunnen worden tussen smartphones en netbooks. 32 http://www.lextrait.com/Vincent/implementations.html 33 http://en.wikipedia.org/wiki/Mobile_application_development 34 Een set computerprogramma‟s welke als doel heeft om computerscripts en –taal uit te voeren. 28
21
Verkoopkanaal Wanneer er voor het Android besturingssysteem een applicatie wordt ontwikkeld, is er de mogelijkheid om de applicatie via de zogeheten Android Market te distribueren. Android Market is een online software winkel ontwikkeld door Google welke beschikbaar is voor alle Android smartphones. Ontwikkelaars hebben de mogelijkheid om een betaalde of gratis applicatie aan te bieden via de online winkel. Het is echter niet overal mogelijk om betaalde applicaties toe te voegen. In Nederland is dit wel het geval. Ontwikkelaars ontvangen 70% van de opbrengsten van de applicaties die zij via de Android Market aanbieden.In grafiek 5 (appendix A) is te zien dat de Android Market de meeste gratis applicaties bevat. Verder groeide het aantal applicaties het op één na snelst in de onderzochte periode. Dit komt overeen met de tweede plaats op dat gebied van de top 5 mobiele ontwikkelplatformen. Voor het publiceren van een applicatie via de Android Market, is het niet nodig om een toelatingsprocedure te doorlopen. De Android Market is de enige mobiele software winkel waarbij dit niet noodzakelijk is. Alle overige onderzochte mobiele ontwikkelplatformen werken met een toelatingsbeleid. Er dient echter wel opgemerkt te worden dat een applicatie aan bepaalde eisen 35 moet voldoen, wil de applicatie naderhand niet verwijderd kunnen worden. Dit betekent dat de makers van Android het „laatste woord‟ hebben met betrekking tot het al dan niet blijvend beschikbaar stellen van een geüploade applicatie. Verder dienen ontwikkelaars rekening te houden met eenmalige kosten van $25. Deze developers fee geeft het recht om een onbeperkt aantal applicaties te publiceren via de Android Market.36 5.3.2. BlackBerry OS BlackBerry OS is een eigendomsmatig softwareplatform ontwikkeld door Research in Motion37 (verder: RIM) voor haar BlackBerry mobiele telefoons. BlackBerry smartphones zijn voornamelijk bekend van de functie “Ping”. Ping is een service ontwikkeld door RIM waarbij BlackBerry gebruikers onderlingkorte tekst-, foto- en/of spraakberichten kunnen versturen. Marktaandeel In grafiek 5 (appendix A) is te zien dat het wereldwijde marktaandeel in 2009 van het BlackBerry OS ongeveer 21% bedroeg. Dit komt overeen met een tweede plaats van de top 5 mobiele ontwikkelplatformen. In 2008 bedroeg het marktaandeel van het BlackBerry besturingssysteem 17%. Dit betekent dat het BlackBerry OS een groei heeft doorgemaakt van bijna 50% ten opzichte van het vorige jaar. In Nederland is het BlackBerry OS voornamelijk populair onder jongeren. Open source Het BlackBerry besturingssysteem is niet open source. Het besturingssysteem is propriëtair eigendom van RIM. Het BlackBerry besturingssysteem zelf is in de programmeertaal C++ ontwikkeld.38Ontwikkeling voor het BlackBerry OS is mogelijk met 35
http://www.android.com/us/developer-content-policy.html Appendix A, tabel 7 37 RIM is een Canadees bedrijf dat gespecialiseerd is in draadloos technologie. Het bedrijf is vooral bekend als de maker van de BlackBerry smartphone. 38 Zie voetnoot 32 36
22
behulp van de open source programmeertaal Java. 39 Dit houdt in dat alle code geschreven in de „taal‟ Java op andere Java platformen zou moeten werken, waaronder op het BlackBerry O. Het BlackBerry OS maakt echter geen gebruik van de standaard Java VM, maar van een eigen variant. Het is dus niet mogelijk om een generieke applicatie te schrijven en deze bijvoorbeeld „out-of-the-box‟ te laten draaien op het Android OS. Verkoopkanaal Wanneer er voor het BlackBerry besturingssysteem een applicatie wordt ontwikkeld, is er de mogelijkheid om de applicatie via de zogeheten BlackBerry App World te distribueren. BlackBerry App World is een online software winkel ontwikkeld door RIM voor alle BlackBerry smartphones. Ontwikkelaars hebben de mogelijkheid om een betaalde of gratis applicatie aan te bieden via de online winkel. Het is echter niet overal mogelijk om betaalde applicaties toe te voegen. In Nederland is dit wel het geval. Ontwikkelaars ontvangen 80% van de opbrengsten van de applicaties die zij via BlackBerry App World aanbieden.In grafiek 5 (appendix A) is te zien dat BlackBerry App World als één na laatste eindigt als het aankomt op het aanbod van gratis applicaties in de online winkel. Verder groeide het aantal applicaties het minst in de onderzochte periode. Dit komt overeen met een laatste (vijfde) plaats op dat gebied vande top 5 mobiele ontwikkelplatformen. De BlackBerry App World werkt in tegenstelling tot de Android Market wel met een toelatingsbeleid. Dit beleid staat echter als soepel bekend. Ook bij de App World dient een applicatie echter wel te voldoen aan bepaalde eisen40. Ook hier geldt dat RIM het „laatste woord‟ heeft met betrekking tot het al dan niet blijven beschikbaar stellen van een geüploade applicatie. Ontwikkelaars dienen verder rekening te houden met kosten welke $200 bedragen. Deze developers fee geeft het recht om tien applicaties te publiceren via de App World. Wanneer men dit aantal overschrijdt, dient er wederom een bedrag van $200 te worden betaald voor het kunnen publiceren van tien applicaties.41 5.3.3. iPhone OS iPhone OS is een mobiel besturingssysteem ontwikkeld door Apple42. Het iPhone OS is niet alleen geïnstalleerd op de gelijknamige smartphone van Apple, maar ook op haar draagbare muziekspelers en sinds kort ook op haar tablet-computer43.Het iPhone OS deelt „techniek‟ met het besturingssysteem waar de Macintosh computers op draaien. Beide besturingssystemen zijn namelijk gebouwd op een onderliggende Unix44-laag. Marktaandeel In grafiek 5 (appendix A) is te zien dat het wereldwijde marktaandeel in 2009 van het iPhone OS ongeveer 15% bedroeg. Dit komt overeen met een derde plaats van de top 5 39
Zie voetnoot 33 http://na.blackberry.com/eng/developers/appworld/faq.jsp 41 Zie voetnoot 36 42 Apple Incorporated is een Amerikaans electronicabedrijf bekend van de Macintosh computers. 43 Een tablet-pc is een computer die in de hand kan worden gebruikt. Hij kan worden gezien als een grote, krachtigere PDA. 44 Unix (of UNIX) is een familie van besturingssystemen met multitasking- en multiuser-mogelijkheden voor zeer uiteenlopende typen computers, ontwikkeld door verscheidene fabrikanten en groepen. 40
23
mobiele ontwikkelplatformen. In 2008 bedroeg het marktaandeel van het iPhone besturingssysteem ongeveer 10%. Dit betekent dat het iPhone OS een groei heeft doorgemaakt van bijna 83% ten opzichte van het vorige jaar. In Nederland is het iPhone OS zeer populair onder vrijwel alle leeftijdsgroepen. De cijfers welke in tabel 6 staan zijn afkomstig van een onderzoek gehouden naar mobiele besturingssystemen geïnstalleerd op smartphones. Aangezien het iPhone OS ook op draagbare muziekspelers en tabletcomputers van Apple is geïnstalleerd, valt het uiteindelijke marktaandeel van het iPhone OS hoger uit. Open source Het iPhone besturingssysteem is niet open source. Het besturingssysteem is eigendom van Apple. Het iPhone besturingssysteem zelf is in de programmeertaal C ontwikkeld. 45 Ontwikkeling voor het iPhone OS is mogelijk met behulp van de programmeertaal Objective-C. 46 Deze programmeertaal is in 1986 door Apple zelf ontwikkeld en niet open source vrijgegeven. Verkoopkanaal Wanneer er voor het iPhone besturingssysteem een applicatie wordt ontwikkeld, is er de mogelijkheid om de applicatie via de zogeheten iTunes App Store te distribueren. App Store is een online software winkel ontwikkeld door Apple welke onderdeel uitmaakt van de muziekapplicatie iTunes. Ontwikkelaars hebben de mogelijkheid om een betaalde of gratis applicatie aan te bieden via de online winkel. Ontwikkelaars ontvangen 70% van de opbrengsten van de applicaties die zij via de App Store aanbieden.In grafiek 5 (appendix A) is te zien dat de App Store op de derde plaats eindigt als het aankomt op het aanbod van gratis applicaties in de online winkel. Verder groeide het aantal applicaties het snelst in de onderzochte periode. Dit komt overeen met een eerste plaats op dat gebied van de top 5 mobiele ontwikkelplatformen. De App Store van Apple staat, in negatieve zin, bekend om zijn toelatingsbeleid. Verscheidene keren is de toelatingsprocedure van Applie negatief in het nieuws geweest47. Dit beleid staat daarom bekend als een erg „streng‟ beleid. Daarnaast moet een applicatie bij de App Store voldoen aan een strenge lijst eisen48. Ook hier geldt dat Apple het „laatste woord‟ heeft met betrekking tot het al dan niet blijven beschikbaar stellen van een geüploade applicatie. Ontwikkelaars dienen verder rekening te houden met eenmalige kosten van $99. Deze developers fee geeft het recht om een onbeperkt aantal applicaties te publiceren via de App Store.49 5.3.4. Symbian OS Symbian OS is een besturingssysteem ontwikkeld voor mobiele apparaten en smartphones. Oorspronkelijk is het besturingssysteem ontwikkeld door Symbian Software. Dit bedrijf is echter in 2008 overgenomen door Nokia50. Nokia heeft recent het Symbian platform gepositioneerd als een open source platform. Een nieuwe 45
Zie voetnoot 32 Zie voetnoot 33 47 http://en.wikipedia.org/wiki/App_Store#Censorship 48 http://developer.apple.com/programs/iphone/ 49 Zie voetnoot 36 50 Nokia Corporation is een beursgenoteerde Finse fabrikant van telecommunicatieapparatuur. 46
24
onderneming, genaamd Symbian Foundation, heeft alle Symbian broncode per februari 2010 publiekelijk vrijgegeven. Naast Nokia maken ook de smartphone fabrikanten Sony Ericsson en Samsung op kleine schaal gebruik van Symbian OS. Marktaandeel In grafiek 5 (appendix A) is te zien dat het wereldwijde marktaandeel in 2009 van het Symbian OS ongeveer 47% bedroeg. Dit komt overeen met een eerste plaats van de top 5 mobiele ontwikkelplatformen. In 2008 bedroeg het marktaandeel van het Symbian besturingssysteem ongeveer 52%. Dit betekent dat het Symbian OS een mindere groei heeft doorgemaakt van ongeveer 5% ten opzichte van het vorige jaar. Open source Het Symbian besturingssysteem is zoals aangegeven sinds februari 2010 open source. Het besturingssysteem is vrijgegeven onder de Eclipse Public licentie (EPL). Deze licentie houdt in dat hetoorspronkelijke copyright en disclaimer intact moeten blijven bij het aanpassen van de broncode (gelijk aan de eerder genoemde Apache licentie), maar de EPL licentie gaat hier soepeler mee om. Het Symbian besturingssysteem zelf is in de programmeertaal C++ ontwikkeld51Ontwikkeling voor het Symbian OS is mogelijk met behulp van de open source programmeertaal C++.52 Verkoopkanaal Wanneer er voor het Symbian besturingssysteem een applicatie wordt ontwikkeld, is er de mogelijkheid om de applicatie via de online software winkel van Nokia te distribueren. Deze online applicatie winkel heet OVI Store. Ontwikkelaars hebben de mogelijkheid om een betaalde of gratis applicatie aan te bieden via de online winkel. Ontwikkelaars ontvangen 70% van de opbrengsten van de applicaties die zij via OVI Store aanbieden. In grafiek 5 (appendix A) is te zien dat OVI Store op de laatste (vijfde) plaats eindigt als het aankomt op het aanbod van gratis applicaties. Verder groeide het aantal applicaties op twee na snelst in de onderzochte periode. Dit komt vanzelfsprekend overeen met een derde plaats op dat gebied van de top 5 mobiele ontwikkelplatformen. De Ovi Store van Nokia staat, in positieve zin, bekend om zijn toelatingsbeleid. Vrijwel iedere applicatie wordt geaccepteerd door Nokia. Dit kan echter ook negatieve gevolgen met zich meebrengen, zoals applicaties die niet stabiel genoeg zijn. Ook bij de Ovi Store dient een applicatie te voldoen aan bepaalde eisen53. Hier geldt wederom dat Nokia het „laatste woord‟ heeft met betrekking tot het al dan niet blijven beschikbaar stellen van een geüploade applicatie. Een groot voordel ten opzichte van de overige software winkels, is dat er bij het publiceren van een mobiele applicatie via de Ovi Store geen developers fee betaald hoeft te worden. Een individu of een organisatie mag een onbeperkt aantal applicaties publiceren via de Ovi Store, zonder een vergoeding te hoeven betalen.54 5.3.5. Windows Mobile OS Windows Mobile is een compact besturingssysteem voor smartphones en mobiele apparaten, ontwikkeld door Microsoft. Het Windows Mobile platform is ontwikkeld om zo 51
Zie voetnoot 32 Zie voetnoot 33 53 https://p.d.ovi.com/p/g/ovistore_static/docs/Publisher_Guide.pdf?q=zVGvXkjWCt7piHnAaZYgVw 54 Zie voetnoot 36 52
25
dicht mogelijk bij het Windows besturingssysteem voor thuiscomputers te staan. Hierbij gaat het niet alleen om de onderliggende techniek, maar ook om de features en de grafische interface. Marktaandeel In grafiek 5 (appendix A) is te zien dat het wereldwijde marktaandeel in 2009 van Windows Mobile OS ongeveer 9% bedroeg. Dit komt overeen met een vierde plaats van de top 5 mobiele ontwikkelplatformen. In 2008 bedroeg het marktaandeel van het Windows Mobile besturingssysteem echter ongeveer 14%. Dit betekent dat het Windows Mobile OS een daling in de groei heeft doorgemaakt van bijna 14% ten opzichte van het vorige jaar. In Nederland is het Windows Mobile OS voornamelijk populair bij „zakelijk‟ Nederland. Open source Het Windows Mobile besturingssysteem is niet open source. Het besturingssysteem is eigendom van Microsoft 55 . Het Windows Mobile besturingssysteem zelf is in de programmeertaal C++ ontwikkeld.56Ontwikkeling voor het Windows Mobile OS is mogelijk met behulp van de open source programmeertalen C en C++. C en C++behoren in „ontwikkelaarsland‟ tot de meest populaire programmeertalen.57 Verkoopkanaal Wanneer er voor het Windows Mobile besturingssysteem een applicatie wordt ontwikkeld, is er de mogelijkheid om de applicatie via de zogeheten Windows Marketplace for Mobile (verder: WMM) te distribueren. WMM is een online software winkel ontwikkeld door Microsoft welke onderdeel uitmaakt van de algemene softwarewinkel Windows Marketplace. Ontwikkelaars hebben de mogelijkheid om een betaalde of gratis applicatie aan te bieden via de online winkel. Ontwikkelaars ontvangen 70% van de opbrengsten van de applicaties die zij via WMM aanbieden. In grafiek 5 (appendix A) is te zien dat WMM op de één na laatste (vierde) plaats eindigt als het aankomt op het aanbod van gratis applicaties. WMM werkt tot slot ook met een toelatingsbeleid. Dit beleid staat echter bekend als soepel bekend. Een applicatie dient bij WMM ook te voldoen aan bepaalde eisen58. Hier geldt wederom dat Microsoft het „laatste woord‟ heeft met betrekking tot het al dan niet blijven beschikbaar stellen van een geüploade applicatie. Ontwikkelaars dienen verder rekening te houden met jaarlijkse kosten van $99. Deze developers fee geeft het recht om vijf applicaties per jaar te publiceren via WMM. Mocht er in één jaar tijd dit aantal worden overschreden, dan dient er $99 dollar per applicatie te worden betaald!59
55
Microsoft Corporation is een Amerikaanse computersoftwareproducent gevestigd in Redmond (Washington). 56 Zie voetnoot 32 57 http://www.langpop.com/ 58 http://developer.windowsphone.com/resources/en-us/MarketplaceProhibitedApplicationTypes.pdf 59 Zie voetnoot 36
26
5.4.
Conclusie
In deze paragraaf worden de mobiele ontwikkelplatformen benoemd die het beste hebben gescoord op ieder individueel onderzoekscriterium. Naar aanleiding van de onderzoeksresultaten kan er geconcludeerd worden dat op het onderzoekscriterium marktaandeel, het Symbian OS als beste scoort. Symbian heeft het hoogste percentage marktaandeel, zowel in 2008 als in 2009. Android OS scoort niet hoog op het criterium marktaandeel. Dit komt doordat het mobiele besturingssysteem vrij nieuw is. Wanneer er echter naar de groei wordt gekeken die het mobiele besturingssysteem heeft doorgemaakt is het duidelijk waaromAndroidOSexplicietindit onderdeel wordt genoemd. Het BlackBerry OS eindigt na het Symbian OS op een tweede plaats.Naar aanleiding van de onderzoeksresultaten kan er geconcludeerd worden dat op het onderzoekscriterium open source „gehalte‟, wederom het Symbian OS aangewezen moet worden als „winnaar‟. Voor het Symbian OS is het mogelijk om in de open source programmeertaal C++ te ontwikkelen. Ook bij dit onderdeel eindigt het Android OS naast het Symbian OS als populairst. Voor het Android OS is het mogelijk om in de open source programmeertaal Java te ontwikkelen. Naast de bovengenoemde twee mobiele besturingssystemen is het ook mogelijk om open source te ontwikkelen voor het Windows Mobile OS en voor het BlackBerry OS. Het verschil tussen de eerst genoemde twee ontwikkelplatformen (i.e. Symbian OS en Android OS) en de laatst genoemde twee ontwikkelplatformen (i.e. Windows Mobile OS en BlackBerry OS) is dat het Symbian OS en het Android OS zelf ook ontwikkeld zijn in respectievelijk de open source programmeertalen C++ en Java.Naar aanleiding van de onderzoeksresultaten kan er geconcludeerd worden dat op het onderzoekscriterium, aangeboden verkoopkanaal, wederom het Symbian OS de beste mogelijkheden biedt. Voor het Symbian OS worden er relatief weinig gratis applicaties ontwikkeld. Dit betekent dat Beeld en Geluid zich in eerste instantie kan profileren als een aanbieder van een gratis AR applicatie. Dit komt de populariteit van de applicatie ten goede. Daarnaast kan Beeld en Geluid op den duur een betaalde applicatie makkelijker distribueren, omdat er al een „user-base‟ is gecreëerd. Naast de applicatie ontwikkelmogelijkheden die het Symbian OS aanbiedt, is de populariteit onder ontwikkelaars ook een belangrijke graadmeter. Het Symbian OS eindigt na het iPhone OS en het Android OS als derde populairste mobiele platform om applicaties voor te ontwikkelen. Ook bij dit onderdeel eindigt het Android OS na het Symbian OS als populairst. Met betrekking tot het toelatingsbeleid en de ontwikkelaarskosten van mobiele applicaties stijgen het Android OS en het Symbian OS in positieve zin boven de overige ontwikkelplatformen uit. Respectievelijk geen toelatingsbeleid en een lage developers fee, en een soepel toelatingsbeleid en geen developers fee maken deze twee ontwikkelplatformen de beste keus op dit gebied.
5.5.
Aanbevelingen
In deze paragraaf wordt het uiteindelijke advies aan Beeld en Geluid aangegeven. Naast het advies, gebaseerd op de onderzoeksresultaten, worden de uiteindelijke keuzesen gevolgen voor de overige subonderzoeken nader uiteengezet. Deze paragraaf zal afgesloten worden met een aanbeveling tot een vervolgonderzoek die door Beeld en Geluid uitgevoerd kan worden. Naar aanleiding van de onderzoeksresultaten en de daaruit voortvloeiende conclusies wordt Beeld en Geluid geadviseerd om voor een toekomstige AR dienst te kiezen voor het Symbian OS én het Android OS.Bovenstaand advies is in eerste instantie gebaseerd op het feit dat de twee mobiele ontwikkelplatformen voldoen aan de eisen gesteld door Beeld en Geluid aan het open 27
source „gehalte‟. Daarnaast scoren beide ontwikkelplatformen op alle onderzoekscriteria bij elkaar genomen ruim voldoende.De overige mobiele ontwikkelplatformen vallen onder andere af, omdat de platformen niet voldoende „scoren‟ op alle onderzoekscriteria bij elkaar genomen.De keuze voor de mobiele ontwikkelplatformen Symbian OS en Android OS heeft een positieve samenhangmet de resultaten van het subonderzoek naar de multimediaformaten. Voor beide ontwikkelplatformen is het namelijk mogelijk om gebruik te maken van de formaten H.264 (video), AAC (audio) en JPEG (afbeeldingen).60Daarnaast hebben de best practices genoemd in het subonderzoek naar gelijksoortige applicaties een positieve samenhangmetde twee mobiele ontwikkelplatformen. Ontwikkelaars zijn namelijk in staat om bij beide ontwikkelplatformen gebruik te maken van de technieken OpenGL en OpenStreetMap.6162Tot slot bieden de twee mobiele ontwikkelplatformen mogelijkheden voor ontwikkelaars om gebruik te maken van de nieuwste plaatsbepalingtechniek (i.e. AGPS) en snel mobiel internet (i.e. 3G63).
5.6.
Vervolgonderzoek
Beeld en Geluid wordt aanbevolen om bij de uiteindelijke keuze voor het mobiele ontwikkelplatform, niet alleen bovenstaande resultaten en conclusies in overweging te nemen, maar ook gebruik te maken van een tweetal enquêtes, ontwikkeld door we2, welke de populariteit en bekendheid van de mobiele ontwikkelplatformen meten bij zowel de eindgebruikers als ontwikkelaars. Deze twee enquêtes zijn inhoudelijk al opgesteld en zijn terug te vinden in appendix C en D. Het sterke punt van deze enquêtes is dat Beeld en Geluid gerichter onderzoek kan uitvoeren in bijvoorbeeld een bepaald gebied, onder bepaalde omstandigheden of in een bepaald tijdsbestek.Daarnaast moet Beeld en Geluid rekening houden met opkomende technologieën, zoals nieuwe mobiele ontwikkelplatformen en nieuwe mobiele apparaten. Aangezien onderzoeken naar populariteit momentopnamen zijn is het verstandig de ontwikkelplatformen die nu minder gescoord hebben op dat vlak, niet op voorhand af te schrijven.Een drietal ontwikkelplatformen waar rekening mee moet worden gehouden door Beeld en Geluid zijn WebOS van HP/Palm, bada van Samsung en MeeGo van Intel. Dit subonderzoek is voornamelijk gericht op smartphones. Beeld en Geluid moet er echter rekening mee houden dat de mobiele ontwikkelplatformen ook op andere draagbare apparaten worden ondersteund.Hierbij gaat het voornamelijk om de eerder genoemde tablet-computers en smartbooks. we2 voorspelt dat deze apparaten net zo populair worden als de smartphones op dit moment al zijn.
60
http://developer.android.com/guide/appendix/media-formats.html http://sw.nokia.com/id/b64cafed-7e9a-4a69-a0e2875857cfe5ea/OpenGL_ES_API_And_3D_Graphics_On_Symbian_OS_en.pdf 62 http://developer.android.com/sdk/ndk/index.html 63 3e generatie mobiel netwerk, hieronder vallen o.a. UMTS en HSPA. 61
28
6. Mobiele multimediaformaten 6.1.
Inleiding
De te ontwikkelen AR applicatie van Beeld en Geluid omvat de interactie tussen de gebruiker met een mobiel apparaat en de database van het instituut dat het archief vormt met duizenden uren aan opgeslagen foto, audio en video materiaal. Deze applicatie moet in staat zijn deze multimedia te kunnen afspelen en/of weergeven. In dit hoofdstuk worden de multimediaformaten uitgewerkt die de afgelopen drie jaren veelvuldig zijn gebruikt in mobiele toepassingen. Het onderzoek richt zich op de audio-, video- en afbeeldingformaten. Hierbij staan de voor- en nadelen van de formaten centraal. Daarnaast worden de compatibiliteit met de meest gebruikte mobiele platformen en de licentie opties bekeken. Dit onderzoek wordt afgesloten met een aanbeveling welke multimediaformaten idealiter door Beeld en Geluid gebruikt kunnen worden in de ontwikkeling van haar Augmented Landmarks applicatie op de lange termijn.
6.2.
Onderzoeksresultaten
Voor het vaststellen van het meest geschikte formaat is per medium een selectie gemaakt van de meest gangbare en populaire formaten. De gangbaarheid wordt beoordeeld aan hand van de door smartphones ondersteunde formaten en het aantal programma‟s die in staat zijn om bestanden met het respectieve formaat te creëren. Verder speelt de bestandgrootte van de multimediaformaten een belangrijke rol. Multimediaformaten, die wel ondersteund worden, maar ongeschikt zijn vanwege een te hoge bestandsgrootte of missende compatibiliteit met de mobiele ontwikkelplatformen, worden in dit onderzoek niet meegenomen. 6.2.1. Audioformaten Audioformaten zijn in te delen in twee categorieën: verliesvrije audio formaten en de zogenaamde lossy audio formaten. Lossy is een data compressie methode die een betere compressieverhouding heeft dan verliesvrije formaten. Maar dit gaat, afhankelijk van het formaat, ten koste van de kwaliteit. Dit kwaliteitsverlies kan in principe worden verwaarloosd, omdat mobiele toestellen vaak niet over krachtige of kwalitatief hoogwaardige luidsprekers beschikken. AAC Advanced Audio Coding (AAC) is een van de tegenhangers van het MP3 formaat. Het maakt gebruik van lossy compressie. AAC heeft, in tegenstelling tot MP3, een betere geluidskwaliteit bij gelijke bitrates. AAC wordt intussen veel toegepast. Vele mobiele platformen zijn in staat om AAC bestanden af te spelen. De redenen voor het succes van het formaat is de hoge kwaliteit, het grote aantal toestellen dat het formaat ondersteund en het feit dat er geen licentie nodig is om AAC bestanden te creëren en te verspreiden64. Programma‟s om AAC bestanden te creëren zijn Audio transcoder65 of het freeware open source programma FAAC66 MP3 Het MP3 formaat is het meest bekende en toegepaste formaat om geluid op een ruimtesparende manier op te slaan en uit te wisselen. Een minuut geluid heeft ongeveer 64
http://www.vialicensing.com/Licensing/AAC_FAQ.cfm?faq=5#5 http://www.audio-transcoder.com/en 66 http://www.audiocoding.com/faac.html 65
29
de grote van één Megabyte. Dit is 11 maal kleiner dan de grote van een WAV of CD bestand. Dit wordt bereikt door het wegsnijden van frequenties die niet door mensen kunnen worden waargenomen. Bijna alle toestellen zijn instaat om MP3 af te spelen. Het gebruik van deze technologie is echter beperkt beschikbaar voor commerciële doeleinden. Het gebruik van dit formaat is vrij voor eindgebruikers, niet commerciële toepassingen en commerciële toepassingen met een winstoogmerk van minder dan $100.000.67 Er bestaat een groot aantal applicaties om MP3 bestanden te creëren. Dit zijn zowel commerciële applicaties als open source programma‟s, zoals Lame.68 Ogg-Vorbis Ogg-Vorbis is een vrij open source formaat, ontwikkeld om een vrije alternatief voor het MP3 formaat aan te bieden. Ogg-Vorbis biedt een betere kwaliteit dan het MP3 formaat.. Dit heeft te maken met het feit dat het niet door vele toestellen wordt ondersteund en het geen “Digital Rights Management” ondersteund. Tot nu wordt Ogg-Vorbis alleen door mobiele toestellen gebruikt die op het Android besturingssysteem werken. De meest gebruikelijk encoder is het free open source program AoTuV, te vinden op de XIPH wiki.69 WMA Audio Windows Media Audio is het audio formaat van Microsoft. Het maakt gebruik van lossy compressie en levert kleinere bestanden op van dezelfde kwaliteit in vergelijking met het MP3 formaat. WMA wordt ondersteund door Microsofts mobiele besturingssysteem en het BlackBerry besturingssysteem. Wanneer WMA bestanden met een valide versie van een Microsoft besturingssysteem gecreëerd worden is het niet noodzakelijk om een licentie te kopen.70 WMA bestanden kunnen met verschillende Microsoft programma‟s gecreëerd worden zoals Windows Media Player en Windows Movie Maker. Ook kunnen programma‟s zoals Real Player, Adobe Audition en Adobe Soundbooth gebruikt worden. AMR-NB Het Adaptive Multi-Rate audio codec formaat is bijzonder geschikt voor gesproken audio. Wanneer AMR voor andere geluiden, zoals muziek, gebruikt wordt gaat dit ten koste van de kwaliteit. AMR-NB wordt vaak gebruikt om gesproken audio op een mobiele telefoon op te slaan. BlackBerry en Android toestellen ondersteunen dit formaat. Het formaat is niet vrij te gebruiken, een dure licentie is nodig om AMR-NB encoders commercieel te gebruiken. 71 Een freeware open source encoder voor het creëren van AMR-NB bestanden is FFmpg72. Overzicht audioformaten De volgende tabel geeft een overzicht van de meest gebruikelijke audio formaten voor mobiele platformen. Hierbij is de aard van het formaat en de compatibiliteit met de platformen als beoordelingscriteria opgenomen.
67
http://mp3licensing.com/help/index.html http://lame.sourceforge.net 69 http://wiki.xiph.org/VorbisEncoders 70 http://www.microsoft.com/windows/windowsmedia/licensing/licensing.aspx 71 http://web.archive.org/web/20071014162342/http://www.voiceage.com/amr_faqs.php#3 72 http://ffmpeg.org/ 68
30
Formaat AAC MP3 OggVorbis
Vrij / Open Source Vrije distributie Nee Free Open Source
iPhone
73
74
Ja
Ja
Ja
Ja Nee
Ja Ja
Ja Nee
Ja Nee
Ja Nee
Nee
Ja
Ja
Ja
Ja
Ja
Nee
Ja
Vrije Nee distributie met Windows licentie AMR-NB Nee Nee Tabel 2. Overzicht audioformaten
BlackBerry
75
Windows 76 Mobile Nee
WMA Audio
Android
Symbian Ja
6.2.2. Videoformaten Op het gebied van videobestanden bestaan er weinig formaten die geschikt zijn voor mobiele telefoons die tegelijkertijd over een goede compressie verhouding en voldoende kwaliteit beschikken. Dit is belangrijk omdat de bandbreedte voor het mobiel internet beperkt is. Kleinere bestanden worden sneller binnengehaald op de mobiele telefoon van de gebruiker. Daarnaast wordt bij mobiel internet het verbruikte dataverkeer belast. Kleinere bestanden zijn daarom goedkoper voor de gebruikers. Bij het beschrijven van een videoformaat moet een onderscheid gemaakt worden tussen het videoformaat/containerformaat zelf, dat de opbouw van een bestand beschrijft, en de codec, die vastlegt hoe het bestand door een videospeler wordt gelezen. Het containerformaat bepaald ook of een video alleen door de speler geladen en afgespeeld wordt (streaming) of dat het ook als video opgeslagen kan worden. In dit onderzoek worden videoformaten, zoals Ogg Theora, die niet ondersteund worden door mobiele ontwikkelplatformen niet meegenomen. Een uitzondering hierop is het VP8 77 videoformaat van Google, welk op verzoek van Beeld en Geluid nader toegelicht wordt. MPEG 4 MPEG 4 is een verzameling van standaarden met verschillende onderdelen. Elke functie van het MPEG 4 formaat is in “Parts” beschreven. Het formaat kan zowel audio als video bevatten. De gebruikelijke codecs voor video‟s zijn in part 2 van de codec beschreven. Door de veelzijdigheid van MPEG 4, is het intussen ook een populaire standaard voor mobiele applicaties geworden. Voor mobiele applicaties worden voornamelijk de codecs MPEG-4 Part 2, H.263 en H.264 gebruikt, welke onderdeel van het MPEG4 formaat zijn. Het gebruikte containerformaat voor de verschillende technieken is vaak MP4, maar kan ook in andere formaten opgeslagen worden, bijvoorbeeld in het Apple 3GP container formaat. Het commercieel gebruiken van technologieën, die gebruik maken van deze standaarden is alleen toegestaan als de video‟s voor eindgebruikers vrij zijn. Indien er meer dan 100.000 video‟s door gebruikers worden bekeken, dan is er een licentie nodig
73
http://freeiphoner.com/iphone-audio-format/ http://developer.android.com/guide/appendix/media-formats.html 75 http://www.BlackBerryfaq.com/index.php/What_video_and_audio_formats_are_supported 76 http://msdn.microsoft.com/en-us/library/cc907934.aspx 74
77
http://www.on2.com/index.php?599
31
voor het verspreiden van deze video‟s.78 Een veel gebruikt open source programma voor het creëren van video‟s met mpeg4 part 2 codering is MEncoder79. H.263 H.263 is een videocodec, die voornamelijk voor videoconferenties was ontwikkeld. Vele applicaties en technologieën op het internet maken gebruik van deze codec, bijvoorbeeld YouTube en Adobe Flash. H.263 bestaat al sinds de jaren 90 en intussen is het een onderdeel van de MPEG4 standaard, en mag het door eigenaren van een MPEG4 licentie gebruikt worden. Voor het creëren van H.263 bestanden kan ook de MEncoder gebruikt worden. H.264 H.264 is de opvolger van H.263. Het is ontwikkeld om een betere compressie bij hogere kwaliteit te leveren dan de H.263 codecs. In tegenstelling tot de H.263 codecs, is H.264 in staat om ook een hogere resolutie te bieden. Licenties voor het gebruik van deze codecs zijn, zoals bij het H.264 formaat, een onderdeel van de MPEG4 licentie pool. Dit betekent dat het gebruik van H.264 zonder licentie alleen toegestaan is als de video‟s voor eindgebruikers vrij zijn. Anders zijn licenties voor het verspreiden van video‟s nodig, als er meer dan 100.000 video‟s door gebruikers bekeken worden80. Naast de MEncoder kan ook het open source programma X264 gebruikt worden om bestanden met een H.264 codering te creëren81. WMV Video Windows Media Video is het video formaat van Microsoft. De techniek lijkt op die van H.264. Het is mogelijk om video‟s met behulp van het.ASP containerformaat te streamen, voor het opslaan en verbreiden van WMV bestanden word de WMV container gebruikt. WMA wordt ondersteund door Microsoft‟s mobiele besturingssysteem en BlackBerry OS. Wanneer WMV bestanden met een valide versie van een Microsoft besturingssysteem gecreëerd worden, is het niet noodzakelijk om een licentie te kopen82. WMA bestanden kunnen met verschillende Microsoft programma‟s gecreëerd worden, onder anderen met Windows Media Player en Windows Movie Maker. Ook de Real Player kan voor het creëren van WMV bestanden gebruikt worden. VP8 VP8 is een videocodec ontwikkeld door het bedrijf on2 video. Dit bedrijf is in 2010 vervolgens door Google overgenomen83. Door innovatieve technieken toe te passen in de videocodec is het mogelijk om zeer kleine videobestanden te creëren. De videocodec is eind mei 2010 op de Google I/O Conference onder de open source BSD licentie 84 beschikbaar gesteld. Daarnaast heeft Google het WebM project gestart, waardoor de codec beschikbaar wordt gesteld aan geïnteresseerde ontwikkelaars85. De Free Software Foundation (verder: FSF), welke zich inzet voor open source programma‟s en standaarden, ziet de codec als open source alternatief voor de H.264 codec. 78
http://www.mpegla.com/main/programs/M4V/Pages/Agreement.aspx www.mplayerhq.hu 80 http://www.mpegla.com/main/programs/M4V/Pages/Agreement.aspx 81 http://www.videolan.org/developers/x264.html 82 http://www.microsoft.com/windows/windowsmedia/licensing/licensing.aspx 83 http://investor.google.com/releases/2010/0219.html 84 De BSD-licentie is een softwarelicentie voor opensourcesoftware. De naam komt van "Berkeley Software Distribution", software die zonder kosten werd gedistribueerd door de Universiteit van Californië - Berkeley. 85 http://www.webmproject.org/about/ 79
32
Aangezien er nog geen definitieve informatie beschikbaar is over de ondersteuning voor mobiele ontwikkelplatformen, wordt er in dit rapport verder niet verder op ingegaan. Overzicht videoformaten De volgende tabel geeft een overzicht van de meest gebruikelijke video formaten voor mobiele platformen. Hierbij is de aard van het formaat en de compatibiliteit met de platformen als beoordelingscriteria opgenomen. Formaat Codec MPEG 4 H.263 H.264 WMV Video
/
Vrij / Open Source Nee Nee Gedeeltelijk
iPhone Ja Nee Ja
Vrije distributie Nee met Windows licentie Tabel 3. Overzicht videoformaten
86
Android
87
BlackBerry
88
Ja Ja Ja
Ja Ja Nee
Windows 89 Mobile Ja Nee Nee
Nee
Ja
Ja
Symbian
Nee
Ja Ja Ja
6.2.3. Beeldformaten Afbeeldingen werden al vroeg gebruikt op digitale platformen. Daardoor bestaan er al lang een aantal standaarden, welke niet alleen wijdverbreid zijn, maar ook een goede kwaliteit bij een hoge compressie verhouding bieden. Omdat deze formaten al langer dan 20 jaar bestaan of als vrij alternatief ontwikkeld werden, kunnen alle in dit hoofdstuk beschreven formaten voor afbeeldingen vrij gebruikt en gedistribueerd worden. De in dit hoofdstuk genoemde beeldformaten worden door alle vijf de mobiele ontwikkelplatformen ondersteund.Naast de genoemde beeldformaten, bestaan er nog vele andere formaten, zoals TIFF of SVG. Deze overige formaten zijn echter niet geschikt voor mobiele ontwikkeling op grond van de bestandsgrootte en/of überhaupt ondersteuning voor het desbetreffende ontwikkelplatform. JPEG Het Joint Photographic Experts Group formaat wordt vaak gebruikt om beelden gecomprimeerd op te slaan. Door de compressie van afbeeldingen gaat afhankelijk van het kwaliteitsniveau (tussen 1 en 100) informatie verloren. Dit gaat ten koste van de kwaliteit. Het formaat is wijdverspreid en wordt door alle mobiele platformen ondersteund. Het levert optimale kwaliteit voor foto‟s en andere afbeeldingen. GIF Het Graphics Interchange Format is een niet gecomprimeerd formaat en wordt voor kleine bestanden gebruikt. Het aantal kleuren in een GIF-bestand is beperkt tot maximaal 256. Daarom is het minder geschikt voor hoogwaardige kwaliteit afbeeldingen. PNG Het Portable Network Graphics formaat is een van de opvolgers van het GIF formaat en is ontwikkeld omdat er problemen met licenties voor het gebruik van GIF bestonden. Ook nu het patent niet geldt, vormt het een goed alternatief voor het GIF formaat. Er is geen beperking meer tot 256 kleuren en afbeeldingen kunnen met hoge kwaliteit worden 86
http://www.apple.com/iphone/specs.html http://developer.android.com/guide/appendix/media-formats.html 88 http://www.BlackBerryfaq.com/index.php/What_video_and_audio_formats_are_supported 89 http://msdn.microsoft.com/en-us/library/cc907935.aspx 87
33
weergegeven. In tegenstelling tot het JPEG formaat is het alleen geschikt voor afbeeldingen met een lage resolutie. Dit heeft te maken met de manier waarop de beeldinformatie wordt opgeslagen. Als er vele punten met dezelfde kleur naast elkaar liggen, zo als het typisch is bijvoorbeeld voor vlaggen, worden deze gezamenlijk opgeslagen. Een logo heeft bijvoorbeeld sommige velden met verschillende kleuren, terwijl een afbeelding van een monument duizenden kleine verschillende gebieden met die kleur bevat, die alle zonder vorm van compressie opgeslagen moeten worden. Hoewel de kwaliteit beter is dan bij JPEG bestanden, heeft dit ook een nadelig effect op de bestandsgrootte. Overzicht formaten voor afbeeldingen De volgende tabel geeft een overzicht van de meest gebruikelijke afbeeldingformaten voor mobiele platformen. Hierbij is de aard van het formaat en de compatibiliteit met de platformen als beoordelingscriteria opgenomen. Formaat Codec JPEG GIF PNG
/
Vrij / Open Source Vrij Vrij Vrij
iPhone
Ja Ja Ja
90
Android
Ja Ja Ja
91
BlackBerry
Ja Ja Nee
92
Windows 93 Mobile
Symbian
Ja Nee Nee
Ja Ja Ja
Tabel 4. Overzicht afbeeldingenformaten
6.3.
Conclusie
Beeld en Geluid heeft de voorkeur voor open standaarden wanneer het aankomt op de multimediaformaten. Uit de onderzoeksresultaten van dit hoofdstuk is echter gebleken dat de keus voor mobiele ontwikkelplatformen erg beperkt is. Hier is in het onderzoek rekening mee gehouden door ook gelicenseerde formaten te onderzoeken. Naast het criterium open source is er in het onderzoek ook rekening gehouden met de manier van gebruik van de multimediaformaten en de programma‟s waarmee de multimediaformaten omgezet kunnen worden. Ook bij deze programma‟s ligt de focus op open source gebruik. Het audioformaat MP3 wordt op alle vijf de onderzochte mobiele ontwikkelplatformen ondersteund. Hetenige open standaard audioformaat is echter OggVorbis. Daarnaast is AAC geen open standaard, maar mag het audioformaat wel vrij verspreid worden. Hierbij moet rekening worden gehouden met licentiekosten wanneer Beeld en Geluid een eigen implementatie van een audiospeler wil realiseren. Met betrekking tot de videoformaten is er geen open formaat die compatibel is met de mobiele ontwikkelplatformen. Een aantal videoformaten mag wel zonder licentiekosten gebruikt worden, mits de winst niet boven een bepaalde grens uitkomt. Bij afbeeldingsformaten hoeft er geen rekening te worden gehouden met licentiekosten voor het gebruik ervan.
90
http://developer.apple.com/iphone/library/documentation/iPhone/Conceptual/iPhoneOSProgrammingG uide/GraphicsandDrawing/GraphicsandDrawing.html 91 http://developer.android.com/guide/appendix/media-formats.html 92 http://www.BlackBerrytips.net/tips.php?filename=Supported_Image_Formats 93 http://msdn.microsoft.com/en-us/library/cc907931.aspx
34
6.4.
Aanbevelingen
Door beperkende factoren die voortvloeien uit de structuur van de software van het mobiele besturingssysteem is de keus op het gebied van audioformaten voor mobiele platformen beperkt. Specifiek voor het Android platform is de beste keuze Ogg-Vorbis. Het is open source en biedt goede kwaliteit in combinatie met een lage bestandsgrootte. Voor andere platformen is AAC het meest geschikte formaat. Het mag vrij gedistribueerd worden, maar een grote beperking is dat de bestanden met behulp van het interne afspeelprogramma van de toestellen moet worden afgespeeld. Redenen hiervoor zijn licentiekosten, die nodig zijn om een decoder/player te ontwikkelen. Wanneer WMV ondersteund zou worden door meerdere platformen, is dit een zeer geschikt videoformaat. Indien de bestanden worden gecreëerd op een computer met een geldige Windows licentie dan zijn daar geen kosten aan verbonden. Het H.264 formaat is gedeeltelijkopen source en wordt door meerdere ontwikkelplatformen ondersteund. Met behulp van open source software kunnen H.264 bestanden gecreëerd worden. Zolang het ter beschikking gestelde videomateriaal voor eindgebruikers vrij is, is er geen licentie nodig. Beeld en Geluid wordt geadviseerd om het VP8 videoformaat in de toekomst nauwlettend in de gaten te houden. Tot slot wordt voor afbeeldingen het JPEG formaat geadviseerd, omdat het optimale compressie met voldoende kwaliteit biedt voor mobiele applicaties.
35
7. Mobiele Augmented Reality applicaties 7.1.
Inleiding
Dit hoofdstuk beschrijft het onderzoek naar mobiele AR applicaties van zowel Nederlandse als buitenlandse aanbieders. De focus van dit subonderzoek ligt op het in kaart brengen van mobiele AR applicaties en de best practices binnen mobiele AR applicaties. Augmented Reality is het aanbrengen van een laag digitale informatie aan de echte wereld. Deze laag wordt op de werkelijkheid geprojecteerd. AR brengt de gebruiker een interactieve belevenis waarbij de beleving gericht is op het aanvullen van de echte wereld (Höllerer & Feiner, 2004) 94 .Allereerst wordt de huidige situatie van Beeld en Geluid beschreven. Vervolgens worden er vijf onderzoeksresultaten van de onderzochte applicaties beschreven. Op basis van de onderzoeksresultatenis er een conclusie gevormd. De gebruikte afbeeldingen zijn in appendix B van dit adviesrapport opgenomen.
7.2.
Huidige situatie
Beeld en Geluid is op dit moment bezig met de ontwikkeling van een AR applicatie welke beschikbaar wordt gesteld voor de Apple iPhone. De applicatie wordt ontworpen en gerealiseerd in samenwerking met het Utrechtse bedrijf „one shoe‟, welke gespecialiseerd is in open source ICT web development, Drupal CMS implementaties, marketingcommunicatie en mobiele marketing95. De core functie van de AR applicatie is om op basis van GPS technologie monumenten in de buurt weer te geven. Hierbij wordt er over de werkelijke weergave van de camera, een laag met digitale informatie geprojecteerd.96
7.3.
Onderzoeksresultaten
In deze paragraaf wordt een select aantal vergelijkbare AR applicaties onder de loep genomen. Het doel van deze paragraaf is om een set van best practices te beschrijven waar Beeld en Geluid op langere termijn rekening mee moet houden. De applicaties zijn gekozen op basis van populariteit in gebruik (aantal downloads), op basis van „gelijksoortigheid‟ (zelfde functionaliteit als AR applicatie van Beeld en Geluid), komen zowel uit het binnen- als uit het buitenland, zijn gratis of betaald en werken op verschillende mobiele ontwikkelplatformen. De resultaten van dit onderzoek zijn gebaseerd op eigen onderzoek uitgevoerd door we2. Daarnaast wordt op verzoek van Beeld en Geluid een extra AR applicatie onderzocht. Er is voor deze aanpak gekozen, omdat de reeds aanwezige onderzoeken op het gebied van AR applicaties voornamelijk gepubliceerd zijn door partijen die de applicaties zelf ontwikkeld hebben. Dit verlaagt de betrouwbaarheid van de resultaten. Daarnaast worden updates voor mobiele applicaties vaak beschikbaar gesteld waardoor AR applicatie reviews op het internet niet meer recent zijn en minder relevant zijn. Voor dit onderzoek zijn er twee testtoestellen gebruikt, namelijk de: iPhone 3GS en HTC Hero. Beide toestellen zijn onder andere voorzien van: A-GPS, digitale kompas en 3G mobielinternet (voor een stabiele dataverbinding).
94
Höllerer T.H. & Feiner, S.K. (2004). Mobile Augmented Reality. Telegeoinformatics: Location-Based Computing and Services. 95 http://www.oneshoe.nl/ 96 Zie afbeelding 2, 5 en 8, appendix
36
7.3.1. Layar Op 17 juni 2009 werd de eerste Nederlandse AR browser, Layar, door Layar B.V. ontwikkeld. Bij de lancering, waarbij nauw samengewerkt is met Funda, Hyves, Tempo Team en ING97, was Layar in eerste instantie alleen beschikbaar voor toestellen met het Android OS (i.e. HTC G1 en HTC Magic). Kort na de lancering werd de applicatie via Apple‟s iTunes App Store ook beschikbaar gesteld voor het iPhone OS. Deze applicatie werd echter vanwege vele crashes, kritiek en een lage klanttevredenheid, uit de iTunes App Store gehaald. Layar B.V. kwam in februari 2010 met een „relaunch‟ van de applicatie. Om gebruik te kunnen maken van de applicatie moet de iPhone voorzien zijn van een camera, interne (A-)GPS ontvanger en een onbeperkte data (internet)connectie. Op dit moment is het bedrijf ook bezig met een Symbian versie van de Layar applicatie en verwacht deze dit jaar nog te lanceren. Dit betekent dat de applicatie dan ook beschikbaar zal zijn voor onder andere Nokia en Sony Ericsson toestellen. Layar B.V. zegt ook bezig te zijn met een Layar applicatie voor BlackBerry- en Windows Mobile toestellen98. Werking De gebruiker kan, bij het opstarten van de applicatie, via vijf verschillende categorieën „layars‟ zoeken. Deze vijf categorieën zijn: „Favorieten‟, „Lokaal‟, „Aanbevolen‟, „Populair‟ en „Zoeken‟ 99 . Wanneer er een layar is gekozen, wordt er informatie van de desbetreffende layar op het scherm getoond. Afbeelding 2 in appendix B geeft een weergave van de live view in Layar. Indien het toestel van de gebruiker niet voorzien is van een ingebouwd kompas, dan geeft Layar ook de mogelijkheid om de resultaten in een kaart te bekijken 100 .De kracht van Layar is het open platform waar het op is gebaseerd. Layars kunnen gratis worden gemaakt met een developerkit welke gratis door Layar wordt aangeboden. Dit wordt stap voor stap uitgelegd op de website van Layar. Er is duidelijk te zien dat er vraag is naar zo veel mogelijk verschillende soorten layars. Op 16 oktober 2009 bestond de layer bibliotheek namelijk uit 162 layers. Vandaag de dag bevat deze bibliotheek maar liefst meer dan 300 layers, die zowel door particulieren als door bedrijven worden gemaakt. Sterke punten
Layar beschikt over meer dan 300 „lagen‟ met interessante informatie. Sterke naamsbekendheid Layar applicatie. Layar is een open platform. Geïnteresseerden kunnen gratis een layar maken/toevoegen. Wereldwijd aanbod van Layar. Layar biedt ook lagen aan die bijvoorbeeld alleen in New York gebruikt kunnen worden (i.e. Layar: WTC). Layar B.V. blijft ontwikkelen. Applicaties voor andere platformen (Symbian, BlackBerry, Windows Mobile) zijn op dit moment in ontwikkeling.
Zwakke punten
Geen mogelijkheid om meerdere layars te gelijk weer te geven. Zo is het alleen maar mogelijk om per view informatie te zien uit één layar.
97
http://www.trouw.nl/nieuws/economie/article2840042.ece/Mobiele_Layar-dienst_grote_hit___.html http://layar.com/download/faq/ 99 Zie afbeelding 1, appendix 100 Zie afbeelding 3, appendix 98
37
Informatie en omschrijvingen zijn zowel in het Engels als in het Nederlands waardoor er geen consistentie in taalgebruik wordt gecreëerd. Geen garantie voor uniformiteit van lagen. Ontwikkelaars zijn vrij in het ontwikkelen. Geen garantie van kwaliteit van de informatie.
7.3.2. Acrossair AR Browser Het Amerikaanse bedrijf Acrossair heeft zich gespecialiseerd in het aanbieden van informatie door gebruik te maken van AR. Op het moment van schrijven worden er in totaal achttien iPhone applicaties aangeboden door Acrossair. Een groot deel hiervan zijn AR applicaties welke bijvoorbeeld gebruikt kunnen worden voor het vinden van metrostations in verschillende grote steden, zoals Madrid en Parijs. Deze subparagraaf focust zich op de applicatie Acrossair AR Browser. Eind december 2009 werd de AR Browser applicatie door Acrossair gelanceerd. Deze applicatie werd bij de lancering bestempeld als de concurrent van Layar. De werking van Acrossair AR Browser is te vergelijken met die van Layar. Werking Bij het opstarten van Acrossair krijgt de gebruiker een lijst te zien met „contents‟. Een aantal beschikbare contents zijn: Foto‟s, Bars, Cafés, Banken maar ook „nearest wiki‟ (zoekt informatie vanuit wikipedia) en „nearest tweets‟ (zoekt naar Twitter berichten in de omgeving van de gebruiker) 101 .De informatie welke Acrossair gebruikt komt vanuit verschillende bronnen 102 . Zo is het mogelijk om via maar liefst vier zoekmachines (Google, Yelp, Qype en Bing) de bioscopen in de buurt op te vragen. Bij de selectie van Google voor het zoeken naar bioscopen, wordt echter niet de juiste resultaten getoond. Zo is volgens Google “Nico van der Laan Fotowinkel” een bioscoop.Foto informatie komt uit de geolocatie georiënteerde foto database Panoramio103 en uit Flickr, video‟s vanuit Youtube en tekstuele informatie vanuit Wikipedia.Acrossair AR Browser maakt gebruik van de Open Graphics Library (verder: OpenGL). Door het gebruik van OpenGL voelt de „gebruikerservaring‟ van Acrossair veel soepeler aan vergeleken met de andere AR applicaties, omdat bij bewegingen met het toestel tijdens de live view, digitale informatie sneller mee beweegt en informatie sneller wordt geladen vergeleken met de overige AR applicaties. De OpenGL standaard wordt ook veel toegepast bij 3D games. Acrossair biedt de gebruikers echter nietde mogelijkheid om zelf content toe te voegen. Geïnteresseerden kunnen hiervoor bij Acrossair terecht. Sterke punten
Uniformiteit van categorieën, omdat Acrossair zelf de ontwikkeling van de categorieën uitvoert. Gebruik van de open standaard, OpenGL 104 . Hierdoor „beweegt‟ de digitale grafische informatie veel beter met het toestel mee. De core business van Acrossair ligt bij iPhone applicaties, hierdoor wordt er binnen de organisatie meer ervaring op gedaan op het gebied van ontwikkeling van iPhone applicaties wat uiteindelijk resulteert in stabielere applicaties. Koppeling met online sociale netwerken (i.e. Twitter en Facebook).
101
Zie afbeelding 6, appendix Zie afbeelding 4, appendix 103 http://www.panoramio.com/ 104 Zie afbeelding 5, appendix 102
38
Zwakke punten
Alleen beschikbaar voor de iPhone 3GS. Onnauwkeurigheid van informatie vanuit zoekmachines (zoals het bioscoop voorbeeld). Gebruikers/geïnteresseerden hebben niet de mogelijkheid om zelf content toe te voegen.
7.3.3. Wikitude World Browser Wikitude is een mobiele AR Browser, ontwikkeld door Mobilizy GmbH te Salzburg, welke gebaseerd is op een aantal content providers en gebruiker gegenereerde content. Wikitude kwam eind 2008 als eerste met een AR browser. Deze browser werkte in het begin alleen op de Android G1, maar in de loop van de tijd is de applicatie ook beschikbaar gesteld voor meerdere toestellen en mobiele ontwikkelplatformen. Werking Wikitude heeft de techniek van Augmented Reality Markup Language (verder: ARML) toegepast, welke een open standaard is voor AR browsers, die Points of Interests (verder: POIs) weergeeft. POIs zijn „landmark‟ punten waar gebruikers interesse in hebben. Bij het opstarten van de applicatie wordt allereerst de GPS-locatie van de gebruiker bepaald. Aan de hand van deze gegevens worden verschillende informatie bronnen weergegeven (o.a. Booking.com, Qype, Flickr, Hertz Car Rental) 105. Achter de bronnaam geeft Wikitude direct het aantal resultaten weer, zoals: Wikipedia(1) en Flickr(33). Dit betekent dat Wikitude maar één Wikipedia resultaat heeft gevonden in de omgeving van de gebruiker en voor Flickr content 33 resultaten.De gebruiker krijgt vanuit verschillende bronnen informatie te zien wanneer deze een selectie heeft gemaakt van meerdere bronnen 106 . Ook in Wikitude heeft de gebruiker de mogelijkheid om de informatie in verschillende views te bekijken.Wikitude geeft gebruikers ook de optie om zelf content toe te voegen. De volgende opsomming omschrijft twee manier voor het toevoegen van content:
Gebruikers kunnen een favoriete „spot‟ geo-taggen. Door in te loggen met een Twitter, Yahoo, Google of Facebook account kunnen gebruikers hun eigen POIs lijst updaten. Gebruikers of bedrijven met een groot aantal POIs, met bijvoorbeeld informatie over bepaalde gebouwen, kunnen door middel van de KML 107 of ARML standaarden POIs uploaden.
Sterke punten
Weergave van meerdere informatie bronnen tegelijk is mogelijk. De gebruiker hoeft niet steeds „terug‟ te gaan om andere content te kiezen. Duidelijk overzicht van de resultaten. Biedt geïnteresseerde gebruikers, zowel particuliere als zakelijke, de mogelijkheid om content toe te voegen. Applicatie is beschikbaar voor meerdere platformen (iPhone OS, Android OS en Symbian OS).
105
Zie afbeelding 7, appendix Zie afbeelding 9, appendix 107 Keyhole Markup Language is een indeling voor XML-syntaxis en -bestanden voor het modelleren en opslaan van geografische kenmerken zoals punten, lijnen, beelden, polygonen en modellen die kunnen worden weergegeven in Google Earth, Google Maps en andere toepassingen. 106
39
Koppeling met sociale netwerken. Beschikbaarheid van de Wikitude API.
Zwakke punten
Wikitude geeft maximaal 50 POIs weer. Beperkt aanbod van content waardoor er weinig resultaten op basis van de GPSlocatie gegenereerd kan worden. In de live view worden de pictogrammen van POIs weergegeven108 en niet direct de informatie zoals bijvoorbeeld bij de AR applicatie van Acrossair. Hierdoor moet de gebruiker een extra handeling uitvoeren om de informatie op te vragen.
7.3.4. Nulaz AR Browser Nulaz AR Browser is ontwikkeld door Nederlandse ontwikkelaars en focust zich op AR in sociale netwerken. Met deze applicatie is het mogelijk om vrienden op de voet te volgen middels AR technieken. Daarnaast is het mogelijk om te bekijken of er interessante activiteiten in de buurt van de gebruiker plaatsvinden. Doordat de applicatie onder AR valt, maar zich daar niet op richt, heeft het nadelige gevolgen voor het gebruik van de applicatie. De applicatie is voornamelijk gericht op sociale netwerken. Hierdoor wordt de indruk gewekt dat AR meer als een extra mogelijkheid gezien moet worden. Werking Bij het opstarten van de applicatie krijgt de gebruiker de optie om in te loggen, te registeren of de applicatie uit te proberen. Onduidelijk is waarvoor de gebruiker zich dient te registeren. Wanneer de gebruiker selecteert voor de „try‟ versie, krijgt hij/zij een kaart te zien met allerlei onduidelijke pictogrammen. Opvallend is dat Nulaz gebruik maakt van een andere kaart dan Google Maps. Nulaz gebruikt namelijk OpenStreetMap. Dit open platform is een Nederlands initiatief met als doel om landkaarten vrij beschikbaar en bewerkbaar te maken109. Vervolgens wordt direct een kaart getoond van de locatie van de gebruiker. Op de kaart staan verschillende informatiebronnen die de gebruiker informatie geeft over bijvoorbeeld restaurants of evenementen in de buurt. Nulaz noemt de verschillende content providers “Items”. Ook deze applicatie geeft de gebruiker de mogelijkheid om meerdere content tegelijk te selecteren. Een aantal content providers waar Nulaz gebruik van maakt zijn: Uitbureau uitgids, Ididid, Iens Restaurant Guide en Last.fm events. Nulaz biedt de gebruiker vijf soorten content informatie aan. Hieronder worden vier categorieën (de vijfde heet „Other‟ en is minder van belang) kort beschreven:
108 109
User content(4) – De gebruiker heeft ook de mogelijkheid om direct eigen content in te stellen. Met eigen content wordt bedoeld: Persoonlijke contacten, favoriete locaties, online contacten uit de contacten lijst en publieke locaties. Going out(12) – Content providers welke informatie aanbieden die betrekking hebben tot uitgaan. Enkele bedrijfsnamen die hierin voorkomen zijn Uitbureau uitgids, Burger King, Iens Restaurant Guide en McDonalds. Shopping(4) – Winkel informatie en kortingen welke wordt geleverd door NLstreets shops, NLstreets kortingen, Q Pon Korting en Karstadt. Local info(3) – Lokale informatie kan worden opgevraagd. De belangrijkste content provider binnen deze categorie is Wikipedia.
Zie afbeelding 8, appendix http://www.openstreetmap.nl/
40
De applicatie van Nulaz richt zich op veel verschillende gebieden, maar voornamelijk op sociale netwerk functies, zoals het op een kaart kunnen zien waar vrienden zich bevinden (zoals Google Latitude) 110 . Het doel van Nulaz is om gebruikers dichter bij elkaar te brengen. Zo heeft de applicatie ook een koppeling met Facebook en is het eenvoudig om contacten vanuit Gmail, Hyves, Hotmail en Yahoo te importeren. Sterke punten
De gebruiker heeft de mogelijkheid om gebruik te maken van meerdere content categorieën tegelijk111. Online sociaal netwerkplatform. Applicatie is beschikbaar voor veel mobiele toestellen (o.a. Nokia, Samsung, iPhone, LG, Sagem en Sanyo)
Zwakke punten
Te weinig content providers (20 in totaal, waarbij een klein deel niet in Nederland te gebruiken is). Applicatie is niet gratis. Nulaz gebruikt logo‟s van content providers om informatie weer te geven. Een aantal heeft echter een rood logo, waardoor er enige verwarring kan ontstaan112. Onduidelijk welke richting de gebruiker moet lopen, omdat de weergegeven informatie bijna over het hele scherm wordt getoond.
7.3.5. Open Gamaray Op verzoek van Beeld en Geluid een vijfde mobiele AR applicatie onderzocht. Open Gamaray, een open source AR cliënt/server applicatie voor het Android OS heeft een kort hoogtepunt gehad in de periode van augustus 2009 tot en met oktober 2009. Doordat er weinig over de ontwikkeling wordt gepubliceerd is er geen tot weinig informatie beschikbaar over dit open source project. Open Gamaray is een op Java en XML113 gebaseerde AR applicatie die op dit moment niet meer actief in ontwikkeling is. De voormalige initiatiefnemer van Open Gamaray noemt in een bericht gedateerd uit oktober 2009, een aantal belangrijke aspecten met betrekking tot niet voortzetten van de ontwikkeling van Open Gamary. Deze aspecten die uiteenlopen vanhet niet gebruiken van de OpenGL standaard, tot de onoverzichtelijkheid van de broncode leiden indirect naar het verlangen van de initiatiefnemer om het project door derden over te laten nemen. Sinds deze gebeurtenis heeft er echter een „informatiestop‟ plaatsgevonden met betrekking tot Open Gamaray. Zo stamt het laatste Twitter bericht over Open Gamaray uit 29 oktober 2009 114 en is er op de Gamaray discussieforum sinds oktober 2009 geen bericht meer geplaatst. Doordat het project inmiddels is gestopt115 en er daardoor weinig informatie over dit project beschikbaar is, wordt er niet dieper op deze applicatie ingegaan.
110
Zie afbeelding 11, appendix Zie afbeelding 10, appendix 112 Zie afbeelding 12, appendix 113 Extensible Markup Language (XML) is een standaard van het World Wide Web Consortium voor de syntaxis van formele markuptalen waarmee men gestructureerde gegevens kan weergeven in de vorm van platte tekst. 114 http://Twitter.com/OpenGamaray/ 115 http://www.gamaray.com/index.html 111
41
Sterke punten
Gamaray is open source. De broncode is via het internet voor iedereen beschikbaar116.
Zwakke punten
7.4.
Geen actieve ontwikkeling. Weinig ondersteuning vanuit initiatiefnemer, omdat er weinig ontwikkelaars geïnteresseerd in zijn. Wordt niet aangeboden via de softwarewinkel Android Market. Gebruikersvriendelijk van de applicatie laat te wensen over. Veel onduidelijkheden en sporen van een niet afgeronde ontwikkeling tijdens het gebruik van de applicatie.
Conclusie
Beeld en Geluid ontwikkelt op dit moment een AR iPhone applicatie om haar Nationaal Archief met geïnteresseerden te delen. Hierbij gaat het om het opvragen van informatie van een bepaald monument of aan een bepaalde gebeurtenis op een bepaald plein. De informatie wordt digitaal op de mobiele telefoon van de gebruiker gepresenteerd. Om een volledig beeld te vormen van de mogelijkheden van een AR applicatie zijn in dit subonderzoek vergelijkbare AR applicaties onderzocht. De nadruk hierbij lag op de best practices van de applicaties. Van de vijf meest populaire applicaties in de markt kan concluderend gesteld worden dat alleen een combinatie van de best practices van de applicaties, de ideale AR applicatie zou vormen. De vijf onderzochte applicaties bieden alle vijf afzonderlijk krachtige functionaliteiten. De best practicesvan de vier eerste applicaties worden in de volgende paragraaf op prioriteit benoemd. Beeld en Geluid wordt geadviseerd om in de ontwikkeling van haar AR applicatie voor de lange termijn deze best practices te integreren. Het toevoegen van een geheel nieuw sociaal netwerk (i.e. Nulaz) aan een AR applicatie is wellicht een interessante functie. Hiervoor dienen gebruikers zich echter te registeren. Dit verhoogt de drempel voor gebruikers om de applicatie te gebruiken en gaat tevens ten koste van de overzichtelijkheid van de AR applicatie. Beeld en Geluid wordt geadviseerd om zich in haar AR applicatie alleen te richten op Augmented Landmarks functionaliteit.
7.5.
Aanbevelingen
De applicaties zijn kritisch onderzocht op gebruikersvriendelijkheid, snelheid, gebruik en content aanbod, waarbij er voor elke applicatie een beschrijving van de werking is beschreven. Verder zijn zowel de sterke, als de zwakke punten van de applicaties opgesomd. Een set van alle sterke punten van de vier onderzochte applicaties vormt de best practices voor AR applicaties. Beeld en Geluid wordt geadviseerd om de mogelijkheden van de vijfde AR applicatie, Open Gamaray, verder niet mee te nemen in toekomstige ontwikkelingen. De best practicesvan de vier eerder genoemde applicaties zijn als volgt te definiëren en zijn op basis van prioriteit opgesomd: 1. Belangrijk bij AR applicaties is dat informatie juist en accuraat wordt getoond, waarbij content van verschillende providers kan worden weergegeven. 116
http://sourceforge.net/projects/opengamaray/
42
2. Geïnteresseerden de mogelijkheid geven om bij voorkeur via het open platform ARML bestanden content toe te voegen. Hierdoor wordt het voor particulieren en instellingen makkelijker om hun collecties aan Beeld en Geluid „toe te vertrouwen‟. 3. Duidelijke categorisatie maken van verschillende content, waarbij de gebruiker een breed scala aan content wordt aangeboden. 4. Gebruik maken van het open platform OpenStreetMap. 5. Voor het vloeiend en mooi weergeven van informatie op het beeldscherm, wanneer de applicatie zich in de live view bevindt, is OpenGL een goede keus om POIs weer te geven. Beeld en Geluid dient bij de ontwikkeling van de AR applicatie rekening te houden met de zojuist genoemde best practices. Een goed werkende AR applicatie is minimaal voorzien van de eerste drie best practices. De overige twee voldoen aan de eisen van Beeld en Geluid die zij stelt voor de AR applicatie, namelijk het gebruik van open source oplossingen.
7.6.
Content toevoegen aan bestaande AR applicaties
Op verzoek van Beeld en Geluid is er extra onderzoek gedaan naar de stappen die genomen moeten worden om content toe te voegen aan bestaande AR applicaties. Het doel van dit onderzoek is een advies uitbrengen of het voor Beeld en Geluid interessant is om als content provider te fungeren. Van de vijf onderzochte AR applicaties, zijn Wikitude, Layar en Acrossair het meest interessant. Wat betreft Open Gamaray en Nulaz, is er geen informatie te vinden over het toevoegen van content aan de AR applicatie. Ook het opnemen van contact met de ontwikkelaar van Open Gamaray heeft helaas niet tot een resultaat geleid. Het resultaat van het onderzoek naar de te nemen stappen voor het toevoegen van content, wordt hieronder beschreven. Acrossair Aangezien er geen digitale informatie over het toevoegen van content aan de Acrossair AR browser beschikbaar is gesteld, is het toch mogelijk geweest om, na enkele e-mail wisselingen met Acrossair, een globale omschrijving te geven van de te nemen stappen. Acrossair werkt met verschillende standaarden zoals GeoRSS, KML, Atom en CSV. De eerste drie genoemde formaten kunnen in één XML bestand gebruikt worden. Acrossair biedt drie manieren voor het toevoegen van content. De eerste manier is het beschikbaar stellen van de data via een URL, zoals http://www.mijnurl.nl/mijngeodata.xml. De gebruiker kan deze URL via de applicatie opgeven om er vervolgens gebruik van te maken. De tweede optie is het leveren van de data aan Acrossair. De data wordt gecontroleerd en getest door Acrossair. Na goedkeurig van Acrossair zal de data voor alle gebruikers van de applicatie beschikbaar worden gesteld. Ook aan dit proces zijn geen kosten verbonden. Wanneer de gebruiker voor de derde manier kiest, dan wordt er ook ondersteuning aangeboden. Onduidelijk is om wat voor soort ondersteuning er wordt geleverd. Het bedrag wat hiervoor betaald moet worden hangt af van de categorie van de data en van de mate van de ondersteuning. De kosten hiervoor kunnen variëren van £1000 per jaar tot £2000 per maand. Om een beeld te geven van het XML bestand ten behoeve van POIs, worden hieronder een aantal voorbeelden gegeven van de structuur van het XML bestand.
43
Informatie tags:
… … …
Tags voor het aangeven van de geolocation voor een POI:
… , and
… … , and
… latitude longitude latitude longitude longitude latitude
Ook is het mogelijk om data aan te leveren volgens het CSV formaat. De tabellen dienen dan de volgende structuur te hebben:
De naam van elke POI in de eerste kolom De latitude van elke POI in de tweede kolom De longitude van elke POI in de derde kolom.
Wikitude Wikitude biedt drie mogelijkheden117 voor het toevoegen van content aan de AR browser. Hierbij wordt de gebruiker niet gevraagd om een nieuw account aan te maken, maar kan er gebruik gemaakt worden van een bestaand Facebook, Twitter, Yahoo of Google account. De „Worlds‟ in Wikitude kunnen handmatig worden toegevoegd op basis van POIs118. Een tweede manier is interessant als het gaat om meerdere POIs. POIs moeten middels de ARML/KML standaard worden beschreven in een XML bestand waarna deze kan worden geupload. Ook geeft Wikitude de gebruiker de mogelijkheid om informatie toe te voegen aan een bestaande POI. Wikitude 4 is de eerste AR browser dat content ontwikkelaars de mogelijkheid biedt om middels ARML content toe te voegen. ARML kan gezien worden als een subset van KML. KML wordt onder anderen ook door Acrossair gebruikt. Het document, oftewel de POIs, moet een XML extensie hebben. Het onderstaande voorbeeld dient ter verheldering van het bovenstaande: <ar:provider id="mountain-tours-I-love.com"> <ar:name>Mountain Tours I Love <ar:description>My preferred mountain tours in the alps. Summer and Winter. <wikitude:providerUrl>http://www.providerhomepage.com <wikitude:tags>travel, hiking, skiing, mountains <wikitude:logo>http://www.mountain-tours-I-love.com/wikitude-logo.png <wikitude:icon>http://www.mountain-tours-I-love.com/wikitude-icon.png
117
http://www.wikitude.me/ Zie afbeelding 16, appendix B
118
44
Layar Layar is een interessant platform waar content providers informatie beschikbaar kunnen stellen voor geïnteresseerden. Verschillende websites119 leggen stap voor stap uit hoe men content kan toevoegen. Hieronder worden de stappen op volgorde beschreven: 1. Allereerst moet er een sleutel worden aangevraagd120 om toegang te krijgen tot de ontwikkelaarspagina. Voor de aanvraag dienen er enkele gegevens te worden ingevuld. Nadat deze taak voltooid is, krijgt de aanvrager binnen twee dagen een sleutel per e-mail toegestuurd. 2. Het ontwikkelen van de layers. Hier kan men gebruik maken van de Layar Development Discussion Group. Hier hebben ontwikkelaars een aantal open source tools ontwikkeld die het maken van layers makkelijker maakt. 3. Publiceren en promoten. De gebruiker dient hier, naast het account van stap 1, nog een account aan te maken. Na het publiceren worden ontwikkelaars geadviseerd om de applicatie te promoten via YouTube. 4. Layar moedigt gebruikers aan om ook voor andere bedrijven en geïnteresseerden tegen betaling layers te ontwikkelen. Hierdoor wordt het aanbod content data vergroot. Advies met betrekking tot content providers Naar aanleiding van bovenstaande resultaten is het duidelijk zichtbaar dat de twee meest populaire AR applicaties, Wikitude en Layar, een overzichtelijke en duidelijke stap voor stap beschrijving aanbieden voor het toevoegen van content aan haar AR applicaties. De stappen van Wikitude zijn weliswaar simpeler en makkelijker uit te voeren dan de stappen van Layar, maar Layar biedt daarentegen meer aanpassingsfunctionaliteiten voor het toevoegen van content. Verder zijn er op het gebied van POIs een aantal mogelijkheden, waarbij men via software van derden, POIs content kan toevoegen aan een AR Browser. Een interessante ontwikkeling op dit gebied is C2K. C2K121 biedt de mogelijkheid om POIs aan Layar toe te voegen en te beheren. Beeld en Geluid wordt geadviseerd om als content provider te fungeren binnen Wikitude of Layar indien de data op korte termijn publiekelijk beschikbaar moet worden gesteld. Indien dit niet het geval is, wordt Beeld en Geluid geadviseerd om zich te focussen op de ontwikkeling van een eigen AR applicatie Het grootste voordeel bij het ontwikkelen van een eigen AR applicatie is het beheer houden over de eigen data.
119
http://stedelijk.medialab.hva.nl/2010/03/02/creating-a-layar-layer-a-step-by-step-tutorial/ http://dev.layar.com 121 http://www.c2k.nl/oplossingen/augmented-reality/point-of-interest/point-of-interest-systeem-voorlayar.html 120
45
8. Eindconclusie In dit rapport is antwoord gegeven op vijf requirements vraagstukken betreffende de ontwikkeling van een generieke mobiele AR applicatie door Beeld en Geluid. Het onderzoek is uitgevoerd naar: De technieken voor mobiele locatiebepaling Het extraheren en koppelen van geoinformatie De mobiele ontwikkelplatformen / besturingssystemen De mobiele multimediaformaten Vergelijkbare mobiele AR applicaties Hoewel er diverse technieken beschikbaar zijn voor het vaststellen van de locatie van de gebruiker, is er niet één zonder technische beperkingen. Vanwege de hoge nauwkeurigheid en bewezen techniek, zal de markt zich consolideren rond een verfijnde variant van GPS, Assisted GPS. Deze hybride techniek voor plaatsbepaling kent echter ook een aantal beperkende eisen. In een zich snel ontwikkelende markt ontstaan er daarom alternatieven. Partijen als Skyhook en Google bieden gestandaardiseerde applicatie interfaces aan die relevante locatiediensten voor mobiele apparaten aanbieden. Om de applicatie de relevante informatie uit de database van Beeld en Geluid (Thesaurus) aan de gebruiker te kunnen verstrekken is een koppeling noodzakelijk tussen de locatiegegevens en deze content. Omdat de data binnen Thesaurus geen geoinformatie bevat, is een tussenstap nodig om GPS-coördinaten te vertalen naar natuurlijke zoektermen. Via een interface met een geografische database wordt dit gerealiseerd. De geografische database van Geonames is hiervoor het meest geschikt. Het gebruik van deze dienst is gratis en de database is omvangrijker dan “Getty Thesaurus of Geographic Names”. Met de via Geonames verkregen natuurlijke zoektermen kan eveneens in contentplatformen zoals DBpedia en Flickr gezocht worden. Daarnaast is het raadzaam de content-items die in de toekomst worden toegevoegd te verrijken met geoinformatie. Voor de toekomstige ontwikkeling van de AR applicatie zijn de open source platformen Symbian OS en Android OS de beste keus. Vooral Symbian OS heeft een redelijk tot groot marktaandeel. Android OS groeit snel. Beide ontwikkelplatformen hebben voldoende verkoopkanalen en zijn populair onder ontwikkelaars. In het onderzoek naar de te gebruiken audio-, video- en afbeeldingsformaten is rekening gehouden met de afhankelijkheid met de ontwikkelplatformen. Als audioformaat is Ogg-Vorbis een noemenswaardig open source bestandsindeling. Ogg-Vorbis wordt alleen ondersteund door Android OS. Een goed alternatief is het AAC formaat. AAC is niet open source, maar mag wel vrij gedistribueerd worden en wordt door beide platformen ondersteund. Het meest geschikte videoformaat is WMV. Aangezien dit niet ondersteund wordt door Symbian OS en Android OS is H.264 het beste alternatief. Voor afbeeldingen is JPEG nog steeds het vertrouwde en meest toegepaste formaat. Vanwege de optimale verhouding tussen bestandsgrootte en voldoende kwaliteit is het de standaard voor mobiele applicaties. Uit de analyse van andere AR applicaties komen de volgende eisen naar voren waaraan de applicatie moet voldoen. [1] Het accuraat tonen van de juiste informatie. [2] Mogelijkheid tot toevoegen content via open standaard ARML. [3] Categoriseren van content. [4] Gebruik OpenStreetMap. [5] Gebruik OpenGL voor weergave van POIs. De ontwikkeling van Augmented Reality applicaties is veelbelovend. Dit onderzoek bevestigt dat mobiele technologieën, geointerfaces en informatiebronnen elkaar in rap tempo opvolgen. Voor de ontwikkeling van een generieke en toekomstvaste AR applicatie is het daarom van belang open standaarden en vrij beschikbare bronnen te hanteren. 46
9. Scenario’s Dit scenario schetst het gebruik van de te ontwikkelen AR applicatie van Beeld en Geluid. Deze situatie is gebaseerd op de onderzoeksresultaten uit de voorgaande hoofdstukken in dit adviesrapport. Op ieder onderdeel is een aanbeveling gegeven op basis waarvan deze applicatie idealiter zou kunnen functioneren. Op het gebied van het ontwikkelplatform wordt geadviseerd uit te gaan van een tweetal platformen, Android OS en Symbian OS. Beide besturingssystemen zijn volgens het deelonderzoek gelijkwaardig. Ten behoeve van de leesbaarheid wordt in dit scenario daarom uitgegaan van het Android OS. In onderstaande situatie bevindt een willekeurige gebruiker zich op de Dam in Amsterdam. De gebruiker is geïnteresseerd in informatie over het Nationaal Monument. Via de Android Market download en installeert de gebruiker de AR applicatie van Beeld en Geluid.
Android Smartphone
Android Market
De gebruiker start de AR applicatie op het Android ondersteunde mobiele toestel op. De positie van de gebruiker wordt middels de locatiebepalingstechniek A-GPS bepaald. De applicatie zendt de GPS-coördinaten van de gebruiker naar de geografische database van Geonames. Geonames genereert vervolgens een lijst met bijbehorende zoekresultaten in natuurlijke taal. Zo wordt 52°22'30N 04°53'46E vertaald naar “Dam Square, Amsterdam”. Dit resultaat wordt vervolgens als zoekterm gebruikt door Thesaurus van Beeld en Geluid om de relevante informatie op te halen.
Locatie gebruiker
Resultaat
Thesaurus
A-GPS
Geonames
Naast het opvragen van relevante informatie via de coördinaten benut de gebruikerde zoekfunctie van de AR applicatie. De gebruiker geeft voor het verkrijgen van meer informatie over bijvoorbeeld de totstandkoming van het Nationaal Monument de volgende woorden in: “Geschiedenis Nationaal Monument”.
47
De applicatie gebruikt de ingegeven zoektermen van de gebruiker voor een extra zoekopdracht in de Thesaurus van Beeld en Geluid en/of andere contentproviders zoals DBpedia en Flickr. De gebruiker ziet het onderstaande scherm:
Zoekterm gebruiker
Resultaat
Afbeelding 18 – Live view Beeld en Geluid AR applicatie
Afbeelding 19 - Kaart weergave Beeld en Geluid AR applicatie
Thesaurus
Afbeelding 18 geeft een representatie van de liveview van de AR applicatie van Beeld en Geluid weer. Voor het grafisch weergeven van de „landmarks‟ met informatie wordt gebruik gemaakt van de mogelijkheden van de OpenGL standaard.Naast een live-view, heeft de gebruiker de mogelijkheid om resultaten in een kaartweergave, gebaseerd op de geografische open source bron OpenStreetMap, te bekijken (Afbeelding 19). De gebruiker is geïnteresseerd in een audiofragment over het Nationaal Monument. Het geluidsbestand wordt door Beeld en Geluid aangeboden in het Ogg-Vorbis audioformaat. Dit audiofragment wordt door de gebruiker afgespeeld door te kiezen uit een lijst met beschikbare audioresultaten. Deze lijst is het resultaat van het selecteren van een landmark in de live-view. Daarnaast is de gebruiker nieuwsgierig naar fotomateriaal. De gebruiker kiest wederom uit een lijst met resultaten, nu met beschikbare afbeeldingen. Deze relevante beeldinformatie wordt door een koppeling met Flickr in het JPEG formaat door de AR applicatie beschikbaar gesteld. De gebruiker wil ook het beschikbare videoaanbod met betrekking tot het Nationaal Monument bekijken. Door de te kiezen uit de beschikbare lijst met videoresultaten, speelt de gebruiker een video af in het H.264 formaat.
48
Figuren, grafieken en tabellen Tabel 1
Vereisten en nauwkeurigheid van de meest gebruikte technologieën bij AR applicaties. Tabel 2 Overzicht audioformaten Tabel 3 Overzicht videoformaten Tabel 4 Overzicht afbeeldingenformaten Grafiek 5 „Pie‟ grafiek populaire smartphone ontwikkelplatformen per 2010 Tabel 6 Overzicht populaire smartphone ontwikkelplatformen per 2010 Tabel 7 Overzicht mobiele applicatie software winkels per 2009
49
Appendices Appendix A
Grafiek en tabel top 5 populairste smartphone ontwikkelplatformen
Appendix B
Screenshots Augmented Reality applicaties
Appendix C
Enquête smartphone eindgebruikers
Appendix D
Enquête smartphone ontwikkelaars
50
Appendix A
Grafiek 5. ‘Pie’ grafiek marktaandeel smartphone ontwikkelplatformenper 2010
Tabel 6. Overzicht marktaandeel smartphone ontwikkelplatformen per 2010, © Canalys
51
Tabel 7. Overzicht mobiele applicatie software winkels per 2009, © Gizmodo
52
Appendix B
Afbeelding 2 – Lokale layers van Layar
Afbeelding 3 - AR view in Layar
Afbeelding 4 - Kaart view in Layar
Afbeelding 5 – Content Providers binnen Acrossair AR
Afbeelding 6 – Live view in Acrossair AR
Afbeelding 7 – Lijst view in Acrossair AR
53
Afbeelding 8 – Worlds(content providers) in Wikitude
Afbeelding 9 – Live view in Wikitude
Afbeelding 10 – Kaart view in Wikitude
Afbeelding 11 – Content providers in Nulaz AR
Afbeelding 12 – Online ‘Vrienden’ in Nulaz AR
Afbeelding 13 – Kaart view in Nulaz AR
54
Afbeelding 14 – Gamaray in het Android OS menu
Afbeelding 15 – Live view in Gamaray
55
Afbeelding 16 – Toevoegen van content aan Wikitude
Afbeelding 17 – Toevoegen van ARML bestanden aan Wikitude
56
Appendix C Leeftijd Geslacht
1. Wanneer u het woord smartphone hoort. Welk mobielplatform komt het eerste bij u op? (open vraag) 2. Bent u bekend met één of meerdere van onderstaande mobieleplatforms? a. Android OS (M.n. HTC, Motorola, Samsung) b. BlackBerry OS (Blackberries) c. iPhone OS (iPhones) d. Symbian OS (M.n. Nokia‟s, Sony Ericsson, Samsung) e. Windows Mobile OS (M.n. HTC, Samsung) f. Neen 3. Beschikt u zelf over een smartphone? a. Zo ja, op welk mobiel platform draait uw smartphone? 4. Neemt u bij de keuze van een smartphone in overweging of het besturingssysteemopen source is? a. Ja b. Nee c. Interessant, nog niet gedaan, maar wellicht in de toekomst wel. 5. Hoe vaak maakt u gebruik van de mobiele internet mogelijkheden (m.u.v. Wi-Fi) van uw smartphone? a. Ik heb geen mobiele internet mogelijkheden (i.e. 2G, 3G) behalve Wi-Fi i. Bijvoorbeeld geen mobiel internet abonnement. b. Ik heb bovenstaande functie helemaal niet. c. Staat altijd aan d. Indien nodig (soms) e. Zelden f. Nooit 6. Tot slot, hoe vaak maakt u gebruik van de GPS mogelijkheden van uw smartphone? a. Ik heb geen GPS op mijn smartphone b. Ik heb geen mobiele internet mogelijkheden (i.e. 2G, 3G) behalve Wi-Fi c. Ik heb bovenstaande functie helemaal niet d. Staat altijd aan e. Indien nodig (soms) f. Zelden g. Nooit
57
Appendix D Leeftijd Geslacht Aantal jaren ervaring met ontwikkelen voor een mobiel platform 1. Wanneer u het woord smartphone hoort. Welk mobielplatform komt het eerste bij u op? (open vraag) 2. Bent u bekend met één of meerdere van onderstaande mobieleplatforms? a. Android OS (M.n. HTC, Motorola, Samsung) b. BlackBerry OS (Blackberries) c. iPhone OS (iPhones) d. Symbian OS (M.n. Nokia‟s, Sony Ericsson, Samsung) e. Windows Mobile OS (M.n. HTC, Samsung) f. Neen 3. Beschikt u zelf over een smartphone? a. Zo ja, op welk mobiel platform draait uw smartphone? 4. Neemt u bij de keuze voor het ontwikkelen van een toepassing voor een smartphone in overweging of het besturingssysteemopen source is? a. Ja b. Nee c. Interessant, nog niet gedaan, maar wellicht in de toekomst wel. 5. Neemt u bij de keuze voor het ontwikkelen van een toepassing voor een smartphone in overweging of er een distributiekanaal (i.e. digitale winkel) door de fabrikant wordt geboden? a. Ja b. Nee 6. Hoe vaak maakt u gebruik van de mobiele internet mogelijkheden (m.u.v. Wi-Fi) van uw smartphone? a. Ik heb geen mobiele internet mogelijkheden (i.e. 3G) behalve Wi-Fi i. Bijvoorbeeld geen mobiel internet abonnement. ii. Of funtie niet ingebouwd, alleen 2G b. Staat altijd aan c. Indien nodig (soms) d. Zelden e. Nooit 7. Hoe vaak maakt u gebruik van de GPS mogelijkheden van uw smartphone? a. Ik heb geen GPS op mijn smartphone b. Staat altijd aan c. Indien nodig (soms) d. Zelden e. Nooit 8. Tot slot, wat is uw favoriete mobiele ontwikkelplatform (pure mening, open vraag)?
58