Eindrapportage technologieverkenning 3D video
Versie 1.0 19 januari 2010 SURFnet/Kennisnet Innovatieprogramma
Het SURFnet/ Kennisnet Innovatieprogramma wordt financieel mogelijk gemaakt door het Ministerie van Onderwijs, Cultuur en Wetenschap.
Voor deze publicatie geldt de Creative Commons Licentie “Attribution 3.0 Unported”. Meer informatie over deze licentie is te vinden op http://creativecommons.org/licenses/by/3.0/
Eindrapportage TS 3D video Inleiding In het vierde kwartaal van 2009 is, in het kader van het SURFnet/Kennisnet innovatieprogramma, door SURFnet een Technology Scouting (TS) uitgevoerd naar de mogelijkheden van 3D video. Er zijn op dit moment twee verschillende technologieën die "3D video" worden genoemd: stereoscopische video en 360graden video. Deze TS zich hoofdzakelijk gericht op stereoscopische video. De rest van dit rapport beschrijft uitgebreid de principes van stereoscopische video en geeft een overzicht van de nu beschikbare hard- en software om beelden te maken, op te slaan en te bekijken. Daarna zal er een korte paragraaf gewijd worden aan 360-graden video. Het rapport sluit af met de getrokken conclusies, de verwachtingen voor de toekomst en aanbevelingen voor verder onderzoek of ontwikkeling.
Stereoscopische video Stereoscopische video is bewegend beeld met de illusie van diepte. De volgende paragrafen beschrijven hoe het principe werkt, hoe het effect op dit moment bereikt wordt en hoe materiaal geschikt voor stereoscopie gemaakt kan worden. Principe van stereoscopie Mensen zien diepte doordat er een subtiel verschil bestaat tussen wat het linkeroog ziet en wat het rechteroog ziet. Dit is simpel na te gaan door naar een punt op een paar meter afstand te kijken met alleen het linkeroog. Hou nu een wijsvinger op ongeveer 30 centimer afstand van het gezicht voor het gekozen punt. Kijk nu met alleen het rechteroog en het is te zien dat de vinger niet meer voor het gekozen punt staat maar een stuk is versprongen. Dit verschil tussen het linker- en rechteroog wordt door het menselijk brein doorlopend gebruikt om diepteinformatie af te leiden; het is veel moeilijker om diepte te zien met maar één oog omdat alle informatie dan uit het perspectief afgeleid moet worden, maar op korte afstand is het verschil tussen objecten niet groot genoeg om duidelijk verschil te zien tussen voorgrond en achtergrond. Op een plat vlak zoals een beeldscherm of projectiescherm gaat deze diepteinformatie verloren: beide ogen zien, binnen het kader van het scherm, exact hetzelfde. Stereoscopie is erop gericht om met de twee verschillende ogen toch twee beelden te zien en zodoende dichter de werkelijkheid te benaderen. Hieronder wordt beschreven welke manieren er zoal toegepast worden. Cruciaal onderdeel hieraan is dat er voor beide ogen een apart beeld is. Dit wordt meestal bereikt door opnames te maken met twee camera's naast elkaar (bij opnames) of door een animatie twee keer te genereren vanuit een net iets ander camerapunt (bij computeranimaties). Het achteraf stereoscopisch maken van bestaande "platte" beelden is maar in beperkte mate mogelijk, kost veel rekenkracht en levert niet de kwaliteit van stereoscopisch opnemen. De mogelijkheden om stereoscopische beelden te maken wordt verderop besproken.
2
Het nuttig effect van stereoscopie is dat het getoonde beeld de werkelijkheid nog beter benadert dan een regulier, plat beeld. Dit kan leiden tot een meer levensechte belevenis van het getoonde en biedt ook nieuwe mogelijkheden om beelden te tonen. Bij het maken van opnames is het voor het camerastandpunt altijd belangrijk geweest om rekening te houden met het feit dat het beeld "platgeslagen" wordt en dat de situatie dus zo in beeld moet worden gebracht dat er voor de kijker geen verwarring kan onstaan over de relatieve afstand van de verschillende objecten in het beeld. Met stereoscopie vervalt deze beperking en is er dus meer vrijheid om de camerapositie te kiezen en kunnen er fijnere nuance in beeld gebracht worden. Ook kan stereoscopie helpen bij het besturen op afstand van apparaten: door het behoud van diepte kan het veel makkelijker worden om bijvoorbeeld een robotarm te besturen of andere activeiten uit te voeren die een hoge graad van precisie vereisen. Manieren om stereoscopie te zien Kleurfilters Een van de meeste bekende manieren van stereoscopisch zien is het werken met kleurfilters. De beelden voor het linker- en rechteroog worden door filters gehaald van complementaire kleuren, zoals bijvoorbeeld rood en cyaan. De kijker zet een bril op met een roodkleurig en een cyaankleurig glas waardoor voor het ene oog het roodgefilterde beeld wegvalt en voor het andere oog het cyaangefilterde deel. Het resultaat is dat de kijker diepte ziet. Het voordeel van deze techniek is dat deze eenvoudig toe te passen is met bestaande schermen: alles wat de kijker nodig heeft is een brilletje met gekleurde glazen. Kartonnen uitvoeringen hiervan kosten minder dan 50 eurocent, wat deze manier van kijken erg goedkoop maakt. Een groot nadeel is dat er door het gebruik van filters veel kleurhelderheid verloren gaat en het beeld bovendien niet zonder bril te bekijken valt: de kijker ziet dan verkleurd en dubbel beeld. Dit soort samengestelde beelden met kleurfilters worden ook wel anaglyphen genoemd. Het principe van anaglyphen bestaat al tientallen jaren maar is waarschijnlijk nooit heel erg aangeslagen door het kleurverlies van de beelden. Polarisatiefilters Een tweede, veelgebruikte mogelijkheid is het gebruik van polarisatiefilters. Het is mogelijk om licht een bepaalde polarisatie mee te geven, wat er grofweg op neerkomt dat de lichtstralen nog maar in één vlak bewegen ("normaal" licht beweegt in alle vlakken). Horizontaal gepolariseerd licht wordt tegengehouden door verticaal geplaatste polarisatiefilters en vice versa. Door het beeld voor het ene oog horizontaal te polariseren en het beeld voor het andere oog verticaal en een brilletje op te zetten met één horizontaal gepolariseerd en één verticaal gepolariseerd glas ziet elk oog slechts één van beide beelden. Ook hiermee kan dus stereoscopie worden bereikt. De polarisatiefilters houden wel een deel van het licht tegen wat ten koste gaat van de helderheid, maar niet van de kleur zoals bij anaglyphen. Een probleem bij het toepassen van deze techniek is dat er maar weinig schermen bestaan die in staat zijn om beelden te polariseren. De meest gebruikte oplossing bestaat uit twee projectoren waarbij polarisatiefilters voor de lens zijn geplaatst. Deze projectoren projecteren op hetzelfde scherm het linker- en rechterbeeld. Het scherm moet in staat zijn om de polarisatie van het geprojecteerde beeld "vast te houden", waarvoor vaak zilver wordt gebruikt. Dit maakt dergelijke schermen iets duurder dan standaard projectieschermen. Ook is er een tweede projector nodig.
3
Brilletjes met gepolariseerde glazen kosten enkele euro's per stuk. Beeldschermen met polariserende filters worden voor zover bekend niet toegepast. Shutter glasses Een derde techniek maakt gebruik van "shutter glasses". De kijker heeft een bril op waarvan de glazen in een fractie van een seconde ondoorzichtig gemaakt kunnen worden. Door met een hoge frequentie afwisselend het linker- en rechterglas te sluiten kijkt de kijker effectief op elk moment met maar één oog tegelijk. Op beeldschermen met een hoge verversingsfrequentie wordt dan, synchroon met de bril, afwisselend een beeld voor het linker- en rechteroog getoond. Om te voorkomen dat de gebruiker hinder (in de vorm van flikkeringen) ondervindt moet de frequentie van sluiten tamelijk hoog zijn, minimaal 60 Hz per glas. Het beeldscherm moet, om beide ogen te bedienen, het dubbele hiervan ondersteunen: 120 Hz. Dit betekent dat deze technologie voorlopig alleen praktisch toepasbaar is met duurdere, high-end schermen en projectoren. Net als bij polarisatiefilters gaat er bij "shutter glasses" helderheid verloren, doordat beide ogen 50% van de tijd alleen zwart zien. Ook zijn de glazen in doorzichtige toestand niet 100% transparant. "Shutter glasses" kosten enkele tientallen euro's per stuk en zijn dus alleen bruikbaar met enkele beeldschermen of projectoren. Bovendien hebben ze stroom nodig om te functioneren, wat betekent dat er een kabeltje nodig is (onhandig) of batterij (zwaar, moet vervangen worden). Videobrillen Een videobril is een bril die in plaats van glazen twee beeldschermpjes heeft, één scherm per oog. Dit maakt het eenvoudig om een beeld per oog te tonen in fullcolor en op normale helderheid. Videobrillen zijn op dit moment wel erg duur (tussen de 300 en 400 euro) en de resolutie van de schermen is laag vergeken met bureauschermen, 640x480 is op dit moment de bovengrens voor consumentenmodellen. Autostereoscopie Een vijfde techniek betreft "autostereoscopische" schermen, ofwel schermen die uit zichzelf geschikt zijn voor stereoscopie, zonder bril bij de gebruiker. Deze schermen tonen het beeld voor het linker- en rechteroog tegelijkertijd, alleen door een handigheidje vóór het scherm ziet de kijker met het linkeroog alleen het beeld voor links en met het rechteroog het beeld voor rechts. De meest gebruikte techniek is die van parallax-lenzen tussen het scherm en de kijker in. Dit zijn heel veel kleine lensjes die de lichtstralen zo afbuigen dat de het linkeroog net een ander stukje van het achterliggende scherm ziet dan het rechteroog. Op het scherm zelf wordt dan in kolommen afwisselend een stukje van het linker- en rechterbeeld getoond. Groot nadeel van deze techniek is dat kijkers op de plek moeten staan waar het afbuigen van stralen precies klopt om het juiste beeld te zien, anders werkt het niet. Meestal zijn er maar een paar plekken ten opzichte van het scherm waar dit geldt. Dit betekent dat deze schermen slecht toepasbaar zijn voor grote groepen of situaties waar het niet gemakkelijk is precies op de juiste plek te gaan staan/zitten. Ook heeft het achterliggende scherm een twee keer zo hoge resolutie nodig als het beeld dat je wilt laten zien. Het voordeel is wel dat helderheid en kleur 100% zijn, in tegenstelling tot de bovengenoemde technieken. Autostereoscopische beeldschermen zijn inmiddels links en rechts verkrijgbaar maar kosten het vijf- tot tienvoudige vergeleken met conventionele schermen.
4
Oogontspanning Sommige mensen zijn in staat om hun ogen zodanig te ontspannen dat deze niet allebei naar hetzelfde punt kijken. Deze mensen hebben genoeg aan het naast elkaar tonen van de beelden voor het linker- en rechteroog, want zij kunnen met hun ene oog naar het ene beeld kijken en met hun andere oog naar het andere beeld. Dit levert een heel natuurlijk beeld op zonder kleurverlies, helderheidsverlies of flikkeringen, maar is slechts door weinigen toepasbaar. Stereoscopisch materiaal maken Opnemen Om stereoscopisch materiaal te kijken moet er ook stereoscopisch materiaal gemaakt worden. Kort en goed komt het erop neer dat er tegelijk twee beelden opgenomen moeten worden op twee objectieven. De geijkte manier hiervoor is het gebruik van twee camera's op één statief, hier zijn ook speciale statieven voor beschikbaar. De videostromen van beide camera's worden dan achteraf gesynchroniseerd. Er wordt sinds enige tijd ook gewerkt aan camera's die van zichzelf al stereoscopisch kunen opnemen. Een voorbeeld hiervan is de Fujifilm Finepix Real 3D W1, een digitale camera van ongeveer 500 euro. Deze camera bevat twee lenzen en twee objectieven, maar alles zit in één huis en wordt ook aangestuurd door één set knoppen. De camera is ook voorzien van een autosteroscopisch scherm. SURFnet heeft hier een aantal tests mee uitgevoerd en het resultaat is duidelijk stereoscopisch beeld, maar de beeldkwaliteit loopt wat achter bij niet-stereoscopische camera's uit dezelfde prijsklasse. In het vierde kwartaal van 2009 heeft Sony laten weten bezig te zijn met een prototype voor een professionele stereoscopische videocamera die gebruik maakt van slechts één lens maar in het binnenwerk het binnenkomende beeld splitst met behulp van spiegels en prisma's en verdeelt over twee objectieven. Dit maakt optische zoom een stuk makkelijker doordat er niet twee lenzen synchroon hoeven te bewegen. Sony heeft ook aangekondigd wedstrijden van het WK voetbal 2010 stereoscopisch op te gaan nemen, waar ze ongetwijfeld hun eigen hardware voor gaan gebruiken. Opslaan Naast het opnemen van stereoscopisch materiaal is het ook noodzakelijk om de opnames op te slaan. Hier wordt duidelijk hoe nieuw deze technologie nog is. Er zijn nog nauwelijks standaarden voor het opslaan en transporteren van stereoscopisch materiaal en anders worden ze niet gebruikt. De camera van FujiFilm slaat foto's op in een aangepaste versie van het JPEG-formaat en video's in een variant van het AVI-formaat. Deze aanpassingen zijn nog niet open gedocumenteerd door FujiFilm maar al wel uitgeplozen door hobbyisten op internet. Een andere populaire manier om videomateriaal op te slaan is door bestaande formaten te gebruiken en het beeld voor links en rechts naast of onder elkaar te monteren tot één enkel beeld. Tijdens het afspelen wordt het beeld dan weer op de juiste manier gesplitst. Het voordeel hiervan is dat alle bestaande videosoftware geschikt is voor opslag, bewerking en transport van deze beelden. Een groot nadeel is dat er in het bestand zelf niet is opgeslagen dat het stereoscopisch beeld betreft en hoe het is gemonteerd, waardoor de gebruiker nog zelf de juiste instelling moet kiezen om goed te kunnen kijken. Dit is niet erg gebruikersvriendelijk.
5
Stereoscopisch materiaal afspelen Hoe stereoscopisch materiaal af te spelen is enigszins afhankelijk van hoe de stereoscopie bereikt wordt. In het geval van polarisatiefilters, autostereoscopische schermen en videobrillen zijn er meestal twee aansluitingen nodig en dus ook twee uitgangen op de computer die gebruikt wordt om het materiaal af te spelen. In het geval van anaglyphen moeten er de juiste kleurfilters toegepast worden voordat het beeld getoond kan worden. Bij shutter glasses moet de software alternerend het linker- en rechterbeeld tonen. Er is op dit moment weinig software die hiervoor geschikt is, maar een voorbeeld is de Steroscopic Player van het bedrijf 3dtv.at. Helaas is deze software alleen voor Windows beschikbaar en kost enkele tientallen euro's per licentie. Deze software is zowel geschikt voor naast elkaar gemonteerde beelden als voor de bestanden die geproduceerd worden door de FujiFilm Finepix Real 3D W1. Er is wel meer software voorhanden die een deel van de bovengenoemde functionaliteit biedt. Het gratis programma Stereo Movie Maker is in staan om van bestaande losse videobestanden één gecombineerd beeld te maken en kan ook overweg met de bestanden van de Fujifilm Finepix W1. Voor de Apple Mac zijn er ook nog StereoSplicer (die videobestanden van de FujiFilm splitst in links en rechts) en 3D Slidemaker (die fotoparen kan combineren tot een anaglyph). Een andere mogelijkheid om stereoscopisch materiaal te bekijken is ze naar Youtube te uploaden. Door bij een video de tag "yt3d=true" toe te voegen beschouwt Youtube het geuploade materiaal als side-by-side stereoscopisch materiaal. Bij de video verschijnen dan een aantal opties voor de gebruiker om te bepalen hoe het materiaal te bekijken (welke kleurfilters of bijvoorbeeld alleen links of rechts). Dit is helemaal gratis maar werkt dus alleen via Youtube. Het is interessant om in de gaten te houden of Google hier nog verder aan gaat ontwikkelen.
360-graden video De "andere" vorm van 3D video is 360-graden video. Dit is video waarbij de camera "alle kanten" opkijkt en dus in één keer de volledige omgeving opneemt. De kijker kan zelf bepalen welk deel van de omgeving hij of zij bekijkt. De camera die hiervoor gebruikt wordt bestaat eigenlijk uit een aantal camera's waarvan de randen overlappen. De beelden worden achteraf aan elkaar gemonteerd om er één geheel van te maken. Om de beelden vervolgens te bekijken is er speciale software die de gebruiker in staat stelt aan te geven welk deel van het beeld hij of zij wil zien. Het Nederlands bedrijf YellowBird uit Groningen is een aanbieder van deze technologie, maar het is nog niet gelukt om hen een opdracht voor SURFnet uit te laten voeren om beter de (on)mogelijkheden hiervan te kunnen bekijken. Wel hebben ze aangegeven bezig te zijn met een oplossing waarbij het aan elkaar monteren niet achteraf gebeurt maar real-time kan worden gedaan, wat het mogelijk maakt om live-uitzendingen van 360-graden video te doen. Gezien de hoge resolutie en de daarvoor benodigde bandbreedte van het materiaal is dit een interessante ontwikkeling voor SURFnet om in de gaten te houden.
6
Conclusie en vervolgonderzoek Stereoscopische video De lancering van nieuwe producten en software op het gebied van stereoscopische beelden toont aan dat er (hernieuwde) interesse is in deze toepassing. Belangrijke motivator hierbij is waarschijnlijk de belofte van kwalitatief verbeterde technologieën om deze beelden te tonen zoals videobrillen en autostereoscopische schermen. Op de volgende gebieden valt nog veel winst te halen: • standaardisatie van formaten voor stereoscopische beelden; • meer software om stereoscopische beelden mee te bekijken danwel ondersteuning hiervoor binnen bestaande software; • meer stereoscopisch materiaal; • use cases die aantonen waar stereoscopisch materiaal meerwaarde biedt. De meest voor de hand liggende is onderwijs interessanter maken door er een "wow"-factor aan toe te voegen maar wellicht zijn er nog andere toepassingen te bedenken. 360-graden video 360-graden video is een zeer nieuwe ontwikkeling waar nog weinig ervaring mee bestaat. Het zou voor SURFnet nuttig zijn om een keer "hands-on" ervaring met het creëeren ervan op te doen, omdat op dit moment nog geen onafhankelijke informatie voor handen is over de (on)mogelijkheden van deze nieuwe manier van opnemen en afspelen. Hierdoor is er nog te weinig bekend over wat er nodig is om met 360-graden video te werken om een goede inschatting te kunnen maken van de toepasbaarheid ervan, maar voorbeeldtoepassing van 360-graden video zou kunnen zijn het trainen van surveillancepersoneel door ze zelf te laten bepalen waar ze op moeten letten in een in 360-graden opgenomen situatie.
In het kort: 7 dingen die je moet weten over 3D video Wat is het? 3D video is video waarin de kijker diepte kan zien, alsof het scherm niet plat is. De technische term voor deze techniek is "stereoscopie". Wie doet het? 3D video wordt al jaren toegepast door een grote groep bedrijven. Recente voorbeelden van 3D video voor een groot publiek zijn de film Up! van Disney/Pixar en de 3D DVD van Shrek van Dreamworks. Er zijn ook bedrijven die zich specialiseren in 3D video, zoals 3dtv.at. Recent zijn Philips en Sony zich ook (weer) gaan richten op het ontwikkelen van stereoscopische displays.
7
Hoe werkt het? Om diepte te zijn hebben mensen twee ogen nodig. Dit is gemakkelijk te controleren door een oog te sluiten en met het andere oog de omgeving te bekijken: bijna elk gevoel voor diepte is verdwenen, zeker op korte afstand. Dit komt doordat de beide ogen net een ander beeld zien. De hersenen zetten het verschil tussen het linker- en rechteroog om in gevoel voor diepte. Op een plat scherm gaat deze informatie verloren doordat beide ogen hetzelfde beeld zien. Stereoscopische video is gemaakt om per oog een ander beeld te zien waardoor diepteinformatie toegevoegd kan worden. Dit kan bereikt worden met gekleurde of polariserende brillenglazen, videobrillen met een scherm per oog of displays met speciale lenzen die in beide ogen een ander beeld projecteren. Waarom is het belangrijk voor het onderwijs? Dieptezicht maakt video-ondersteund onderwijs nog een stuk spannender dan dat het nu is, het voegt iets toe aan de belevenis. Ook kan dieptezicht een toepassing kennen in Virtual Reality-omgevingen doordat de beelden de werkelijkheid dichter benaderen. Wat zijn de nadelen? Alle oplossingen die op dit moment geschikt zijn om door groepen gebruikt te worden vereisen brillen voor alle kijkers. Deze brillen kunnen, afhankelijk van de gebruikte technologie, tamelijk duur zijn. Zogeheten "autostereoscopische displays" waarbij geen brillen nodig zijn vereisen dat de kijker op de juiste plek zit anders gaat het effect verloren waardoor deze niet geschikt zijn voor grote groepen. Wat zijn de ontwikkelingen? Een van de recente ontwikkelingen op dit gebied is het beschikbaar komen van software waarmee ook over internet 3D-beelden gestreamd kunnen worden. Deze streams zitten zo in elkaar dat ze met elke van bovenstaande technologieen te bekijken zijn. Het Engelse bedrijf Amazing Interactive maakt onderwijskundige programma's die speciaal bedoeld zijn om sterescopisch te bekijken. Daarnaast zijn er ontwikkelingen op het gebied van displaytechnologie door Philips (autostereoscopische televisie) en Vuzix (betaalbare videobril). Wat betekent dat voor het onderwijs? Met het beschikbaar komen van meer hardware, software en onderwijskundige toepassingen wordt het inzetten van 3D-video in het onderwijs een haalbare kaart. De gemeente Zoetermeer biedt bijvoorbeeld ondersteuning op het gebied van ICTonderwijs en heeft in dat programma een verplaatsbare opstelling om 3D-video te bekijken. Dergelijke oplossingen kunnen over een paar jaar net zo gemeengoed zijn als beamers in klaslokalen en collegezalen nu zijn.
8
