ARt. Hoe kan Augmented Reality bijdragen aan de immersiviteit van video-installatiekunst?

ARt

Hoe kan Augmented Reality bijdragen aan de immersiviteit van video-installatiekunst?

Student: Martijn van der Wielen Opleiding: Communication and Multimedia Design Instelling: Avans Hogeschool, Breda Cohort: 2005/2006 Studentnummer: 120495 Docente: Caroline Maessen Datum: 23 oktober 2009

Inhoudsopgave Inleiding

1

Hoofdstuk 1: Augmented Reality 1.1 Inleiding 1.2 De huidige technieken die Augmented Reality mogelijk maken 1.2.1. Beeldschermen 1.2.2. Tracking instrumenten 1.2.3 Rendering 1.2.4 Interfaces en interactie 1.3 Huidige toepassingen van Augmented Reality

2 3 3 5 6 6 8

Hoofdstuk 2:Video-installatiekunst 2.1 Inleiding 2.2 De geschiedenis van de videokunst 2.3 Conclusie

10 10 14

Hoofdstuk 3: Immersiviteit 3.1 Inleiding 3.2 Immersion 3.3 Factoren die invloed hebben op de mate van immersiviteit 3.4 Hypermediacy en Transparent Immediacy 3.5 Immersie en Virtual en Augmented Reality 3.6 Samenvattend

15 15 15 17 18 18

Hoofdstuk 4:Video-installatiekunst en Immersiviteit 4.1 Inleiding 4.2 Bill Viola 4.3 Julia Scher 4.4 Context, tijd, deelname en transparantie 4.5 Conclusie

19 19 20 21 23

Hoofdstuk 5: Augmented Reality,Video-installatiekunst en Immersiviteit 5.1 Inleiding 5.2. Augmented Reality,Video-installatiekunst en Immersiviteit 5.2.1 Context 5.2.2 Tijd 5.2.3 Deelname 5.2.4 Transparantie

24 24 24 25 25 26

Hoofdstuk 6: Conclusie 6.1 Hoe kan Augmented Reality bijdragen aan de immersiviteit van video-installatiekunst? 6.2 Technologische ontwikkelingen 6.3 Toekomst van de video-installatiekunst

28 28 28

Literatuurlijst

30

Inleiding In onze huidige maatschappij is de media niet meer weg te denken uit ons gezichtsveld. Overal waar je bent wordt je constant bestookt door communicatieve prikkels.Veelal wordt de media ingezet als zender van informatie, reclame en entertainment. Maar de media kent ook een andere kant: de kunst. Met de komst van vernieuwende technieken komen we in aanraking met nieuwe media. Ook in de kunstwereld heeft men te maken met nieuwe mediavormen, denk bijvoorbeeld aan de videokunst, mogelijk gemaakt door de komst van handzame videocamera’s en pc’s waarop de kunstenaar zijn videobeelden kan bewerken. Een techniek die nog maar amper het levenslicht heeft gezien is Augmented Reality (AR). Augmented Reality maakt het mogelijk een virtuele beeld te leggen over de realiteit, en brengt hiermee een mix tussen werkelijkheid en virtuele beelden. Omdat deze techniek nog vrij nieuw is en zich nog dagelijks doorontwikkelt, is het een medium dat zijn intrede in de videokunst nog nauwelijks heeft gemaakt. Ik heb gekozen om de toepassingen van Augmented Reality aan de videokunst te koppelen, omdat dit een kunstvorm is die, mede door het gebruikte medium, altijd in beweging is en zichzelf altijd zal blijven vernieuwen. Deze vernieuwingen worden vaak teweeggebracht door nieuwe technieken. Binnen de discipline van de videokunst ga ik nader in op de video-installatiekunst. Dit is een vorm van videokunst waarbij de kijker actief betrokken wordt. Daarnaast hebben deze installaties van nature vaak al immersieve kwaliteiten. Immersie is een proces waarbij de kijker zo opgaat in het werk dat deze als ware wordt ondergedompeld in het gepresenteerde verhaal. In deze scriptie wil ik gaan onderzoeken hoe Augmented Reality kan bijdragen aan de immersiviteit van video-installatiekunst. Met andere woorden: ik wil onderzoeken wat Augmented Reality precies inhoudt, in welke richting deze zich ontwikkelt, en op welke manieren ze kan worden toegepast. In dit geval: hoe AR kan worden toegepast op video-installatiekunst, teneinde de immersiviteit van de installaties te bevorderen. Hoe kan Augmented Reality bijdragen aan de immersiviteit van video-installatiekunst? Om antwoord te krijgen op deze vraag ga ik onderzoek doen naar een verschillend aantal aspecten. Om te beginnen ga ik uiteenzetten wat Augmented Reality precies inhoudt. Uit welke technieken bestaat AR en hoe wordt het toegepast. Daarna ga ik dieper in op videokunst. In dit geval richt ik mij op video-installaties. De video-installatiekunst is hechter verbonden met nieuwe media dan andere vormen van videokunst; installaties zijn interactief, als gebruiker tast je de context af. Daarnaast berust deze vorm van videokunst voor een veel groter deel op techniek. Technische innovaties maken vernieuwende vormen van deze kunst mogelijk. Verder ga ik in op de term immersiviteit. Hoe kunnen we immersie het beste omschrijven en welke aspecten spelen mee in het creëren van een immersieve ervaring. Tenslotte kijk ik naar de reeds aanwezige immersieve kwaliteiten van videoinstallatiekunst en geef ik in het laatste hoofdstuk antwoord op mijn onderzoeksvraag. Als CMD student ben ik erg geïnteresseerd in nieuwe vormen van media. Augmented Reality is daar een perfect voorbeeld van. Dit in combinatie met mijn fascinatie voor film en video, heeft mij op deze interessante samenwerking tussen de communicatieve kracht van Augmented Reality en videokunst gebracht. Dit onderzoek zal hopelijk een interessante invalshoek voor videokunstenaars bieden. Op de tweede plaats kan deze scriptie een mooi startpunt vormen voor mijn afstudeerproject.

1

Hoofdstuk 1: Augmented Reality 1.1 Inleiding Schrijver, spreker en management adviseur Joe Pine II benoemt een achttal verschillende vormen van realiteit die hij het Multiverse1 noemt. Hierin maakt hij onderscheidt tussen tijd, plaats en materie: 1. Physical World: De echte werkelijkheid, waar tijd lineair is, en ruimte en materie echt zijn. 2. Augmented Reality: De ruimte is echt en bestaat in het hier en nu, maar de materie is een mix tussen werkelijkheid en virtualiteit. 3. Augmented Virtuality: De ruimte is virtueel, maar de materie is echt en tijd is lineair. 4. Warped Reality: De ruimte en materie zijn echt, maar tijd is non-linear. 5. Mirror World: De ruimte en materie zijn virtueel, maar je bevindt je in het hier en nu. 6. Alternate Reality: De ruimte is echt, maar de materie is virtueel en tijd non-linear. 7. Physical Virtuality: Echte materie in een virtuele tijd en ruimte. 8.Virtuality: Ruimte, materie en tijd zijn virtueel. Bovenstaande vormen van realiteit kunnen verwarrend en vervreemdend overkomen door hun theoretische karakter. Warped Reality staat bijvoorbeeld gelijk aan tijdreizen, iets wat (momenteel) onmogelijk is. Desondanks zijn een aantal realiteiten wel degelijk mogelijk. De realiteit die een belangrijke rol speelt in deze scriptie is Augmented Reality. Augmented Reality (AR) beschrijft de situatie waarin de gebruiker zich bevindt in de echte wereld, waar de tijd lineair is en waar in real-time materie van de werkelijke wereld en de virtuele wereld samenkomen. Materie bestaat in onze echte wereld uit atomen, materie uit de virtuele wereld is opgebouwd uit data, waarneembaar in de vorm van pixels op bijvoorbeeld een beeldscherm. Hiernaast zie je een voorbeeld van Augmented Reality. Een kind houdt een Lego doos voor een camera en ziet op het beeldscherm voor hem hoe het product er uiteindelijk uit komt te zien. Het driedimensionale model van de helikopter beweegt mee met de bewegingen van de doos en kan zodoende langs elke kant bekeken worden. Om het begrip Augmented Reality handzaam te kunnen gebruiken in deze scriptie, beschrijf ik deze als volgt: Augmented Reality is een techniek die een virtuele visuele laag over de werkelijkheid heen legt, en zo de werkelijke en de virtuele wereld mixt.

Voorbeeld Augmented Reality. Lego Digital Box. (www.attractionsmagazine.com).

Bij deze wil ik meteen de kanttekening maken dat ik in mijn scriptie enkel de toevoeging van virtuele audiovisuele informatie behandel. Het waarnemen van materie gebeurt middels zintuiglijke prikkels, welke ook te simuleren zijn door het toevoegen van wind, trillingen, tempratuur, geur en tast; sensorische prikkels die ik in deze scriptie dus buiten beschouwing laat. Augmented Reality is een vrij nieuw begrip, wiens mogelijkheden en toepassingen hevig afhankelijk zijn van technologische ontwikkelingen. Hierdoor is het medium nog lang niet volgroeid. Zo zijn ook de meeste toepassingen waarvoor Augmented Reality wordt ingezet slechts in een experimenteel stadium. Om een goede basis te leggen voor mijn scriptie ga ik in dit hoofdstuk een blik werpen op de huidige technieken die men gebruikt.Vervolgens laat ik toepassingen zien waarbij Augmented Reality wordt ingezet.

The Multiverse (the Universe, Augmented Reality and beyond) : verplichte inspiratiekost voor e-marketeers. (www.newmediaconsultant.com/themultiverse-the-universe-augmentedreality-and-beyond). 1

2

1.2 De huidige technieken die Augmented Reality mogelijk maken Augmented Reality berust op een aantal technieken om een virtuele visuele laag over de realiteit te leggen. Technieken die tezamen AR mogelijk maken zijn: beeldschermen, tracking instrumenten en rendering. Daarnaast zijn er interfaces nodig om eventuele interactie te bewerkstelligen. Om dit te verduidelijken zal ik deze termen uitleggen aan de hand van het bovengenoemde voorbeeld van de Lego Digital Box. Dit product werkt als volgt: de camera boven het beeldscherm stuurt een videosignaal van de Lego doos en de omgeving door naar een computer. De computer herkent de Lego doos en analyseert en verwerkt de bewegingen (locatie en oriëntatie) van deze doos. Dit noemt men tracking; het registreren van bewegingen. De computer herkent dit Lego product en zoekt in een database het bijbehorende driedimensionale model hiervan op. Vervolgens wordt er berekend hoe het driedimensionale model er uit moet zien op het beeldscherm, hierbij wordt rekening gehouden met de locatie en oriëntatie. De computer bouwt het beeld puntje voor puntje op, dit noemt men rendering; het opbouwen van een videobeeld door middel van pixels. Dit gerenderde beeld wordt vervolgens op het beeldscherm vertoond in combinatie met het videosignaal dat de camera van de omgeving maakt. Het systeem is constant bezig met het opnieuw tracken, renderen en weergeven van het Lego model. In dit geval bestaat de interface, de manier waarop de gebruiker interactie uitoefent op het systeem, uit de Lego doos die herkenbaar is voor het systeem. Het bewegen van de doos zorgt voor een feedback in de vorm van het meebewegende driedimensionale model. Dit is slechts één voorbeeld van hoe een Augmented Reality systeem in elkaar kan zitten. Maar elk systeem gaat in principe zo te werk. Er vindt interactie plaats door middel van een interface, bewegingen worden getracked en verwerkt, het beeld wordt gerenderd en vervolgens vertoond op een beeldscherm.

1.2.1. Beeldschermen Er zijn een aantal mogelijkheden om de virtuele materie te visualiseren:Virtual Reality brillen (of HWD; Head Worn Displays), conventionele beeldschermen, mobiele beeldschermen, projectoren en contactlenzen. Virtual Reality brillen Deze beeldschermen worden door de gebruiker op het hoofd gedragen. Er bestaan verschillende soorten VR brillen: optische doorkijk brillen en video doorkijk brillen. De optische variant maakt gebruik van een doorzichtig kijkvlak zoals we die van normale brillen kennen. De virtuele visuele laag komt tot stand door middel van een zwakke laserstraal die het beeld via een spiegel of prisma op de pupil schijnt. Optische doorkijk bril. Vuzix. (www.vuzix.com).

De video doorkijk brillen maken gebruik van een ondoorzichtig kijkvlak wat bestaat uit een LCD scherm (Licquid Crystal Display). Een camera bevestigd aan deze bril stuurt een real-time opname van de omgeving door, welke gebruikt wordt als achtergrond voor de virtuele laag. Dankzij technische ontwikkelingen worden dit soort brillen steeds kleiner, lichter en bovendien hoogwaardiger van beeldkwaliteit, waardoor de gebruiker idealiter niet meer doorheeft deze techniek bij zich te dragen.

Video doorkijk bril. Sensics. (www.sensics.com).

3

Conventionele beeldschermen Een andere techniek om beeld weer te geven is het gebruik van conventionele beeldschermen in combinatie met een camera. Zo kun je via een webcam op je computer een real-time opname van je omgeving doorsturen die gemixt wordt met virtuele beelden. Naast de conventionele beeldschermen heb je tegenwoordig ook beeldschermen die verwerkt zijn in spiegels. De spiegel reflecteert de omgeving zoals we gewend zijn en het geïmplementeerde beeldscherm voegt hier een virtuele laag aan toe. Mobiele beeldschermen In tegenstelling tot de conventionele beeldschermen, die zeer beperkend zijn met betrekking tot de locatie, maken mobiele beeldschermen het mogelijk AR mee te nemen naar buiten. Zo bestaan er LCD schermen met ingebouwde camera die de gebruiker overal mee naar toe kan nemen. Het principe is het zelfde als bij conventionele beeldschermen, de camera zorgt voor een opname van de omgeving die vervolgens gemixt wordt met virtueel beeld. Tegenwoordig is deze techniek zeer toegankelijk gemaakt voor de gebruiker. Zo bestaan er applicaties die je mobiele cameratelefoon benutten als mobiel beeldscherm. Projectie beeldschermen Bij deze variant wordt het beeld door middel van een beamer geprojecteerd op een projectiescherm of op objecten die zich in de ruimte bevinden. Zo kan bijvoorbeeld een virtuele laag direct op het desbetreffende object geprojecteerd worden. Ook bestaat er een speciaal reflectief materiaal dat alleen licht terugkaatst naar de positie waarvan het licht oorspronkelijk kwam. Zo kunnen meerdere gebruikers tegelijkertijd, vanuit verschillende hoeken een andere virtuele laag op één en hetzelfde object zien. Een andere vorm van projectie is de Cave Automatic Virtual Environment (CAVE). Dit is een ruimte waarbij meerdere beamers de wanden, vloer, en plafond van beeld kunnen voorzien door langs de buitenkant hiervan het beeld te projecteren. Hoewel de CAVE eigenlijk bedoeld is voor Virtual Reality is deze toch het noemen waard, omdat de CAVE grote resultaten heeft geboekt op het gebied van immersiviteit. Projectie op object. Talking Head 2 (Theo Botschuijver). (www.spatialeffects.nl).

Ook bestaat er een variant waarbij je door middel van (meerdere) krachtige beamers een onregelmatig object kunt voorzien van een virtuele laag. Denk hierbij aan het projecteren op bijvoorbeeld gebouwen en andere grote objecten met een onregelmatige structuur. Tenslotte zijn er mobiele beamers die de gebruiker op zijn lichaam mee kan dragen. Dankzij deze vorm van projectie kan de gebruiker overal gebruik maken van AR. Contactlenzen

CAVE. Linz. (www.linz.at).

Momenteel is men bezig met het ontwikkelen van contactlenzen waarin minuscule beeldschermen zijn verwerkt door middel van nano-technologie; technologie op moleculaire schaal. Deze lenzen zullen draadloos worden aangestuurd en ook draadloos voeding krijgen. Hoewel deze contactlenzen nog in de ontwikkelingsfase verkeren zijn ze zeker het noemen waard, omdat deze techniek dé ultieme vorm van beeldprojectie kan worden. Het grote voordeel van deze lenzen is dat ze zeer mobiel zijn en dat de gebruiker zich niet bewust zal zijn een beeldscherm bij zich te dragen.

Contactlens. University of Washington. (www.engr.washington.edu). 4

1.2.2.Tracking instrumenten Om het virtuele beeld goed te kunnen combineren met de omgeving bij het gebruik van mobiele beeldschermen zoals VR brillen, is het noodzakelijk dat het systeem te allen tijde de locatie en oriëntatie van de gebruiker ten opzichte van de ruimte en de daarin aanwezige objecten weet.Voor mijn scriptie wil ik hier niet te diep en te technisch op ingaan, maar om een goed beeld te geven van de mogelijkheden van AR is het noodzakelijk een overzicht te geven van dit aspect. Hoofdzakelijk maakt men een onderscheid tussen geprepareerde en niet-geprepareerde ruimtes. De eerste zijn ruimtes, meestal gesloten, ingericht voor het gebruik van AR, waar registratie instrumenten zijn ingebouwd. Deze instrumenten analyseren de positie en oriëntatie van de gebruiker ten opzichte van de ruimte en aanwezige objecten. AR is ook mogelijk in niet-geprepareerde ruimtes, dit kunnen open omgevingen buiten zijn, maar ook gesloten omgevingen binnen. Er bestaan verschillende instrumenten om de locatie en oriëntatie van de gebruiker te lezen (tracking).Vaak worden verschillende systemen tegelijkertijd gebruikt om de effectiviteit te verhogen. Deze instrumenten worden zowel in geprepareerde als in nietgeprepareerde ruimtes gebruikt. GPS De positie van de gebruiker kan vrij nauwkeurig worden bepaald door middel van GPS (Global Positioning System). GPS registreert door middel van satellieten de locatie van de gebruiker en drukt dit uit in coördinaten. Dit systeem wordt vooral toegepast op mobiele AR applicaties, bijvoorbeeld de applicatie Layar, welke ik zo dadelijk behandel bij de AR toepassingen. Dankzij GPS kan Layar precies zien waar ter wereld de gebruiker zich bevindt. Video Tracking Video Tracking kan op twee manieren ingezet worden, vanuit het standpunt van de gebruiker en vanuit een geprepareerde ruimte. Een camera gemonteerd op de VR-bril van de gebruiker registreert de omgeving. Bepaalde software analyseert deze omgeving en zoekt in een database naar herkenbare objecten in de omgeving om zo de positie en de relatie van deze objecten ten opzichte van de gebruiker te meten. De tweede manier van Video Tracking registreert de locatie van de gebruiker in relatie tot zijn omgeving.Vaak wordt dit met meerdere camera’s tegelijk gedaan die op een vaste plaats in de omgeving staan opgesteld. Inertial Tracking Inertia, of inertie in het Nederlands, heeft te maken met de weerstand die een object biedt ten opzichte van het veranderen van de snelheid van een beweging. Versnellingsmeters, gyroscopen en (digitale) kompassen vallen onder de Inertial Trackers. Deze systemen kunnen worden ingezet om de beweging en oriëntatie van de gebruiker, welke deze instrumenten bij zich draagt, te registreren. Marker Tracking

Marker. Zero Point Nine. (www.zeropointnine.com).

Markers bestaan meestal uit simpele symbolen in zwart/wit, welke zeer snel herkend kunnen worden via een camera. Door de positie, rotatie en schaal van de marker te analyseren weet het systeem de locatie, oriëntatie en afstand van de marker te bepalen. Deze punten worden dan als referentiepunt gebruikt om objecten op te visualiseren of om de locatie en oriëntatie van de gebruiker te berekenen. In het voorbeeld van de Lego Digital Box is de afbeelding op de Lego doos de Marker. 5

Non-Marker Tracking Naast Marker Tracking bestaat er ook Non-Marker Tracking. Ook hier registreert en analyseert de camera een object, maar hier is het object niet voorbewerkt om herkend te worden, maar de software die de analyse doet. Denk hierbij bijvoorbeeld aan software die een gezicht kan herkennen. Deze software herkent de vormen en afmetingen van een gezicht en kan zo de locatie en beweging berekenen. Sommige software doet deze berekeningen automatisch, andere moet gekalibreerd worden per gebruiker. Een voorbeeld van een AR applicatie die gebruik maakt van Non-Marker Tracking is de Ray-Ban Virtual Mirror, waar ik zo meteen op terugkom. Deze applicatie maakt gebruik van een webcam die een videosignaal doorstuurt naar je computer. Het programma herkent de vormen van een hoofd en tracked vervolgens de positie en oriëntatie van het hoofd van de gebruiker.

1.2.3 Rendering Tussen de Tracking van omgeving en gebruiker, en het doorsturen van een beeld naar een beeldscherm zit, zoals bij het voorbeeld van de Lego Digital Box, nog een belangrijke stap: Rendering. Rendering is het proces waarbij een digitale afbeelding wordt gemaakt van een virtueel (driedimensionaal) model. Zo’n model is opgebouwd uit bepaalde data die het programma vertelt hoe deze hiermee moet omgaan op het gebied van geometrie, camerastandpunt, textuur, belichting en schaduw. Tijdens het renderen worden deze zaken berekend, en vertaald naar een uit pixels opgebouwde afbeelding. Alle typen beelden die gepresenteerd worden moeten in feite gerenderd worden. Het ene type beeld zal minder rekenkracht vragen dan het andere. Simpele draadmodellen, blokken tekst en videobeelden zullen sneller op een beeldscherm verschijnen dan bijvoorbeeld hoogwaardige fotorealistische driedimensionale modellen, die veel rekenkracht vragen. Hoewel de techniek hierin snel vooruit gaat, is het toch iets om rekening mee te houden bij het ontwerpen van een AR product. Zeker bij de mobiele variant van AR kan rendering een issue zijn, omdat deze vaak minder rekenkracht aan boord hebben.

1.2.4 Interfaces en interactie Naast het toevoegen van een virtuele visuele laag wordt er bij Augmented Reality ook gebruikt gemaakt van de interactieve kwaliteiten van het medium. Het medium is per definitie interactief. De gebruiker is bijvoorbeeld betrokken bij het positioneren van de camera, en dus bij het bepalen van het standpunt van waaruit de virtuele laag geprojecteerd wordt. Ook kan de gebruiker lichamelijk aanwezig zijn op een locatie waardoor de gebruiker deel begint uit te maken van het geprojecteerde. Daarnaast zijn er toepassingen waarbij de gebruiker invloed heeft op het geprojecteerde, denk hier bijvoorbeeld bij aan een gebruiker die een Marker beweegt, of door middel van een interface sturing kan uitoefenen op objecten en dergelijke. De gebruiker kan door tal van technieken interacteren binnen Augmented Reality. Ook hier kan ik niet alle mogelijkheden noemen, maar geef ik een selectie weer om aan te geven wat de mogelijkheden zijn. Markers

Gekleurde vinger Markers. SixthSense. (www.pranavmistry.com/projects/ sixthsense).

De Markers die eerder besproken zijn als Tracking Points in combinatie met een camera, kunnen ook worden ingezet om interactie te bieden. Een gebruiker kan een object met hierop een Marker hanteren voor de camera. De camera registreert de bewegingen van de Marker (en dus het object) en kan deze omzetten in interactie. Deze interactie kan bestaan uit het simpelweg bewegen van een virtuele laag in de ruimte, maar kan ook dienen als input voor een actie. Naast de genoemde Markers bestaan er bijvoorbeeld ook gekleurde vingerdopjes die de locatie en beweging van afzonderlijke vingers kan registeren. 6

Non-Marker Tracking Ook het systeem van Non-Marker Tracking kan worden ingezet om interactie te bewerkstellen. Software die door middel van een camera objecten herkent, en hiervan de beweging registreert en analyseert, kan worden ingezet om interactie voort te brengen. Een vooruitstrevend voorbeeld hiervan is Microsoft’s Project Natal2. Een systeem dat met grote nauwkeurigheid lichaams-, hand- en vingerbewegingen kan registeren, maar ook gezichtsuitdrukkingen. Data Gloves

Project Natal. Microsoft. (www.xbox.com/en-US/live/projectnatal).

Data Gloves zijn handschoenen die de bewegingen van je handen tracken, en zijn in dat opzicht gelijk aan systemen die via camera tracking dit bewerkstelligen. Het grote voordeel van deze handschoenen is echter dat deze niet afhankelijk zijn van de zichtbaarheid van je handen ten opzichte van een camera, omdat de Data Gloves autonoom kunnen registreren. Daarnaast bestaan er ook varianten die tactiele feedback kunnen geven, ze simuleren het gevoel van aanraking met de omgeving en objecten. Auditief Systeem

Data Glove met tactiele feedback. Cyber Gloves Systems. (www.cyberglovesystems.com).

Naast het gebruik van beeld speelt ook audio een rol in Augmented Reality. Denk hierbij aan spraakherkenning, waarbij het systeem gesproken commando’s herkent en verwerkt. Ook kan er gebruik worden gemaakt van klank en volume om systemen aan te sturen. Hersengolven Het klinkt misschien als Sciencefiction, maar er bestaan systemen die hersenactiviteit registeren, en deze om kunnen zetten in commando’s. Deze systemen zijn ingebouwd in een headset, die door middel van Non-invasieve Electro Encefalografie (EEG) hersengolven kunnen meten. Het meetproces vindt dus buiten je hoofd plaats. Na enige training kun je deze golven in bepaalde mate sturen, en dus interacteren met het systeem. Het vergt een leercurve van de gebruiker, en het systeem is nog niet perfect, maar kan zeker een rol gaan spelen op het gebied van interactie. Conventionele invoer apparatuur

EEG Headset. OCZ Neural Impulse Actuator. (www.ocztechnology.com).

Natuurlijk kan er ook nog steeds gebruik worden gemaakt van meer conventionele invoer apparaten, zoals een keyboard, muis, joystick, game controllers, touch screen, en bedieningspanelen. Overige systemen Systemen die ook mogelijkheden tot interactie bieden zijn bijvoorbeeld drukgevoelige sensoren, magneten, lasers, temperatuurmeters, hartslagmeters en systemen die de oogbewegingen van de gebruiker kunnen detecteren.

Microsoft Project Natal. (www.xbox.com/en-US/live/projectnatal). 2

7

1.3 Huidige toepassingen van Augmented Reality Hoewel Augmented Reality nog in zijn kinderschoenen staat, bestaan er wel degelijk toepassingen die al op de markt zijn. Daarnaast zijn er nog tal van experimentele projecten en producten die nog in de ontwikkel fase verkeren. AR kan en wordt toegepast in uiteenlopende sectoren, denk hierbij aan: reclame, navigatie, visualisatie, toerisme, simulatie, samenwerking, entertainment, onderwijs, militaire diensten en ondersteuning bij complexe taken. Hier onder zal ik een aantal voorbeelden van AR toepassingen behandelen om een indruk te geven van de mogelijkheden. Ray-Ban Virtual Mirror Virtual Mirror3 is een applicatie die je kunt downloaden op je computer. Dit programma fungeert als een spiegel met behulp van een webcam. Je beeldscherm wordt een virtuele spiegel waarmee je verschillende zonnebrillen kunt passen. Het programma zorgt ervoor dat deze zonnebrillen netjes met je hoofd mee bewegen door het inzetten van Non-Marker Tracking voor de vorm van je gezicht, en de positie van ogen, oren en neus. Virtual Mirror. Ray-Ban. (www.ray-ban.com/usa/neverhide/events/ virtualmirror).

Layar Layar4 is een applicatie die op mobiele telefoons met het Android besturingssysteem draait. Deze applicatie geeft een virtuele laag weer over het camerabeeld van de telefoon en maakt hierbij gebruik van GPS en het digitaal kompas dat in deze telefoons zit. De virtuele lagen zijn volledig zelf aan te passen.Vooralsnog geven deze lagen vooral informatie over belangrijke stedelijke punten zoals banken, huizen die te koop staan en toeristische trekpleisters. Maar binnen aanzienbare tijd zullen er honderden nieuwe lagen beschikbaar komen. SixthSense

Layar. (www.layar.com).

Sixthsense. (www.pranavmistry.com/projects/ sixthsense).

SixthSense5 is een project van MIT studenten, dat bestaat uit een minicomputer (later te vervangen door een mobiele telefoon) en een mobiele projector die aan een nekkoord wordt gedragen. Daarnaast maakt het systeem gebruik van gekleurde vingerdoppen om de bewegingen van je hand te registeren. Het project is nog in ontwikkeling, maar is nu al het noemen waard. SixthSense maakt het mogelijk informatie die je normaal gezien in drukvorm of via een computer benaderd, te integreren binnen je gezichtsveld door een virtuele laag te projecteren op een oppervlak of object voor je. De informatie is te bedienen met handbewegingen doordat je vingers getracked worden. Hierdoor slaat het systeem een brug tussen digitale informatie en de fysieke wereld. Een aantal toepassingen waarvoor het systeem al geschikt is gemaakt zijn: productinformatie opvragen, foto’s maken en bewerken, routekaarten opvragen, RSSfeeds bekijken (Really Simple Synication; nieuwsberichten van geabonneerde websites), gerelateerde video’s projecteren op een krantartikel, een virtuele klok projecteren, en informatie over je gesprekspartner op diegene projecteren. SixthSense is een systeem met tal van functionele en amuserende mogelijkheden waar we in de toekomst zeker meer van zullen horen. Drukwerk toepassingen Augmented Reality kan ook een brug slaan tussen traditionele media en nieuwe media. Dit kan op verschillende manieren.

Ray-Ban Virtual Mirror (www.ray-ban. com/usa/neverhide/events/virtualmirror). 4 Layar (www.layar.eu). 5 Sixthsense (www.pranavmistry.com/ projects/sixthsense/index.htm). 3

Zo heeft de televisiegids Totaal TV een editie uitgebracht, ontwikkeld door Toutching Media, welke je als gebruiker voor een webcam kan houden mits de benodigde software geïnstalleerd is. Op je beeldscherm zie je de fysieke televisiegids met daarover een virtuele laag van 3D beelden en video’s die uit de gids lijken te komen.

8

Baseballkaartenfabrikant Topps heeft een meer interactief product op de markt gebracht: Topps 3D Live6. Deze kartonnen baseballkaartjes kun je tevens voor de webcam houden in combinatie met de benodigde software, welke vervolgens de desbetreffende baseballer in 3D geanimeerd op het baseballkaartje weergeeft. Extra toegevoegde waarde krijgt dit product echter doordat je de baseballer door middel van je toetsenbord kan besturen in een kleine minigame die op je scherm plaatsvindt. The Artvertiser Topps 3D Live. (www.toppstown.com).

The Artvertiser. (www.theartvertiser.com).

BMW Augmented Reality Tool. (www.bmw.com).

The Artvertiser7 laat zien dat Augmented Reality ook een geschikt medium kan zijn voor kunstenaars. Dit project maakt gebruik van een speciaal ontworpen ‘verrekijker’. Deze verrekijker met ingebouwde LCD display’s, camera, netwerkverbinding, opslagruimte en minicomputer aan boord, maakt het mogelijk om reclameborden in de echte wereld om te toveren tot een canvas waarop kunstenaars werk kunnen exposeren. De digitale verrekijker herkent individuele reclames op bijvoorbeeld gebouwen, magazines en auto’s, en vervangt deze door afbeeldingen of video’s van kunstwerken. De internetverbinding maakt het mogelijk het geprojecteerde werk direct te publiceren op sites als Flickr en Youtube. Momenteel draait het systeem alleen op de speciaal ontworpen digitale verrekijker, maar men is bezig de software geschikt te maken voor mobiele telefoons die op het Android systeem draaien. Ook voor gewone camera telefoons met het Symbian systeem wordt er een applicatie ontwikkeld. Deze versie functioneert enkel met fotomateriaal. Overige voorbeelden Hierboven heb ik enkele voorbeelden van AR applicaties genoemd, maar er zijn momenteel nog vele andere toepassingen mogelijk. Zo kan men in de architectuur een 3d weergave van een gebouw over de werkelijkheid heen leggen om een goede kijk te krijgen van de context en verhoudingen van het gebouw ten opzichte van de omgeving. Educatieve boeken kunnen door middel van AR techniek interactief worden gemaakt, waardoor kennis speelser, maar ook duidelijker over kan komen, en zodoende beter wordt onthouden. Militairen kunnen gebruik maken van virtuele informatie over hun teamleden, te behalen doelen en onbekende omgevingen. En automonteurs kunnen AR gebruiken als hulpmiddel bij complexe reparatietaken aan motoren, een toepassing die BWM momenteel inzet.

Topps 3D Live (www.toppstown.com/ UserSite/TotalImmersion/Info.html). 7 The Artvertiser (www.theartvertiser.com). 6

9

Hoofdstuk 2: Video-installatiekunst 2.1 Inleiding Videokunst is ontstaan in de jaren 60 van de vorige eeuw, toen het medium video beschikbaar werd voor mensen buiten de industrie. Kunstenaars en activistengroepen begrepen de kracht van bewegend beeld en begonnen te experimenteren met het medium dat langzaamaan zijn plaats in de kunstwereld begon in te nemen. De kunsthistorie van video is, ondanks haar relatief korte bestaan, lastig te beschrijven. Op het moment dat de videotechniek grootschalig beschikbaar werd voor kunstenaars, zijn deze tegelijkertijd op verschillende plaatsen in de wereld het medium gaan verkennen en gebruiken. Zodoende is het lastig bepaalde stromingen of groepen van kunstenaars aan te wijzen die verantwoordelijk zijn voor de vorm die videokunst heden ten dage heeft aangenomen. De verschillende vormen en toepassingen van video in de kunstwereld zijn over het algemeen al vanaf de geboorte van de videotechniek tot stand gekomen en zijn gebaseerd op verschillende culturele en sociale opvattingen en tijdsbeelden. In deze scriptie staat video-installatiekunst centraal. Ik zal dan ook een korte geschiedenis van de videokunst geven, en ingaan op de positie die de videoinstallatiekunst hierbinnen heeft.

2.2 De geschiedenis van de videokunst De Portapak Bewegend beeld kent zijn oorsprong in eind 19e eeuw en zorgde voor een ware revolutie in de communicatie van beelden. Waar beeld tot voor heden altijd statisch was, konden pioniers uit de industrie nu experimenteren met tijd, ruimte en beweging. Maar film was lang niet voor alle kunstenaars toegankelijk, de camera’s toentertijd waren enorm van omvang en het medium film was duur. In 1965 kwam hier eindelijk verandering in toen Sony de Portapak op de markt bracht, één van de eerste handzame en betaalbare videocamera’s. De Portapak kostte toentertijd rond de 2.000 dollar, tegenover de 15.000 dollar kostende televisiecamera’s. Hoewel deze eerste commerciële videocamera’s nog steeds relatief zwaar waren, het halve inch grote zwart-wit beeld van lage kwaliteit was, en er nog geen montage apparatuur op de markt was, maakten ze de videotechniek toch toegankelijk voor het publiek, en dus ook voor kunstenaars; videokunst was geboren. De tijdsgeest tijdens de opkomst van de videokunst Sony Portapak. N3Krozoft Ltd. (www.n3krozoft.com).

De videokunst ontstond in een ingewikkelde internationaal culturele omgeving, gekarakteriseerd door antioorlog protesten en de seksuele revolutie. Dit gecombineerd met een moment uit de kunstgeschiedenis waarop Abstract Expressionisme zijn grip begon te verliezen en kunstdisciplines samen begonnen te komen, werd video gezien als een kritisch en gedurfd medium om mee te experimenteren. Videokunst kwam voort uit de vervagende grenzen tussen de traditionele kunstdisciplines. De vervaging van deze grens zorgde ervoor dat schilderkunst, performance, dans, film, muziek, literatuur en beeldhouwkunst konden worden gecombineerd in één kunstwerk. Sommige video artiesten van deze 1e generatie, ontstaan uit, of reagerend op het post-Abstract Expressionisme (een kunststroming waarbij het draaide om intuïtieve uitingen in plaats van het creëren van objecten), gebruikten de video camera als een verlengstuk van hun lichaam. De camera werd een onderdeel van hun werkplaats, waar ze de bezigheden die ze uitvoerden opnamen. Ze combineerde hier het fysieke en het conceptuele van hun werk, iets wat tot op vandaag de dag nog steeds gebeurd. 10

Performances, fysieke optredens, zijn van grote invloed geweest op de vorming van videokunst en zijn vaak nog steeds een principiële bouwsteen voor deze kunstuiting. Andere artiesten van de 1e generatie videokunstenaars experimenteerden vooral met de technische kant van het medium, maar hadden minder invloed op de vorming van videokunst zoals deze heden ten dage bestaat. Kunststromingen tijdens de opkomst van de videokunst Naast het post-Abstract Expressionisme waren Minimalisme en Conceptualisme belangrijke stromingen tijdens de opkomst van de videokunst. Kunst werd gedematerialiseerd; de aandacht verschoof van het object naar het idee. Het materiaal dat men gebruikte was in dienst van het idee. Door het samensmelten van verschillende kunstdisciplines in visuele kunst, werden de kunstenaars zich steeds bewuster van het fenomeen tijd, dit uitte zich in de vorm van video. Kunstenaars in de jaren 60 en begin jaren 70 creëerden een nieuwe manier van representatie door gebruik te maken van film, slides, video en holografische en fotografische projecties om fysieke ruimte te meten, documenteren, abstraheren, reflecteren en grenzen van deze ruimtes te verleggen. Musea werden omgetoverd van witte expositieruimtes naar donkere ruimtes met beeldschermen en projecties. Video en televisie Televisietechnologie heeft commercieel zijn intrede gemaakt in 1936, maar het duurde tot 1960 dat 90% van de Amerikaanse huishoudens een tv had staan. Zoals bij elke innovatie waar veel geld mee gemoeid gaat, heeft de televisie een complexe geschiedenis. Een belangrijke theoreticus op dit gebied, Marshall McLuhan schreef in 1951: “Ours is the first age in which many thousands of the best trained individual minds have made it a full-time business to get inside the collective pulic mind.To get inside in order to manipulate, exploit, control is the object now. And to generate heat not light is the intention.To keep everybody in the helpless state engendered by prolonged mental rutting is the effect of many ads and much entertainment alike.” 8 Volgens McLuhan was de meest effectieve kracht tegen de manipulatieve aard van de media de gebruiker zelf. Hij moedigde de gebruikers aan deel te nemen aan het communicatieve proces, en zodoende, in zekere zin medeproducenten te worden.9 Meerdere video artiesten en video collectieven volgden de raad van McLuhan op, vaak gebaseerd op politieke protesten en grote bijeenkomsten van multinationale instituten zoals de Wereldbank.Videokunst werd ingezet als kritiek tegen de macht van de politiek, grote multinationals en het commerciële karakter van televisieomroepen. Frank Gillette (groot bewonderaar van McLuhan) en Ira Schneider zijn belangrijke namen in de vorming van de videokunst. In 1969 maakten ze samen één van de eerste video installaties: Wipe Cycle10, een werk dat anticipeerde op de video installaties van de jaren tachtig. Het werk bestond uit negen monitoren.Vier hiervan speelden vooraf opgenomen materiaal af van bijvoorbeeld televisieprogramma’s. De ander vijf toonden beelden van de bezoekers in de galerij, zowel live als met enige vertraging. Gillette over de installatie: Wipe Cycle. N3krozoft Ltd. (www.n3krozoft.com).

“Viewers were mystified, they were seeing themselves on television mixed in with all these other images from TV shows and they were shocked as well as delighted.” 11

McLuhan, Marshal. 1951. ‘The Mechanical Bride. The Folklore of Industrial Man’ (The Vanguard Press: New York). 9 Rush, Michael. 2003. ‘Video Art’. (Thames & Hudson: London). p. 16 10 Gilette, Frank., Schneider, Ira. 1969. ‘Wipe Cycle’. 11 Rush, Michael. ‘Video Art’. p. 19 8

11

Het video collectief waar Gillette deel van uitmaakte, genaamd Raindance, bracht van 1970 tot 1974 de publicatie Radical Software uit. In de tweede uitgave schreven Phyllis Gershundy en Beryl Korot: “In issue one of Radical Software we introduced the hypothesis that people must assert control over the information tools and processes that shape their lives in order to free themselves from the mass manipulation perpetrated by commercial media in this country and state controlled television abroad. By accessing low-cost half-inch portable videotape equipment to produce or create or parttake in the information gathering process, we suggested that people would contribute greatly to restructuring their own information environments:YOU ARE THE INFORMATION…. In particular we focused on the increasing number of experiments conducted by people using this half-inch video tool: experiments in producing locally originated programming for closed-circuit and cable TV and for public access cablevision.” 12 Waar McLuhan het volk aanspoorde medeproducent van de media te worden, wees het collectief Raindance het volk op de kracht van de kabeltelevisie, en spoorde ze aan hier gebruik van te maken. Kabel televisie, geïntroduceerd in eind 1940, speelde een belangrijke rol in de videokunst. In 1960 mochten Amerikaanse kabelmaatschappijen, in samenspraak met de overheid, video apparatuur en faciliteiten beschikbaar stellen aan het locale publiek. Zo kregen artiesten en video collectieven toegang tot video apparatuur en de mogelijkheid hun werk locaal uit te zenden. De eerste tien jaar van de videokunst bestond voor een groot deel uit kritiek tegen de televisie en andere media.Veelal met reacties tegen de popcultuur en de commerciële kant van de media. Aan de andere kant bood televisie juist de mogelijkheid aan kunstenaars om werk aan een groter publiek te tonen. Big Brother, closed-circuit video Een ander belangrijk verschijnsel in de videokunst deed zijn intreden op een moment dat de wereld in de ban was van veiligheidsangsten, teweeggebracht door internationaal terrorisme. Dit verschijnsel was de beveiligingscamera, een techniek gebruikt door overheden om controle uit te oefenen op het volk.Veel kunstenaars begonnen deze techniek over te nemen in hun kunstwerken. Denk hierbij vooral aan installatiekunst, waarbij bezoekers deel begonnen uit te maken van de installatie zelf. Veel kunstenaars richtten de camera op zichzelf of op anderen om nieuwe betekenissen van tijd en identiteit te onderzoeken, of om plaats en perceptie in de galerij opnieuw te definiëren. Bezoekers werden actief betrokken in het werk en kregen een rol in de ontwikkeling van een alternatief voor televisie, een interactieve kunstvorm waarbij de bezoeker onmisbaar centraal stond.13 Video installaties Sinds de introductie van de Portapak videocamera in de jaren 60, werd video al gebruikt in de vorm van installaties. De meeste installaties suggereren van nature al interactiviteit. Vaak creëren installatie kunstenaars omgevingen die bezoekers letterlijk moeten binnenlopen, waardoor er fysieke deelname ontstaat met het kunstwerk. Hierdoor wordt de perceptie en de optische impact van het werk groter. Installaties, zowel in musea, galerijen en etalages als op muren en andere mogelijke projectieoppervlakten (ver)plaatsen de ervaring van het bewegend beeld buiten monitoren, maar ook buiten verdonkerde ruimtes. Naarmate de techniek evolueerde, werd er steeds meer mogelijk op het gebied van installatiekunst.Video-installaties werden steeds interactiever en boden een grotere belevingswaarde voor de gebruikers. Ryan Paul. 1988. ‘A Genealogy of Video. Leonardo’, in uitgave 21, nummer 1. p. 39-44 13 Rush, Michael. ‘Video Art’. p. 36 12

12

De eerste installaties bestonden vaak uit Singel-channel (één beeldscherm) videobeelden op televisietoestellen. De tweede stap waren de Multi-channel installaties (meerdere beeldschermen) en zelfs hele Video-walls (een muur bestaande uit beeldschermen). In de jaren tachtig kwamen de eerste videorecorders en projectors op de markt. Nu kon men levensgrote beelden projecteren, onafhankelijk van beeldschermen. Men was in staat volledige muren en andere projectieoppervlakten te benutten. Curator Chrissie Iles schreef in haar essay over geprojecteerde beelden: “[Projection] engaged viewers in a phenomenological experience of objects in relation to the architectural dimensions of the gallery – not to pictorial space – transforming actual space into a perceptual field.[…] It is as though the viewer ina projection installation environment becomes related to the camera movement – and contexts in the shifting experience of seeing lighted moving images presented as split, overlapping, multiplied, serialized, mirrored, rotated, made miniature or gigantic.” 14 Hiermee stelt ze dat de mogelijkheden die de projector boven een beeldscherm heeft, een enorme stap voorwaarts zijn bij het bieden van een interactieve ervaring. De kijker wordt omgeven door de ruimte die de video-installatie schept. Hiermee komen we uit op de samensmelting van verschillende kunstdisciplines die goed merkbaar is binnen de video-installatie kunst; architectuur en sculptuur zijn overduidelijk aanwezig. Ruimte, objecten en projectiebeelden gaan een wisselwerking aan en creëren nieuwe omgevingen. De trend in de eigentijdse videokunst Waar de opkomst van de betaalbare handzame videocamera de start van de videokunst inluidde, zorgen nieuwe technieken telkens weer voor veranderingen in de vorm van de videokunst en de werkmethodes van de kunstenaars. In 1997 werd de digitale videocamera op de markt gebracht. Dankzij het digitale aspect van deze techniek werd het steeds eenvoudiger voor kunstenaars hun materiaal te bewerken. Dankzij verschillende softwarepakketten kregen de kunstenaars volledige controle over werk, men was niet meer afhankelijk van specialisten op bijvoorbeeld het gebied van montageapparatuur en audio. Momenteel is video, als medium, onbelangrijk geworden voor kunstenaars. Men gebruikt allerlei verschillende manier om beeld te creëren, vaak een combinatie van verschillende technieken. Bijvoorbeeld: video, digitale video, film, computergegenereerde beelden, animatie, grafische beelden, fotografie en typografie.

Exercise in Immersion 4 (Marnix de Nijs). (http://www.v2.nl).

Een vrij nieuwe techniek die kunstenaars beginnen te gebruiken is Virtual Reality, waarbij een hogere mate van beleving ervoor zorgt dat de gebruikers zich in een alternatieve omgeving wanen. Dit is ook het geval met Augmented Reality, wat langzaamaan verkend wordt door de kunstwereld. Een voorbeeld hiervan is het AR project Exercise in Immersion 4 van Marnix de Nijs.15 EI4 is een installatie waarbij de gebruiker door middel van een VR-bril door een pakhuis loopt waar de werkelijkheid gemixt is met het virtuele. De gebruiker moet virtuele bollen verzamelen om punten te scoren. Hoe verder de speler komt, hoe meer het virtuele beeld begint te overheersen. Hoewel deze installatie in eerste instantie een spel lijkt, zit er wel degelijk een diepere betekenis achter: de verhouding tussen privé- en (de door media beïnvloedde) publieke ruimte. Een andere trend in de videokunst is de verplaatsing van het werk uit musea en galerijen naar publieke plaatsen. Deze werken zijn vaak interactief en gaan een wisselwerking aan met het aanwezige publiek. Maar videokunst verplaatst zich niet alleen naar andere fysieke locaties, ook virtuele locaties op het internet zijn mogelijk.

Iles, Chrissie. 2001. ‘Into the Light. The projected Image in American Art 1964-1977’. (Whitney Museum of American Art: Whitney). 15 Exercise in Immersion 4. 2007. Marnix de Nijs. (http://www.v2.nl/lab/ projects/exercise-in-immersion-4). 14

13

2.3 Conclusie Ondanks het relatief korte bestaan van de videokunst heeft ze een veelzijdige geschiedenis opgebouwd. Sinds de komst van de eerste betaalbare en handzame videocamera zijn kunstenaars aan de slag gegaan met het medium video. In een tijd waar technologische ontwikkelingen elkaar in een rap tempo opvolgen is het haast onmogelijk bij te blijven. Onze levensstijl is haastig, overvol met communicatie en communicatiemiddelen. De mensheid heeft nog nooit in zo’n snel veranderende wereld geleefd. Een weerspiegeling daarvan zien we terug in kunst. De groeiende populariteit van de televisie en de daarmee gemoeide invloed van de media en commercie bleek een grote inspiratiebron voor kunstenaars. De videokunst evolueert in een even rap tempo als de videotechniek. We hebben gezien dat elke technologische vooruitgang van de videotechniek een gevolg heeft op de vorm van videokunst. De thematiek van videokunstwerken bestaat deels uit een reactie op deze techniek, en deels uit een weerspiegeling van de tijdsgeest. We kunnen dan ook veronderstellen dat dit in de toekomst niet anders gaat zijn. Communicatiemiddelen worden steeds mobieler, interactiever en persoonlijker, een trend die we waarschijnlijk weerspiegeld zullen zien in de videokunst. Daarnaast zien we steeds vaker de term ‘Immersion’ opduiken, een term die te maken heeft met de beleving van de gebruiker.

14

Hoofdstuk 3: Immersiviteit 3.1 Inleiding Tegenwoordig horen we steeds vaker van de Engelse term ‘Immersive’. Immersive kent (nog) geen goede Nederlandse vertaling, ik zal dan ook het anglicisme ‘Immersief’ gebruiken. In mijn scriptie wil ik onderzoek doen naar de immersiviteit van video-installatiekunst en hoe de toevoeging van Augmented Reality technieken op video-installatiekunst de immersiviteit kunnen verhogen. Het is dus van groot belang deze term duidelijk af te bakenen.

3.2 Immersion De letterlijke Nederlandse vertaling voor ‘Immersion’ is onderdompeling, indoping of verdiept zijn.16 In ‘Hamlet on the Holodeck’ stelt Janet Murray het volgende: “We seed the same feeling from a psychologically immersive experience that we do from a plunge in the ocean or swimming pool: the sensation of being surrounded by a completely other reality, as different as water is from air, that takes over all of our attention, our whole perceptual apparatus.” 17 Kevin Brooks schrijft het volgende over ‘Immersion’ in zijn tekst ‘There is Nothing Virtual About Immersion: Narrative Immersion for VR and Other Interfaces’: “Immersive environments surround a participant such that everything they perceive is a part of a new world.” 18 Zowel Murray als Brooks stellen dat immersiviteit plaatsvindt wanneer een bepaalde omgeving de deelnemer zodanig omringt, dat alles wat de deelnemer waarneemt deel begint uit te maken van een nieuwe wereld. Verder stelt Brooks dat immersiviteit niet alleen te bereiken valt met technologische ontwikkelingen zoals Virtual en Augmented Reality. Het levendig voorlezen van een verhaal kan al genoeg zijn om een luisteraar zodanig te omringen met een nieuwe wereld, dat deze hier deel van uit begint te maken. De luisteraar ziet de wereld in detail voor zich en maakt verbanden tussen het verhaal en hun eigen leven.19 Volgens Brooks komt een sterke immersieve ervaring voort uit de kwaliteit van de geloofwaardigheid van de omgeving. Als je zintuigen zo worden geprikkeld dat je de prikkelingen als echt onderscheid, of op zijn minst met onzekerheid van ongeloof, dan kun je in deze omgeving geloven.20

3.3 Factoren die invloed hebben op de mate van immersiviteit Et al. 2008. ‘Kramers Woordenboek: Engels Nederlands’. (Het Spectrum: Houten). 17 Murray, Janet H. 1997. ‘Hamlet on the Holodeck: The Furure of Narrative in Cyberspace’. (The Free Press: New York). 18 Brooks, Kevin. 2004. ‘There is Nothing Virtual About Immersion: Narrative Immersion for VR and Other Interfaces’. (http://xenia.media.mit.edu/~brooks/ storybiz/immersiveNotVirtual.pdf). p. 2 19 Brooks, Kevin. 2004. ‘There is Nothing Virtual..’. p. 2 20 Brooks, Kevin. 2004. ‘There is Nothing Virtual..’. p. 3 16

Brooks zet vervolgens in zijn tekst uiteen dat technologie een aanvulling moet zijn op de reeds aanwezige immersieve kwaliteiten die de menselijke geest bezit. Als voorbeeld haalt hij gesproken verhaalvertellingen aan, omdat deze een duidelijke kapstok zijn voor narratieve immersie; het worden ondergedompeld in een verhaal. De term ‘verhaal’ kan hierbij als zeer breed worden beschouwd. Brooks maakt gebruik van film semiotiek wanneer hij de drie belangrijkste narratieve hulpmiddelen beschrijft: tijd, context en deelname. Deze drie hulpmiddelen zijn kritiek voor een verhaalvertelling en bieden een waardevol model voor andere vormen van immersieve ervaringen.

15

Tijd Grofweg kunnen we het tijdsaspect van een verhaalvertelling onderverdelen in verteltijd en verhalende tijd.Verteltijd (of presentatietijd) beschrijft de letterlijke duur waarin een verhaal wordt verteld, een film wordt gekeken, in een virtuele omgeving wordt doorgebracht, etc.Verhalende tijd (narratieve tijd) beschrijft de tijdsperiode(s) binnen het verhaal. De verhalende tijd over het leven van een bepaald persoon kan 80 jaar beslaan, terwijl de verteltijd slechts twee uur beslaat. Om dit te bewerkstellen worden narratieve technieken als flasbacks, flash-forwards, tijdssprongen en tijdsvertragingen gebruikt. Wanneer we zo worden meegesleurd door het verhaal, dus in de narratieve tijd, dat we ons totaal niet meer bewust zijn van de presentatietijd, zijn we volledig ondergedompeld in het verhaal. “It means being so immersed that the technology of the presentation: the television, the flickering light of the film projector, the speakers, computer screen and perhaps even the keyboard and mouse, disappear. It means that the awareness that one is surrounded by strangers in a darkened room, sitting in unfamiliar and perhaps even uncomfortable seats, is no longer there. And, most important, losing track of time means personal concerns and issues that may have been weighing heavily on one’s mind before the story experience, have also disappeared. For a period, the story world becomes the world, and when that happens, the time of the outside world seems to stop.” 21 Context De context is de ruimte waarin het verhaal zich afspeelt: de tijd en plaats van de gebeurtenissen, politieke en sociale omstandigheden, de aanwezige personen, hun doel, enzovoorts. Ook context valt, net als tijd, onder te verdelen in de presentatie context en de narratieve context. De presentatie context is de fysieke omgeving waarin de narratie wordt ervaren. De narratieve context is daarentegen de omgeving waarin het verhaal zich afspeelt. Als we kijken naar Virtual Reality zien we dat men probeert de deelnemer te laten geloven dat men zich in de narratieve context begeeft in plaats van de fysieke presentatie context. Het tegenovergestelde probeert men te bewerkstellen met Augmented Reality technieken, waar men probeert de deelnemer te laten geloven dat de narratieve context plaatsvindt in de fysieke presentatie context. Deelname Over deelname zegt Brooks het volgende: “An important attribute of the museum space or any 3D VRE [VR Environment] is that people have a chance to physically as well as mentally participate. Mental participation is assumed to be present or else the environment is a failure. It is always important to engage people’s minds, at least to some extent. Sometimes the best way of engaging people’s minds is to engage their bodies; orchestrating narrative events and elements in such a way as to encourage understanding of the narrative experience.” 22 Het aspect van deelname is volgens Brooks dus van groot belang om immersiviteit te bewerkstellen. Zowel fysieke als mentale deelname spelen een rol. Bij het lezen van een verhaal wordt de lezer mentaal betrokken in de narratieve context. De nieuwe werkelijkheid die in het boek wordt beschreven gaat tenslotte pas leven in het hoofd van de lezer. Brooks, Kevin. 2004. ‘There is Nothing Virtual..’. p. 6 22 Brooks, Kevin. 2004. ‘There is Nothing Virtual..’. p. 10 21

16

Wanneer we kijken naar installatie ruimtes en Virtual Reality omgevingen is de deelnemer automatisch al aanwezig in die fysieke ruimte, de presentatie context, en is dus fysiek betrokken. Wanneer de deelnemer vervolgens op een effectieve manier wordt betrokken in het narratieve element ontstaat er een narratieve ervaring. Een goed uitgevoerde narratieve ervaring zorgt er in dat geval voor dat je als deelnemer immersief betrokken raakt.

3.4. Hypermediacy en Transparent Immediacy Nu we een beeld hebben wat immersiviteit inhoudt en welke factoren bijdragen aan de mate van de immersie, is er nog een belangrijk deel onbesproken gelaten met betrekking tot immersiviteit: het medium zelf en haar transparantie richting de deelnemer. Met transparantie bedoelen we of het gepresenteerde duidelijk een presentatie is voortkomend uit een medium, of dat het medium zelf verborgen is, zodat de gebruiker alleen het gepresenteerde ziet. Kennis over ‘remediation’ zal ons hier een beter kijk op geven. In het gelijknamige boek beschrijven Bolter en Grusin de term remediation als volgt: “..the formal logic by which new media refashion prior media forms.” 23 Met andere woorden: aan elk nieuw medium ligt een oud medium ten grondslag. Denk hierbij aan de schilderkunst die werd opgevolgd door fotografie, die op haar beurt weer werd opgevolgd door cinema en video. Wanneer een medium bepaalde aspecten van een voorganger overneemt, bestaat er ook de kans dat deze te maken krijgt met dezelfde belemmeringen en voorwaarden om tot een immersieve beleving te komen. Denk hierbij aan de televisie, die gezien kan worden als opvolger van de schilderkunst. Een televisie biedt bewegend in plaats van stilstaand beeld en voegt er audio aan toe. Maar net als een schilderij is het beeld omlijst, wat de immersieve beleving kan belemmeren. Om verder te komen moeten we ook de termen Hypermediacy en (Transparent) Immediacy behandelen. Bolter en Grusin beschrijven Hypermedia als: een stijl van visuele representatie, met als doel de kijker bewust te maken van het medium. Hun definitie van (Transparent) Immediacy: een stijl van visuele representatie, met als doel de kijker te laten vergeten dat het medium zelf aanwezig is en deze te laten geloven dat hij in de aanwezigheid is van de gerepresenteerde objecten.24 Vervolgens stellen ze dat het niet uitmaakt of een medium transparant is of niet. Beide vormen zijn in staat om een immersieve ervaring te bewerkstelligen zolang de gebruiker het gevoel van echtheid ervaart.25 Deze vorm van ‘echtheid’ valt weer terug te koppelen aan de narratieve immersie die Brooks beschrijft; wanneer de narratieve vertelling immersief genoeg is, gelooft de deelnemer in deze nieuwe werkelijkheid en verdwijnt de technologie achter de vertelling.

Bolter, Jay D. en Grusin, Richard. 1999. ‘Remediation: Understanding New Media’. (The MIT Press: Cambridge). p. 273 24 Bolter, Jay D. en Grusin, Richard. 1999. ‘Remediation’. p. 272 25 Bolter, Jay D. en Grusin, Richard. 1999. ‘Remediation’. p. 6-9, 53 26 Fobiebehandeling met VR. Rijksuniversiteit Groningen. (www.rug.nl/cit/hpcv/vr_visualisation/ psychology/treatment_of_anxiety/ fobiebehandeling). 23

Een goed voorbeeld hiervan vinden we terug in de fobie behandelingen die men uitvoert met behulp van de CAVE, genaamd VRET (Virtual Reality Exposure Therapy).26 Zo worden mensen behandeld voor hoogtevrees, pleinvrees, vliegangst, angst voor spinnen, eetstoornissen, sociale angsten, etc. De gepresenteerde situaties zijn virtueel, maar door het gevoel van aanwezigheid worden de angsten vaak effectief opgeroepen. Uit onderzoek blijkt dat de angst na verloop van tijd ook daadwerkelijk afneemt. In dit voorbeeld stapt de patiënt in een overduidelijk ontransparante medium; men draagt een headset waarop tracking systemen zijn bevestigd en de fysieke ruimte bestaat uit een kubus waarop computergegenereerde beelden worden geprojecteerd die vaak ver van fotorealistisch zijn. Ondanks dit alles roept de ervaring angstgevoelens op bij de patiënt, het ontransparante medium weet toch een hoge mate van immersie te bereiken.

17

3.5 Immersie en Virtual en Augmented Reality De term Virtual Reality is al meerdere malen gevallen wanneer we het over immersie hadden, en dat is niet vreemd.Virtual Reality belooft hét medium te zijn dat volledig immersief is. Door het gebruik van een VR-bril begeeft de deelnemer zich in een andere wereld. In combinatie met zogenaamde data-gloves (handschoenen die de handbewegingen van de gebruiker registreert), of andere tracking methoden, kan de gebruiker interacteren met deze wereld. Deze hoge mate van interactie zorgt vervolgens voor een hoge mate van immersie. William Sherman en Alan Craig zeggen in ‘Understanding Virtual Reality, Interface Application and Design’ het volgende: “The ability of the user to control time and space – to look and move within the world – and the presence and actions of others in the virtual world all have a significant effect on the level of participation.The more control a VR experience gives the user, the greater the feeling of involvement in the virtual world.Virtual reality is one of the first media that allows such high degree of participant interactivity.” 27 Zoals eerder genoemd tracht Virtual Reality de deelnemer te laten geloven dat men zich in de narratieve context begeeft in plaats van de presentatie context en dat men het tegenovergestelde tracht te bereiken met Augmented Reality, waarbij de narratieve context plaatsvindt in de presentatie context. In het geval van Augmented Reality ontstaat er een mix tussen de virtuele wereld en de fysieke wereld van de deelnemer. Op audiovisueel gebied, maar ook op het gebied van interactie. De deelnemer kan namelijk net als bij Virtual Reality interacteren met de virtuele wereld en de daarin bestaande objecten en personages, maar ook met de fysieke wereld en diens objecten en personages. Tijd, context en deelname van beide werelden gaan een wisselwerking aan. Mette Thomsen beschrijft in ‘Positioning Intermedia: Intermedia and Mixed Reality’: “The virtual, in Mixed Reality [Augmented Reality], is cast as a simulation rather than a representation or narration of reality and is essentially understood as that, which in the eye of the beholder, can transgress mediation and become unmediated, become real.” 28

3.6 Samenvattend Er bestaan meerdere omschrijvingen van het begrip ‘immersiviteit’. De omschrijving die ik in deze scriptie zal hanteren luidt als volgt: Immersie is het bereiken van een mentale staat waarin de deelnemer door middel van zintuiglijke prikkels en/of narratieve middelen overtuigd is omgeven te zijn door een nieuwe werkelijkheid, en deze nieuwe werkelijkheid als echt te ervaren.

Sherman, Willeam R., en Craig, Alan B. 2003. ‘Understanding Virtual Reality: Interface Application and Design’. (Morgan Kaufmann Publishers, Elsevier Science). p. 61 28 Thomsen, Mette R. 2002. ‘Positioning Intermedia: Intermedia and Mixed Reality’. (Convergence, uitgave 8, nummer 4). p. 40 27

De mate waarin de deelnemer wordt ‘ondergedompeld’, volledig opgaat in de beleving, hangt af van meerdere factoren. Het opgaan in tijd is hier een factor van; de deelnemer vergeet de presentatietijd en ervaart alleen nog maar de narratieve tijd. De tweede factor is de context. In een ideale situatie vergeet de deelnemer de fysieke presentatie context en beleeft de ervaring enkel in de narratieve context, of mocht dit het doel zijn van de ‘verteller’, beleeft de deelnemer de narratieve context alsof deze werkelijkheid is geworden van de fysieke presentatie context; wat het geval is bij Augmented Reality. Een derde factor die meespeelt in de mate van immersiviteit is de mate van deelname. Wanneer de deelnemer mentaal en fysiek wordt betrokken in de ervaring zal deze vollediger opgaan in de nieuwe wereld die ze krijgt voorgeschoteld. Daarnaast hebben we bij immersiviteit te maken met het medium en haar interface. Het medium kan trachten transparant of ontransparant te zijn, met andere woorden: in hoeverre wordt de deelnemer eraan herinnert dat de sensorische input voorkomt uit een systeem en in hoeverre doet dat af aan de immersieve waarde? 18

Hoofdstuk 4: Video-installatiekunst en Immersiviteit 4.1 Inleiding Video-installaties hebben, zoals veel andere vormen van media, van nature al immersieve kwaliteiten. Om een beeld te schetsen van hoe AR hieraan kan bijdragen zal ik in dit hoofdstuk eerst uiteenzetten hoe video-installatiekunst immersie bereikt zonder deze techniek. Hiervoor bespreek ik een aantal installaties die van grote betekenis zijn geweest voor deze discipline, en hoe de kunstenaars hebben geprobeerd immersie te bereiken.

4.2 Bill Viola Bill Viola is een belangrijke naam in de wereld van de installatiekunst. Zijn werk gaat voornamelijk over het mens zijn en onze relatie met het universum.Viola’s uitgangspunt is de kijker bewust te maken van het mens zijn en de verschillende facetten van het leven, vaak op spiritueel gebied. Slowely Turning Narrative

Slowy Turning Narrative (Bill Viola). Foto: Gary McKinnis. (www.imagejournal.org).

De installatie Slowely Turning Narrative29 bestaat uit een grote donkere kamer met in het midden een groot projectiescherm dat langzaam ronddraait om zijn verticale as. Aan de ene kant van het scherm wordt een zwart-wit beeld geprojecteerd van een close-up van een man. De andere kant van het scherm is een spiegel waarop gekleurde beelden worden geprojecteerd die elkaar snel opvolgen. Deze beelden worden door de spiegel weerkaatst op de wanden van de ruimte. De gekleurde beelden bestaan uit situaties zoals: een trouwerij, spelende kinderen, een kermis, een brandend huis, een botsende auto, een hart en oog die geopereerd worden. Deze beelden worden ondersteund door corresponderende geluiden. Daarnaast speelt er een mannenstem die een opsomming geeft van de ontelbaar verschillende attitudes die een mens kan hebben op het leven en daarbij passende vormen van gedrag. Deze zinnen variëren van elementaire basisbehoeften tot diepzinnige gedachten, van nobele opvattingen tot de donkerste gedachtes, welke allemaal beginnen met: “The one who…”. Bill Viola over zijn werk: “Slowly Turning Narrative is concerned with the enclosing nature of the self-image and potentially infinite (and therefore unattainable) states of being, all revolving around the still center of the self. The room, and everyone in it, becomes in effect a continually shifting projection screen, encompassing images and reflections, all locked into the regular cadences of the chanting voice and the constant rotation of the screen. The entire space becomes an interior for the revelations of a constantly turning mind absorbed with itself. The confluences and conflicts of image, content, emotion, and intent perpetually change as the screen slowly turns.” 30 Room for St. John of the Cross

Room for St. John of the Cross (Bill Viola). Foto: Kira Perov/SQUIDDS & NUNNS. (www.artabase.net). Viola, Bill. 1992. Slowely Turning Narrative. 30 Video Spaces, Eight Installations. (www.moma.org/interactives/ exhibitions/1995/videospaces/viola.html). 31 Viola, Bill. 1983. Room for St. John of the Cross. 29

Het werk Room for St. John of the Cross31 is een belangrijk werk in de geschiedenis van de video kunst. Het werk staat voor het omslagpunt van projecties en beeldschermen in galerijen naar totaal narratieve omgevingen waarin de kijkers ondergedompeld werden. De bezoeker loopt via een donkere gang de installatie binnen met als gevolg dat het werk effectief is afgeschermd van de rest van de tentoonstelling. Tevens krijgt de kijker meteen de ervaring van isolatie. De gang komt vervolgens uit op een publieke ruimte met daarin een kleine private ruimte die niet te betreden is. De grote donkere ruimte wordt gedomineerd door een grote zwart-wit projectie van besneeuwde bergen die uit de hand zijn opgenomen en zodanig enorm schokkerig zijn, alsof het beeld rennend is gefilmd, of de cameraman last heeft van de harde wind. Het beeld wordt ondersteund door een bulderend geluid. 19

De nadruk van deze ruimte ligt op de overweldigende ervaring van dit doordringende monotone beeld en geluid. De tweede ruimte staat in contrast met de omringende grote ruimte. Deze kleine kamer is gevoelig, genuanceerd en mediterend van aard. Het bouwwerk bestaat uit een ontoegankelijke kamer met hierin een raam waardoor de kijker bukkend naar binnen kan kijken. De kamer is een kopie van de ruimte waar St. John in gevangenschap verkeerde, met uitzondering van het toegevoegde raam. Vanbinnen is deze ruimte wit geschilderd en bestaat de vloer uit zand. In de hoek staat een kleine houten tafel met hierop een metalen waterkan, een glas water en een 14 inch monitor; op zijn beurt weer een ruimte binnen een ruimte. Op het scherm zien we een kleurenvideo van een besneeuwde berg die met zijn voet aan weiden en bossen ligt. Deze video is in tegenstelling tot die in de buitenruimte gefilmd vanaf een vast standpunt, zonder camerabewegingen. Door de kleine afmetingen van het scherm en de positionering van de monitor valt het haast niet op dat het een bewegend beeld is in plaats van een stilstaand.Vanuit de kamer hoor je een stem, nauwelijks hoorbaar door het geluidsniveau, in het Spaans vier gedichten voorlezen die geschreven zijn door St. John tijdens zijn gevangenschap. De gedichten beschrijven zijn persoonlijke spirituele ervaringen met metaforen die de natuurlijke wereld overstijgen; de wereld waarvan hij geïsoleerd werd door het gevangenschap. De zelfreflectie in deze gedichten kan worden gezien als een inzicht en ontmoeting met God. Het bijzondere van deze installatie is de manier waarop de bezoeker wordt geconfronteerd met het gevangenschap van St. John en diens zelfreflectie. De installatie weerspiegelt de historische en spirituele ervaring van de zestiende-eeuwse religieuze St. John en recreëert gelijkwaardige omstandigheden om de bezoekers dezelfde ervaring te geven.

4.3 Julia Scher De video-installaties van Julia Scher staan vaak in het thema van bewaking. Sinds de jaren 80 heeft ze meerdere installaties gemaakt waarbij ze veelvuldig gebruik maakt van beveiligingscamera’s. Haar werk fungeert als klankkast voor hedendaagse problemen zoals: ‘the gaze’ (het doelloos staren), manipulatie van beelden, interactiviteit en informatie als kunstobject. Security by Julia II Security by Julia II32 is een installatie bestaande uit standaard beveiligingscamera’s en monitoren. Wanneer de bezoeker de ruimte binnenloopt, wordt ze begroet door een vrouw achter een bureau met een ‘Security by Julia’ uniform aan. Boven de vrouw hangen zeven zwart-wit monitors met hierop beelden van de beveiligingscamera’s. De bezoekers worden uitgenodigd een print te maken van hun eigen, of iemand anders zijn afbeelding wanneer deze op een monitor tevoorschijn komt. Bezoekers kunnen zichzelf bekijken en anderen bespioneren. Op hetzelfde moment kan men paranoïde raken om het feit dat iemand anders hen op datzelfde moment misschien wel aan het bekijken is op een andere monitor in de galerij. Security by Julia II (Julia Scher). Foto: Graham Coulter-Smith. (www.installationart.net).

32

Scher, Julia. 1989. Security by Julia II. 20

4.4 Context, tijd, deelname en transparantie De bovenstaande voorbeelden geven een beeld van hoe video-installatiekunstenaars immersie weten op te wekken zonder gebruik te maken van technieken als Augmented en Virtual Reality. Zoals eerder besproken in het hoofdstuk over immersie, zijn er een aantal punten die bijdragen aan een immersieve ervaring: context, tijd, deelname en het al dan niet transparant zijn van het medium. Context Op het gebied van context kunnen we stellen dat de installaties op een soortgelijke manier immersie trachten te bereiken; ze isoleren zichzelf van de buitenwereld en scheppen een alternatieve werkelijkheid. In Slowely Turning Narrative bevindt de bezoeker zich in een donkere ruimte en wordt door de narratie geconfronteerd met zichzelf. De stem in combinatie met de beelden en de steeds terugkomende reflectie van de kijker zelf in de spiegel, sporen de gebruiker aan al deze situaties, divers en tegengesteld, te ervaren als deel van hun eigen leven. Omdat het proces van zelfreflectie zich in de hoofden van de bezoekers afspeelt, is het wenselijk dat de presentatie context losstaat van de buitenwereld, zodat er geen externe factoren voor afleiding kunnen zorgen. Of zoals Viola zelf zegt: “The entire space becomes an interior for the revelations of a constantly turning mind absorbed with itself.” 33 De tweede installatie die besproken wordt kiest er ook voor de kijker te isoleren van de buitenwereld. Dit proces van isolatie begint al wanneer de bezoeker de installatie binnenloopt door een donkere gang, men loopt letterlijk een andere wereld binnen. In dit geval staat de presentatiecontext gelijk aan de narratieve context; de installatie verbeeldt de omstandigheden van de narratie. Ook in het derde voorbeeld, Security by Julia, loopt de bezoeker een alternatieve wereld binnen die losstaat van de buitenwereld. Tegelijkertijd tracht de installatie de echte wereld te kopiëren, hoewel in een persiflerende vorm. De presentatiecontext en narratieve context zijn één en dezelfde. Het onderwerp, de narratie, is beveiliging, privacy, voyeurisme en het opslaan van informatie, welke allemaal plaatsvinden binnen de installatie zelf. Tijd Een tweede aspect dat verband houdt met de mate van immersie is tijd. De bovengenoemde installaties gaan hier verschillend mee om. Zo zijn presentatietijd en narratieve tijd lastig te onderscheiden in de installatie Slowely Turning Narrative. De bezoeker komt door de narratieve context in een staat van zelfreflectie. De narratie begint te leven in het hoofd van de bezoeker wanneer deze allerlei situaties begint te vergelijken met zijn of haar eigen leven. Eén gepresenteerde situatie kan geruime tijd de gedachtegang van de bezoeker domineren. De kans is groot dat men de presentatietijd niet bewust meemaakt. In de installatie Room for St. John of the Cross wordt tevens getracht de kijker aan te sporen tot zelfreflectie. In dit geval niet met afwisselende beelden van mogelijke situaties, maar met de monotone situatie waarin St. John zich bevond; een staat van meditatie. De mediterende aard van het werk kan ervoor zorgen dat de kijker onbewust raakt van de presentatietijd, de tijd waarin men aanwezig is binnen de installatie. In het derde voorbeeld neemt het begrip tijd een andere wending aan. Het proces van bespioneren en bespioneerd worden en het weergeven van beeld op monitoren en op print maken de bezoekers juist bewust van de presentatie tijd. 33

Video Spaces, Eight Installations. 21

De installatie roept vragen op als: wordt ik op dit moment bespioneerd, hoe lang kan ik iemand bespioneren voordat het ongemakkelijk wordt, hebben mensen mijn afbeelding als print mee naar huis? Aan de andere kant kan de bezoeker, of beter gezegd deelnemer, volledig opgaan in de installatie en de presentatie tijd volledig uit het zicht verliezen door intensief betrokken te zijn bij het proces van bespioneren en bespioneerd worden. Deelname In het eerste voorbeeld wordt immersiviteit bereikt door de bezoeker deel uit te laten maken van de context. Zowel van de presentatie context; de kijker maakt fysiek deel uit van de installatie door middel van de draaiende spiegel, als van de narratieve context; de beelden en audio die de kijker krijgt voorgeschoteld, worden dankzij het roterende scherm en spiegel over de hele ruimte geprojecteerd, waardoor de narratie zich afspeelt rondom de kijker. Daarnaast neemt de bezoeker mentaal deel aan de narratieve context doordat de narratie wordt afgewisseld met een weerspiegeling van de kijker zelf. De kijker wordt letterlijk en figuurlijk aangespoord tot zelfreflectie. Er vindt fysieke en mentale deelname plaats, dat een belangrijke invloed uitoefent op de mate van de immersie. Het tweede werk plaatst de bezoeker fysiek in de gerecreëerde situatie waarin St. John zich bevond en betrekt de bezoeker zo in het werk. Om deze tweede ruimte te ervaren moet de kijker zijn best doen, men moet een ongemakkelijke gebukte houding aannemen en moet daarbij nog extra inspanning leveren om de kleine monitor te kunnen bekijken. Deze fysieke inspanning kan worden vergeleken met het afzien, een test van de spirituele waarde van de ervaring. Door te kijken door het ongemakkelijk geplaatste raam wordt de kijker zich bewust van de omstandigheden van St. John. De installatie tracht door middel van fysieke aanspraak de bezoeker mentaal deel te laten nemen en streeft naar een mediterende, zelfreflecterende staat van de gebruiker. In Security by Julia is de fysieke en mentale deelname duidelijk aanwezig in het werk. De bezoeker maakt bij binnenkomst direct deel uit van het narratief. Fysiek door aanwezig te zijn in de ruimte en op de videobeelden en mentaal door de confrontatie met deze beelden. Transparantie Slowely Turning Narrative is een overduidelijk gemedieerde installatie. Beelden worden op een draaiend projectiescherm vertoond dat aan de andere zijde uit een spiegel bestaat, welke beelden van een andere projector op de muren weerspiegelt. Toch doet de hypermediacy niet af aan de immersieve waarde. De immersie komt juist tot stand door de zelfreflectie waartoe de bezoeker wordt aangespoord, transparant of niet. Ook de tweede installatie is niet transparant. In eerste instantie geeft de installatie wel de opzet voor transparantie; de gebruiker loopt door een donkere tunnel die ervoor zorgt dat de bezoeker de galerij omgeving achter zich laat en zo toegeeft aan de transparantie van de installatie.Vervolgens komt de bezoeker terecht in een grote donkere ruimte waarbinnen een projectie plaatsvindt van een besneeuwde bergtop. Doordat de projectie een duidelijke uitsnede heeft op de muur, wordt de bezoeker zich weer bewust van de gemedieerde omgeving. Ditzelfde kunnen we zeggen over de kleine ruimte binnen deze grote ruimte. Hoewel het interieur van de kleine ruimte een kopie is van het origineel, zorgt de aanwezige monitor voor het doorbreken van de transparantie. Maar ook in dit geval doet het ontbreken van transparantie niet perse af aan de immersieve waarde. De derde installatie is een mooi voorbeeld hoe de hypermediacy er juist voor zorgt dat immediacy wordt bereikt, oftewel, hoe het ontransparante er juist voor zorgt dat de installatie transparant is. Het gehele werk draait om het expliciet aanwezig zijn van media, in dit geval van beveiligingscamera’s. De hypermediacy is het gene dat de installatie voorbij een representatie brengt en dus echt aan doet voelen. 22

4.5 Conclusie In dit hoofdstuk heb ik een drietal installaties behandeld aan de hand van de in hoofdstuk 3 besproken aspecten die bijdragen aan de mate van immersiviteit; context, tijd, deelname en transparantie. Deze aspecten staan niet los van elkaar, maar versterken elkaars werking, of, in sommige gevallen, maken elkaars werking mogelijk. Het vervagen van de grens tussen presentatie context en narratieve context kan tot een immersieve ervaring leiden. Oftewel: de bezoeker die zich fysiek in de presentatie context begeeft, heeft het gevoel dat hij of zij aanwezig is in de narratieve context of dat de narratieve context aanwezig is in de presentatie context. Uit de bovenstaande installaties kunnen we constateren dat de installatiekunstenaar een gepaste oplossing moet vinden om presentatie en narratieve context te verbinden. Dat kan zijn door een omgeving te scheppen waar de bezoeker niet wordt afgeleid door de buitenwereld, en kan opgaan en een wisselwerking kan aangaan met de narratieve context. Een donkere ruimte die duidelijk gemedieerd is zoals in de installatie Slowely Turning Narrative, krijgt het toch voor elkaar de narratieve context binnen te laten dringen in de presentatie context om het feit dat de narratie een wisselwerking aangaat met de zelfreflectie van de bezoeker, welke in het hoofd van de bezoeker afspeelt. De bezoeker neemt fysiek deel aan de installatie door zich in de ruimte te bevinden, waardoor zijn of haar spiegelbeeld in de spiegel verschijnt. De narratie in combinatie met de weerspiegeling zorgen voor de mentale deelname. Omdat de gebruiker door deze mentale deelname gestuurd wordt tot zelfreflectie, die zich in het hoofd van de gebruiker afspeelt, doet de gemedieerde omgeving niet af aan de immersie van de bezoeker. De hypermediale omgeving wordt door de zelfreflectie transparant. Daarnaast vloeien de presentatietijd en de narratieve tijd in elkaar over door het aspect van zelfreflectie. De bezoeker zal immers in gedachten verzonken zijn dankzij de narratieve context en zal derhalve de presentatietijd niet bewust meemaken. De bovenstaande uiteenzetting is misschien een utopisch beeld van immersieve werking van de betreffende installatie, maar geeft wel weer hoe de verschillende aspecten elkaar ondersteunen en leiden tot een immersieve ervaring.

23

Hoofdstuk 5: Augmented Reality,Video-installatiekunst en Immersiviteit 5.1 Inleiding In de voorgaande hoofdstukken heb ik alle facetten van mijn hoofdvraag behandeld. Ik heb uiteengezet wat we verstaan onder Augmented Reality, welke technieken hierachter zitten en welke toepassingen er momenteel bestaan.Vervolgens heb ik de korte geschiedenis van de videokunst en de video-installatiekunst beschreven om een beeld te geven van de trend die zich binnen deze kunstdiscipline afspeelt. In het hoofdstuk daarna heb ik uitgelegd wat immersiviteit is en welke factoren meespelen in het creëren van een immersieve ervaring. Tenslotte heb ik een aantal voorbeelden genoemd van videoinstallatiekunst die immersie weten op te wekken zonder het gebruik van Augmented Reality technieken.

5.2. Augmented Reality,Video-installatiekunst en Immersiviteit In dit voorlaatste hoofdstuk komt al deze kennis bijeen en probeer ik een antwoord te geven op mijn hoofdvraag: Hoe kan Augmented Reality bijdragen aan de immersiviteit van video-installatiekunst? Ook in dit geval zal ik immersiviteit onderverdelen in de factoren die bijdragen aan de mate van de immersie.

5.2.1 Context Een factor waarin Augmented Reality een belangrijke rol kan spelen is de narratieve context van een video-installatie. Zoals eerder gezegd, maakt AR het mogelijk de narratieve context binnen te laten dringen in de presentatie context. Door het gebruik van een VR-bril, (mobiele) projectoren, cameratelefoons en in de toekomst speciale contactlenzen, legt de techniek een virtueel beeld over de werkelijkheid heen. De narratie wordt weergegeven in de werkelijke belevingswereld van de gebruiker, en kan naargelang de mate van interactiviteit tevens een toenemende interactieve relatie aangaan met de fysieke presentatiecontext, iets waar ik later op terug kom wanneer ik de deelname bespreek. Daarnaast hebben we gezien dat veel installaties inspelen op de beleving van ruimte, de positionering van objecten binnen die ruimte, de positie van de gebruiker in die ruimte, en het aftasten van grenzen binnen en buiten deze ruimte. Ook op dit vlak kan AR veel betekenen. Augmented Reality maakt het mogelijk virtuele informatie toe te voegen aan de werkelijkheid en is dus uitermate geschikt om onze perceptie van ruimte en de perceptie van onszelf in die ruimte in kwestie te stellen. AR kan onze perceptie van ruimte niet alleen verleggen door bijvoorbeeld de presentatie ruimte te mixen met de narratieve ruimte, maar kan ook verschillende narratieve ruimtes samenbrengen in één presentatieruimte. Denk hierbij aan een netwerk van gebruikers die op hetzelfde tijdstip virtueel samenkomen in ieders persoonlijke presentatieruimte. Een voorbeeld hiervan is de applicatie Mixed Reality Conference.34 Deze applicatie maakt het mogelijk in je eigen kamer een videoconferentie te houden, waarbij je door middel van een VR-bril avatar’s (virtuele representaties) van je gesprekspartners kunt zien. Ook kunnen de deelnemers interacteren met virtueel aanwezige objecten.

Mixed Reality Conference. VTT. (http://virtual.vtt.fi/virtual/proj2/ multimedia/projects/mrconference.html). 34

24

5.2.2 Tijd Een immersieve ervaring kan ervoor zorgen dat de gebruiker zich niet meer bewust is van de presentatietijd en alleen nog maar in de narratieve tijd leeft. In het geval van AR zou dit dus betekenen dat de gebruiker alleen nog maar bezig is met de narratieve tijd van de virtueel toegevoegde werkelijkheid. Dit is niet onmogelijk, een narratie voortkomend uit AR kan een zodanige immersie oproepen dat de gebruiker het besef van tijd kwijtraakt. Het interessante van Augmented Reality is juist de mogelijkheid een onnatuurlijke wisselwerking tussen de lineaire presentatietijd van de fysieke wereld, en de narratieve tijd van de virtuele wereld te creëren. De lineaire tijd van de fysieke wereld is een feit waar we als gebruiker niet onderuit kunnen komen.Video haalt juist zijn kracht uit het kunnen spelen met onze perceptie van tijd; er worden tijdssprongen gemaakt, beelden worden vertraagd of versneld, etc. De kunstenaar kan bij het gebruik van AR ervoor kiezen om de narratieve tijd lineair te houden, zodat de ‘tijdzones’ van de werkelijke en virtuele wereld gelijk lopen. Een andere optie is om deze ‘tijdzones’ ongelijk te laten lopen en zo de kracht van video in te zetten om de narratie vorm te geven en in context te plaatsen. Denk hierbij aan de eerder besproken installatie Slowely Turning Narrative, waarbij gefragmenteerde beelden elkaar snel opvolgen en narratieve tijd dus ongelijk loopt met de presentatietijd. De kracht van video wordt hier ingezet om een groot scala aan situaties af te beelden in een korte tijd. Deze situaties gaan spelen in het hoofd van de bezoeker, waardoor de ‘tijdzones’ in elkaar overvloeien.

5.2.3 Deelname De mate van deelname, interactie, is van groot belang bij het opwekken van een immersieve ervaring. Door de bezoeker fysiek en mentaal te betrekken in het werk, wordt de bezoeker een deelnemer. Augmented Reality kan op meerdere manieren fysieke interactie bieden aan de gebruiker. Door het gebruik van een VR-bril, heeft de gebruiker een actieve rol in het kunstwerk door te bepalen waar het beeldscherm op gericht wordt, en geeft zo sturing aan welk onderdeel van de narratie zichtbaar wordt. Deze vorm van deelname klinkt heel elementair, maar is van groot belang voor de immersieve waarde; de deelnemer kiest zijn eigen positie binnen het werk en is vrij om zijn of haar aandacht ergens anders op te wenden, waardoor de narratie heel natuurlijk mixt met de werkelijke wereld, waar we deze vrijheid ook kennen. Hiernaast zijn er tal van interface mogelijkheden om interactie te bieden. Deze technieken kunnen we onderverdelen in transparant en niet transparant. De transparante interfaces zijn het meest natuurlijk voor de gebruiker, je zou ze kunnen zien als een simulatie van de werkelijkheid. Denk hierbij aan non-marker tracking, waarbij het systeem de bewegingen van de gebruiker registreert en omzet in interactie. Niet transparante interfaces zijn duidelijker aanwezig, bijvoorbeeld: gekleurde vingerdopjes, controlepanelen en objecten met markers erop. In theorie zijn de mogelijkheden op het gebied van interactie met Augmented Reality haast oneindig. De gebruiker kan interacteren met alle virtuele informatie (objecten, personen, omgevingen, etc.), maar kan daarnaast blijven interacteren met de fysieke wereld. Niet alleen is het voor de gebruiker mogelijk interactie aan te gaan met beiden werelden, ook de virtuele wereld gaat een wisselwerking aan met de fysieke werkelijkheid.Virtuele objecten worden immers in de werkelijke omgeving geplaatst en kunnen zich vervolgens ook aanpassen aan deze omgeving. Denk bijvoorbeeld aan een virtuele tafel die realistisch reageert op invallend zonlicht, of een virtuele object dat virtuele sporen achterlaat op de vloertegels in de werkelijke wereld.

25

De enorme variatie van interfaces bieden allemaal een andere manier van deelname en zorgen zo voor verschillende mogelijkheden en toepassingen van interactie. Het is aan de kunstenaar te beslissen welke interface, of combinatie van interfaces geschikt is voor de installatie. De mate van immersie kan afhangen van de hoedanigheid van de interactie, de vrijheid die de gebruiker binnen het virtuele krijgt, en het realistische gehalte van actie en reactie. Naast deze fysieke deelname onderscheiden we ook mentale deelname. Mentale deelname speelt zich af in het hoofd van de gebruiker en heeft niet zozeer te maken met de technische kant van de installatie, maar met de narratieve kwaliteit. Mentale deelname komt tot stand wanneer de deelnemer wordt aangespoord om na te denken. Dit kan betekenen: het nadenken over welke fysieke interactie er moet plaatsvinden binnen de installatie, of het nadenken over de narratie, en deze in context te plaatsen met betrekking tot zijn of haar eigen leven. Augmented Reality draagt hier aan bij door op de eerste plaats een enorm scala aan interactiemogelijkheden te bieden die, afhankelijk van de transparantie, geen expliciete keuzemogelijkheden blijken. Hierdoor zal de gebruiker op een intuïtieve manier moeten nadenkt over interactie. Op de tweede plaats confronteert de mix tussen de presentatie- en narratieve context de deelnemer met een narratie die zich afspeelt in de fysieke wereld van diegene, waardoor de deelnemer gestimuleerd wordt de narratie te betrekken op zijn of haar eigen leven.

5.2.4 Transparantie Hoewel er gesteld wordt dat de transparantie, of beter gezegd het ontbreken van transparantie van een medium geen invloed heeft op de mate van immersiviteit, blijft het een discutabel punt. In het ene geval zal de kunstenaar willen dat de gebruiker zich niet bewust is van de techniek rond het werk, omdat dit af zou doen aan de narratie. In een ander geval kan de nadruk op het gemedieerde juist bijdragen aan de boodschap van het werk. De geschiedenis van de videokunst laat ons zien dat veel kunstenaars juist inspelen op onze technologische afhankelijkheid, en zullen terdege kiezen voor een ontransparante videoinstallatie. In het geval van Augmented Reality ligt het aan de gebruikte techniek of het medium transparant is of niet. Op het gebied van visualisatie krijgen we met een aantal zaken te maken. Ten eerste het gehalte van realisme van het gevisualiseerde. Wanneer virtuele objecten er realistisch uitzien zal de narratie overtuigender overkomen op de gebruiker, men zal makkelijker toegeven aan de geloofwaardigheid van de narratie. Naast het grafische realisme van de virtuele objecten is het ook belangrijk dat de objecten zich realistisch gedragen in de fysieke wereld. Zo moeten objecten een vaste positie behouden wanneer het perspectief van de gebruiker veranderd, en passen de objecten zich idealiter ook aan op zaken als belichting. Hierbij plaats ik de kanttekening dat hoewel grafisch realisme veel kan toevoegen aan de immersieve waarde van een installatie, eenzelfde mate van immersie ook bereikt kan worden met minder realistische beelden wanneer er via andere wegen immersie wordt opgeroepen. Een voorbeeld hiervan is de Nintendo Wii35, een spelcomputer met weinig grafische kracht. De Wii compenseert het gebrek aan fotorealistische beelden door gebruik te maken van een interface waarbij de speler door het zwaaien van de controller overeenkomende bewegingen in het spel teweegbrengt. Door de interface gaat de speler op in het spel en zijn de beelden van minder belang bij het opwekken van een immersieve ervaring. 35

Nintendo Wii. (www.nintendo.com/wii). 26

Een ander punt is de techniek die gebruikt wordt om de virtuele laag te visualiseren. Een VR-bril kan een hoge mate van realisme creëren, maar kan ook onnatuurlijk aanvoelen door gewicht en omvang. Al worden VR-brillen steeds lichter en compacter. Wanneer er gebruik wordt maakt van projectoren krijg je als gebruiker weer te maken met een lichtbundel waar je doorheen kunt lopen, waardoor de immersieve ervaring meteen teniet kan worden gedaan door een breuk in de virtuele laag. Naast transparantie op het gebied van visualisatie moet er ook rekening worden gehouden met transparantie op het gebied van de interface. Zoals hierboven omschreven, bestaan er transparantie en niet transparante interfaces. De ene interface is transparanter dan de ander, maar biedt misschien ook weer minder mogelijkheden. Verder kunnen transparante interfaces voor een meer intuïtieve interactie zorgen. Het is dan ook aan de kunstenaar om hier een afweging in te maken.

27

Hoofdstuk 6: Conclusie 6.1 Hoe kan Augmented Reality bijdragen aan de immersiviteit van video-installatiekunst? Het antwoord op deze vraag heb ik uiteengezet in het voorgaande hoofdstuk ‘Augmented Reality,Video-installatiekunst en Immersiviteit’. Ik zal hier dan ook een korte conclusie geven over mijn bevindingen die ik heb opgedaan tijdens mijn onderzoek. Video-installatiekunst heeft zonder de toevoeging van Augmented Reality vaak al immersieve kwaliteiten. De kunstenaar houdt rekening met context, tijd, deelname en transparantie om een narratie immersief over te brengen op de bezoeker. De kracht van Augmented Reality is de mogelijkheid om de virtuele wereld te mixen met de werkelijkheid. Deze mix bestaat in de eerste plaats uit het samenbrengen van de narratieve context met de presentatiecontext. Een tweede aspect van deze mix bestaat uit het samenvloeien van de narratieve tijd en de presentatietijd. Tenslotte slaat Augmented Reality een brug tussen interactie met het virtuele en het fysieke. Het is afhankelijk van de gebruikte technieken en de kwaliteit van de narratie in hoeverre deze mix van de twee werelden transparant is of niet. Hoe meer de deelnemer fysiek en mentaal betrokken wordt, en gelooft in de gemedieerde nieuwe werkelijkheid, hoe hoger de mate van immersie.

6.2 Technologische ontwikkelingen De invloed van Augmented Reality op de mate van immersiviteit hangt sterk af van de technologische ontwikkelingen. Waar we eerst VR-brillen hadden met een lage resolutie, een grote omvang en een hoog gewicht, brengt de techniek ons langzaamaan bij speciale contactlenzen die ervoor moeten zorgen dat de gebruiker zich niet meer bewust is van het bij zich dragen van techniek. De ontwikkelingen in de techniek zorgt ervoor dat beelden realistischer kunnen worden weergegeven. Objecten kunnen beter getracked worden, en dus beter gepositioneerd in de fysieke wereld. Op gebied van interactie kunnen we steeds natuurgetrouwer interacteren met objecten, omgevingen en personages, en krijgen we steeds natuurlijkere feedback op onze acties. Netwerken zorgen ervoor dat mensen op verschillende locaties tegelijkertijd aanwezig kunnen zijn in dezelfde narratieve wereld. En steeds kleiner en energiezuiniger wordende apparatuur maakt de techniek mobieler. Dankzij de positie die AR begint in te nemen in de commerciële sector, wordt er veel onderzoek gedaan om de techniek erachter te verbeteren, wat ten goede komt voor de kunstwereld.

6.3 Toekomst van de video-installatiekunst Zoals eerder al geconcludeerd, staat het discipline videokunst niet stil. Dankzij de komst van nieuwe technieken krijgen kunstenaars meer vrijheid en mogelijkheden om videomateriaal te implementeren in hun kunstwerken. Dit videomateriaal hoeft niet perse te bestaan uit gefilmde beelden, zo wordt er bijvoorbeeld ook gebruik gemaakt van animatie en 3d-animatie.

28

Kunstwerken die gebruik maken van AR duiken al langzaamaan op.Vaak verkeren deze werken nog in een experimentele fase omdat de kunstenaars het medium nog aan het verkennen zijn. Mede door de vaak ingewikkelde techniek achter AR gaan kunstenaars samenwerkingsverbanden aan met mensen uit andere vakgebieden. Deze samenwerkingsverbanden zorgen vervolgens weer voor verfrissende werkmethodes en thematieken in het discipline van installatiekunst. We hebben gezien dat videokunst vaak een weerspiegeling van, of een reactie op, de tijdsgeest van dat moment is. In een tijd waar communicatie steeds mobieler, interactiever en persoonlijker wordt, is de kans groot dat deze elementen ook terugkomen in de hedendaagse kunst. Met de komst van Augmented Reality krijgen video-installatiekunstenaars een nieuw gereedschapsset aangereikt. Dit gereedschap kan worden ingezet om nieuwe wegen te verkennen en een revolutie teweeg te brengen in het overbrengen van ervaringen.

29

Literatuurlijst Bronnen Bolter, Jay D. en Grusin, Richard. 1999. ‘Remediation: Understanding New Media’. (The MIT Press: Cambridge). Brooks, Kevin. 2004. ‘There is Nothing Virtual About Immersion: Narrative Immersion for VR and Other Interfaces’. (http://xenia.media.mit.edu/~brooks/storybiz/immersiveNotVirtual.pdf). Geraadpleegd op 15-9-09. Et Al. 2008. ‘Kramers Woordenboek: Engels Nederlands’. (Het Spectrum: Houten). Iles, Chrissie. 2001. ‘Into the Light. The projected Image in American Art 1964-1977’. (Whitney Museum of American Art: Whitney). McLuhan, Marshal. 1951. ‘The Mechanical Bride. The Folklore of Industrial Man’ (The Vanguard Press: New York). Murray, Janet H. 1997. ‘Hamlet on the Holodeck: The Furure of Narrative in Cyberspace’. (The Free Press: New York). Pine, Joe II. The Multiverse (the Universe, Augmented Reality and beyond): verplichte inspiratiekost voor e-marketeers. (www.newmediaconsultant.com/the-multiverse-theuniverse-augmented-reality-and-beyond). Geraadpleegd op 11-9-09. Rush, Michael. 2003. ‘Video Art’. (Thames & Hudson: London). Ryan Paul. 1988. ‘A Genealogy of Video. Leonardo’, in uitgave 21, nummer 1. Sherman, Willeam R., en Craig, Alan B. 2003. ‘Understanding Virtual Reality: Interface Application and Design’. (Morgan Kaufmann Publishers, Elsevier Science). Thomsen, Mette R. 2002. ‘Positioning Intermedia: Intermedia and Mixed Reality’. (Convergence, uitgave 8, nummer 4). Viola, Bill. 1995.Video Spaces, Eight Installations. (www.moma.org/interactives/exhibitions/1995/videospaces/viola.html). Geraadpleegd op 6-10-09.

Overige literatuur Lister, Martin., Dovey, Jon., Giddings, Seth., Grant, Iain., Kelly, Kieran. 2005. ‘New Media: A Critical Introduction’. (Routledge: New York). Lovejoy, Margot. 2008. ‘Digital Currents: Art in the Electronic Age’. (Routledge: New York). Oliveira, Nicolas de., Oxley, Nicola., Petry, Michael. 2003. ‘Installation Art in the New Millennium: The Empire of the Senses’. (Thames & Hudson: London). Townsend, Chris (ed). 2004. ‘The Art of Bill Viola’. (Thames & Hudson: London).

30