Kunnen entertainment games gebruikt worden binnen Defensie als een simulator?
Gert-Jan Noordanus 1142861
[email protected] Nieuwe Media en populaire cultuur: game cultuur (2006-2007) Marinka Copier, Sybille Lammes, Eva Nieuwdorp en Joost Reassens 15 Januari 2007
Verantwoording voorblad: Op het voorblad is een afbeelding te zien die ter promotie is gebruikt van het spel Full Spectrum Warrior. Bron: http://www.gamefactoryinteractive.com/images/Full%20Spectrum%20Warrior.jpg
2
Inhoudsopgave Inleiding ............................................................................................................. 4 Wat zijn entertainment games ............................................................................... 6 Wat is een simulator ............................................................................................. 7 Kunnen entertainment games als simulator dienen? ................................................ 10 Fidelity .......................................................................................................... 12 Immersion ..................................................................................................... 13 Presence........................................................................................................ 13 Buy-in ........................................................................................................... 13 Wat voor een spel is Full Spectrum Warrior ............................................................ 14 Is er toekomst voor games als simulator ............................................................... 17 Literatuurlijst: ................................................................................................... 19
3
Inleiding Militair-tactische1 computerspellen liggen steeds vaker in de winkels. Verschillende spellen-ontwikkelaars maken regelmatig tactische militaire shooters als ook andere militaire strategische spellen. Regelmatig zie je dan ook bekende namen van exmilitairen op verpakkingen verschijnen. Binnen Defensie2 is het niet nieuw om gebruik te maken van simulatoren. Aangezien er een grote markt is voor het spelen van militair-tactische spellen door burgers en de hardware steeds beter wordt in de vorm van snellere pc’s en consoles komt de vraag onderhand op of ook entertainment games gebruikt kunnen gaan worden binnen Defensie als trainingsmiddel of wel als simulator. Mijn hoofdvraag is dan ook: Kunnen entertainment games gebruikt worden binnen Defensie als een simulator? En zo ja, op welke manier kunnen deze entertainment games toegepast worden? Deze vraagstelling is interessant aangezien het gebruik van entertainment games veel voordelen kan hebben. Hierbij moet vooral gedachten worden aan het financiële aspect als ook de eventuele hoeveelheid simulatoren die hierdoor ontwikkeld worden. Vandaar dat ik in deze paper wil kijken of er voorbeelden zijn van spellen die zowel door Defensie als voor de entertainment industrie gebruikt kunnen worden. Ik wil een zo goed mogelijk beeld schetsen van de huidige situatie en ik doe dit aan de hand van beschikbare literatuur. Deze vraagstelling komt voort uit mijn belangstelling voor militaire tactische en strategische spellen. De spellen die ik speel gaan van America’s Army en Rainbow Six, Counterstrike tot en met Command and Conquer. Bij deze spellen leer je hoe je volgens bepaalde principes zo goed mogelijk een level kan voltooien. Mijn vader is beroepsmilitair. Tijdens gesprekken kwamen sommige tactieken uit deze spelletjes ter sprake. Hij was verbaasd over mijn kennis over deze materie en vroeg zich af hoe zich af hoe ik aan al die kennis kwam. Een voorbeeld hiervan is de tactiek die je nodig hebt om veilig een kamer te kunnen betreden in een oorlogssituatie, zonder dat bekend is wat er zich in de kamer bevind. Deze in het spel te gebruiken tactische principes blijken namelijk voor een zeer groot deel overeen te komen met wat er binnen Defensie geleerd wordt.
3
Om een goed beeld te kunnen geven over of het mogelijk is om entertainment games te gebruiken zal ik in de literatuur moeten duiken. Ik wil het onderzoek verbijzonderen aan de hand van het spel Full Spectrum Warrior (2005 THQ) voor de XBOX. Er is later ook een versie voor de PC en de Sony Playstation 2 ontwikkeld. In dit onderzoek wordt echter alleen naar de XBOX versie gekeken omdat dit de enige versie is die naast het spel ook de simulator Full Spectrum Command op het schijfje heeft staan. Ik heb gekozen om dit spel te gebruiken voor mijn onderzoek aangezien op de doos aangegeven staat dat het gebaseerd is op een voor het Amerikaanse leger ontwikkelde trainingsmethode. Ik was daardoor zeer geïntrigeerd om te weten te komen of het een simulator is en of dit spel gebruikt zou (kunnen) worden binnen Defensie. 11
Militaire tactische shooters zijn spellen waarbij de nadruk ligt op het tactisch doorlopen van een level. Hierbij gaat het dus minder om de schietvaardigheden maar meer om de tactische planning. Shooters zijn spellen waarbij de speler met een wapen loopt en daarmee op tegenstanders schiet om zich zo een weg door de levels te banen.
Defensie: In deze paper refereert de term “Defensie” aan het Amerikaanse Ministerie van Defensie. Het Ministerie van Defensie is in de Verenigde Staten o.a. verantwoordelijk voor de training van militair personeel, maar ook voor de aanschaf van materieel.
2
4
Fig. 1 Cover van Full Spectrum Warrior voor de XBOX.4 Ik denk dat dit onderzoek veel kan toevoegen aan de huidige ontwikkelingen op het gebied van games. Door veel spelfabrikanten wordt geclaimd dat de spellen steeds realistischer worden. Echter, veel spellen worden ontwikkeld door spelontwikkelaars die geen militaire ervaringsdeskundigen zijn. Het beoordelen of het spel realistisch is, kan dan ook niet door de spelfabrikanten zelf worden gedaan. Toch gebruikt (o.a.) de Amerikaanse overheid entertainment spellen om hun personeel te leren omgaan met bepaalde situaties. Ook gebruikt de Amerikaanse overheid spellen om spelers enthousiast te maken voor het Amerikaanse leger. Het belang van mijn onderzoek is duidelijkheid verschaffen over de gestelde hoofdvraag. Spelontwikkelaars en de militaire leiding kunnen daarna afwegen en beslissen of een spel echt zo goed is als een “reallife” simulatie. De uitkomsten van dit soort beslissingen kunnen bijvoorbeeld financieel heel interessant zijn, voor zowel Defensie als de spelontwikkelaars.
4
De afbeelding kan gevonden worden op http://www9.yatego.com/images/4200b8dc610334.8/full-spectrum.JPG
5
Wat zijn entertainment games "Games zijn competitieve, gesitueerde, interactieve (leer)omgevingen, gebaseerd op een set van regels en/of een onderliggend model, waarin - met inachtneming van een aantal beperkingen - onder onzekere omstandigheden een uitdagend doel nagestreefd wordt." Ton de Jong, Wouter van Joolingen en Henny Leemkuil (2004) In deze definitie wordt heel kort weergegeven waar het om gaat in entertainment games. Onder entertainment games worden de spellen verstaan die bedoeld zijn voor de verkoop, met als doelstelling om geld te verdienen voor de producenten. Gratis spellen worden bij deze dus buiten beschouwing gelaten. Ik maak gebruik van de definitie zoals die gegeven is door Ton de Jong, Wouter van Joolingen en Henny Leemkuil (2004) en zal deze kort toelichten. Games zijn competitief. In een spel moet een drijfveer zitten om te winnen. Dit kan zijn door bepaalde scores te behalen of een behendigheid te krijgen waardoor het mogelijk is om iets te behalen. Dit kan zowel tegen van tevoren vast gestelde waardes zijn als tegen andere spelers. Hierbij moet gedacht worden aan het spelen tegen de computer als ook het spelen tegen een menselijke tegenstander. Een game is gesitueerd. Bijna elk spel heeft een gesitueerde omgeving. Hiermee wordt het achtergrondverhaal bedoeld. Zo kan bijvoorbeeld een shooter zich afspelen in de tweede wereldoorlog, maar ook in de toekomst. Afhankelijk van de situatie kan er dus gebruik worden gemaakt van bepaalde wapens als ook voorwerpen en omgevingen. Er wordt in een game gebruik gemaakt van een interactieve omgeving. De speler kan er dus wat mee doen. Al is het slechts het verzamelen van objecten of het openen van deuren, er moet iets te doen zijn met de omgeving. Een game maakt gebruik van bepaalde regels en/of onderliggend modellen. Deze regels bepalen wat er wel en niet mogelijk is in de spelwereld. Hierdoor worden games niet gezien als simulaties, omdat de ontwerpers van de spellen bepaalde beperkingen op kunnen leggen. Hierdoor zijn dingen die in werkelijkheid misschien wel kunnen (of juist helemaal niet) anders dan in een spel. Entertainment games, zoals in dit onderzoek worden gebruikt, zijn games gemaakt om via de verkoop geld mee te verdienen aan mensen die het voor hun plezier spelen. De spellen moeten voldoen aan de definitie zoals deze door Ton de Jong, Wouter van Joolingen en Henny Leemkuil (2004) is opgesteld.
6
Wat is een simulator De manier van oorlogsvoering verandert continu. Werd er in de Middeleeuwen nog massaal naar elkaar toe gerend met zwaarden, tegenwoordig wordt de uitkomst van de strijd vaak bepaald in de stad, waarbij het onderscheid tussen burger en soldaat moeilijk te maken is. Massale legers hebben plaats gemaakt voor individuen en kleine eenheden. Door deze veranderingen is er ook een nieuwe manier van oorlogsvoering, de zgn. urban warfare, waarbij de strijd zich in een stedelijke omgeving afspeelt. Om de verschillende manieren van oorlogsvoering aan militairen te leren zijn er verschillende methodes bedacht. Zo wordt er gebruik gemaakt van klassikale lessen. Deze blijken goed te werken en worden gebruikt om waardevolle kennis over te brengen. Een andere veel gebruikte methode is die van de oefening. Militairen simuleren dan een bepaalde situatie. Bij deze oefeningen wordt er zeer veel kennis en ervaring opgedaan, mede omdat alles waarmee een militair geconfronteerd wordt ook zorgt voor de nodige psychische druk. Denk hierbij aan ontploffingen, rook en losse flodders5 die ervoor zorgen dat de omgeving op de militair in training als een realistisch slagveld overkomt. Nieuwere methodes om soldaten voor te bereiden op een oorlogssituatie zijn de zogenaamde simulatoren. Simulatoren zijn volgens Bonk en Dennen (2005): ‘Simulators are systems that emulate visual stimuli and physical controls from the operational environment’. Bij simulatoren wordt meestal in eerste instantie gedacht aan vliegsimulatoren en rijsimulatoren. De laatste jaren is er een nieuw soort simulator te zien namelijk de ‘lightweight simulations’. Lightweight simulations zijn voor het web of voor de pc ontwikkelde systemen ontworpen om individuele instructies en specifieke missie-vaardigheden bij te brengen. Deze systemen weerspiegelen de eigenschappen en werking van de militaire systemen op vrij natuurlijk wijze. Het doel van een simulator is om de werkelijkheid zo goed na te bootsen dat de gebruiker helemaal mee gaat in de applicatie en daardoor de vaardigheden leert die hij moet ontwikkelen. Een voordeel van het gebruik van een simulator is dat dit vaak goedkoper is aangezien geen gebruik hoeft te worden gemaakt van het echte materieel, met doorgaans hoge exploitatiekosten. Verder hoeft voor een simulator niet al het materieel en personeel op dezelfde plek te zijn. Tenslotte kan er getraind worden met een steeds beter wordende vorm van realisme, terwijl de militairen geen gevaar lopen. Een simulator moet de werkelijkheid zo goed benaderen dat de militair op realistische wijze leert hoe te handelen als hij of zij in een oorlogssituatie terecht komt. Om de werkelijkheid te simuleren wordt alles uit de kast gehaald wat technisch mogelijk is. Zo kan een vliegsimulator zijn positie veranderen zodat het voor de gebruiker net is alsof hij een echte bocht vliegt. Ook zijn er simulatoren om het lichaam te laten wennen aan de G-krachten. Hiervoor wordt een persoon in een centrifuge gezet zodat het lichaam kan wennen aan de hoge druk waaronder het in een vliegtuig komt te staan. De piloot leert hierbij hoe hij ervoor kan zorgen dat hij bij kennis blijft en dit is belangrijk voor het uitvoeren van zijn taak. Schietoefeningen op vuurwapens worden uitgevoerd in simulatoren waarbij knal en terugslag van het wapen voelbaar zijn en de bemanning van een tanksimulator waant zich daadwerkelijk in een tank, inclusief motorgeluiden en de terugslag van het kanon.
Losse flodders zijn met kruit gevulde hulzen waarmee in een geweer gevuurd kan worden zonder dat er een kogel de loop verlaat. Hiermee worden dus wel het geluid en de terugslag van een geweer gesimuleerd. 5
7
Tegenwoordig wordt er ook gebruik gemaakt van combinaties van simulatoren. Een voorbeeld hiervan is het door TNO6 ontwikkelde ‘Unit Level Trainer-Joint Operations Integrated Network Demonstrator. Dit Nationaal Technologie Project realiseert een uitgebreid gesimuleerd gevechtsveld door koppeling van simulatoren met bestaande andere nationale faciliteiten, waarmee interactieve missies kunnen worden beoefend. Het netwerk bestaat uit vluchtsimulatoren van KLu, NLR en TNO-FEL, alsmede de door TNO ontwikkelde Air Operations Control Station simulator. Hiermee kunnen Forward Air Controllers, vliegers en gevechtsleiders worden getraind.’ Website TNO (2007). Op deze manier wordt er dus een koppeling gemaakt tussen de piloten die in simulatoren zitten en het simuleren van een tactische aanval. Ook voor het plannen en overzicht houden etc. worden simulatoren gebruikt. Op dit moment ligt de nadruk nog erg op het verbeteren van de omgevingen. Ook bewegingen en trillingen worden steeds meer geïntrigeerd in de huidige simulatoren. Het nieuwste op het gebied van simulatoren is geur. Er worden nu in de Verenigde staten al verschillende testen gedaan waarbij geur gebruikt wordt. Dit gebeurt door geuren na te maken en deze via blowers op het juiste moment eruit te sturen. Hierdoor wordt een simulatie nog echter. Als voorbeeld wordt in het artikel van James Vlahos (2005) het volgende geschreven. “I’m Army, Special Operations. My mission: to sneak up on a rebel training camp. If the intelligence is right—if the place is being operated by the enemy Tiger Brigade—then I’m supposed to plant a radio transmitter so that F-16 pilots can launch smart bombs directly to the target. I just need to make absolutely sure that the location is correct—that the rebels are indeed based here. And that won’t be easy. I creep through a dark drainage culvert, my helmet skimming the ceiling. There’s graffiti on the walls, puddles and trash on the ground. The place smells like damp earth and moldy concrete, a bit like my parents’ cellar— although home didn’t have bats overhead or rats underfoot. I emerge in a forest, by a river, at night. The air is crisp and piney. After the dank culvert, the change is so refreshing that I initially don’t notice the cinderblock building on the hilltop ahead. I don’t notice the sentry on the roof, standing at a machine gun and looking right at me. Good thing I’m not actually a soldier in a war zone. I’m in Los Angeles, standing in cubicle-land on the third floor of a modern office building. On my head are virtual-reality (VR) goggles with a stereoscopic, 90-degree field of view of the forest. In my hands is a PlayStation-type controller for directing my movements. And around my neck is an oval of blue plastic fitted with four vented metal modules the size of Zippo lighters. Wirelessly controlled by a nearby stack of computers, the modules transform what would otherwise be standard-issue military VR—for along with sight and sound, this training exercise features the smell of war.” Zoals te lezen is in de beschrijving vormt geur wel degelijk een belangrijk onderdeel van de beleving. In het verleden was dit nog niet geïntrigeerd in de simulatie. Het doel volgens dit artikel is om ervoor te zorgen dat de militairen zo gewend zijn aan de situatie waarin zij komen. Hierbij moet gedacht worden aan geluid (explosie, schoten, gillen etc.), beweging (trillingen van inslagen en voertuigen), visualisatie (wat krijg je te zien) en sinds kort ook geur (kruitdamp, de geur van lijken, brandstof). Deze situaties zijn
6
TNO Defensie en Veiligheid levert vernieuwende oplossingen om de algehele veiligheid van de samenleving te bevorderen en is strategisch partner van het Ministerie van Defensie. De opgebouwde kennis passen we toe voor en met opdrachtgevers. We richten ons op Defensie in de volle breedte van haar activiteiten. Militair optreden, Militaire middelen, Commandovoering en operationele besluitvorming, Dreiging en bescherming, Opleiding en training zijn de thema's waarbinnen we opereren. Op het gebied van Veiligheid ligt het accent op de bestrijding van criminaliteit, calamiteiten en terrorisme. http://www.tno.nl/defensie_en_veiligheid/ 24-01-2007
8
voor militairen erg stressvol vandaar dat ze van te voren gesimuleerd worden zodat ze op het moment dat het nodig is de goede keuzes maken. Een simulator kan dus gezien worden als een trainingsomgeving waarbij bepaalde situaties kunstmatig gecreëerd kunnen worden. Een simulatie is een nabootsing van de werkelijkheid waarbij alle zintuigen van de gebruiker gebruikt worden om het realisme te verhogen. Aanvullend moet er bij een simulatie ook de mogelijkheid zijn om terug te kunnen kijken, om zo later te kunnen evalueren, opdat er geleerd kan worden van gemaakte fouten. Deze functionaliteit is vanuit didactisch oogpunt zeer belangrijk en geeft een absolute meerwaarde aan het gebruik van een simulator voor opleiding en training.
9
Kunnen entertainment games als simulator dienen? Door de huidige ontwikkelingen op de elektronicamarkt worden computer systemen steeds krachtiger. Kostte het vroeger nog veel moeite om een omgeving te creëren waarin de gebruiker in 3D rond kon lopen, zo kan dat tegenwoordig bijna fotorealistisch. Ook komen militaire spellen steeds vaker op de commerciële markt. In het artikel “Militaire game(r)s: Vechten in de Virtuele wereld” van Gonzale Frasca (2004) betoogt hij dat simulatie de basiseigenschap is van videogames. De vraag is of het andersom ook geldt, namelijk of games op hun beurt weer gebruikt kunnen worden als simulator. De spellen die nu te koop zijn, zijn vaak shooters, maar soms zitten er ook militaire tactische spellen tussen. Een voorbeeld van zo’n spel is Full Spectrum Warrior (THQ). In dit spel, wat in het heden plaats vindt, kan de speler een militaire eenheid van twee keer vier man aansturen. In dit spel moet je continu keuzes maken en tactische aanvallen plannen om tot het eind van het level te komen. Dit spel is verkrijgbaar in de winkel net als andere spellen.
Fig. 2 Screenshot uit het spel Full Spectrum Warrior voor de XBOX7 In dit hoofdstuk ga ik in op de vraag of het mogelijk is om entertainment games te gebruiken als simulator voor defensie. Ik zal duidelijk maken waar een game aan moet voldoen om te dienen als simulator. In een volgend hoofdstuk zullen we dan aan de hand van het voorbeeld Full Spectrum Warrior(THQ) kijken of dit spel gezien kan worden als simulator voor Defensie.
7
Deze afbeelding kan gevonden worden op http://www.ntscuk.com/reviews/xbo/FullSpectrumWarrior/04.jpg
10
Volgens het artikel “From Gaming to Training: A Review of Studies on Fidelity, Immersion, Presence, and Buy-in and Their Effectson Transfer in PC-Based Simulations and Games.” (2005) Kunnen video games engines8 gebruikt gaan worden voor training. ‘To the player, a video game consists of a playing environment, characters, tools (e.g., weapons), and missions (or story lines). Many of these elements, such as complex stories or gratuitous violence, are designed to increase entertainment value and sales, not training effectiveness. However, the infrastructure underlying these elements—a simulation engine—can be repurposed for training. MMPGs and lightweight simulators share a common set of enabling technologies (e.g., real-time 3D graphics, artificial intelligence, and networking; Fong, 2004). The military, in fact, has leveraged on these commonalities in developing a number of training games: Marine Doom to sharpen teamwork and coordination skills within four-soldier fire teams (Riddell, 1997), America’s Army to train West Point officers, and Full Spectrum Warrior to train squad leaders in urban warfare combat tactics (Reuters, 2003; Roth, 2003). Several commercial off-theshelf (COTS) games (e.g., Delta Force 2, Steel Beasts, and Falcon 4.0) have also been adapted by various armed forces to address military training requirements. In dit artikel worden enkele entertainment games genoemd die gebruikt kunnen worden als simulator. Zo is Marine Doom het eerste spel dat gebuikt werd door de mariniers. Marine Doom is een Mod9 op het spel Doom 2 (Id software) waarbij missies gespeeld kunnen worden om zo te ervaren hoe het is om een missie uit te voeren. In 1996 gaf General Charles C. Krulak, commandant van het United States Marine Corps, in een instructie aan dat het goed is de soldaten voor te bereiden op de psychologische effecten van oorlog. Vandaar dat hij toestemming gaf om op militaire computers commerciële spellen te spelen om zo te leren daar mee om te gaan. Uit deze instructie is de Mod Marine Doom ontstaan. Een andere game die genoemd wordt is: America’s Army (U.S. Army) een first person10 shooter waarbij eerst een aantal lessen gevolgd moeten worden om daarna pas mee te mogen doen in de strijd. Dit spel is voornamelijk bedoeld om nieuw personeel mee te winnen voor het Amerikaanse leger. Het spel is dan ook ontwikkeld door het Amerikaanse leger. Full Spectrum Warrior is een spel waaraan het Amerikaanse leger heeft meegeholpen met de ontwikkeling. Dit spel wordt gespeeld als de squad leader (groepscommandant) die aanwijzingen geeft aan de rest van het team. Het spel is zeer interessant vanwege de achtergrond van de ontwikkeling en het gebruik als simulatie, vandaar dat ik dit spel beschouw voor mijn onderzoek en er dan ook verderop op in zal gaan. Volgens het artikel ‘’From Gaming to Training: A Review of Studies on Fidelity, Immersion, Presence, and Buy-in and Their Effectson Transfer in PC-Based Simulations and Games.” (2005) zijn er nog meer voordelen voor entertainment games ten opzichte van de reeds bestaande simulatoren aangezien entertainment games meestal al gemaakt zijn om via een netwerk of internet verbinding samen te kunnen spelen. Trainers van personeel kunnen gebruik maken van eigen level editors. En psychologen zeggen dat het spelen van action-based video games positieve effecten heeft op de cognitieve11 vaardigheden en relatie tot de visuele aandacht. (Boot, 2005; Castel, Pratt, & 8
Video Game Engines is de code die achter een spel ligt en waarin staat hoe dingen reageren. De game engine bevat dus de onderliggende code en aansturing voor alles wat er gebeurt in een game. 9 Een Mod is een aanpassing op een al bestaand spel. Dit zorgt ervoor dat de originele engine gebruikt wordt echter kan de rest compleet verschillen. 10 First Person betekend dat de speler kijkt door de ogen van het gamekarakter waarmee gespeeld wordt. 11 Cognitieve vaardigheden zijn bedrevenheden in een bepaalde manier van denken gericht op het opnemen, verwerken, beoordelen, toepassen en (re)produceren van informatie. http://wwwdsz.service.rug.nl/los/ORG/cogvaar.htm
11
Drummond, 2005; Green & Bavelier, 2003) De voordelen op technologisch vlak als ook de populariteit van de entertainment games industrie hebben hierdoor de interesse gewekt van het Amerikaanse Defense Advanced Research Projects Agency (DARPA). Een taak van deze organisatie is o.a. om te kijken of er experimentele leeromgevingen gemaakt kunnen worden voor de PC met behulp van entertainment games, en deze dan beschikbaar te maken zodat individuele maar ook multi-team trainingen kunnen worden gehouden met behulp van deze software. Het is belangrijk om te weten wanneer er iets geleerd wordt. In het artikel “From Gaming to Training: A Review of Studies on Fidelity, Immersion, Presence, and Buy-in and Their Effectson Transfer in PC-Based Simulations and Games.” [2005] wordt hier verder op in gegaan. In dat artikel wordt geschreven dat het belangrijkste kenmerk de transfer, oftewel overgang, is. Hierbij wordt er bedoeld dat het geleerde in de praktijk toe te passen is en dat wat er geleerd is ook iets toevoegt aan de al eerder gevolgde trainingen. Waar hierbij op gelet moet worden is dat de gebruiker niet iets leert wat bijvoorbeeld wel in een game omgeving kan maar niet in het echte leven. In het geval dat de gebruiker dingen leert die in werkelijkheid niet kunnen dan heeft de simulator een negatief effect op de gebruiker. De reden om te kiezen voor een simulatie kan verschillende oorzaken hebben. Het is namelijk niet altijd zo dat je sneller en beter dingen leert in een simulator. Voor bijvoorbeeld het leren vliegen wordt veel gebruik gemaakt van een simulator. De reden hiervoor is dat het te duur is om elke vlucht daadwerkelijk te vliegen. Het nadeel hiervan is dat het langer duurt voordat een simulatorgebruiker zijn opleiding afgerond heeft ten opzichte van iemand die alles geleerd heeft in het vliegtuig zelf. Echter, er is nog een groot voordeel aan het gebruik van simulatoren boven echte vlieguren en dat is dat de scenario’s die in werkelijkheid te gevaarlijk zijn om uit te voeren, in een simulator wel kunnen worden beoefend. Een voorbeeld van een entertainment game is Microsoft Flight simulator. Deze game werd vermoedelijk gebruikt door de terroristen die de aanslag pleegden op het World Trade Center in New York. Zij hadden vlieglessen genomen op kleinere vliegtuigen en leerden via deze entertainment game hoe ze de grotere vliegtuigen moesten besturen waarmee zij hun aanslag op het World Trade centre in New York uitvoerden. Om een antwoord te geven op de vraag of entertainment games gebruikt kunnen worden als simulatie moet gekeken worden naar de eigenschappen die nodig zijn om iets te leren van een game. Daarbij gelden bepaalde termen die ik eerst zal toelichten. Fidelity Het is erg belangrijk dat Fidelity (natuurgetrouwheid) aanwezig is in een simulatie. Onderstaande quote is uit de tekst “From Gaming to Training: A Review of Studies on Fidelity, Immersion, Presence, and Buy-in and Their Effectson Transfer in PC-Based Simulations and Games.” (2005) “Physical fidelity is defined as the degree to which the physical simulation looks, sounds, and feels like the operational environment in terms of the visual displays, controls, and audio as well as the physics models driving each of these variables (Baum, Riedel, Hays, & Mirabella, 1982). Functional fidelity is defined as the degree to which the simulation acts like the operational equipment in reacting to the tasks executed by the trainee (Allen et al.,1986).” Wat belangrijk is dat beide vormen voorkomen in een simulatie. Physical fidelity zorgt er namelijk voor dat militairen in dezelfde stress-situatie raken als zij tijdens een oorlogssituatie mee kunnen maken. Hiervoor moet dus gebruik gemaakt worden van het nodige realisme zoals het uiterlijk, de vormgeving, het geluid, kloppende geluiden bij wat de gebruiker doet, tegenwoordig ook geur en tot slot het gevoel dat alles wat in het echt
12
kan gebeuren ook in de game gebeurt. Functional fidelity zorgt dat het allemaal “echt” lijkt te gebeuren. Immersion Immersie gaat over de hoe ver een individu zichzelf op laat nemen, in dit geval in een simulatie. Indien een speler volledig opgenomen wordt, wordt het namelijk makkelijker voor de speler om dingen te leren en deze later te hergebruiken in een situatie waarin deze nodig zijn. Witmer & Singer (1998) suggeren dat: “measuring immersion along multiple continua representative of the technology itself. Immersion would therefore be based on the extent to which the visual displays support an illusion of reality that is inclusive (denoting the extent to which physical reality is shut out), extensive (the range of sensory modalities accommodated), surrounding (the size of the field of view), and vivid (the display resolution, richness, and quality). Each of these dimensions may be associated with a scale indicating the extent of its realization. The authors suggest that, based on these scales, immersion can be an objective and quantifiable description of what a video game, MMPG, or simulation provides.” Immersie is dus de mate waarin het spel werkelijkheid wordt voor de gebruiker. Presence In veel games is presence heel belangrijk. Met prescence wordt bedoelt het gevoel erbij te horen ook als je er niet aanwezig bent. Een voorbeeld hiervan zijn de massive online multiplayers. In die games leeft je karakter samen met vele andere karakters die ook allemaal gespeeld worden door spelers. Spelers voelen zich deel van deze community ook als deze niet aan het spelen zijn (Castronova, 200112). Het gevoel dat jij als persoon bestaat in die wereld helpt dan ook bij het leren in een simulator. Buy-in Met Buy-in wordt bedoelt de herkenbaarheid van de situatie. De gebruikers moeten zich kunnen verplaatsen in de hoofdpersoon. Kleuren, rangen, uniformen en dergelijke moeten dan ook kloppen. Hoe beter dit alles klopt, des te makkelijker zullen de gebruikers volgens het artikel “From Gaming to Training: A Review of Studies on Fidelity, Immersion, Presence, and Buy-in and Their Effectson Transfer in PC-Based Simulations and Games.” (2005) de doelstellingen van het spel herkennen en gebruiken buiten de simulatie. Er is echter tot op heden nog geen empirisch onderzoek gedaan naar deze effecten. Wel worden ze geconstateerd, maar het verband kan nog niet wetenschappelijk worden aangetoond. Als entertainment games gebruikt kunnen worden als simulator moeten ze aan een aantal eisen voldoen. Zo moet er o.a. sprake zijn van immersie, fidelity, presence en buy-in. Indien deze vier kenmerken aanwezig zijn in een spel en degene die de simulatie opzet invloed uit kan oefenen op het spel, zodat er bepaalde situaties te creëren zijn, kunnen entertainment games gebruikt worden voor militaire doeleinden. Deze vier kenmerken zijn belangrijk om terug te vinden in een game. Echter moet hier niet volledig van uit gegaan worden. Robert Ahlers en Rosemary Gariis van de Amerikaanse Militaire Navy Sub Marine school hebben ook zo’n lijst opgesteld. Volgens hun lijst moeten in een game, om ervan te leren, de volgende elementen zitten: “imaginary situation, rule-governed, goals specified, competitive/cooperative, progressive difficulty, sound effects, dynamic graphics, user control, outcome uncertainty, simulated danger, performance feedback, high response rates, and informational complexity.” Marc Prensky (2005) reageert hierop door te zeggen dat we ons niet blind moeten staren op deze lijstjes. Het is volgens hem beter om te kijken naar wat wel werkt en daar vanuit te gaan om zo een nieuw spel te ontwikkelen. 12
Een onderzoek naar de online community Norrath wijst uit dat spelers zich 1 voelen met de wereld ook als zij niet aan het spelen zijn.
13
Wat voor een spel is Full Spectrum Warrior Full Spectrum Warrior (THQ) is een spel gebaseerd op een lichte infanterie13 training simulator. De Amerikaanse overheid was namelijk op zoek naar een manier om soldaten te leren waarom een Squad Leader14 welke keuzes maakt. Ook wilden zij een programma in handen krijgen om goedkoop aan te kunnen bieden voor trainingen. Dit wilden zij bereiken door samen te werken met gamedeveloppers. In een interview zegt Dr. Michael Macedonia expert op het gebied van Militaire simulaties voor het leger het volgende:” The reason we started funding the development of these games through the Institute of Creative Technologies (ICT) was that we wanted to teach soldiers. That was our audience--not civilians or kids in high school, but soldiers at different levels of experience and different levels of jobs, management. Full Spectrum Command is focused on officers who run companies and company commanders. They generally have 130 people working for them. Full Spectrum Warrior, the commercial game, is focused on sergeants who might have nine people working for them. These games are not first-person shooters. In the case of Full Spectrum Warrior, it’s a squadlevel game on the Xbox and PC.” Ook verteld hij in datzelfde interview dat militairen moeite hadden met nieuwe apparatuur, zoals GPS, en nieuwe wapens om te gaan. Om dit op te lossen zijn ze al eerder in gesprek geweest met het bedrijf Novalogic om te vragen of zij er een game van konden maken. Dit konden zij en dat is het spel Landwarrior geworden. Dit spel is dan ook gebruikt om militairen bekend te laten raken met de nieuwe systemen. Niet zozeer om als simulator te dienen. In 1997 verscheen het artikel “Modeling and Simulation: Linking Entertainment and Defense” In dit artikel wordt in gegaan op het combineren van entertainment games en Defensie. Er wordt verteld dat de entertainment industrie zo snel ontwikkeld op het gebied van simulatie en technologie dat deze kennis gebundeld moet gaan worden met de kennis die al aanwezig is binnen Defensie om hiermee sneller en betere producten te kunnen realiseren. “By sharing research results, coordinating research agendas, and working collaboratively when necessary, the entertainment industry and DOD may be able to more efficiently and effectively build a technology base for modeling and simulation that will improve the nation's security and economic performance.” “Modeling and Simulation: Linking Entertainment and Defense” (1997) Om dit voor elkaar te krijgen zijn er wel een aantal obstakels die overwonnen moeten worden. Zo verschillen beide partijen van cultuur, business modellen en mogelijkheden als ook doelen. Deze zouden naast elkaar gelegd moeten gaan worden om tot uiteindelijke resultaten te komen. Binnen Defensie worden grote bedragen geïnvesteerd in het trainen van de soldaat. Doordat tegenwoordig de prijs van computer systemen zakt wordt het steeds interessanter om simulatoren te gebruiken ten opzichte van live training. Het doel van simulatoren kan volgens het artikel “Modeling and Simulation: Linking Entertainment and Defense” (1997) zijn dat zowel individuen als tank crews en squadrons kunnen leren hoe te werken als individu of als team. In hetzelfde artikel wordt ook al gesproken over het gebruiken van spelcomputers als apparaat om de trainingsoftware mee te kunnen gebruiken. In het artikel wordt 13
Infanterie betekend dat de soldaten te voet opereren. Een Squad leader is de leider van een eenheid van 4 man. Deze geeft de instructies die uitgevoerd moeten worden door de rest van het vierdelige team.
14
14
gesproken over de Nintendo 64. De tijd was op het moment van schrijven van dat artikel echter nog niet rijp voor een console15 als simulatie apparaat. Een paar jaar later kwam al het gesuggereerde in de praktijk. Het spel Full Spectrum Warrior is hier het grote voorbeeld van. Full Spectrum Warrior is ontwikkeld in opdracht van de Amerikaanse overheid door Pandemic Studios in samenwerking met de Unversity of Southern California’s Institute of Creative Technologies. Er werd gekozen om een spel te ontwikkelen voor de XBOX van Microsoft. Deze keuze is gemaakt omdat er goedkoop consoles aangekocht konden worden en een spel zou over een aantal jaren nog steeds hetzelfde spelen op de console. Er waren echter wel een aantal problemen die overwonnen moesten worden. Zo mag je niet zo maar een spel ontwikkelen voor de XBOX. Dit heeft te maken met het feit dat Microsoft toentertijd toelegde op elke verkoop van een console. Zij verdienden dit geld terug door de verkoop van games. Er werd daarom gekozen om 2 versies van het spel te maken en deze dan uit te brengen via de Publisher THQ. De 2 spellen of simulatoren die daaruit voortvloeide waren Full Spectrum Warrior, bedoeld voor de commerciële markt, en Full Spectrum Command, de militaire simulator. De reden dat er 2 spellen zijn gemaakt heeft te maken met de verkoop. Om het spel uit te mogen brengen op de XBOX moest het spel ook verkocht worden aan niet militairen. Om dit te bereiken hebben ze 2 versies gemaakt. De versie Full Spectrum Command is de eerste versie bedoeld om als simulator te dienen binnen Defensie. Het spel Full Spetrum Warrior is de commerciële variant en mede bedoeld om het spel goed te verkopen, maar ook om soldaten in hun eigen tijd te laten “oefenen”. David Nieborg (2005) zegt het volgende over de keuze om 2 versies van het spel op de XBOX uit te brengen: “The rationale of making Full Spectrum Warrior publicly available through a commercial developer has economic reasons not marketing reasons, since Full Spectrum Warrior was primarily envisioned as a training tool for U.S. Army soldiers. From a military perspective, the game has several advantages. In their spare time, soldiers can play the game and still train. When the Army is deployed overseas, soldiers bring the easily transportable Xbox with them (c.f. Wadhams, 2005) and play their favourite games in between battles.” Het spel Full Spectrum Warrior wordt bediend door middel van een joystick. De speler heeft 2 teams van 4 personen tot zijn beschikking. Wat de speler doet is de twee teams aansturen via een aantal commando’s die de speler tot zijn beschikking heeft. De speler zal nooit zelf schieten. Hij geeft hoogstens het commando om te vuren. Wat ze in dit spel hebben willen doen is de chain of command, oftewel het doorgeven als teamleider naar andere militairen, in het spel te verwerken en verder de tactische manier van aanvallen door gebruik te maken van 2 teams en het geven van dekking aan elkaar te implementeren. Net als in een echt team zijn er ook verschillende rollen in het spel. De speler is altijd de teamleider, maar in het team bevindt zich ook een automatic rifleman, M203 Gunner en een rifleman. Het spel speelt zich af in een niet bestaand land. Echter lijkt het land wel erg op landen waar de laatste paar jaar door de Amerikanen oorlog gevoerd is. Het gaat in dit spel niet om een waar gebeurd conflict. Wel is er de zogenaamde background story ontwikkeld zodat de speler mee kan gaan in het verhaal. De speler kijkt vanaf de 3e persoon mee over de schouder van de squad leader. Hierdoor kan hij ook niet al om hoekjes kijken totdat de het commando gegeven wordt dit te doen. Door deze methode voelt het realistischer aan dan in andere spellen waarbij het soms mogelijk is om vrij te kijken in de spelwereld zonder geraakt te kunnen worden.
15
Een console is hetzelfde als een spelcomputer.
15
De speler kan de eenheden door het speelgebied heen manoeuvreren en daarbij kan hij zien welke formaties de speler aan moet nemen. De speler maakt gebruik van de zogenaamd Head Up Display oftewel de HUD. In de HUD kan de speler zien hoeveel munitie hij nog tot zijn beschikking heeft, waar het volgende doel ligt door middel van een kompas, etc. In het spel kan de speler ook gebruik maken van informatie die gegeven kan worden door luchtondersteuning. De speler kan in een level vragen om een Fly By waarmee hij op zijn GPS systeem kan zien waar er militairen lopen. Nog een belangrijke functie in het spel is dat opgenomen wordt hoe je speelt. Je kan dus later terug kijken wat je gedaan hebt en wat je beter had kunnen doen. De doelen van het spel bestaan uit het redden van mensen, het geven van een vrije doorgang of het bereiken van een bepaald punt. De speler zijn beurt is voorbij op het moment dat er soldaten overlijden. Op de XBOX versie staat verder het programma Full Spectrum Command. Full Spectrum Command kan gespeeld worden door een cheatcode in te voeren waarna deze simulator wordt vrijgegeven. Veel is gelijk aan het spel Full Spectrum Warrior, echter zijn er wel wat verschillen. Zo zijn de explosies in de simulator minder hevig en daardoor realistischer. Ook duurt het bijvoorbeeld langer in de simulator voordat een rookgranaat het gewenste effect heeft. Verder wordt er in het spel veel meer gebruik gemaakt van wat de militairen geleerd hebben. Zo moeten aanvallen in de simulator ook volgens het boekje gebeuren en om dit te kunnen zijn er meer commando’s nodig. Grafisch gezien is Full Spectrum Command minder mooi, maar de tegenstanders zijn slimmer dan in Full Spectrum Warrior. Ook is het in Full Spectrum Command mogelijk om zelf een map16 te maken. Verder kunnen er parameters veranderd worden, zoals de agressiviteit van de tegenstanders. Er blijkt dus wel degelijk een verschil te zijn tussen de 2 games. De verschillen zijn nodig om ervoor te zorgen dat de commerciële versie beter verkoopt. In deze versie wordt het namelijk toegankelijker gehouden om te spelen en krijgt de speler meer spektakel. Daardoor is de commerciële versie echter minder realistisch. Het spel moet immers aangepast worden aan wat de speler verwacht op basis van zijn ervaring met andere games.
16
Een map is hoe het level eruit ziet.
16
Is er toekomst voor games als simulator ‘Dezelfde spellen die door het Amerikaanse leger worden gebruikt om soldaten klaar te stomen voor lopende en komende conflicten worden door gamers gebruikt in de strijd tegen verveling’ Nieborg (2004) Na veel gelezen te hebben denk ik zeker dat er toekomst is voor entertainment games als simulatoren. Ik kan dit concluderen aan de hand van onderzoeksrapporten die aangeven dat het zeer goed mogelijk is om samen te werken tussen de games industrie en de overheid en de daaruit volgende realisatie van die ideeën. Wel zullen er verschillende versies moeten blijven bestaan. Zo heeft de gamer die een spel koopt andere verwachtingen, die tegen de werkelijkheid ingaan, en dus niet in een simulator passen. Wat is nu het antwoord op de hoofdvraag: Kunnen entertainment games gebruikt worden binnen Defensie als een simulator? Er kan gezegd worden dat dat zo is. Als je kijkt naar de eigenschappen van een simulator dan zie je die zeker terug in het spel Full Spectrum Warrior. Het spel heeft een bepaalde vorm van Fidelity namelijk dat het zich afspeelt in een omgeving die had kunnen bestaan. Er treed tijdens het spelen een vorm van Emmersie op. Spelers gaan op in het verhaal dat door de spelmakers bedacht is. Er is een zekere vorm van Presence. Het karakter waarmee gespeeld wordt zou je zelf kunnen zijn. En de missie is afgelopen zodra er iemand overlijdt. Ook Buy-In komt aan de orde in het spel Full Spectrum Warrior. Alle rangen functies en eigenschappen van de personen zijn realistisch en een beroepsmilitair kan zich daarmee identificeren. Een andere belangrijke functie die het mogelijk maakt om het spel te laten functioneren als simulator is de playback functie. Er kan gekeken worden naar wat er gedaan is tijdens een missie en dit kan terug worden gekoppeld, waardoor er dus geleerd wordt van het spelen. Zeker gezien de kosten die het met zich mee brengt is het erg interessant om commerciële games te gebruiken. Naar verwachting zullen echter commerciële games aangepast moeten blijven worden, aangezien het doel van de spellen niet is om een zo realistisch mogelijke ervaring te creëren maar om zoveel mogelijk geld te verdienen. Echter, er zullen altijd aanvullingen zijn die een simulatie nog echter maken. In het verleden ontwikkelde onder andere de Amerikaanse overheid mee op het gebied van graphics en nieuwe technologieën om die te gebruiken voor simulatoren. Deze technologieën werden daarna gebruikt en verbeterd door de entertainment industrie. Zo zal er in de toekomst ook door Defensie mee moeten worden ontwikkeld. Het voorbeeld dat eerder gegegeven is zoals geur toevoegen aan een simulator zal voorlopig nog niet kunnen bij entertainment games. De aanpassingen om het zo realistisch mogelijk te maken zullen dus altijd vanuit Defensie gerealiseerd moeten worden. Mijn tweede vraag was: En zo ja, op welke manier kunnen deze entertainment games toegepast worden? Als basis kunnen entertainment games gebruikt worden om een simulatie op te oefenen. Militairen kunnen op deze manier trainen met software die commercieel voor handen is. Er moet hierbij echter wel goed opgelet worden dat alles wat mogelijk is in het spel ook daadwerkelijk kan. Dit om te voorkomen dat militairen verkeerde dingen aanleren. Entertainment games kunnen verder gebruikt worden door soldaten om hun in vrije tijd door te leren.
17
Met bijvoorbeeld het spel Full Spectrum Warrior kan nog veel meer worden gedaan dan alleen maar het simuleren van een chain of command. Het spel heeft namelijk nog diverse simulatie-aspecten tot gevolg gehad. Zo worden er nu testen gedaan om te zien of het helpt om trauma’s van soldaten te verhelpen door middel van dit spel. Om dit te realiseren gebruiken ze de omgeving van het spel en voegen daar geur aan toe om zo de situaties voor militairen nogmaals zichtbaar te maken en daardoor met ze erover te kunnen praten. Mijn conclusie is dan ook dat het in de toekomst zeker vaker voor zal gaan komen dat er binnen Defensie gebruik gemaakt zal gaan worden van entertainment games. Echter er zullen altijd aanpassingen gedaan moeten worden en het rechtstreeks uit de winkel gebruiken van een game als simulator is niet waarschijnlijk.
18
Literatuurlijst: Alexander, Amy., et. Al. “From Gaming to Training: A Review of Studies on Fidelity, Immersion, Presence, and Buy-in and Their Effectson Transfer in PC-Based Simulations and Games. [2005] Darwars.com 22-01-2005. http://www.darwars.com/downloads/DARWARS%20Paper%2012205.pdf Bommel, Maj J.M.J. van, Douze, ritm E.J. “Vaktechnische Opleiding Cavalerie” VOC 4 (2006): 24-26. Bonk, C. J. & Dennen, V. P. Massive multiplayer online gaming: A research framework for military training and education (Technical Report 2005-1). Washington, DC: Advanced Distributive Learning Initiative, 2005. Boot, W. R. Enhancing warfighter training and performance. Naval Training Principal Investigator Program Review. 2-4 August 2005. Arlington, VA. 2005. Castronova, E. “Virtual worlds: A first-hand account of market and society on the cyberian frontier”. Center for Economic Studies & Ifo Institute for Economic Research Working Paper No. 618. 2001 Corporate Author . Modeling and Simulation: Linking Entertainment and Defense. Wahington D.C., 1997. http://books.nap.edu/html/modeling/ Frasca, Gonzalo. “SIMULATION 101: Simulation versus Representation” [2001] Ludology.org Home page – 15-01-2007 http://www.ludology.org/articles/sim1/simulation101.html Gonzalez, Lauren. “Spot On: The US Army's There-based simulation” [2004] Gamespot Home page – 15-01-2007 http://www.gamespot.com/news/6093860.html?&print=1 Korris, James K. “FULL SPECTRUM WARRIOR: HOW THE INSTITUTE FOR CREATIVE TECHNOLOGIES BUILT A COGNITIVE TRAINING TOOL FOR THE XBOX” [2004] Institute for creative technologies Home page – 15-01-2007 http://www.ict.usc.edu/publications/korris-fsw-asc.pdf Nieborg, Davis B. “Changing the Rules of Engagement” Gamespace Home page – 15-01-2007 http://www.gamespace.nl/content/MAThesis_DBNieborg.pdf Nieborg, Davis B. “Militaire Game(r)s vechten in de Virtuele Werkelijkheid” Tijdschrift voor Mediageschiedenis 7.2 (2004): 53 -76 http://www.gamespace.nl/content/Nieborg_TMG_2004.pdf Nieborg, Davis B. “We want the whole World to know how great the U.S. Army is! – Computer Games and Propaganda” Gamespace Home page – 15-01-207 http://www.gamespace.nl/content/Nieborg_GamesAndPropaganda_2006.pdf. Macedonia, Michael “Games, Simulation, ande the Militairy Education Dilemma” Educause Home page – 15-01-2007 http://www.educause.edu/ir/library/pdf/ffpiu018.pdf Pair, Jarrell., et. Al. “A Virtual Reality Exposure Therapy Application for Iraq War Post Traumatic Stress Disorder” Institute for creative technologies Home page – 15-012007 http://www.ict.usc.edu/publications/Pair%20Virtual%20Reality.pdf Jong, Ton. Joolingen, Wouter van & Leemkuil, Henny. ‘'ICT in het onderwijs: the Next Generation'’ Hoofdstuk Games en Gaming 2004 Reuters “Video game hones US soldiers’ fighting skills”. The Straits Times. 17-05-2003 Prensky, Marc. “Computer games and learning: digital game-based learning” Handbook computer game studies. Red. J. Raessens en J. Goldstein. London: The MIT Press, 2005. 97-122. Riddell, Rob. “Doom Goes To War” [1997] Wired Home page- 15-01-2007 http://www.wired.com/wired/archive/5.04/ff_doom.html Roth, P. ‘‘’America’s Army’ is big hit, and not just with civilians”. Wall Street Journal. 16-05-2003 Sterling, Bruce. “War Is Virtual Hell” [1993] Wired Home page – 15-01-2007 http://www.wired.com/wired/archive/5.04/ff_doom.html
19
TNO “Grondgebonden Luchtverdediging: wetenschappelijke ondersteuning door TNO-DO” http://www.tno.nl/defensie_en_veiligheid/militair_optreden/operational_analysis/j oint_extended_air_defenc/ead_programmes/gadsr_documents/Militaire_Spectator -Wetenschappelijke_ondersteuning_door_TNO-DO.doc Home Page - 22-01-2007 Totilo Stephen. “Prescription For Iraq Vets Dealing With Trauma? Video Game” [2006] MTV Home page 15-01-2007 http://www.mtv.com/news/articles/1538849/20060817/index.jhtml? “Toy soldiers” [2005] Guardian Home page 15-01-2007 http://technology.guardian.co.uk/weekly/story/0,,1654070,00.html Uricchio, William. “Simulation, history, and computer games” Handbook computer game studies. Red. J. Raessens en J. Goldstein. London: The MIT Press, 2005. 327-338. Vlahos, James. “The Smell of War” [2005] Popular Science Magazin Home page 15-012007 http://www.popsci.com/popsci/printerfriendly/technology/89a28c85706ac010vgnv cm1000004eecbccdrcrd.html Wadhams, Nick. “Troops Stationed in Iraq Turn to Gaming”. January 3 2005. USA Today. http://www.usatoday.com/tech/news/2005-01-03-iraq-gaming_x.htm. 23-012007 Witmer, B. & Singer, M. “Measuring presence in virtual environments: A presence questionnaire. Presence: Teleoperators and Virtual Environments”, 7(3), 225-240. 1998
20
