Mobiele Augmented Reality voor kinderen gebruik van Augmented Reality met real-world interactie in edutainment voor kinderen
Frank Bovenkerk Julian van Buul Nie Ngo Sylvia van der Leen Ramon Schreuder David Suits Agnes Swart
Hogeschool voor de Kunsten Utrecht faculteit KMT, EMMA 2005/2006 Begeleiders: René Lansink, Bobby de Groot
Mobiele Augmented Reality voor kinderen gebruik van Augmented Reality met real-world interactie in edutainment voor kinderen
Frank Bovenkerk Julian van Buul Nie Ngo Sylvia van der Leen Ramon Schreuder David Suits Agnes Swart Projectbegeleiders: René Lansink en Bobby de Groot Hilversum, februari 2006
Hogeschool voor de Kunsten Utrecht Faculteit Kunst, Media & Technologie
European Media Master of Arts 2005/2006
In opdracht van Stichting Annie M.G. Schmidt Huis Contactpersoon: Frits Ferres
Abstract
The focus of this research paper is on the field of Augmented Reality (AR). In our research, we focused on the latest developments in the field, specifically aimed at a specific target audience, consisting of children between the ages of 6-13. The outcome of our research is the foundation for the development of the project concept, referred to as ’Kladderlaan’ (literally translated: ‘Daub Avenue’). Together, the concept and the preceding research comprise the textual result of the first phase of a continuing project that will span three years in total. This project is commissioned by the Annie M.G. Schmidt Huis foundation. In 2008 this foundation will open an Art and Culture park for children (’Almere Waaidorp’), which will be situated in Almere, The Netherlands. The aim of the project is to develop an AR experience in this cultural park. AR is a technique where virtual information is added to reality. Ideally, a new world, a Mixed Reality Environment emerges from this, in which real and virtual are seamlessly connected. AR applications demand interfaces that shift away from our traditional desktop models. By its very nature, it is part of our environment, and thus requires an interface that is also part of this environment. This warrants extra attention when dealing with our target audience. Hence the challenge will be to design an interface that is both natural and easily used by any child between the ages 6-13. On another level, the concept needs to be both interesting and yet comprehensible for all children within the target group. Obviously, a 6-year-old is very different from a 13-year-old, both mentally and physically, in abilities and in interests. This presents problems when trying to create a concept for such a wide audience. All children however, share a few basic needs, including, but not limited to, things as social interaction, empowerment, and the means to express oneself. Another interesting point is that a child’s environment has a very strong effect on how he or she digests information. AR poses unique possibilities in the field of education and entertainment. Firstly, it creates new learning possibilities: concepts such as space and time become much more comprehensible. Secondly, it stimulates movement and more exercise by linking information to physical objects or places. And as such, computer desktops become obsolete. The technique promise us a new, better balance between the real world and computer generated information. Thirdly, the new AR interfaces often don’t rely on communication via a computer screen. Direct, physical contact makes it easier for people to interact. Lastly, the immersion (the realism which we experience, that catches our full attention) of an AR experience creates more vivid and consequently, highly detailed memories. AR is however, still developing. The promise to seamlessly connect the real and virtual world is not yet met, due to technical limitations. Currently, there are very few AR software toolkits on the market that provide extensive functionality, stability and usability at the same time. Consequently, any AR application has to be developed almost from scratch. Moreover, there is hardly any affordable AR hardware available: devices like AR goggles have not yet reached the mass markets. Apart from the fact that they are extremely expensive, they are also not yet considered safe for children under the age of sixteen. The best way to develop an interesting AR project today, is to make use of existing techniques. However, new techniques are already being researched or even developed and AR projects will slowly but surely, become both cheaper and easier to create. We used the findings of our research to come up with Kladderlaan, a concept for an AR experience which we designed specifically for the cultural park Almere Waaidorp. In this experience, children will use a purpose-built device, called the ‘Kladderkijker’ (translation: ‘Daub-a-scope’) to both create and examine their own AR environment. They will be able to collect samples throughout the whole park, thus stimulating the children to look actively and critically at their environment. Furthermore, the children can use their collected
samples (and those of fellow users too) to create digital paintings, that will be ‘released’ in – or actually augmented to the surrounding environment. To conclude, the children can look at the paintings in the AR and even influence their ‘behavior’ by moving physical objects on the field. This research paper with the concept that is created from it, is meant as a basis for the two following groups of students that will continue the work on this project to achieve the final goal of delivering an AR experience for Almere Waaidorp. More information as well as digital material (like a visualization video of Kladderlaan, a video-compilation of our public demonstration and usability tests, and also some demo-software we created for this purpose) can be found on the project website: http://annie.hku.nl/ We sincerely hope that our work will contribute to an interesting, innovative, and most of all wonderful, final product.
Inhoudsopgave INLEIDING............................................................................................................1 1. AUGMENTED REALITY EN REAL-WORLD INTERACTIE.............................3 1.1 INLEIDING AUGMENTED REALITY .............................................................................................. 3 Mixed Reality Spectrum .......................................................................................................... 3 Definitie Augmented Reality.................................................................................................... 4 Onze visie op Augmented Reality........................................................................................... 4 Motivaties voor Augmented Reality ........................................................................................ 4 1.2 MOBILE EN PERVASIVE COMPUTING .......................................................................................... 5 Mobile computing .................................................................................................................... 5 Pervasive/ubiquitous computing ............................................................................................. 6 1.3 IMPLICIETE INTERACTIE EN CONTEXT-AWARENESS..................................................................... 6 Impliciete interactie ................................................................................................................. 7 Context.................................................................................................................................... 7 Context-awareness ................................................................................................................. 7
2. ONTWERPEN VOOR KINDEREN ...................................................................9 2.1 KINDEREN EN HET ONTWERPPROCES ........................................................................................ 9 Cooperative inquiry ................................................................................................................. 9 Basisbehoeften bij kinderen.................................................................................................... 9 2.2 LEEFTIJDSGROEPEN .............................................................................................................. 10 Kinderen van 6 tot 8 jaar....................................................................................................... 10 Kinderen van 9 tot 13 jaar..................................................................................................... 10 Verschillen tussen jongens en meisjes................................................................................. 11 2.3 KENNISVERWERVING ............................................................................................................. 11 Schema’s en perceptie ......................................................................................................... 11 Piagetiaanse theorie en constructivisme .............................................................................. 12 Communicatieve vaardigheden ............................................................................................ 12 2.4 VISUELE PERCEPTIE............................................................................................................... 12 Visueel waarnemingssysteem .............................................................................................. 13 2.5 KUNST EN GAMES .................................................................................................................. 13 Kinderen en kunst ................................................................................................................. 13 Kinderen en games............................................................................................................... 14
3. AUGMENTED REALITY IN EDUTAINMENT .................................................16 3.1 KWALITEITEN VOOR EDUTAINMENT ......................................................................................... 16 Samenwerking binnen Augmented Reality........................................................................... 18 3.2 AUGMENTED REALITY INTERACTIE EN INTERFACES ................................................................. 19 Natural interfaces .................................................................................................................. 19 3.3 TOEPASSINGEN AUGMENTED REALITY IN EDUCATIE EN ENTERTAINMENT .................................. 21 Educatieve toepassing.......................................................................................................... 21 Entertainment........................................................................................................................ 22
4. AUGMENTED REALITY TECHNOLOGIE .....................................................24 4.1 INLEIDING AUGMENTED REALITY TECHNOLOGIE ...................................................................... 24 4.2 HARDWARE ........................................................................................................................... 24 Hardware voor het beeld....................................................................................................... 24 Hardware voor het geluid...................................................................................................... 27 Hardware voor tracking......................................................................................................... 28 Input/output devices en interactiviteit.................................................................................... 31 4.3 SOFTWARE ............................................................................................................................ 31 4.4 REAL TIME RENDERING BINNEN AUGMENTED REALITY ............................................................. 33 Dieptesuggestie .................................................................................................................... 33 Renderen .............................................................................................................................. 33 Real time 3D computermodellen renderen ........................................................................... 33 Real time ray-trace rendering ............................................................................................... 34
5. CONCEPT ......................................................................................................35 5.1 KLADDERLAAN ...................................................................................................................... 35 Uitgangspunten ..................................................................................................................... 35 Samples verzamelen ............................................................................................................ 36 Schilderen ............................................................................................................................. 37 Tekening loslaten .................................................................................................................. 39 Augmented Reality wereld bekijken en interactie ................................................................. 40 Overview scherm .................................................................................................................. 41 Organisatorische randvoorwaarden...................................................................................... 42 Mogelijke toevoegingen ........................................................................................................ 42 5.2 USER SCENARIO .................................................................................................................... 43 5.3 TECHNISCHE OPZET ............................................................................................................... 44 Benodigde Hardware & Software ......................................................................................... 45 Hardware verbindingen......................................................................................................... 45 Verbindingen Kladderkijker tot het systeem ......................................................................... 47 Software/data opzet .............................................................................................................. 47 Knelpunten en valkuilen........................................................................................................ 50 5.4 AANBEVELINGEN VOOR VERVOLG PROJECT ............................................................................ 51
CONCLUSIE.......................................................................................................54 LITERATUUR .....................................................................................................56
Inleiding
Dit researchdocument is het resultaat van een onderzoeksproject door een groep van zeven studenten aan de Hogeschool voor de Kunsten Utrecht (HKU) in de European Media Master of Arts (EMMA). Het project is gedaan in opdracht van de faculteit Kunst, Media & Technologie (KMT) van de HKU en de Stichting Annie M.G. Schmidt Huis. De Stichting Annie M.G. Schmidt Huis is in Almere bezig met de opzet van een kunst- en cultuurcentrum voor kinderen, onder de naam ‘Almere Waaidorp’. Hierin wordt onder andere het Annie M.G. Schmidt Huis gebouwd, met daarin een permanente tentoonstelling gewijd aan de schrijfster die op 21 mei 1995 is overleden. Verder worden in dit Almere Waaidorp een theater, bioscoop, tentoonstellingsruimten, mediahal, winkel en horecavoorziening gerealiseerd. In het aangrenzende park zullen veertig kunst- en speelplekken komen, die worden ingevuld door verschillende kunstenaars. Almere Waaidorp, dat waarschijnlijk in 2008 haar deuren zal openen, wordt speciaal voor (en dóór) kinderen ontworpen vanuit het gedachtegoed van Annie M.G. Schmidt en komt vol spannende kunstuitingen. De Stichting heeft de faculteit KMT benaderd om een Augmented Reality (AR) ervaring te ontwerpen voor het aanliggende park. Kort gezegd kan AR worden omschreven als de toevoeging van virtuele inhoud aan de reële wereld, waarbij een soort ‘tussen wereld’ ontstaat. De doelstelling van de Stichting in dit project is om kinderen binnen deze ervaring op een toegankelijke en spannende manier met kunst (inclusief nieuwe media) en cultuur in aanraking te laten komen. De faculteit KMT wil onder andere met dit project meer aandacht geven aan onderzoek voor ontwikkeling van originele toepassingen van ‘nieuwe’ media met cutting-edge technologieën binnen het publieke domein. Dit onderzoeksproject is de eerste fase van een driejarig traject, dat uiteindelijk een AR ervaring (een soort ‘attractie’) voor de bezoekers van Almere Waaidorp zal moeten gaan opleveren. Dit overkoepelende project (de AR ervaring) kan worden gezien als een vervolg op een eerder project van de HKU: Demor. Hierbij is door een aantal HKU-studenten, tevens in het kader van de EMMA, een auditieve AR game ontwikkeld, speciaal voor blinde kinderen. De game is gemaakt. Demor is een schietspel, waarbij de gebruiker monsters moet zien te doden die hij/zij alleen hoort via 3D geluid. De manier waarop met Demor een auditieve AR ervaring wordt gebracht, vormde aanleiding om met dit project te proberen een stap verder te gaan en de AR visueel bij het publiek te brengen. Voor een goede basis die gedurende het volledige traject gebruikt kan worden hebben wij gericht onderzoek gedaan naar hoe AR gebruikt kan worden binnen het specifieke kader van het project. Dit betekent dat er behalve uitgebreid algemeen onderzoek naar (toepassingen van) AR, tevens rekening is gehouden met contextafhankelijke zaken zoals de omgeving – park in de openlucht, de beoogde doelgroep – bezoekers van Almere Waaidorp van zes tot dertien jaar, en de doelstelling van de Stichting – kinderen op een laagdrempelige manier met kunst en cultuur in aanraking brengen). Dit onderzoek bestaat uit enerzijds uit gedegen literatuuronderzoek, anderzijds uit toegespitst veldonderzoek. Er is onderzocht wat AR precies inhoudt, hoe een natuurlijke interface voor kinderen ontworpen kan worden en wat er op dit moment gaande is op het gebied van AR 1 binnen edutainment toepassingen. We hebben uitgezocht wat voor technieken er op dit moment beschikbaar zijn om een AR applicatie uit te voeren en waar op gelet dient te worden met real time renderen van 3D beelden voor AR. Verder zijn we langsgegaan bij workshops die werden georganiseerd door Stichting Annie M.G. Schmidt Huis om met de doelgroep in contact te komen en deze te observeren bij diverse gebruikerstesten. Ook zijn we bij een
1
educatief entertainment
1
2
(speciaal voor kinderen bedoelde) open dag van de CAVE bij SARA in Amsterdam geweest, waar kinderen in aanraking kwamen met Virtual Reality (VR). Ook hebben we met Cybermind NL, Nederlands enige leverancier van hardware voor VR en AR, gesproken over technische aspecten van het verhaal. Dit alles heeft uiteindelijk geleid tot het formuleren van een uitgangspunt waarin wij zijn gaan onderzoeken hoe AR op een interessante, maar vooral ook leuke manier gebruikt zou kunnen worden binnen de context van edutainment voor kinderen van zes tot dertien jaar. De uitkomst daarvan is een concept, ‘Kladderlaan’, dat beschreven wordt in het laatste gedeelte van het verslag. In dit verslag wordt het concept voor Kladderlaan in zijn meest ideale vorm beschreven. Hoewel het concept nu min of meer een vaste vorm heeft gekregen, is de implementatie hiervan nog een grote uitdaging, doordat wij deels hebben opengelaten hoe dit verwezenlijkt dient te worden en meerdere opties aanreiken. Als proof of concept is van Kladderlaan een demoversie uitgewerkt en gepresenteerd op een projectenmarkt voor mensen in het vakgebied. Meer informatie hierover, divers digitaal visueel materiaal (zoals een video van het userscenario van Kladderlaan, een videocompilatie van de publieke demonstratie en usability testen), en demo’s van software die we voor dit doel hebben gemaakt) zijn te vinden op de project website: http://annie.hku.nl/ De indeling van dit document is als volgt: het eerste hoofdstuk is een algemene inleiding op AR en begrippen die hiermee samenhangen zoals mobile en pervasive computing, contextaware interactie en natural interfaces. In dit hoofdstuk wordt tevens uitgelegd waarom wij denken dat AR een interessant gebied is om onderzoek naar te doen. In het tweede hoofdstuk wordt de doelgroep van het project onder de loep genomen. Er wordt gekeken naar de manier waarop kinderen kennis verwerven, de verschillen die bestaan binnen de doelgroep en waar rekening mee gehouden moet worden bij het ontwerpen van een AR systeem voor kinderen. Vervolgens wordt in hoofdstuk drie de context waarbinnen onze AR applicatie geplaatst is beschouwd. Waarom leent AR zich voor edutainment toepassingen en wat is op dit moment de stand van zaken op het gebied van AR in onder andere musea en games? Ook worden de voor- en nadelen bekeken van een aantal toepasselijke, reeds bestaande natural interfaces voor kinderen. Daarna worden de verschillende technieken waarmee een AR applicatie gemaakt kunnen worden uiteengezet. Er wordt gekeken naar de hard- en software, en naar rendertechnieken om een AR omgeving te creëren. In het laatste hoofdstuk wordt het concept voor Kladderlaan in detail beschreven, evenals een mogelijke implementatie hiervan op hard- en softwaregebied. Deze implementatie is een opzet voor de programmeurs en technici die zich in de volgende fase van het traject met het daadwerkelijk uitwerken van de applicatie bezig zullen houden. Aan het eind van het verslag is daarom ook een aanbeveling te vinden van een globaal profiel voor de volgende groep die met dit project aan de slag zal gaan.
2
CAVE Automatic Virtual Environment, zie http://www.sara.nl/products/products_08a_01_ned.html
2
1. Augmented Reality en real-world interactie
1.1 Inleiding Augmented Reality Augmented Reality (AR) is een manier om extra, virtuele informatie toe te voegen aan de realiteit. Hierdoor ontstaat een gehele nieuwe wereld waarin in het beste geval de reële en de virtuele wereld naadloos in elkaar overlopen. Binnen het kader van dit project hebben wij AR omschreven als ”the overlay of virtual content onto the real world”. Dit is echter een omschrijving die niet de volledige lading dekt van het abstracte en vrij ingewikkelde concept AR. In dit hoofdstuk zal een inleiding worden gegeven op het begrip AR, en zal worden aangegeven wat AR betekent voor ons als EMMA-studenten op het gebied van kunst, media en technologie. Tevens zullen we aangeven waarom en op welke manier wij denken dat toepassing van dit concept in het vlak van kunst, media en cultuur een goede manier kan zijn om nieuwe media dichter bij het grote publiek te brengen.
Mixed Reality Spectrum Milgram heeft in 1994 het Reality-Virtuality continuüm (zie Figuur 1-a) gedefinieerd, waarbij AR deel uitmaakt van het bredere begrip Mixed Reality (Milgram & Kishino, 1994, in: Nilsen, Linton & Looser, 2004, p. 1). AR kan worden gezien als een reactie op het bekendere Virtual Reality (VR). De traditionele opvatting van een VR omgeving is dat de gebruiker hier volledig in wordt opgenomen en kan interacteren met een geheel virtuele wereld. In een VR interface zijn gebruikers compleet van de echte wereld afgesloten en worden alle taken uitgevoerd in de virtuele wereld. Dit is echter anders in een AR omgeving.
Figuur 1-a
Op het Reality-Virtuality continuüm beslaat AR slechts een deel van de totale Mixed Reality, en bevindt zich in de buurt van de reële wereld (Azuma e.a., 2001, p. 34)
Aan de linkerkant in het Reality-Virtuality continuüm bevindt zich de fysieke, reële wereld, tegenover de virtuele, geheel door computers gegenereerde wereld aan de rechterkant. Hiertussen bevinden zich de AR en Augmented Virtuality. Zoals de namen al aangeven, is de omgeving van de gebruiker in het geval van Augmented Virtuality of Virtual Environment overwegend virtueel, in tegenstelling tot AR waar de omgeving overwegend door de echte wereld gevormd wordt.
3
Definitie Augmented Reality aug·ment [Z:g'ment] vergroten (doen) toenemen, vermeerderen re·al·i·ty [ri'æl•ti] werkelijkheid realiteit, wezenlijkheid, werkelijk bestaan De term Augmented Reality zoals wij die kennen bestaat al sinds de jaren zestig, maar pas sinds begin jaren negentig wordt er echt onderzoek naar gedaan. Sommige onderzoekers definiëren AR op een manier waarbij het gebruik van een Head-Mounted Display (HMD) vereist is. Om te vermijden dat het begrip gelimiteerd wordt door een bepaalde technologie, wordt er meestal een ruimere definitie gehanteerd. Hierbij wordt van een AR systeem gesproken als deze de volgende drie eigenschappen bezit (Azuma, 1997, p. 356): 1. Het systeem moet reële en virtuele objecten combineren (in een echte omgeving). 2. Dit systeem moet interactief werken en real time. 3. De echte en virtuele objecten moeten zich nauwkeurig tot elkaar verhouden in de (driedimensionale) ruimte om de illusie te wekken dat ze zich echt met elkaar in dezelfde ruimte bevinden. In deze definitie worden de virtuele elementen die met de echte wereld moeten versmelten aangeduid als objecten. Voor de duidelijkheid moet er hierbij op gewezen worden dat het concept AR niet beperkt is tot enkel visuele toevoeging van virtuele objecten. In principe kan de virtuele content namelijk ook inwerken op andere zintuigen dan het gezichtsvermogen, zoals gehoor, reuk en gevoel.
Onze visie op Augmented Reality AR gaat voor ons niet alleen over ”the overlay of virtual content onto the real world”, maar ook over realiteit en fantasie en hoe deze zich ten opzichte van elkaar verhouden. Waar houdt bijvoorbeeld de echte wereld op en waar begint de geconstrueerde computerwereld? Dit project is voor een deel ook een zoektocht naar de grens tussen realiteit en virtualiteit. AR is een manier om de digitale wereld dichter bij de gebruiker te brengen, of wellicht zelfs helemaal onder te dompelen in deze Mixed Reality. Want ondanks de belangrijkheid en de toenemende hoeveelheid en aanwezigheid van elektronische informatie, blijft zij veel te vaak gescheiden van de fysieke wereld (Mackay, 1998, p. 13). Om de realiteit zo onopgemerkt mogelijk te laten overvloeien in de virtualiteit, is het noodzakelijk traditionele computerinterfaces zoveel mogelijk te vermijden. Computers verbreken immers de illusie dat de gebruiker te maken heeft met iets dat ‘echt’ is. AR leent zich er bij uitstek voor om uit de wereld van de gebruikelijke computerinterfaces te stappen, want hoewel achter de meeste AR-systemen een computer verstopt zit, ziet de gebruiker hier weinig of niets van terug: de interface is zo transparant mogelijk. Binnen interactieve ARomgevingen zijn daardoor ook nieuwe interfaces vereist, die helpen de grenzen tussen de reële wereld en de virtuele wereld te doen vervagen.
Motivaties voor Augmented Reality Door de sterke relatie met de echte wereld voert AR op een vanzelfsprekende manier niet 3 4 desktop-gebonden vormen van computation aan, zoals mobile en pervasive computing, en daarmee samenhangende zaken als context-aware interactie en natural interfaces.
3
vrij vertaald: het proces van berekenen wat er plaats vindt in een chip of andere bewerkingseenheid
4
Bij AR applicaties, en met name de location-based varianten, is het eenvoudiger en bovenal logischer dan in ‘gewone’ applicaties om de interactie los te koppelen van de bekende 5 desktop/keyboard/muis/monitor interface – ook wel WIMP genaamd (Olden, 2004, p. 3). Een AR applicatie verhoudt zich namelijk per definitie al nadrukkelijk tot de reële wereld en is tevens aanwezig ín deze fysieke wereld, die dus ook (onderdeel van) de applicatieomgeving kan zijn. Daardoor stimuleert AR ook natuurlijkere vormen van interactie, onder andere door 6 gebruik van natural (bijvoorbeeld tangible ) user interfaces, die kunnen voortbouwen op functies van vertrouwde real-world objecten (Nilsen e.a., 2004). Een andere manier om dit te bereiken kan zijn impliciet gebruik te maken van relevante realworld informatie over de context van de gebruiker, zoals bijvoorbeeld locatie, gebruikersprofiel, tijd of zelfs moment van de dag. Hierdoor kan een natuurlijkere, minder gedwongen relatie tot stand komen tussen gebruiker en applicatie dan in een WIMPopstelling: er is nu namelijk interactie mogelijk met een applicatie zonder dat de gebruiker zich eerst hoeft aan te passen aan de beperkende regels van de desktop. Dit brengt echter wel een aantal andere voorwaarden met zich mee: allereerst dient een location-based applicatie zich uiteraard in de omgeving te bevinden. In de meeste gevallen betekent dit dat er een mobile computing device gebruikt moet worden of, tot op heden nog vrij uitzonderlijk, dat de applicatie op één of andere manier in de omgeving zelf is opgenomen (pervasive computing). De infrastructuur (de computing devices) is echter slechts één kant van het verhaal: naast een verplaatsing van de interactie locatie wordt ook de manier van interacteren verplaatst naar de echte wereld. Daardoor dient ook rekening gehouden te worden met zaken als bijvoorbeeld bepalen welke context op welk moment relevant is om te gebruiken (contextawareness). In de volgende paragrafen zal op deze voorwaarden ingegaan worden.
1.2 Mobile en pervasive computing Mobile computing De restricties van mobiliteit uiten zich onder meer via de beperkte bandbreedte bij de interface tussen apparaat en gebruiker – bijvoorbeeld een kleiner of functioneel beperkt scherm (Cheverst, Davies, Mitchell & Efstratiou, 2001, p. 8), en een ander gebruikspatroon – bijvoorbeeld veel kortere interactiemomenten dan in de traditionele ‘stilstaande’ opstelling. Een voorbeeld hiervan is het opzoeken van een adres, dat slechts enkele seconden duurt, of het maken van een notitie in een PDA. Verder worden mobile applications vaak gebruikt tijdens een andere activiteit of om een specifieke taak uit te voeren, wat te meer vraagt om vermindering van expliciete mensmachine interactie (Schmidt, 2000, p.3). Tenslotte is bij mobile computing vaak sprake van een voortdurend veranderende situatie tijdens het gebruik, waardoor de criteria met betrekking tot gemak, snelheid en vanzelfsprekendheid van de communicatie niet eenduidig zijn vast te stellen (Schreuder, 2005, p. 2). Binnen het kader van dit project zijn vooral de aspecten van mobile computing die zich bevinden op het gebied van location sensitivity, waaronder het bepalen van locatie en locatiebewust gedrag, van belang.
4
alomtegenwoordig, algemeen verspreid Windows, Icons, Menus en Pointing-device 6 tastbaar 5
5
Pervasive/ubiquitous computing 7
De term ubiquitous computing (nu vaak pervasive computing genoemd) is geïntroduceerd door Mark Weiser, die al in de vroege jaren ‘90 een visie opperde van “people and environments augmented with computational resources that provide information and services when and where desired” (Weiser, 1991, in: Abowd & Mynatt, 2000, p. 30). Pervasive computing is van belang binnen het kader van dit document, omdat het onderzoek hierin van de afgelopen 15 jaar drie interactie-thema’s naar voren heeft geschoven: natuurlijke interfaces, context-aware applicaties, en automated capture and access (Abowd & Mynatt, 2000, p. 30). Deze ontwikkeling in dit nog vrij jonge onderzoeksgebied heeft hernieuwde aandacht gegenereerd voor een aantal speerpunten van mobile computing, zoals bijvoorbeeld context-awareness en adaptieve applicaties. Daarnaast worden hierdoor ook zaken uit het algemene paradigma van interactie met computation, zoals bijvoorbeeld de eerder genoemde transparantie van de interface, vanuit een andere hoek bekeken. Weiser (1994) uitte dit in zijn ideaal van “complete verdwijning van de technologie uit het bewustzijn van de gebruiker”, wat door Satyanarayanan (2001, p. 11) later iets werd bijgesteld tot minimal user distraction. Moran & Dourish (2001, p. 87) omschrijven pervasive computing als een term voor de sterk opkomende tendens richting: • talloze, makkelijk toegankelijke, vaak onzichtbare computing devices, • vaak mobiel of geïntegreerd in de omgeving, • verbonden met een toenemend alomtegenwoordig netwerk. Deze kenmerken maken te meer duidelijk dat het onderzoek op het terrein van pervasive computing ook betekenisvol kan zijn voor de ontwikkeling van mobile computing. Hierbij is het echter wel van belang aan te merken dat pervasive computing nog een stuk verder gaat dan mobile computing: door de integratie in onze leefomgeving zal interactie met computation op termijn steeds meer een ‘omgevingservaring’ en gemeenschappelijke aangelegenheid worden in plaats van slechts een virtueel, besloten proces (Moran & Dourish, 2001, p. 88).
1.3 Impliciete interactie en context-awareness Interactie van een gebruiker met een applicatie vindt meestal plaats door expliciete communicatie met een interface, bijvoorbeeld het klikken van een knop (Moran & Dourish, 2001, p. 89). Door expliciete interactie met de interface kan deze laag (te) zichtbaar worden, en een hulpmiddel hoort zich niet op de voorgrond te stellen; een goed hulpmiddel is juist onzichtbaar: “Eyeglasses are a good tool – you look at the world, not the eyeglasses” (Weiser, 1994, p. 7). Als de gebruiker zich bewust wordt van het proces van communiceren en het device (‘the glasses’), kan hij snel worden afgeleid van waar het eigenlijk om gaat: ‘the world’, wat in dit geval letterlijk het opgaan in de AR omgeving betekent. De interface en de communicatie hiermee moeten daarom over een hoge mate van transparantie beschikken. Dit geldt voor interactie in het algemeen, maar is van specifiek 8 belang bij mobile computing, met name bij ultramobiele apparaten zoals PDA’s , 9 10 smartphones , handheld en wearable computers, zoals aangegeven in hoofdstuk 1.2.
7
alomtegenwoordig Personal Digital Assistant, lichtgewicht elektronisch apparaat, dat eruit ziet als een handheld computer, maar juist specifieke taken uitvoert. Kan bijvoorbeeld functioneren als organizer, telefoon(boek), alarmklok, e-mail client. 9 geavanceerde mobiele telefoons met computer-achtige trekjes, zoals behoorlijke rekenkracht en een besturingssysteem dat (installatie van) uitgebreide applicaties ondersteunt. 10 bijvoorbeeld verwerkt in kleding of accessoires 8
6
Impliciete interactie Impliciete mens-machine interactie is volgens Schmidt (2000, p. 2): “an action, performed by the user that is not primarily aimed to interact with a computerized system, but which such a system understands as input”. Impliciete interactie is gebaseerd op de aanname dat de computer een bepaalde mate van begrip heeft in een gegeven situatie, de basisconcepten hierin zijn perceptie en interpretatie. Deze kennis kan vervolgens worden gebruikt als input in een applicatie of als aanvulling op expliciete input. (Schmidt, 2000, p. 2). Nieuwe of aanvullende gegevens over een handeling van een gebruiker kunnen de efficiëntie van de 11 interactie verhogen. Een bron die hierbij nuttige informatie kan bevatten, is de context waarin de interactie plaatsvindt. De acties van een gebruiker vinden namelijk altijd plaats in een specifieke context of situatie, die vaak van invloed is op de acties van een gebruiker.
Context Bij communicatie tussen mensen is bekend dat veel informatie enkel impliciet wordt uitgewisseld. De manier waarop mensen met elkaar interacteren en ook de situatie waarin deze interactie plaatsvindt, bevat vaak belangrijke informatie over de daadwerkelijke boodschap (Schmidt, 2000, p. 1). Daarnaast spelen ook het gemeenschappelijke begrip van hoe de wereld in elkaar steekt en een impliciet begrip van dagelijkse situaties een rol (Dey, 2001, p. 4). Context verwijst naar de fysieke en sociale situatie waarin een computational apparaat is opgenomen (Moran & Dourish, 2001, p. 89). Daarmee worden zaken als locatie en identiteit bedoeld maar ook tijd, geschiedenis, activiteit en personen zijn onderdeel van de context. Een algemene, veel gebruikte definitie van ‘context’ wordt gegeven door Dey (2001, p. 5): Context is any information that can be used to characterise the situation of an entity. An entity is a person, place or object that is considered relevant to the interaction between a user and an application, including the user and applications themselves. Deze definitie maakt het makkelijker de context voor een gegeven applicatie scenario op te sommen: als een stukje informatie gebruikt kan worden om de situatie van een deelnemer aan interactie te kenmerken, dan is die informatie dus context (Dey, 2001, p. 5).
Context-awareness Perception (gewaarwording) en interpretation (interpretatie of zelfs ‘begrip’) van de context kan dus nuttige informatie opleveren, die vervolgens als (aanvulling op expliciete) input kan dienen, dit wordt aangeduid met: context-awareness. Hierdoor wordt tevens aanpassing aan een situatie mogelijk, wat een deel van de complexiteit van de interactie van de gebruiker naar de applicatie kan verplaatsen. Doordat de gebruiker dan minder bezig hoeft te zijn met de communicatie en deze communicatie daarnaast sneller kan verlopen, zal dit een grotere efficiëntie van de interactie tot gevolg hebben. Impliciete mens-machine interactie in de vorm van context-awareness kan zo dus helpen om de communicatie met mobile computing applicaties eenvoudiger, beperkter en gerichter te maken en hierdoor de taak van de gebruiker te verlichten (Schreuder, 2005, pp. 7-10). Het opnemen van context-awareness in een applicatie zorgt voor een grotere stroom input die, indien deze juist geïnterpreteerd kan worden, tot een beter begrip van de (acties van de) gebruiker kan leiden. Hier liggen tevens de drie kernproblemen op het gebied van gebruik van context, te weten: • hoe moet bepaald worden welke context nuttig is met betrekking tot de interactie en dus beschouwd gaat worden?
11
alle relevante informatie die betrekking heeft tot de situatie, zoals bijvoorbeeld locatie, tijd, identiteit en activiteit.
7
• •
hoe moet de geselecteerde contextuele informatie vervolgens geïnterpreteerd worden? hoe kan deze informatie tenslotte gebruikt worden in de applicatie?
Aangezien het binnen het kader van dit project overwegend draait om bewegingsvrijheid in combinatie met mobiele natural interface devices zal blijken dat locatie hier overduidelijk de belangrijkste contextuele informatie is. Dit is tevens ook het meest gebruikte (en meest vanzelfsprekende) element uit het domein van mogelijke contextuele informatie, en (want) gemakkelijk verkrijgbaar en verwerkbaar (Schreuder, 2005, p. 16). Een verkeerde interpretatie, onjuist of overmatig gebruik van contextuele informatie kan veroorzaken dat de gebruiker zich te veel gestuurd of beperkt voelt, en daardoor precies tot het tegenovergestelde van efficiëntie leiden: de gebruiker wordt zich juist extra bewust van de computation en raakt mogelijk zelfs gefrustreerd (Cheverst e.a., 2001, p. 10).
8
2. Ontwerpen voor kinderen
2.1 Kinderen en het ontwerpproces In de volgende paragrafen wordt de doelgroep van het project verder onder de loep genomen. De doelgroep van het project bestaat uit kinderen in de leeftijd van zes tot dertien jaar. Waar moet een ontwerper rekening mee houden als hij ontwerpt voor deze doelgroep? Er wordt gekeken naar de verschillen binnen deze leeftijdsgroep en naar de verschillen tussen jongens en meisjes. Vervolgens wordt uiteengezet hoe kinderen kennis verwerven, en ten slotte wordt gekeken hoe kinderen tegenover kunst, media en games staan.
Cooperative inquiry In de laatste jaren zijn er verschillende methodes ontwikkeld waarbij gebruikers van technologie onderdeel geworden zijn van het ontwikkelproces. Allison Druin heeft in de afgelopen jaren veel projecten gedaan waarin ze samen met kinderen onderzoek heeft gedaan. Er is een manier ontstaan, genaamd cooperative inquiry (samenwerkend onderzoeken), een benadering van het ontwerpproces waarbij nieuwe technologieën door en voor kinderen worden ontwikkeld en onderzocht. Cooperative inquiry bestaat in de basis uit een drietal onderdelen: Ten eerste wordt uitgegaan van een multidisciplinaire relatie met kinderen. Hierbij wordt uitgegaan van het feit dat samenwerken met de eindgebruikers een belangrijke manier is om te begrijpen wat nodig is bij de ontwikkeling van producten. Ontwerp- en researchtaken worden niet als een opeenvolgende sequentie volbracht, maar kriskras door elkaar. Ze worden door individuen of meerdere deelnemers gedaan, waarbij mensen doorgaans elkaars werk aanvullen. Het is een hele ‘slordige’ manier van werken, die overeenkomsten heeft met de wereld waar kinderen zich in bevinden. Het tweede belangrijke onderdeel van cooperative inquiry is het veldonderzoek. Hierbij wordt gekeken naar de context van de gebruiker en de activiteiten van de gebruiker binnen deze context. Hieruit analyseert de onderzoeker de omgeving van de gebruiker op patronen in zijn of haar activiteiten. Als laatste onderdeel voor cooperative inquiry geldt het iteratief vervaardigen van simpele – en in een later stadium uitgebreide prototypes. Aangezien kinderen het lastig vinden om hun ideeën over te brengen op volwassenen biedt het maken van prototypes een concrete manier om ideeën te bespreken. Door het iteratieve ontwerpproces evolueert een prototype dat gemaakt is met pen en papier naar een eerste digitale testversie van een product (Jobsis, 2003, pp. 24-25).
Basisbehoeften bij kinderen Er zijn een aantal elementen belangrijk als we het hebben over user experience bij kinderen. Hoewel het moeilijk is om een tijdloos product voor kinderen te ontwerpen, zijn er wel een aantal behoeften die kinderen al decennia lang hebben. De vier basisthema’s van behoeften voor kinderen zijn (Alben, 1996, pp. 36-37): 1. Hechten aan/scheiden van: kinderen hebben het ene moment meer behoefte aan veiligheid en afhankelijkheid terwijl ze het andere moment voornamelijk behoefte hebben aan het zelf ontdekken van dingen en onafhankelijkheid. Producten die op dit gegeven inspelen vallen in de smaak: een beetje vertrouwd maar ook nieuw.
9
2. Verkrijgen van macht, het controleren van iemands leven of het opleggen van jouw wil aan een ander. De behoefte naar macht uit zich ook in de voorkeur voor spelletjes waar gewonnen kan worden en in het willen bouwen of creëren van dingen. 3. Sociale interactie: het verkrijgen van sociale vaardigheden en het leren opbouwen van relaties met anderen is belangrijk. De behoefte komt voort uit de angst die veel kinderen hebben om een plaatsje in een groep te bemachtigen. De meeste kinderen spelen liever met elkaar buiten dan dat ze eenzaam achter een computer spelletjes zitten te spelen. 4. Beheersen, leren en ontwikkelen van vaardigheden en kennis. Applicaties die het mogelijk maken om kennis of vaardigheden te verwerven hebben de potentie goed in de smaak te vallen bij kinderen. Een voorbeeld is de verschillende levels die een kind kan bereiken in veel computerspellen.
2.2 Leeftijdsgroepen De doelgroep van het project bestaat uit kinderen van zes tot dertien jaar. Dit is echter een zeer brede doelgroep waarin een hoop onderlinge verschillen bestaan. Jonge kinderen hebben bijvoorbeeld een behoorlijk ander denk- en werkniveau dan kinderen die wat ouder zijn. Grofweg gezien valt de doelgroep uiteen in twee verschillende deelgroepen, te weten: de jonge groep met kinderen van zes tot acht jaar en de oudere groep met kinderen van negen tot dertien jaar.
Kinderen van 6 tot 8 jaar Om de wereld waarin zij leven te kunnen begrijpen, is het van belang dat een kind leert werkelijkheid en fictie te onderscheiden. Tot een jaar of vier kunnen kinderen vaak nog geen onderscheid maken tussen wat echt is en wat niet echt is. Voor die tijd is bijvoorbeeld Pino uit het kinderprogramma Sesamstraat nog een echt bestaand figuur en nog niet een acteur in een pak. Na deze leeftijd komt er langzaam begrip over waar deze verschillen liggen. Onscherp als deze lijn is, duurt het vaak jaren voordat kinderen dit begrip geheel onder de knie hebben. Hiermee hangt hun begrip van het verschil tussen een concreet object en concept samen. De snelheid van dit ontwikkelingsproces verschilt per kind, maar in de regel hebben ze naarmate ze ouder worden steeds minder een concreet object nodig om een idee te vormen (Zappouders, 2005). Kinderen van zes tot acht jaar beginnen ook steeds meer te experimenteren op een wetenschappelijke, methodische manier. Ze kunnen meerdere criteria gebruiken bij het classificeren van zaken, en maken bij het spelen steeds meer gebruik van hun lees-, schrijfen rekenvaardigheden. Kinderen beginnen hier ook interesse te tonen voor het geven van shows, en qua fijne motoriek zijn ze in de voorgaande jaren hard vooruit gegaan. Echter, ze zien nog altijd alleen een doel en interesseren zich zelden voor de weg erheen. En hoewel ze geloven in eerlijkheid, zijn ze vaak bereid vals te spelen om hun doel te kunnen bereiken. Een kind in deze leeftijdsgroep heeft veelal interesse in verzamelingen, de grens tussen werkelijkheid en fantasie (goochelen, magie, vermommen), het maken van kunst- en handwerk, wetenschappelijke experimenten, rollenspel, dansen en buitenspelen.
Kinderen van 9 tot 13 jaar Van het negende tot en met het dertiende jaar ontwikkelt een kind zijn besef van realiteit verder. Langzamerhand gaat het begrijpen dat het echte leven er anders aan toe gaat dan wat er op tv, in games en VR gebeurt. Simpele plots voldoen plotseling niet meer. Het kind ontwikkelt het vermogen om een weloverwogen oordeel te vellen aan de hand van gedetailleerde afwegingen.
10
In een wereld waarin alles eerst nog nieuw was krijgt nu alles langzamerhand een betekenis en een plek in de gedachtewereld van het kind. Het kind kan immers beredeneren, nieuwe dingen plaatsen binnen de context van de gebeurtenis en deze content in een nieuwe situaties plaatsen. De kinderen leren op deze leeftijd denken op een abstract niveau. Hierdoor kunnen ze beter en sneller omgaan met de problemen die zich aan hun voordoen. Ze kunnen tegelijkertijd op zowel hypothetisch als reëel niveau een probleem afwegen en hierdoor veel beter omgaan met steeds complexere situaties. Geen enkel kind vindt het leuk als je het behandelt naar zijn of haar leeftijd. Kinderen van alle leeftijden streven ernaar om ouder te lijken dan ze in werkelijkheid zijn. Maar in de leeftijdscategorie 9 tot 13 jaar beginnen kinderen ook steeds meer geïnteresseerd te raken in volwassen content. Ze raken hun interesse in kinderlijke onderwerpen kwijt en willen graag als volwassene behandeld worden. Dit is een periode waar ze zich ook sterk bewust worden van hun eigen lichaam en daarmee ook van hun sterke en zwakke punten. Vanaf deze leeftijd begint de ontwikkeling van groepsvorming, oftewel kliekjes. Ze zullen niet snel met andere kinderen optrekken buiten hun eigen kliekje. Kinderen tussen zes en dertien jaar raken allen steeds nieuwsgieriger naar hun omgeving. Ze zijn zich erg bewust van de laatste trends (Qrius, 2005). Maar helaas voor de ouders is dit ook een leeftijdscategorie waarin ze hun grenzen gaan aftasten en daarmee ook hun interesse voor geweld ontwikkelen. Kinderen van deze leeftijden zijn graag interactief bezig. Uit onderzoek is gebleken dat ongeveer 61 procent van de Nederlandse kinderen onder de vijftien jaar, jongens en meisjes, videospelletjes spelen (Zappouders, 2005).
Verschillen tussen jongens en meisjes In de bovenstaande deelgroepen is er nog geen onderscheid gemaakt tussen jongens en meisjes. Hoewel uitzonderingen de regel bevestigen zijn er natuurlijk wel enkele algemene verschillen aan te geven. Meisjes zijn vaak op zoek naar extra inhoud: een simpel schietspelletje dat er mooi uitziet stelt de meeste jongens wel al (enigszins) tevreden, meisjes daarentegen verwachten bijvoorbeeld een verhaallijn of een interessant karakter waar ze zich mee kunnen identificeren. Ze houden tevens vooral van grappige of lieve karakters, realistische thema’s en vinden het vaak interessant als ze hun karakter aan kunnen passen. Denk bijvoorbeeld aan de computergame ‘the Sims’, waarbij het leven en de wereld van een karakter kan worden beïnvloed.
2.3 Kennisverwerving Van het begin van ons leven zijn we bezig met leren. We leren lopen, rekenen, schrijven, sociale contacten leggen, etc. Ook leren we onze omgeving waarnemen. Cognitie is een ruim begrip voor denken en waarnemen, dus gedragingen die ofwel tot kennisverwerving leiden of voor het gebruik van kennis nodig zijn. Het zorgt ervoor dat iedereen op zijn eigen manier de wereld organiseert. Perceptie speelt hierin een belangrijke rol. Het hangt af van de vaardigheden en ervaring van de waarnemer hoe deze de wereld organiseert (Goswami, 1998).
Schema’s en perceptie Cocking en Renninger (1993, p. 54) definiëren schema’s als volgt: “Vanaf het moment dat het geheugen zich ontwikkelt (rond de leeftijd van drie jaar), leren wij verbindingen leggen tussen de verschillende gebeurtenissen om ons heen. Deze verbindingen en gebeurtenissen worden opgeslagen in wat onderzoekers noemen ‘schema’s’ ”.
11
Het schema is het raamwerk van de gedachte en ontwikkelt met de ervaringen waar iemand in zijn of haar leven mee te maken krijgt. Het schema neemt informatie in het raamwerk op en slaat deze informatie op voor eventuele toekomstige benodigdheden. Middels deze continue beweging van informatie wordt meer informatie beschikbaar. Door het op perceptie gebaseerde leren worden wij bekwaam om progressief subtielere aspecten van onze omgeving waar te nemen (Neisser, 1978, pp. 61-62).
Piagetiaanse theorie en constructivisme Onderwijspsychologen hebben onderzoek gedaan naar de toepassingsmogelijkheden van Jean Piaget’s ontwikkelingstheorie. Volgens deze theorie gaan kinderen door vier stadia heen richting hun cognitieve rijping. In de leeftijdscategorie van zes tot en met dertien jaar ontwikkelt een kind beelden van de werkelijkheid op basis van ervaringen die passen binnen de in die fase aanwezige cognitieve structuur. Volgens Jean Piaget’s ontwikkelingstheorie is een kind niet in staat tot abstracte logische gedachtes voor het ongeveer elf jaar oud is. Kinderen van zes tot dertien jaar hebben moeilijkheden met het begrijpen van abstracte ideeën die niet met hun eigen ervaringen verband houden. Gebaseerd op deze theorie stelde Piaget dat kinderen gestimuleerd moeten blijven met concrete voorwerpen en voorbeelden om hiermee hun gedachten te blijven stimuleren (Cocking & Renninger., 1993, p. 204). Het kind dat Piaget beschreef is niet meer het kind van deze tijd. Elk kind heeft zijn eigen karakter en is op zichzelf uniek. Piaget’s ontwikkelingstheorie blijft weliswaar zeer invloedrijk op het gebied van de ontwikkelingspsychologie, maar zijn theorieën worden verder uitgebreid naar de visies van de neo-piagetaanse. Dit worden ook wel sociaal- constructivisten genaamd (Kok, 2003, pp. 18-19). Het constructivisme gaat ervan uit dat iedereen zijn eigen werkelijkheid construeert door te reflecteren op de ervaringen die men in de wereld opdoet. Kinderen construeren actief hun kennis. Kinderen verwerken informatie op een geheel eigen manier. Ze doen het zelf, in een interactieve relatie met de omgeving. Kinderen leren door hun omgeving waar te nemen (Kok, 2003, pp. 34-35).
Communicatieve vaardigheden Omdat de communicatieve vaardigheden van een kind tussen de zes en dertien jaar vaak nog niet ver genoeg ontwikkeld zijn, moet je vertrouwen op het visuele inzicht van het kind. Bij de ontwikkeling van communicatieve en taalkundige vaardigheden is het van belang gebruik te maken van visuele stimuli, zeker bij uitwisseling van gedachten en gevoelens. Dit bleek ook duidelijk bij de bezoeken aan de workshops voor kinderen van zes tot dertien jaar in Almere Waaidorp. Tijdens deze workshops, georganiseerd door Stichting Annie M.G. Schmidt, kregen kinderen in de leeftijdscategorie zes tot en met dertien jaar de kans om diverse ideeën binnen de invulling van het park te bedenken. Uit deze ideeën worden de leukste gekozen en uitgewerkt voor het park. Om kinderen een idee te geven van ons project moesten wij gebruik maken van visuele beelden (zie bijlage D: veldonderzoek). Zonder deze beelden was het voor de kinderen heel moeilijk te begrijpen waar we over praatten, omdat slechts een enkeling houvast had aan een eerder waargenomen soortgelijk product. De meeste kinderen hadden namelijk nog geen beeld van dit onderwerp in hun schema’s.
2.4 Visuele perceptie Simpel gezegd is visuele perceptie de capaciteit om licht waar te nemen en de te interpreteren waarneming in je brein om te zetten naar een beeld. Tijdens de visuele waarneming wordt niet alleen rekening gehouden met patronen van verlichting op de retina, maar ook onze andere betekenissen en onze afgelopen ervaringen. Kinderen zijn vanaf een jonge leeftijd al gefascineerd door beelden. Ze observeren alles: hun moeder, hun omgeving en natuurlijk de vormen van hun eigen lichaam. Vanaf het moment dat kinderen zich kunnen voortbewegen, gaan ze op ontdekkingstocht uit. Kinderen hebben
12
concrete interactie nodig met hun omgeving, het manipuleren van en het onderzoeken van fysieke voorwerpen (Labrune & Mackay, 2005, p. 1). In een studie van basisschoolkinderen legde Haber (1969) hen een illustratie van Alice in Wonderland voor. Na het verwijderen van de illustratie konden sommige kinderen met levendige nauwkeurigheid het beeld beschrijven dat zij hadden gezien. Maar waarom is dat zo? In het vorige hoofdstuk is uitgelegd dat kinderen door beperkte communicatieve vaardigheden sneller associaties kunnen maken door hen visuele content voor te leggen. De omgeving waar een kind zich in bevindt is erg belangrijk voor de informatie die het tot zich neemt. Door een kind visueel en welbewust naar hun omgeving te laten kijken, krijgt het allerlei nieuwe informatie tot zich en wordt het zich bewust van zijn eigen bewustzijn (Cocking & Renninger, 1993, p. 201-202).
Visueel waarnemingssysteem Volgens Dr. Margaret Livingstone (2002, pp.24-35), professor neurobiologie aan de Harvard Medische Universiteit, kan het menselijk visueel waarnemingssysteem worden verdeeld in twee delen: het ‘Waar’ en het ‘Wat’ systeem. Het ‘Waar’ systeem is verantwoordelijk voor onze waarnemingen op het gebied van beweging, ruimte, positie, diepte en figuur/achtergrond (randen) onderscheiding. Dit systeem is niet in staat om kleuren waar te nemen. Het is een identificatiesysteem, dat snel kan kijken en onderscheid kan maken naar bruikbare informatie. Het ‘Wat’ systeem is verantwoordelijk voor vorm en kleur. Dit systeem is veel langzamer en codeert aanvullende informatie, die nog vastgesteld moeten worden. De visuele perceptie bij kinderen wordt grotendeels bepaald door een aangeboren menselijke vaardigheid (nativisme), een traject van ervaringen en inspanningen (empirisme), een conceptuele ontwikkeling (constructivisme) en een traject van ontwikkeling van de hersenen (maturation) (Nichols, 2001).
2.5 Kunst en games Jonge kinderen denken dat kunst een oud, stoffig begrip is, en zijn vaak niet op de hoogte dat je ook kunst kan maken met nieuwe media. Dat terwijl ze gemiddeld erg veel tijd voor tv en computer doorbrengen. In deze paragraaf wordt uiteen gezet hoe kinderen omgaan met kunst en games.
Kinderen en kunst Belangrijk is hier te stellen dat kinderen vaak een wat ouderwets beeld hebben van wat kunst is. Ze denken aan schilderijen, beeldhouwwerken en soms aan schrijven, muziek en toneel. De nieuwe media komen niet bij hun op als kunstvorm. Kinderen definiëren kunst als een uniek stuk handwerk, dat door de jaren heen genoten en geapprecieerd blijft. Ook komt heel duidelijk naar voren dat een kunstwerk een emotie teweeg moet brengen: het moet wat met je doen. Kinderen hebben vaak ook het gevoel dat kunst iets stoffigs is, dat ver weg in een museum gebeurt en geen directe betrekking op hen heeft. Als leuke beroepen in de kunst worden schrijver, acteur en beeldhouwer genoemd. Wat zij mooi vinden aan kunst is de gelijkenis met de werkelijkheid, of de vindingrijkheid van de fantasie. Als zij echter actief een kunstwerk kunnen beleven, lijken zij veel positiever te reageren (SKV Zeist, 1997). Opvallend is dat hoe het kind zichzelf ziet, heel veel uiting heeft op de keuze van de favoriete kunstenaar. Een kind dat zichzelf als ‘creatief’ ziet kiest Matisse als favoriet, een kind dat zichzelf als ‘redelijk’ ziet kiest eerder voor Rubens of Rembrandt. Dali en Escher zijn ook vaak populair onder jongeren (Mein Kumpel…, 1994, pp. 3-4).
13
Uit veldonderzoek blijkt dat vooral herkenbaarheid een grote rol speelt in de appreciatie van 12 kunst door kinderen . Hun voorkeur ligt bij realistische werken. Herkenning wordt niet alleen bereikt door realisme, maar ook door een stijl aan te houden waarmee kinderen veel in aanraking komen, bijvoorbeeld de ‘standaard’ cartoon stijl. Om dezelfde reden geven zij een voorkeur aan overzichtelijke composities met een recht camera standpunt. Afsnijding en verkorting geven in deze ook alleen maar onduidelijkheid. Vanaf een jaar of negen lijkt ook verbeelding en vakmanschap een rol te gaan spelen in de waardering voor kunst van een kind. Wanneer er een project met kinderen en kunst wordt gedaan, gebruiken bijna alle projecten het creëren van kunst in eerste plaats om kunst onder de aandacht te brengen. Er wordt weinig aan beschouwing gedaan. Probleem kan hier zijn, dat kinderen van zes tot twaalf nog niet ver genoeg ontwikkeld zijn om beschouwend over kunst te praten (Task Force on Children’s learning, 1998, p. 15).
Kinderen en games Een game is een afgesloten systeem, waarin de gebruiker zich volgens van te voren vast gestelde regels kan meten met anderen, het systeem, of met eigen eerdere prestaties. Een game is dus een mengvorm van meerdere vormen van ‘spel’. De games waar wij het hier over gaan hebben, zijn games aan de hand van technologie, bijvoorbeeld de computergame. Jongens tussen de acht en tien jaar geven videogames op als favoriete (media)activiteit, maar ook bij meisjes en andere leeftijdsklasse is deze activiteit zeer populair (Naeyé, 2003, p. 300). Er zijn vier vormen van spel te onderscheiden (Hejdenberg, 2005): het competitieve spel, het kans spel, het fantasie spel, en het vertigo spel. 1. Competitief. Spel waarin men zijn tegenstander probeert te overtroeven. Het plezier ligt hier in het verslaan van de tegenstander. Voorbeelden zijn voetbal en schaak. 2. Kans. Activiteiten waarin kans een factor in de uitkomst van het spel is. Het plezier ligt in het maximaliseren van de winstkansen en het raden van de uitkomst. Kansspelen geven ook de illusie dat men de toekomst in handen heeft. De loterij is een voorbeeld van een kansspel. 3. Fantasie. Activiteiten waarin men alternatieve werkelijkheden creëert, waarin de limieten van de echte wereld ons vrijlaten. Het plezier ligt in het aanmeten van vaardigheden en eigenschappen die de spelers in het werkelijke leven niet bezitten. Vaak gaan spelers er bij het spelen zo in op, dat zij werkelijk denken deze vaardigheden te bezitten. Role-playing, theater en lezen zijn voorbeelden. 4. Vertigo. Activiteiten die de normale waarneming van de werkelijkheid doorbreken. Ze veroorzaken een prettige soort duizeligheid. Voorbeelden zijn achtbaanritten en skydiven. Opvallend is dat de meeste computerspelen van tegenwoordig al deze vier elementen, of in ieder geval meerdere elementen, in zich hebben. Dit gegeven op zich geeft al een duidelijke reden voor de populariteit van games. Het is bekend dat kinderen van games houden, sterker nog, vaak wordt het kinderachtig gevonden, als een volwassene zich bezig ermee bezig houdt. Maar waarom is dat? Een game is een spel. Als men kijkt naar jonge dieren, ziet men dat hun spel in de eerste plaats als doel heeft de vaardigheden van de volwassen dieren zonder gevaren onder de knie te krijgen. Hetzelfde geldt voor veel van onze traditionele kinderspelletjes: een spel speelt men in navolging van volwassenen, om later te kunnen doen wat zij doen. Ons huidige begrip van games is echter veel omvattender; veel van de situaties slaan niet meer op de werkelijkheid, laat staan op onze toekomst. Toegespitst op kinderen, en wat zij uit het (technologische) spel halen, kan worden gezegd dat een goed spel voor kinderen één of meerdere van de volgende elementen bevat (Druin, 1999, pp. 8-9):
12
dit blijkt uit interviews met kinderen tijdens de workshops van Almere Waaidorp en de open dag van de CAVE. Zie voor meer informatie Bijlage D: veldonderzoek.
14
1. Een gevoel van controle: een kind is van nature afhankelijk. Het spel geeft hun de kans ook eens de dienst uit te maken. 2. Sociaal contact: kinderen gebruiken het spel (de techniek) om contact te maken met andere kinderen en met hun om te gaan. 3. Middel tot expressie: kinderen willen graag de mogelijkheid hebben hun eigen verhaal te kunnen bouwen met de techniek die het spel aanbiedt.
15
3. Augmented Reality in edutainment
3.1 Kwaliteiten voor edutainment Er is al behoorlijk veel onderzoek gedaan naar manieren om AR te kunnen inzetten bij industriele, medische en wetenschappelijke toepassingen, en met name in deze toepassingsgebieden hebben AR interfaces al bewezen waardevol te zijn. Een arts kan bijvoorbeeld medisch beeldmateriaal over het lichaam van een patiënt geprojecteerd zien, alsof hij een soort röntgenzicht heeft. Naar toepassing in entertainment (zoals bij dit project) is echter een stuk minder onderzoek gedaan. Wel is gebleken dat met behulp van AR sterke punten van real-world spellen en computergames gecombineerd kunnen worden om bestaande spelstijlen te verbeteren en nieuwe stijlen te ontwikkelen (Nilsen e.a., 2004, p. 1). Het eerder genoemde Reality-Virtuality continuüm (zie hoofdstuk 1.2) kan ook worden toegepast op entertainment applicaties om een gebruikerservaring te beschrijven door de verhouding tussen echte en virtuele inhoud te laten zien. Dit kan worden uitgebreid met een derde bron van content: verbeelding (Stapleton, Hughes & Moshell, 2002, in: Nilsen e.a., 2004, p. 1). Bij spellen is verbeelding namelijk vaak van grote invloed, zoals bijvoorbeeld in rollenspellen, toneelspel en kinderspelletjes. Aan de hand van de Mixed Fantasy Trias (Figuur 3-a), kunnen we de meeste real-world spellen typeren gebruik te maken van uiteenlopende mixen van reële en imaginaire content, terwijl computergames vaak overwegend een combinatie zijn van virtuele en imaginaire content.
Figuur 3-a
de Mixed Fantasy Trias waarin door de combinatie van realiteit, 13 virtualiteit én verbeelding, werkelijke immersion tot stand komt (Stapleton e.a., 2002, in: Nilsen e.a., 2004, p. 1).
Volgens Stapleton e.a. (2002, in: Nilsen e.a., 2004, p. 2) is de beste manier om een interactieve en immersive ervaring te creëren, het ontwikkelen van games die inhoud uit zowel de echte als de virtuele wereld gebruiken en zo de speler te stimuleren om met zijn verbeelding de gaten in te vullen en daardoor werkelijk immersed te worden.
13
letterlijk: ‘onderdompeling’ in de omgeving van de applicatie
16
Immersion is echter slechts één manier om spelers van een spel of ervaring te laten genieten. Om de mogelijkheden van AR entertainment te onderzoeken wordt de ervaring van spelen door Nilsen e.a. (2004) bekeken aan de hand van vier aspecten: fysiek, mentaal, sociaal en emotioneel. Een overzicht van de verschillende sterke en zwakke punten van real-world spellen en computergames op deze gebieden is weergegeven in Tabel 3-a. Tabel 3-a
Een samenvatting van sterke en zwakke punten van real-world versus computer games aan de hand van de vier aspecten: fysiek, mentaal, sociaal en emotioneel (Nilsen e.a., 2004, p. 3).
Een sterke eigenschap van real-world games is de grote mate van fysieke vrijheid. Behalve dat een gebruiker zich in het algemeen waarschijnlijk zo vrij mogelijk wil kunnen bewegen tijdens een spel, heeft onze doelgroep in het bijzonder (kinderen van 6-13, zie hoofdstuk 2) ook nog de onveranderlijke voorkeur om liever buiten dan binnen te spelen (Qrius 2005). Binnen de context van dit project is vrijheid in de interactie dan ook een belangrijk aspect. Het mooie aan AR is de mogelijkheid om virtuele informatie over een buitenomgeving te leggen. Hierdoor wordt het mogelijk gewone buitenspellen in computerspelletjes op te laten gaan (Nilsen e.a., 2004, p. 2). Verplaatsing of zelfs loskoppeling van interactie van de desktop naar de echte wereld bij mobiele location-based applicaties met real-world interactie geeft gebruikers een mate van vrijheid die zij waarschijnlijk nog niet erg gewend zijn in het gebruik van interactieve applicaties. Om deze vrijheid optimaal te benutten en de gebruiker niet te overrompelen, moet deze dus ook wel een zichtbaar nut of duidelijke bedoeling hebben in de betreffende toepassing, wat binnen deze context dus inderdaad het geval is. Tevens is AR een effectief educatief instrument: het kan bijvoorbeeld worden gebruikt voor het uitleggen van ruimtelijke of tijdelijke concepten en het verhelderen van contextuele relaties tussen zowel echte als virtuele objecten. Een groot voordeel van virtuele objecten is dat ze op acties van een gebruiker kunnen reageren, geanimeerd kunnen worden en niet tot de financiële, praktische of fysieke grenzen van echte objecten beperkt zijn (Woods e.a., 2004, p. 230). Tenslotte kan AR zorgen voor vergroting van immersion. In een spel of ervaring is immersion een belangrijke voorwaarde voor plezier, en kan tevens de impact en betrokkenheid vergroten. Verder is gebleken dat immersion ook stimulerend werkt voor het onthouden van (inhoud uit) een ervaring. Gezien de context en de doelgroep van dit project waarin leren ook een beperkte rol speelt zijn dit dus zeer positieve effecten. Vergroting van immersion door gebruik van AR kan op de volgende punten ontstaan: •
•
De mengeling van, en de wisselwerking tussen realiteit en virtualiteit in een AR omgeving bevordert de verbeelding. Uiteindelijk komt een ervaring niet alleen tot stand in de buitenwereld, maar in grote mate ook in de ‘binnenwereld’, oftewel het hoofd van de gebruiker (Nilsen e.a., 2004, p. 2). AR stimuleert natuurlijkere vormen van interactie gebaseerd op vertrouwde interactievormen zoals bewegen, pakken, wijzen en praten. Dit kan ervoor zorgen dat
17
• •
de handeling naar de achtergrond verdwijnt, wat minder afleiding van de daadwerkelijk inhoud – de AR omgeving betekent (Abowd & Mynatt, 2000, p. 32). De gebruiker kan (fysieke objecten in) de omgeving beïnvloedden met mogelijke gevolgen in de applicatie, die op zijn beurt weer de omgeving van de gebruiker zou kunnen manipuleren. Stimulatie van meer (en eventueel zelfs álle) zintuigen is een logische mogelijkheid. Consistentie tussen de verschillende zintuiglijke stimuli is dan echter wel essentieel (Whitton, 2003, p. 42).
Daarnaast biedt een AR omgeving de mogelijkheid tot een goede balans tussen gebruik van fysieke en mentale eigenschappen, waardoor bepaalde gebreken of kwaliteiten elkaar kunnen aanvullen. Er is bijvoorbeeld ook heel fysiek rollenspel mogelijk. Dit geldt nog meer in het geval van meerdere gebruikers, waardoor meteen een volgende kwaliteit van AR zichtbaar wordt: sociale interactie kan, uiteraard wel afhankelijk van de geschiktheid van de gebruikte interface, erg gestimuleerd worden. Dit komt voor een deel door de gemeenschappelijke ervaring van virtuele content in een reële omgeving, maar bovenal door de mogelijkheid tot direct (fysiek) contact, zowel bij samenwerking als competitie, in deze Mixed Reality die zich ophoudt tussen de virtuele en echte wereld (Nilsen e.a., 2003, pp. 2-4).
Samenwerking binnen Augmented Reality Veel AR applicaties kunnen hun voordeel doen met het feit dat meerdere mensen op hetzelfde moment hetzelfde virtuele 3D-model kunnen zien, bediscussiëren en ermee interacteren. Mensen die naar een projectiescherm kijken, of samen rondom een desktop monitor zitten, zijn vaak niet goed in staat te refereren aan echte objecten. Via observaties naar het gebruik van grote schermen waar iedereen naar keek, is gebleken dat er zelden gezamenlijke interactie plaatsvindt. Dit komt door gebrek aan software en input devices voor een goede samenwerking (Billinghurst & Kato, 2002, p. 66). AR interfaces combineren de fysieke en virtuele wereld zodat echte objecten kunnen interacteren met driedimensionale digitale content. Natural (bijvoorbeeld tangible) interactie kan gecombineerd worden met AR displays om een interface te creëren waarin de interactie met fysieke objecten net zo belangrijk is als met het virtuele plaatje. Door de naadloze overgang van realiteit naar virtualiteit, ontstaat er een hele natuurlijke manier van samenwerken. Daarnaast bevinden virtuele objecten zich binnen AR-omgevingen temidden van de gebruikers, waardoor een gedeelde ervaring ontstaat. Zulke interfaces ondersteunen op een natuurlijke manier face to face samenwerking. Een voorbeeld hiervan is een ontwerpapplicatie voor steden, waarin de gebruikers aan een echte tafel zitten en daarop virtuele gebouwen zien verschijnen. Als deze gebouwen nog aan fysieke objecten gekoppeld zouden zijn, zouden de gebruikers hiermee een hele straat kunnen bouwen. AR technologieën kunnen tevens door middel van ruimtelijke audio en visuele cues iets toevoegen aan de reële wereld van een gebruiker om zodoende samenwerking op afstand te ondersteunen. Op deze manier wordt de persoon op afstand toegevoegd aan de echte wereld van de gebruiker, in plaats van ervan te worden gescheiden. De volgende vijf punten zijn belangrijk bij ontwikkeling van AR environments waarbinnen samengewerkt moet worden (Billinghurst & Kato, 2002, pp. 67-68): 1. Virtuality. Objecten die niet in de echte wereld bestaan kunnen worden bestudeerd en worden aangestuurd. 2. Augmentation. Er kan virtuele data worden toegevoegd aan echte objecten. 3. Cooperation. Meerdere gebruikers kunnen elkaar zien en samenwerken op verschillende manieren. 4. Independence. Individuele gebruikers hebben de controle over hun eigen kijkhoek. 5. Individuality. De data die getoond moet worden kan in verschillende vormen verschijnen, afhankelijk van de individuele behoeften en interesses van de gebruiker.
18
3.2 Augmented Reality interactie en interfaces Mackay (1998, p. 13) beschrijft de drie basisstrategieën om de realiteit te augmenten met virtuele content en hiermee te interacteren: 1. Via de gebruiker: deze draagt een device (bij zich), meestal op het hoofd of in de handen, om informatie over fysieke objecten te verzamelen, bijvoorbeeld een HMD. 2. Via fysieke objecten: deze zijn aangepast door er input, output of computational devices op of in te verwerken, en worden tangible interfaces genoemd. Een voorbeeld is gebruik van Electronic bricks, dit zijn LEGO elementen waarin simpele elektronische apparaten zitten verwerkt, zoals sensoren. 3. Via de omgeving rond de gebruiker en de fysieke objecten: onafhankelijke apparaten verschaffen en verzamelen informatie over de omliggende omgeving. Er wordt informatie verkregen over de interactie van de gebruiker met objecten, waarop informatie wordt getoond. In een gebouw kunnen bijvoorbeeld door middel van sensoren licht, warmte en energie gemeten worden om zo de omgeving optimaal aan te passen voor zowel bewonerscomfort als energiebesparing. Welke van deze benaderingen het meest geschikt is hangt echter volledig af van de applicatie en de behoeften van de gebruikers.
Natural interfaces Natural interfaces zijn simpelweg gezegd interfaces die een meer natuurlijke wijze van interactie toelaten (meer zoals mensen met de fysieke wereld interacteren), dan binnen het huidige WIMP-paradigma gebruikelijk is. Enigszins bekende vormen van natural interactie die inmiddels ook vaker door computer interfaces ondersteund worden zijn bijvoorbeeld: communicatie via handschrift-, spraak- en gebarenherkenning. Recenter, en tevens minder algemeen bekend is de ontwikkeling om tastbare objecten in de fysieke wereld te gebruiken om te interacteren met computation, ook wel grasp-able of tangible user interfaces genaamd (Fitzmaurice, Ishii & Buxton, 1995; Ishii & Ullmer, 1997, in: Abowd & Mynatt, 2000, p. 32). Er zijn op dit moment twee trends binnen AR interactieresearch (Azuma e.a., 2001, pp 3738): • Verschillende devices gebruiken om invloed uit te oefenen voor verscheidene displays. • Het integreren van de fysieke wereld door gebruik te maken van tangible interfaces. Verschillende devices ondersteunen over het algemeen het beste verschillende interactietechnieken. Het gebruik van meer dan één device zorgt ervoor dat voor iedere interactietaak een ander passend device gebruikt kan worden. In het geval van toepassing voor AR kan het gebruik van tangible interfaces de link tussen de virtuele en fysieke wereld behoorlijk versterken. Er kan dan namelijk via directe interactie (door middel van fysieke objecten) in de reële wereld invloed op de virtuele wereld worden uitgeoefend, waardoor de grens tussen realiteit en virtualiteit verder vervaagt. Tangible AR interfaces zijn interfaces waarbij: 1. ieder virtueel object is gekoppeld aan een fysiek object, en 2. de gebruiker interacteert met virtuele objecten door het corresponderende tangible object te manipuleren (Billinghurst, 2001, p. 1). Deze definitie kan tot verwarring leiden, omdat ze kan worden geïnterpreteerd alsof elk virtueel object altijd correspondeert met het ‘gekoppelde’ fysieke object en ook alleen met dit object kan worden gemanipuleerd. Echter, het is binnen een tangible AR interface ook mogelijk om via één fysiek object met meerdere virtuele objecten te interacteren. Een voorbeeld hiervan is het op de HKU ontwikkelde Robotract, waarbij de gebruiker via een fysieke stok met een virtuele magneet digitale karakters op een speelbord kan verplaatsen. Door duwen, schuiven en andere vormen van beweging kan de gebruiker de game beïnvloeden (Olden, 2004, pp. 29-31).
19
Op dit moment wordt er veel onderzoek gedaan naar andere interactiemogelijkheden, maar binnen deze context is het vooral interessant om specifieker naar bepaalde natural interfaces te kijken, namelijk speciaal voor kinderen bedoelde interfaces. Eigenschappen die dan (nog) belangrijker worden zijn zaken als: duidelijkheid, veiligheid, robuustheid etc., kortom: foolproofness. Nu volgt een overzicht van al eerder gebruikte en onderzochte natural interfaces met een korte uitleg van de toepassing en eventuele belangrijke voor- en nadelen die in de literatuur naar voren zijn gekomen: •
Rosebud (Glos & Cassell, 1997): user-interface waarbij kinderen worden gestimuleerd om verhalen te vertellen door het linken van hun verhalen aan speelgoed, op zo’n manier dat het speelgoed en de computer elkaar aanvullen. De computer maakt een passief object actief, terwijl de kinderen zich door het speelgoed met een bekende manier van interacteren bezig houden.
•
MagicBook (Billinghurst e.a., 2001): Mixed Reality interface dat een echt boek als interface gebruikt om gebruikers naadloos tussen realiteit en virtualiteit te bewegen. Met behulp van een visuele tracking methode wordt een AR scène gecreëerd door virtuele modellen op echte boekpagina’s te plaatsen. Gebruikers kunnen eventueel een AR scène in ‘vliegen’ en deze als een immersive VR ervaren. De interface ondersteunt samenwerking, waarbij meerdere gebruikers dezelfde virtuele omgeving vanuit zowel egocentrisch als exocentrisch perspectief kunnen beleven. - Voordelen: zeer eenvoudig en direct te gebruiken door overbekende interface en het moeiteloos wisselen tussen realiteit en virtualiteit door de bijna onzichtbare interface. - Nadelen: moeite bij samenwerking.
•
I/O Brush (Ryokai, Marti & Ishii, 2004): een digitale tekentool voor jonge kinderen om kleuren, texturen en bewegingen te verkennen in alledaagse materialen – “the world is your palette”. De I/O Brush ziet eruit als een gewone kwast, maar bevat een videocamera met lichten en sensoren. In combinatie met een digitaal projectiescherm als canvas kan er digitaal getekend worden: buiten het canvas kan de kwast kleur, textuur en beweging opnemen van objecten in de omgeving, op het canvas kunnen de kinderen met deze zojuist verkregen speciale ‘inkt’ gaan tekenen. - Voordelen: direct intuïtief begrip van device zonder al te veel uitleg, en één device voor de gehele toepassing. Daarnaast past deze manier van interacteren veel beter bij tekenen dan een muis (met name bij kinderen met hun minder ontwikkelde motorieke vaardigheden). - Nadelen: het plezier in gewoon kleuren op het canvas verzamelen overschaduwde soms een beetje het idee van echte ‘kunstwerkjes’ maken. Het snoer werd niet zo op prijs gesteld.
•
Chromarium (Rogers, Scaife, Gabrielli, Smith & Harris, 2003): omgeving waarin kinderen met kleuren kunnen experimenteren. De vertrouwde handeling van kleuren mengen (verf en licht) werd gebruikt in verschillende Mixed Reality Environments (MRE) om te kijken naar het verkennend gedrag van kinderen en hun begrip van de betreffende MRE. In de diverse opstellingen kan verf of licht gemengd worden met ofwel digitale, ofwel fysieke tools met als eindresultaat tevens ofwel een analoog, ofwel een digitaal effect. - Voordelen: direct intuïtief begrip van de handeling, en daardoor snel aan het experimenteren. Heel erg belangrijk hierbij is wel zo directe mogelijke feedback. - Nadelen: het samenwerken ging moeizaam in situaties waarbij er van taak gewisseld moest worden. Kinderen vinden het moeilijk om ‘controle’ over te dragen.
•
BattleBoard 3D (Andersen, Kristensen, Nielsen & Grønbæk, 2004): AR bordspel met gebruik van LEGO voor fysieke en virtuele stukken. De mix van computer- en bordspel wordt door kinderen benaderd vanuit hun ervaringen en verwachtingen van beide speltypes. Bij geanimeerde spellen zoals in dit prototype blijkt meteen ook een grote variëteit in animaties te worden verwacht zoals in computergames.
20
-
•
Voordelen: kinderen waren gefascineerd door het feit dat ze een animatie van alle kanten konden bekijken en zelfs oppakken en van dichterbij bekijken. Nadelen: Bepaalde sociale interactie met de tegenstander die bij een gewoon bordspel plaatsvindt (bijv. elkaar recht in de ogen kijken, wat een gevoel van aanwezigheid oproept), wordt geblokkeerd door het dragen van de grote HMD.
Kobito (Aoki e.a., 2005): AR project waarin virtuele dwergen, ‘Kobito’s’ genaamd, met mensen kunnen interacteren, via een reëel object, een blikken doosje. Met behulp van een camera wordt de plaats van het doosje bepaald, dat bestuurd wordt door middel van een verborgen magneet. Op een mounted display kun je de Kobito’s tegen het doosje aan zien duwen. Omdat dit doosje dus een fysiek object is, kan deze ook door de gebruikers verplaatst worden. Als een gebruiker het doosje tegenhoudt, ‘voelt’ hij de duwende Kobito’s door de druk van de magneet. Zodra hij het doosje in tegengestelde richting duwt, worden de Kobito’s mee geduwd of vallen zelfs om en als hij het doosje optilt en weer neerzet, springen ze snel opzij (Aoki e.a., 2005).
3.3 Toepassingen Augmented educatie en entertainment
Reality
in
Educatieve toepassing Voor educatie zijn op dit moment nog niet veel AR toepassingen ontwikkeld, maar een goed voorbeeld is bijvoorbeeld ‘Read-It’ (Weervers e.a., 2004). Dit is een interactief spel met een multimodale tangible interface om de voordelen van huidige fysieke spellen met computer oefeningen te combineren. Deze applicatie is een nieuwe benadering om kinderen te ondersteunen bij het zogenaamde Veilig Leren Lezen. Dit gebeurt in paren van twee, aangezien aangetoond is dat kinderen erg veel plezier beleven aan technologie die samenwerkende activiteiten mogelijk maakt en sociale interactie in een leeromgeving daarnaast tot significante leervoordelen leidt. Tevens zijn kinderen veel meer betrokken en actief bij gelijktijdig werken. (Inkpen e.a., 1999; Hymel, Zinck & Ditner, 1993; Johnson, Maruyana & Jonhson, 1981, in: Weevers e.a., 2004, p. 226). - Voordelen: snel begrip van de werking. De fysieke blokjes waarmee de kinderen interacteren passen beter bij hun motorieke vaardigheden dan een muis. - Nadelen: tegenvallende samenwerking Musea zien ook steeds vaker de mogelijkheden van AR in. Op dit moment is maar liefst 35 procent van de Europese musea bezig met de ontwikkeling van AR of gebruiken het al (Wojciechowski e.a., 2004, p. 135). Uit onderzoek blijkt dat bezoekers van musea geïnteresseerd zijn in AR technieken. In een omgeving waarbij een interactieve AR Opera Set werd nagebootst pakte 35 procent van de bezoekers een HMD op (Sparacino, 2004, pp. 7375). Met AR kunnen musea informatie laten zien aan bezoekers die ze op een andere manier nooit tot zich zouden kunnen nemen: AR werkt op een intuïtieve manier en is spannend. Via virtuele objecten en omgevingen is het mogelijk leerzame verhalen te vertellen aan het publiek, waarbij virtuele werelden een aantal voordelen ten opzichte van echte objecten hebben: het is goedkoper en veiliger, het is mogelijk geluid toe te voegen en de virtuele objecten vanuit verschillende standpunten te bekijken, en het is mogelijk objecten of landschappen te animeren, aan te passen en te vervormen. Via AR is het bijvoorbeeld mogelijk om over het fysieke skelet van een dinosaurus de huid van het dier te zien. Hierbij wordt ruimtelijke, virtuele informatie toegevoegd aan een restant uit de prehistorie. Dit is echter nog een vrij triviaal voorbeeld van de mogelijkheden van AR. Maar in het geval dat de gebruiker zelf met een echte, fysieke schop een virtuele opgraving kan doen, wordt het al meteen een stuk interessanter (Woods e.a., 2004, pp. 230-232).
21
AR kan prima toegepast worden om verloren tijden weer tot leven te wekken. Gebruikers kunnen midden in een wereld die niet meer bestaat geplaatst worden. Een voorbeeld van precies het omgekeerde is een AR systeem waarbij de gebruiker in het Olympisch Stadion in Griekenland door middel van AR kan kijken naar wedstrijden die daar in het verleden plaats hebben gevonden (Woods e.a., 2004, p. 230). Door gebruik van mounted displays (soort HMD’s maar dan op een specifieke locatie geplaatst) zien de gebruikers 3D-animaties van de sporters in het stadion. Via een mounted display is men in staat de gebruiker een zo groot mogelijke bewegingsvrijheid te geven, zonder dat het systeem kan beschadigen doordat bezoekers er niet zorgvuldig mee omgaan. Nog een interessant voorbeeld van een AR-systeem dat wordt toegepast binnen een 14 leeromgeving is Geist . Dit is een systeem dat is ontwikkeld om leerlingen en volwassenen via AR de geschiedenis van een specifieke locatie te tonen. Personen kunnen individueel rondlopen in een bepaald gebied, waar met behulp van tracking sensoren, een draagbare pc, een see-through HMD en een PDA, driedimensionale ‘geesten’ verschijnen op specifieke plekken. Deze personages vertellen aan de hand van een geanimeerd verhaal de geschiedenis van de plek. Het verhaal bestaat uit historische en fictieve elementen. Het verhaal bestaat uit een mix van echte en virtuele objecten. Hoe deze virtuele objecten zich gedragen wordt bepaald door de ‘Story Engine’. Interessant aan deze toepassing van AR is dat de makers duidelijk inspelen op de reeds bestaande wereld. Ze leggen er een directe relatie mee door de verhalen, welke speciaal gemaakt zijn voor een bepaalde tijd en plaats. Op moment van schrijven bestaat Geist enkel als prototype en is (nog) niet in productie genomen. Er zit op dit moment geen game-element in Geist, maar er wordt nagedacht over een treasure hunt met punten die de gebruiker kan winnen als game feature (Braun, 2003, p. 4).
Entertainment Steeds meer worden speelgoed en techniek met elkaar verweven. Het toevoegen van virtuele content aan reële objecten biedt een hoop nieuwe mogelijkheden voor speelgoed. Een leuk voorbeeld van een object dat door AR een extra laag heeft gekregen is ‘The Iron Horse’ (Landin e.a., 2002, pp. 303-305). Dit is een systeem waarbij een fiets de eigenschappen van een paard krijgt: door middel van geluid gaat de fiets zich tijdens het fietsen voordoen alsof het een paard is dat bereden wordt. Wanneer een AR systeem interactief is, leent dit zich goed als toepassing voor games. Via AR kunnen de fictieve werelden, objecten en karakters in de echte wereld geplaatst worden, en worden daardoor gelijk gesteld aan de wereld waar de gebruiker zich in bevindt. Er wordt de laatste jaren flink wat geëxperimenteerd met AR games. Veel oude computerspellen maken hun rentree in een AR omgeving. Zo zijn de laatste jaren onder andere versies van Air Hockey en Pacman als AR game ontwikkeld door wetenschappers. Een van de eerste AR games voor de openlucht was ‘ARQuake’, een augmented versie van het bekende computerspel ‘Quake’. ARQuake is ontwikkeld door het Wearable Computer Lab aan de University of South Australia. Het is een first person shoot-em-up, waarbij de gebruiker in de echte wereld kan rondlopen terwijl hij een game speelt in een door computers gegenereerde wereld. ARQuake maakt gebruik van GPS, oriëntatiesensoren, een HMD, een speciaal voor deze game ontwikkelde geweer en een gewone laptop die als rugzak wordt gedragen. Met de haptische interface (het geweer) is het mogelijk om op digitale content te schieten. Hoewel de registratie van positie en oriëntatie nog niet helemaal optimaal is bij deze game, is de game wel degelijk te spelen en bewijst het dat AR wel potentie heeft voor de game-industrie. Een ander voorbeeld is de AR game ‘Demor’, die in 2004 binnen de EMMA op de HKU is ontwikkeld. Deze game is een location-based 3D-audiogame voor blinde kinderen. Net als
14
Geist is ontstaan door een samenwerking van drie Duitse onderzoeksinstellingen: het Computer Graphics Centre (ZGDV), het Fraunhofer Institute of Computer Graphics (Fh IGD) en het European Media Lab (EML). Van Geist is enkel een prototype ontwikkeld welke inzicht geeft over Heidelberg in Duitsland tijdens de Dertigjarige Oorlog.
22
ARQuake is ook Demor een first person shoot-em-up, maar Demor gebruikt enkel geluid en geen beeld. De game is bedoeld als entertainment maar probeert ook bij te dragen aan de emancipatie van blinden en zo integratie met de ‘ziende wereld' te bevorderen. Het doel is om de virtuele monsters die bij de gebruiker op hetzelfde veld aanwezig zijn uit te schakelen. Deze monsters zijn dus niet zichtbaar, maar enkel te horen via ruimtelijke audio die de software real time in de 3D ruimte ‘positioneert’. Het systeem dat een speler met zich meedraagt om de game te kunnen spelen, bestaat uit een rugzak met laptop, hoofdtelefoon, GPS-ontvanger, headtracker en een aangepaste joystick. Het speelveld bestaat uit een groot leeg terrein in de buitenlucht, bijvoorbeeld een voetbalveld. Het systeem bepaalt aan de hand van een oorsprong, hoe de virtuele omgeving hier op wordt gesitueerd. Dankzij GPSsatellieten worden de coördinaten van de speler continu doorgegeven aan de laptop, terwijl de kijkrichting van de speler wordt gemeten met de headtracker op de koptelefoon. (Cohen e.a., 2004). Demor kan gezien worden als een soort aanleiding voor het huidige project. Het oorspronkelijke idee was om een soortgelijke game te creëren, waarbij de ervaring behalve te horen, ook te zien zou zijn.
23
4. Augmented Reality technologie
4.1 Inleiding Augmented Reality technologie In dit hoofdstuk worden de technische mogelijkheden met betrekking tot AR beschreven. Aangezien AR nog een jong en nieuw medium is zijn er nog geen pakketten die direct klaar voor gebruik zijn. Als er een project gedaan wordt met AR, zullen de ontwerpers bestaande technieken moeten combineren. In dit hoofdstuk wordt in twee delen een aantal technieken voorgesteld om een beeld van de mogelijkheden te geven, te weten: de hardware en de software. Bij het hardware gedeelte wordt er een beknopt overzicht gegeven voor de hardware voor beeld, geluid, volgen van het lichaam in de ruimte (tracking) en andere interactie met de virtuele ruimte.
4.2 Hardware Hardware voor het beeld Head-Mounted Displays Head-Mounted Displays zijn kleine beeldschermen die op het hoofd gezet worden. Denk hierbij aan VR brillen. De gebruiker wordt van de wereld afgesloten en ziet een groot beeldscherm voor zich. In combinatie met tracking in zes vrijheidsgraden, een camera en een 3D wereld is het met deze techniek mogelijk om een gebruiker complete immersie in een VR wereld te laten ervaren. Echter, de techniek is nog niet zo ver gevorderd om de complete immersie die men zich voorstelt ook daadwerkelijk te bereiken. Bij elke door ons geteste HMD keek je meer naar een beeldscherm dan dat je het gevoel had dat je ‘in’ de VR wereld zat. Er zijn twee punten die problemen kunnen geven en waar op gelet moet worden bij de aanschaf van een HMD. De eerste is de field-of-view, oftewel de kijkhoek. Hoe groter de kijkhoek, hoe groter het beeld lijkt. Hoe kleiner de field-of-view, hoe meer het op een beeldscherm lijkt dat voor je zweeft. De huidige HMD’s hebben een field-of-view van 27 tot 60 graden. Een ander punt waarop gelet moet worden is de diepteperceptie. Diepte wordt gecreëerd of gesuggereerd door beide ogen een licht verschoven beeld aan te bieden. Dit kan op twee manieren. De eerste is door het aanbieden van twee aparte video feeds waarbij beide beelden net verschoven van elkaar zijn. Deze oplossing is erg duur en kost erg veel rekenkracht. De tweede manier is door page-flipping. Hierbij is er maar één video feed waarvan het beeld heel snel, om en om voor één oog wordt getoond. Met shutter-glasses wordt het andere oog dan geblindeerd. Deze manier werkt echter niet bij iedereen. Verder kan men nog onderscheid maken tussen optical see-through HMD’s en video seethrough HMD’s. Een optical see-through HMD is een HMD waarbij enigszins door de display heen gekeken kan worden naar de echte wereld. Het virtuele beeld bij zo’n soort HMD kan dus nooit helemaal opaque (dekkend) zijn. Bij een video see-through HMD wordt het beeld van de echte wereld geleverd door een camera, en is het display totaal ondoorzichtig, waardoor het virtuele beeld dus ook helemaal opaque kan zijn. Voordelen : - Mogelijk ‘complete’ immersie
24
Nadelen: -
Log en zwaar Geen ‘complete’ immersie zoals verwacht/aangenomen Heeft veel onwenselijke bijeffecten (zie gevaren HMD’s) Geen kindermaten off-the-shelf (mede door bijwerkingen) 6 vrijheidsgraden tracking nodig (duur en nog niet perfect)
Voor een uitgebreid verslag over HMD’s wordt doorverwezen naar bijlage C: kinderen en Head-Mounted Displays. Verdere informatie: http://www.cybermind.nl http://www.emagin.com http://www.genreality.com/comparison.html http://www.stereo3d.com/hmd.htm http://www.icuiti.com/ http://www.stereo3d.com/siemensvr.htm http://net.info.nl/vr/vrhelmen.html Near Eye Display Near Eye Displays zijn displays die direct op de retina van het oog projecteren. Het grote verschil met HMD’s is dat hier geen kleine beeldschermpjes gebruikt worden. Verder heeft de techniek veel weg van een HMD. Momenteel heeft zo’n systeem maar één kleur in 32 grijswaarden (NOMAD). Een kleuren systeem is wel in ontwikkeling (SPECTRUM). Voordelen: - Directe overlay over de wereld als een optical see through HMD maar met totale opaque Nadelen: -
Momenteel nog geen kleuren.
Verdere informatie: http://www.zinkle.com/p/articles/mi_m1511/is_n7_v19/ai_20870340 http://www.microvision.com/ http://www.orichel.de/multiagent/papers/virtualretinaldisplays/#b5 Fogscreen Fogscreen is een projectiescherm van stoom waarop geprojecteerd kan worden. Er kan dwars door dit scherm heen gelopen worden. Tevens is het mogelijk om met het scherm te interacteren alsof het een touchscreen is. Voordelen: - Volledig door heen te lopen - Interactief Nadelen: -
Wiebelend beeld Niet verplaatsbaar
Verdere informatie: http://www.fogscreen.com/ TFT Schermen Voor het creeëren van AR kunnen ook gewone TFT schermen gebruikt worden. Veelal in combinatie met speciaal aangepaste interactieve installaties. In combinatie met een camera kan een see-through window gecreëerd worden. Een voorbeeld hiervan is Kobito.
25
Voordelen: - Goedkoop en in vele vormen verkrijgbaar Nadelen: -
Vaste positie, behalve in het geval van een tablet pc
Verdere informatie: http://acg.media.mit.edu/people/simong/installationNew/cover.html http://www.we-make-money-not-art.com/archives/cat_augmented_reality.php?page=3 Projectie Beamers kunnen een omgeving augmenten door op een oppervlakte te projecteren. Als dit interactief gebeurt, ontstaat dan is er een sterke relatie tussen de reële en virtuele wereld. Beamers hebben als nadeel dat er mensen in de weg kunnen gaan staan tussen de beamer en het projectie scherm. Een speciale vorm van het gebruik van beamers is een CAVE. Dit is een kamer waarbij er op alle muren geprojecteerd wordt. De bezoeker staat dan temidden van een volledig geprojecteerde ruimte. Met behulp van stereoscopie kan hierbij ook nog diepte worden gecreëerd. Voordelen: - Bekende technologie - Groot scherm dus geschikt voor groepen Nadelen: -
Mensen kunnen in de weg staan Vaste locatie
Verdere informatie: http://www.sara.nl/products/products_08_ned.html Glasprojectie schermen Glasprojectie schermen zijn glazen wanden waarop geprojecteerd kan worden. Dit wordt voornamelijk voor reclame op winkelruiten gebruikt of voor interactieve digitale kiosken. Hoewel hier niet doorheengelopen kan worden, kan deze techniek uitstekend werken bij het maken van bijvoorbeeld een ‘augmented raam’ of als hologram. Een glasprojectie kan interactief zijn zoals een touchscreen. Een goed voorbeeld van deze techniek is het optreden van de band ‘Gorillaz’, deze band had een totaal augmented reality optreden gedaan op de MTV Awards in 2005. Hierbij waren 3D-modellen van de bandleden augmented aanwezig op het podium. In plaats van glasprojectie werd hier enkel de folie gebruikt die normaal gesproken op het glas zit. Glasprojectie is uiteraard wel duurder dan gewone projectie, aangezien dit speciale glas of folie nodig is. Voordelen: - ‘Hufter-proof’ - Immersief, want de techniek (het projectiescherm) kan onzichtbaar worden - Groot beeld Nadelen: -
Vaste locatie
Verdere informatie: http://www.nextwindow.com/products/projection.html http://www.vizoo.dk/
26
PDA, Mobiele Telefoon & Tablet pc Met de opkomst van krachtigere kleine apparaten is het mogelijk deze als ‘raam’ te gebruiken om naar de augmented content te kijken. Hoewel de rekenkracht en het beeld erg klein zijn, zijn hier erg goede concepten mee te bedenken. Een flink voordeel is de prijs van deze apparaten. Deze is een stuk lager dan bij de overige mogelijke technieken. Voordelen: - Goedkoop - Bekend in gebruik - Erg mobiel want draadloos Nadelen: -
Klein scherm Lage processorsnelheid
Verder informatie: http://studierstube.org/handheld_ar/ Mounted Displays Mounted displays zijn displays in de vorm van verrekijkers of kijkdozen. Denk hierbij aan de verrekijkers die op het strand staan. Deze displays hebben niet het nadeel dat zware hardware gedragen moeten worden zoals bij HMD’s. Een nadeel is echter wel dat ze op een vaste locatie staan.
Hardware voor het geluid Location-based Audio De audio wordt op basis van de locatie van de gebruiker aan deze doorgestuurd. Voorbeelden waarbij deze techniek wordt toegepast zijn Demor (6 vrijheidsgraden) en Codex Kodanski (2 vrijheidsgraden). Demor is een op de HKU ontwikkelde location-based 3D audiogame. Codex Kodanski is een location-based game in de stad Rotterdam waarbij informatie over bepaalde locatie verstuurd werd naar de gebruiker. Voordelen: - Geluid over het hele terrein, per persoon verschillend Nadelen: -
Hardware moet worden meegegeven aan gebruiker
Verdere informatie: http://www.demor.nl http://www.codexkodanski.nl Gericht geluid Gericht geluid is een techniek waarbij geluid niet breed wordt verstuurd zoals bij normale boxen maar waarbij het geluid als een straal op een persoon wordt gericht, vergelijkbaar met een spotlight van licht. Omstanders die niet in de spot staan nemen het geluid niet waar. Voordelen: - Geluid op enkele plekken hetgeen nieuwsgierigheid vergroot Nadelen: -
Alleen op vaste locaties
27
Verdere informatie: http://www.directaudio.nl/ http://www.aec.at/en/archives/prix_archive/prix_projekt.asp?iProjectID=12451 Surround geluid Het omgevingsgeluid komt van meerdere kanten waardoor de persoon voelt alsof de virtuele laag ook om zich heen bevind. Dit is bekend van bioscopen en eventueel consumer surround sound apparatuur. Voordelen: - het geluid bevind zich om de gebruiker heen Nadelen: -
Het geluid is maar in 2 vrijheidsgraden (plat) om de gebruiker heen Gebonden aan vaste locaties Moet binnenshuis
Hardware voor tracking Om AR te laten werken, moet de plaats en oriëntatie van de gebruiker bekend zijn. Hiervoor is het nodig dat de feedback apparaten weten waar zij staan ten opzichte van de omgeving of ten opzichte van de gebruiker. Er zijn heel veel verschillende manieren om iemand of iets te tracken. Daarbij is het heel belangrijk te weten wat je precies wilt tracken. Wil je enkel weten waar iemand is voor een platte kaart, dan heb je genoeg aan de plaats waar deze zich op aarde bevindt. Daarvoor heb je maar twee variabelen (vrijheidsgraden) nodig. Wil je echter een HMD goed laten werken dan moet je onder andere ook de stand van het hoofd bepalen. Wil je de ervaring dan ook nog interactief maken met bijvoorbeeld een dataglove dan moet ook die getracked worden. Waar het op neer komt is dat er sensoren zijn die punten in de ruimte meten. Met de gegevens van al deze punten tezamen kan met software berekend worden waar de gebruiker zich bevindt en in welke richting deze kijkt. Hierdoor kan het beeld dat bij die exacte positie hoort voor de gebruiker worden geconstrueerd. Tracking kan op heel veel manieren gebeuren, verderop worden enkel de meest gebruikelijke voor AR vermeld. Een belangrijk punt bij tracking is de precisie en de update snelheid van de sensoren. Bij AR, en zeker in geval van HMD’s, valt het erg snel op als de tracking niet exact is of traag is. Als de updatesnelheid niet groot genoeg is, ontstaat er een vertraging tussen de virtuele en de echte wereld, waardoor de immersie afneemt en problemen als motion sickness sneller optreden (zie ook bijlage C: kinderen en Head-Mounted Displays). Daarnaast is er nog een duidelijk verschil in karakteristieken van de sensoren: sommigen zijn bijvoorbeeld enkel binnen te gebruiken, anderen ook buiten. Sommigen kunnen over een groot gebied meten, terwijl anderen zich enkel concentreren op een paar meters. Global Positioning System (GPS) GPS meet de plaats waar de gebruiker zich op de wereld bevindt. Dit gebeurt door middel van satellieten. Tabel 4-a
Details GPS (Cohen e.a., 2004, pp. 26-27).
Locatie Precisie
Buiten GPS 15 meter
GPS met DGPS 1,5m AGPS 0,5m WAAG/EGNOS 2,2 m
Updatesnelheid Vrijheidgraden
2 (longitude, latitude globaal
28
Ultra Wide Band (UWB) Met UWB valt de (x,y,z)-locatie van een object binnen het bereik van de zendstations via triangulatie te bepalen. Tabel 4-b
Details UWB.
Locatie
binnen/buiten
Precisie
15 cm
Update snelheid Vrijheidsgraden 3 (x,y,z coördinaten relatief aan de basestation) Verdere informatie: http://www.ubisense.net Tabel 4-c
Details WIFI.
Locatie
binnen/buiten
Precisie
1 meter
Update snelheid Vrijheidsgraden 3 (x,y,z coordinaten relatief aan de Access Points) Verdere informatie: http://www.ekahau.com http://www.aeroscout.com http://sourceforge.net/projects/placelab/ Video tracking met markers Bij video tracking met markers wordt een beeld van de omgeving opgenomen. Aan de hand van markers wordt de plaats van het beeld ten opzichte van de marker bepaald. Deze techniek is erg precies maar werkt helaas maar op korte afstanden. Tabel 4-d
Deatils Video tracking met markers.
Locatie
binnen
Precisie
beeldherkenning (ca 5 mm)
Update snelheid 30 hz (1/30 seconde) Vrijheidsgraden 6 (relatief aan de marker) Verdere informatie: http://www.amire.net http://www.hitl.washington.edu/artoolkit/ http://www.cc.gatech.edu/dart/ Video tracking zonder markers Bij video tracking zonder markers wordt eerst een opname gemaakt van de ruimte, waarbij het systeem zelf markerpunten/landmarks in de omgeving zoekt. Vervolgens maakt het systeem via algoritmen een model van de omgeving. Dit kan dus na een initiële scan in elke ruimte gebruikt worden. Tabel 4-e
Details Video tracking zonder markers.
Locatie
vaste omgeving
Precisie
beeldherkenning (ca 5 mm)
29
Update snelheid Vrijheidsgraden 6 (relatief aan de marker) Verdere informatie: http://www.newscientist.com/article.ns?id=dn6965 http://www.doc.ic.ac.uk/~ajd/Scene/index.html Video tracking met ‘eigenschap herkenning’ Bij video tracking met ‘eigenschap herkenning’ wordt er een eigenschap van het beeld gebruikt om de plaats van een object ten opzichte van de camera te bepalen. Een voorbeeld hiervan is kleurherkenning. Er zijn echter ook andere manier om de juiste dingen uit het beeld te filteren, zeker als er andere soort camera’s gebruikt worden zoals bijvoorbeeld infrarood camera’s. Een goed voorbeeld van deze techniek is de EyeToy van Sony. Tabel 4-f
Details Video tracking met ‘eigenschap herkenning’.
Locatie
binnen
Precisie
beeldherkenning (ca 5 mm)
Update snelheid Vrijheidsgraden afhankelijk type beeldherkenning) Verdere informatie: http://www.eyetoy.nl http://www.smoothware.com Radio Frequency Identification (RFID) RFID chips zijn zeer kleine chips die een code bevatten. Een RFID lezer kan deze code uitlezen. Doormiddel van triangulatie kan de plaats bepaald worden. Een groot voordeel van de passieve variant van deze chips is dat deze geen externe stroom nodig hebben en zeer klein zijn. Tabel 4-g
Details RFID.
Locatie
binnen/buiten
Precisie Update snelheid Vrijheidsgraden 3 (x,y,z coordinaten relatief aan de basestations)
Object tracking (yaw, pitch, roll) Object tracking wordt gebruikt om de positie van een object te bepalen. Dit wordt veel gebruikt bij HMD’s. In dat geval wordt het gebruikt om de yaw, pitch en roll van het hoofd te bepalen. Deze trackers kunnen ook gebruikt worden voor bijvoorbeeld het tracken van de 3 vrijheidsgraden van een visual device zoals bijvoorbeeld een PDA of tablet pc. In combinatie met plaatsbepaling kunnen 6 vrijheidsgraden bereikt worden. Tabel 4-h
Details Object Tracking.
Locatie
binnen/buiten
Precisie
fabrikant afhankelijk
Update snelheid fabrikant afhankelijk Vrijheidsgraden 3 (yaw, pitch roll)
30
Verdere informatie: http://www.analog.com/en/content/0,2886,764%255F%255F8078,00.html
Input/output devices en interactiviteit Om de immersie van een AR ervaring te vergroten moet er interactie met de virtuele overlay plaatsvinden. Er zijn vele manier om te interacteren met de virtuele wereld, vrijwel elke sensorcombinatie kan gebruikt worden. In de vorige paragraaf werd al gesproken over tracking. Dit is een vrijwel altijd terugkomende manier van interactie, maar er zijn nog veel meer manieren om met de virtuele wereld te interacteren. Hier volgt een opsomming van enkele veelgebruikte sensoren. Afhankelijk van de creativiteit van de designers zijn er uiteraard nog veel meer mogelijkheden om gebruik te maken van sensoren. Touchscreen Als er gekozen wordt voor een projectie scherm (beamer, glasprojectie of fogscreen) voor de augmented ervaring dan is touch of point interactie vanzelfsprekend. Bij een touch of point screen kunnen gebruiker(s) met de hand of pointer-device het scherm bedienen zoals men normaal met een muis zou doen. Hiervoor zijn verschillende technische mogelijkheden maar het effect komt op hetzelfde neer. Een leuke uitwerking van deze techniek is gedaan door de mensen van I/O brush (MIT). Dataglove Een dataglove is een handschoen die de stand van de hand kan meten. Deze techniek wordt vaak in combinatie met HMD’s gebruikt om objecten in de virtuele of augmented wereld te manipuleren. Verdere informatie: http://www.vrlogic.com/html/5dt/5dt_dataglove_ultra.html
4.3 Software Er is al naar bestaande software gekeken zodat de productietijd korter gemaakt kan worden. Hoewel er geen complete standaardpakketten zijn en er bij elk project nog veel aanvullend geprogrammeerd moet worden, is er wel al een aantal pakketen dat low-level functionaliteit aanbiedt. Sommige software biedt ook high-level functionaliteit, dit is echter meestal bedoeld voor één specifiek doel. Hier volgt een opsomming van verschillende software, zowel opensource als commercieel: Amire AMIRE is een framework om efficiënt Mixed Reality applicaties te maken. AMIRE bouwt voort op ARToolkit. Met AMIRE kan iemand zonder programmeerkennis heel snel een AR ervaring maken. De interface is drag & drop of via visual programming. Het nadeel van AMIRE is echter dat het framework voor niet-programmeurs ook weer erg beperkt is. AMIRE kan het best gebruikt worden voor AR experiences waarbij minimale interactie tussen de echte wereld en de virtuele nodig is. Dit zijn experiences waarbij de virtuele objecten meestal stil staan. Licentie: Open-source Programmeertaal: Custom Visual Programming Verdere informatie: http://www.amire.net
31
ARToolkit ARToolkit is een open-source marker tracking library. Licentie: Open-source Programmeertaal: C++ Verdere informatie: http://www.hitl.washington.edu/artoolkit/ DART DART is open-source AR toolkit gericht op designers. Hiermee kunnen snel en makkelijk Mixed Reality applicaties gemaakt worden. DART levert een groot aantal actors en scripts waarmee snel een totaal applicatie gemaakt kan worden. DART ondersteunt marker tracking maar ook input van VPRN devices zoals 3DOF en GPS sensors. Licentie: Open-source Programmeertaal: Director Lingo Verdere informatie: http://www.cc.gatech.edu/dart/ StudierStube StudierStube is een framework voor het maken van AR applicaties. Studierstube is niet zo geschikt voor designers als DART, doordat het programmeerwerk veel moeilijker is. Het grote voordeel van StudierStube is dat dit framework ook geschikt is voor hand-held devices zoals pocket pc's en PDA's. Hetgeen een groot pluspunt is voor de mobiliteit. Licentie: Open-source Programmeertaal: C++ Verdere informatie: http://studierstube.org/handheld_ar/ Ekahau Ekahau is een systeem voor WIFI tracking. Licentie: commercieel Programmeertaal: SDK voor integratie met andere applicaties. Verdere informatie: http://www.ekahau.com/ PlaceLab PlaceLab is een systeem voor WIFI tracking. Licentie: Open-source Programmeertaal: JAVA Verdere informatie: http://sourceforge.net/projects/placelab/ SCENE Scene is een programma/toolkit die automatisch landmarks in een omgeving herkent en hiermee een virtuele kaart bouwt, waarna AR toegevoegd kan worden. Licentie: Open-source Programmeertaal: C++ Verdere informatie: http://www.doc.ic.ac.uk/~ajd/Scene/index.html
32
4.4 Real time rendering binnen Augmented Reality Wanneer er een AR applicatie wordt gebouwd, zijn er allerlei zaken waar op gelet dient te worden bij het modelleren van de virtuele 3D objecten. De 3D objecten moeten in real time worden gerenderd tot een afbeelding die past in het totaalbeeld van de AR. In deze paragraaf worden de belangrijkste dingen uiteen gezet waarop gelet dient te worden bij het vormgeven en renderen van 3D objecten voor AR.
Dieptesuggestie In een AR systeem wordt de digitale content over de werkelijkheid heen gelegd. Aangezien er geen sprake is van werkelijke diepte in het beeld (het beeld bestaat ten slotte uit twee platte lagen over elkaar), moet er een illusie in het beeld worden gewekt van diepte. Diepte kan door verschillende factoren worden gesuggereerd (Durand, 2001): 1. Gelijke objecten: objecten die van gelijke formaat zijn, maar door plaatsing in de ruimte een ander formaat krijgen. 2. Occlusion, objecten die in de verte staan worden geblokkeerd door objecten die dichtbij staan. 3. Bewegingsparallax: objecten die dichterbij staan bewegen sneller dan objecten in de verte. 4. Wiskundig perspectief: parallelle lijnen die samenkomen in de verte. 5. Verandering van kleur: kleuren worden blauwer naarmate ze verder staan. 6. Textures: naarmate je dichterbij een object komt wordt de textures gedetailleerder. 7. Atmosferisch perspectief: hoe groter de afstand van object tot kijker is, des te waziger wordt het object (depth-of-field)
Renderen Renderen is het berekenen van de visuele weergave van een virtueel object in een 3D computerprogramma, met alle eigenschappen die aan het virtuele object zijn toegekend. Hierbij wordt berekend hoe het licht op de objecten valt en welke specifieke eigenschappen het oppervlak van ieder object heeft. Het gerenderde resultaat van het object is in principe te vergelijken met het nemen van een foto van het object. In principe zijn er twee methoden van renderen: scanline rendering en ray tracing. Bij scanline rendering wordt het object lijn voor lijn berekend en opgebouwd. Bij ray-tracing wordt de het object pixel voor pixel berekend en opgebouwd. Ray-tracing geeft een veel gedetailleerder en realistischer beeld weer. Door reflectie en refractie is ray-tracing realistischer, maar dit heeft als grote nadeel dat het veel tijd kost ten opzichte van scanline rendering, omdat er meer details berekend moeten worden (Mostert, 2000, pp. 127-139). Fotorealistisch renderen is noodzakelijk voor een overtuigende AR ervaring. Ray-tracing is dan ook een geschikte manier van renderen die een realistische weergave kan geven van een virtueel object (Pomi, Marmitt, Wald & Slusallek, 2005).
Real time 3D computermodellen renderen Bij real time renderen word er meestal gebruik gemaakt van 3D modellen bestaand uit polygonen. Het gerenderde beeld wordt gerasteriseerd en uiteindelijk wordt er bepaald wat er zichtbaar is, door middel van een buffer er aan toe te voegen. Resultaat kan door middel van textures en shader realistischer gemaakt worden. Real time 3D renderen in AR heeft veel overeenkomsten met 3D computerspellen. Punten waar op gelet moet worden bij real time rendering (Rademacher, 2001):
33
1. Culling, dat wil zeggen dat objecten achter andere objecten niet gerenderd hoeven te worden. 2. Simplificatie, objecten in de verte kunnen vereenvoudigd worden, dus minder polygonen. 3. Optimalisatie, zowel hardware- als softwarematig. Hardwarematig moet de CPU en videokaart en genoeg werkgeheugen snel genoeg zijn. Maar ook softwarematig kan het 3D renderen worden geoptimaliseerd. 4. Makelijker maken voor programmeur en 3D artiest
Real time ray-trace rendering De Computer Graphics Group, Saarland Universiteit in Saarbrücken, Duitsland, heeft een opstelling ontwikkeld van computers, die real time interactief ray-trace afbeeldingen kan maken voor AR. Dit systeem, met de naam OpenRT, wordt omschreven als een “Interactive Mixed Reality Rendering in a Distributed Ray Tracing Framework”. De GPU’s van grafische videokaarten van tegenwoordig worden steeds sneller en kunnen redelijk hoge kwaliteitsbeelden weergeven met redelijk hoge framerates. Maar de huidige rasterization technologie heeft beperkingen qua fotorealisme en de complexiteit. Het OpenRT systeem is in staat om fotorealistisch real time ray-traced beelden te genereren. Dit systeem is een gedistribueerde netwerk dat de rekenkracht bundelt van verschillende computers, die samen snel een fotorealistisch beeld kan maken. Dit beeld wordt tevens gecomposit (op elkaar leggen van verschillende lagen beeld of video) met de echte wereld. Schaduwen, reflecties, refracties, dynamische belichting, video billboards en HDR videostreams worden allemaal naadloos in het OpenRT systeem real time verwerkt tot één beeld.
34
5. Concept
5.1 Kladderlaan De Stichting Annie M.G. Schmidt Huis is bezig met de opzet van een kunst- en cultuurcentrum in Almere voor kinderen, onder de naam ‘Almere Waaidorp’. Almere Waaidorp opent over enkele jaren haar deuren en wordt op dit moment speciaal voor (en dóór) kinderen ontworpen vanuit het gedachtegoed van Annie M.G. Schmidt. Dat wil zeggen dat het geen ‘stoffig’ museum wordt met Kunst, maar een plek vol spannende kunstuitingen. Behalve het Annie M.G. Schmidt Huis komen er onder andere ook een bioscoop, een expositieruimte, een mediahal en een theater. Verder zullen er in het aangrenzende park ongeveer veertig kunsten speelplekken komen die worden ingevuld door verschillende kunstenaars. Eén van deze speelplekken is ingeruimd voor een door de HKU te ontwikkelen AR ervaring: ‘Kladderlaan’.
Uitgangspunten Kladderlaan is een concept dat wij hebben ontwikkeld, met als uitgangspunt kinderen een AR ervaring bieden waarbij ze zich zo vrij mogelijk door het hele park kunnen bewegen. De doelgroep voor dit project zijn bezoekers van Almere Waaidorp van zes tot dertien jaar. De meeste kinderen zullen waarschijnlijk nog nooit met AR in aanraking zijn gekomen. Objecten die er in het echt niet zijn en alleen door een ‘magische kijker’ te zien zijn, spreekt ontzettend tot de verbeelding. Een belangrijk onderdeel van het concept is dat de kinderen de virtuele objecten die in de AR zweven zelf kunnen maken. Het bevorderen van de creativiteit bij kinderen is dan ook een belangrijk uitgangspunt van dit project: ze gaan schilderen (en tekenen). Vervolgens kunnen de kinderen hun eigen tekeningen in de AR ‘loslaten’. Als de tekeningen tenslotte in de AR bewegen, is het voor de kinderen nog mogelijk er mee te interacteren: met fysieke objecten op het veld (props), die een directe invloed op de virtuele tekeningen hebben, kunnen de gebruikers het ‘gedrag’ van tekeningen aanpassen. Het doel van ons project bestaat uit twee delen. Wat wij binnen dit concept uiteindelijk hopen te bereiken is dat de gebruikers (de kinderen): 1. hun eigen AR wereld kunnen creëren en daar vervolgens samen in rond kunnen lopen. 2. op een andere manier naar de wereld gaan kijken, en op detailniveau leren kijken naar textuur en kleur. Het eerste doel spreekt voor zich: een van de uitgangspunten van het project was kinderen creatief met AR om te laten gaan. Daarnaast was er de wens om de kinderen ook met (de rest van) het park bezig te laten zijn. We willen de kinderen daarom graag op een andere manier naar de werkelijkheid laten kijken dan ze normaal gewend zijn. Als de kinderen bij de Kladderlaan aankomen krijgen ze een ‘Kladderkijker’. Dat is een speciaal voor dit concept bedacht device waarmee de gebruiker zowel kan schilderen als kan kijken naar de AR. Wanneer de Kladderkijker is ingeschoven ziet deze eruit als een kwast. In deze modus kan de gebruiker ‘digitale verf’ verzamelen en schilderen. De Kladderkijker kan ook uitgeschoven worden, dan lijkt het op een verrekijker. We hebben ervoor gekozen om alles in één device te stoppen, omdat we de tijdspanne tussen het schilderen en kijken zo klein mogelijk willen houden. Kinderen moeten in staat zijn na het schilderen direct naar de AR te gaan kijken. Het schilderen doen de kinderen met samples die ze uit de realiteit halen. De Kladderkijker werkt volgens een principe dat ook gebruikt wordt bij de op MIT ontwikkelde
35
15
I/O Brush . Met deze digitale tekentool kunnen kinderen kleuren, patronen en zelfs bewegingen ‘oppakken’ en ermee tekenen. Door het device tegen een oppervlak te duwen, wordt dit gesampled. In onze afgeleide variant, de Kladderkijker, wordt de sample vervolgens opgeslagen op een digitaal palet, dat de gebruiker later kan gebruiken om mee te schilderen. Doordat de kinderen kunnen schilderen met de kleuren en texturen van een oppervlak, stimuleren we ze onbewust om op detailniveau naar planten, dieren, mensen en eigenlijk alles om hen heen, te gaan kijken.
Figuur 5-a
Een indruk van het mogelijke uiterlijk van de Kladderkijker.
Kort samengevat: we willen de kinderen met samples uit de realiteit een virtuele tekening laten creëren, en deze tekening vervolgens weer terug te zetten in de reële wereld. De kinderen doorlopen een vijftal stappen: verzamelen, schilderen, loslaten, kijken en interacteren. Eén van de keuzes die we hebben gemaakt is om de computerinterface zoveel mogelijk te vermijden. De Kladderkijker is voor de kinderen een ‘magisch’ device, en daarom hebben we gekozen om de computer met zijn knoppen zoveel mogelijk te verstoppen, zodat de illusie niet plotseling wordt verbroken. Kinderen moeten een zo natuurlijk mogelijke omgang met het apparaat hebben, en computerinterfaces dragen daar niet echt aan bij. In de komende paragrafen wordt uitgelegd hoe we dit gaan realiseren.
Samples verzamelen De Kladderlaan bestaat uit een ‘Kijkveld’ en een ‘Gebouwtje’. In het Gebouwtje kunnen de gebruikers bij een uitgiftepunt een Kladderkijker afhalen en terugbrengen. Daar worden de gebruikers tevens geregistreerd, zodat er geen Kladderkijkers kwijt raken. Vanaf dat moment is de naam van de gebruiker verbonden aan die Kladderkijker. Tevens staan in het Gebouwtje de canvassen waarop de kinderen kunnen schilderen.
Figuur 5-b
Een mogelijke vormgeving van het Gebouwtje.
15
De I/O Brush is ontwikkeld door de MIT Tangible Media Group door Kimiko Ryokai, Stefan Marti, Hiroshi Ishii, Josh Monzon en Rob Figueiredo (2003-2005). http://web.media.mit.edu/~kimiko/iobrush/
36
Wanneer een gebruiker een Kladderkijker heeft kan hij of zij samples gaan verzamelen. Dit kan de gebruiker doen door de haren van de kwast tegen een oppervlakte aan te duwen. In de kwast zit een druksensor die registreert wanneer de kwast ergens tegenaan wordt gedrukt en een camera die een foto of filmpje maakt van datgene waar de kwast op dat moment tegenaan wordt gedrukt. Wanneer de gebruiker een sample neemt, krijgt hij feedback door middel van een lampje dat gaat branden en de haren van de kwast lichten op. Er zijn drie verschillende soorten samples die de gebruiker kan verzamelen: kleur, patroon en beweging. Op de Kladderkijker zitten drie knoppen waarop de gebruiker kan duwen, en zo één van de drie opties kan selecteren. Wanneer de optie ‘kleur’ is gekozen, en de gebruiker neemt een sample, dan kiest de Kladderkijker de overheersende kleur. Bij de optie ‘patroon’ wordt met de camera een foto gemaakt. Wanneer de gebruiker voor ‘beweging’ kiest, neemt de kwast een filmpje van enkele seconden op. De filmpjes zijn altijd precies evenveel frames lang. Wanneer de gebruiker een sample heeft genomen, wordt deze opgeslagen in de Kladderkijker. Als de Kladderkijker in de buurt van een palet komt, worden de samples via draadloos netwerk gedownload zodat de samples op het palet terecht komen. Het digitale palet is een los scherm dat onder de canvas is bevestigd, en waar alle verzamelde samples op verschijnen. Op de Kladderkijker zelf zit een teller. Deze telt het aantal samples af. Zodra de teller op 0 staat blijft de laatst genomen sample ‘op de kwast’ zitten, maar kunnen er geen samples meer opgeslagen worden. Zo kan de gebruiker wanneer deze voor de canvas staat continu samples blijven nemen met de kwast en ermee schilderen, maar geen nieuwe samples meer nemen die bewaard blijven. Wanneer de gebruiker meer dan één nieuwe sample wil nemen, zal hij de samples eerst moeten laden in het palet, en ze vervolgens wissen zodat er nieuwe plaatsen voor nieuwe samples vrijkomen. Het is de bedoeling dat de kinderen bezig zijn met het hele park, dus ook op zoek gaan naar samples buiten het Gebouwtje en het Kijkveld. Het Samplegebied waarin de kinderen met de Kladderkijker kunnen rondlopen en samplen beslaat dus het gehele park. We hebben overwogen om de kinderen gericht naar samples te laten zoeken door ze een opdracht mee te geven. Uiteindelijk hebben we ervoor gekozen om dit niet te doen, omdat we daarmee de kinderen binnen een bepaald kader dwingen, en dat willen we graag voorkomen. Kinderen moeten hun eigen creativiteit gebruiken bij het zoeken naar samples en het schilderen ermee. Om de kinderen te stimuleren in het gehele Samplegebied, dus ook buiten het Gebouwtje en het Kijkveld, op zoek te gaan naar samples, is er in het Gebouwtje een SampleMap aanwezig. Deze SampleMap is een grote kaart van het park, met daarop enkele uitvergrote samples. Zo worden de kinderen erop gewezen dat ze ook buiten het Attractieterrein kunnen zoeken. De SampleMap is geplaatst achter glas, of hangt in de lucht of op het plafond, zodat kinderen niet rechtstreeks van de map kunnen samplen. Naast een tellertje dat het aantal samples aftelt, zit er ook een metertje op de Kladderkijker die de tijd aangeeft welke de gebruiker nog heeft om de kwast te gebruiken. Omdat er een gelimiteerd aantal Kladderkijkers is, hebben de gebruikers een beperkt aantal minuten voor de hele ervaring. Op dit moment hebben we de tijd op 30 minuten gesteld, maar uit gebruikerstesten moet blijken hoe lang de doelgroep nodig heeft om de hele ervaring te doorlopen. Afhankelijk van het aantal bezoekers wat gebruik wil maken van de Kladderkijker, kan de tijd ook bijgesteld worden.
Schilderen Wanneer de gebruiker bij een canvas komt, worden de samples die hij heeft verzameld geladen in het palet dat onder het canvas hangt. De canvassen zijn gegroepeerd in groepen van drie. De drie canvassen zijn bevestigd aan één grote Machine, maar het zijn duidelijk drie losse canvassen. Het palet dat eronder hangt is een gedeeld palet. Dat wil zeggen dat de drie gebruikers gebruik kunnen maken van elkanders samples. Hoewel er in feite drie losse paletten onder de canvassen hangen, worden deze vormgegeven als één fysiek object. Uit veldonderzoek bleek dat kinderen bij het schilderen liever niet samen aan één tekening
37
16
werken, maar wel bereid zijn om kleuren uit te wisselen binnen de groep . Het is overigens nog wel mogelijk voor kinderen om samen op één canvas te gaan werken. Het andere canvas zal dan leeg blijven.
Figuur 5-c
De Machine met drie canvassen en paletten.
Wanneer kinderen tekenen of schilderen, gebruiken ze vaak eerst zwarte lijnen om een figuur 17 neer te zetten, en vervolgens gaan ze deze figuren inkleuren. Daarom kan er naast de Kladderkijker ook getekend worden met een marker die zwarte lijnen op de canvas zet. Hierdoor kunnen kinderen bovendien makkelijk hun naam bij de tekening zetten die ze hebben gemaakt. Deze markers zijn met een kabel aan de canvassen bevestigd, zodat ze niet worden meegenomen. Naast de markers hangt er ook een tool die de functie van gum heeft aan de canvassen. Hiermee kunnen niet alleen foute lijnen en vlakken worden uitgegumd, maar kan ook het palet worden geleegd. Door de gum over een van de samples te wrijven, verdwijnt deze uit het palet. De gebruiker kan nu met de Kladderkijker weer een nieuwe sample nemen die op de lege plaats in het palet komt.
Figuur 5-d
Schilderen met de Kladderkijker op een canvas.
16
Dit is gebleken uit observatie van schilderende kinderen tijdens de Waaidorp workshops van Stichting Annie M.G. Schmidt Huis, zie bijlage D2. 17 Op basis van observatie is besloten dat de schilderende kinderen ook de mogelijkheid moeten hebben om zwarte lijnen neer te zetten, als basis voor hun tekening, zie bijlage D2. We constateerden dat je de kinderen hiermee kunt stimuleren gerichter te werken en om losse objecten te tekenen in plaats van volledig inkleurde vlakken.
38
Naast schilderen met de samples die al op het palet aanwezig zijn, is het ook mogelijk samples te mixen. Het palet is op een dusdanige manier vormgegeven dat in het midden een ‘preview sample’ centraal staat met de overige samples er omheen. Door een sample met de Kladderkijker aan te tikken, komt de sample ‘op de kwast’ en centraal op het palet te staan. De gebruiker kan echter ook een sample aantikken en vervolgens met de Kladderkijker een andere sample op de preview sample slepen. Nu mixen de twee tot een nieuwe sample.
Figuur 5-e
Schematisch weergave van het palet.
Hoewel het palet een beperkte hoeveelheid samples kan tonen, is het wel mogelijk om constant door te blijven samplen. Basisregel is dat de laatst genomen sample altijd ‘op de kwast’ blijft zitten. Als het palet vol is, en de gebruiker drukt de Kladderkijker tegen een bepaald oppervlak om een sample te nemen, komt deze sample in de preview op het palet. Dat betekent dus dat de gebruiker er direct mee kan schilderen, maar zodra de gebruiker een andere sample neemt of er een uit het palet kiest, is deze verdwenen. Hierdoor kan de gebruiker snel en ongelimiteerd dingen proberen als deze voor het canvas staat. Doordat de gebruiker door kan samplen en kan mixen, beschikt deze over oneindig veel mogelijkheden, ook al zijn er maar een beperkt aantal samples zichtbaar op het palet. Als een gebruiker wegloopt tijdens het schilderen, verdwijnen de samples van het palet en verdwijnt de tekening van de canvas. De tekening wordt echter wel opgeslagen op een centrale server. Zodra een gebruiker bij de canvas terugkeert, of bij een nieuwe canvas aankomt, wordt de tekening waar hij/zij al aan was begonnen weer opnieuw geladen op de canvas. Zo kan een gebruiker makkelijk en snel wat nieuwe samples gaan halen, zonder dat hij bang hoeft te zijn dat zijn tekening door iemand anders wordt verpest. Bovendien hoeven gebruikers zo minder lang te wachten tot er een canvas leeg is, zodra een gebruiker buiten een bepaalde straal van de canvas is, springt de canvas op wit en kan er een nieuwe gebruiker bij. De enige manier om van een tekening af te komen, is door deze volledig te wissen met de gum.
Tekening loslaten Als een gebruiker klaar is met schilderen, kan hij de tekening op het Kijkveld ‘loslaten’ (oftewel de tekening in de AR plaatsen). Ook dit loslaten van de tekening gaat door middel van de Kladderkijker. De gebruiker kan de tekening via de Kladderkijker het Kijkveld in werpen. Hiertoe dient de gebruiker de Kladderkijker in een houder naast het canvas te plaatsen. De tekening wordt nu door de Machine waar de canvas op bevestigd is, in de Kladderkijker gestopt. Op de canvas wordt eerst een aantal seconden afgeteld. De Machine begint te roken, er komt geluid uit en lampjes gaan knipperen. De tekening wordt ‘levend gemaakt’ op het canvas en als het ware uit de het canvas gezogen en via een pijpleiding in de Kladderkijker gestopt. Dit wordt gesuggereerd door lampjes die in de pijp zitten. Wanneer de tekening van het canvas is verdwenen en ‘in de Kladderkijk zit’, kan de tekening losgelaten
39
worden op het Kijkveld. De gebruiker krijgt een beperkte tijdsperiode, die we nu op een minuut hebben gesteld, om naar het Kijkveld buiten te rennen. Zodra de tijd op is, komt de tekening op de plek waar de gebruiker zich bevindt ‘uit de kwast’. Het kan zijn dat de gebruiker dit zelf niet letterlijk ziet gebeuren omdat hij zelf nog niet door de Kladderkijker kan kijken. Andere gebruikers die wel al naar de AR kijken, zien wel letterlijk de tekening uit de Kladderkijker ontsnappen. De gebruiker zelf krijgt feedback door middel van lampjes (en eventueel geluid). De haren van de kast lichten op. De tekening leeft nu in de virtuele wereld op het Kijkveld.
Augmented Reality wereld bekijken en interactie De gebruiker kan naar de AR kijken door de Kladderkijker uit te trekken in de kijkmodus. De haren van de kwast schuiven dan naar binnen waardoor het uiterlijk van de kwast veranderd in die van een verrekijker. Aan de ene kant van de Kladderkijker zit een camera. Deze neemt het beeld op. Aan de andere kant van de Kladderkijker zit een klein beeldscherm, op welke de beelden die zijn opgenomen samen met de virtuele beelden te zien zijn, oftewel de AR. De Kladderkijker heeft een 6DOF-tracking (six degrees of freedom) systeem. Dat houdt in dat de plaats van gebruiker en richting waarin deze kijkt worden geregistreerd. Hierdoor kan de computer berekenen wat de gebruiker hoort te zien. Omdat de kijker slechts een schermpje voor één oog heeft, kan de gebruiker makkelijk zijn kijk op de echte wereld en de geconstrueerde AR-wereld afwisselen. Dit voorkomt problemen zoals motion sickness, problemen met diepteperceptie en psychologische bijwerkingen, die er bij gebruik van HMD’s wel aan de orde zouden zijn (voor een gedetailleerde beschrijving van de gevaren zie bijlage C: kinderen en Head-Mounted Displays).
Figuur 5-f
Voorbeeld van het Kijkveld met rechts de AR eraan toegevoegd.
De tekeningen zweven boven de gebruikers in de lucht. Dit komt doordat de afwijking van de positiebepalingtechniek niet nauwkeurig genoeg is. Dit valt erg op als objecten dicht bij grond worden geplaatst. Bovendien ontstaan er geen problemen die voor zouden kunnen komen als er andere gebruikers tussen de gebruiker en virtuele tekeningen door zouden lopen. Wanneer
40
de tweedimensionale tekening in de driedimensionale AR wordt geplaatst, krijgt de tekening een standaard diepte (dikte) mee. Wanneer een tekening draait, dan ziet de gebruiker ook werkelijk een driedimensionaal object draaien in plaats van een platte tekening. De tekeningen staan niet stil maar bewegen door de AR. Zodra een tekening wordt losgelaten, heeft deze de standaardbeweging (in een rechte lijn voortbewegen). Het is mogelijk om het gedrag van de tekeningen aan te passen. Dit kan door fysiek aanwezige objecten in het Kijkveld. Deze gedragsobjecten, props genoemd, hebben een bepaald gebied om zich heen. Wanneer een tekening in het gebied van een prop is, neemt deze het gedrag van de prop over. Doordat de props ook te verplaatsen zijn kunnen de gebruikers met de tekeningen interacteren wanneer deze zich in het Kijkveld bevinden. De props zijn redelijk groot, zodat ze goed zichtbaar zijn voor de mensen aan de rand van het Kijkveld. Omdat we willen dat de props wel te verplaatsen zijn, maar om te voorkomen dat ze worden meegenomen of kinderen ermee gaan gooien, moeten ze wel redelijk zwaar zijn.
Figuur 5-g
Vier verschillende props die op het Kijkveld aanwezig zijn.
Er zijn vier verschillende props: een boze, drukke kikker, een klungelige vis, een aantrekkelijke boom en een neutrale slak (dit is de standaardbeweging die een tekening heeft). Er is gekozen om de props vorm te geven als dieren, omdat dit niet abstract is en aansluit bij de belevingswereld van kinderen. Wanneer een tekening zich binnen het gebied van de kikker-prop bevindt, gaat de tekening wild op en neer springen in de lucht. Hij houdt dit gedrag totdat de tekening in het gebied van een andere prop komt. Door de vis gaan tekeningen zoals vanzelfsprekend bewegen als een vis, maar omdat de vis ook erg klungelig is botsen de tekeningen tegen elkaar op en weten ze niet goed welke kant ze op moeten gaan. Wanneer een tekening in de buurt van de boom-prop komt, blijft de tekening stil hangen in de lucht, en beweegt misschien alleen een beetje op zijn plaats door bijvoorbeeld om zijn as te draaien. De enige manier om de tekening weer van zijn plaats te krijgen is door de boom-prop weg te slepen, of een andere prop in de buurt te zetten. De props hebben een bepaalde hiërarchie. Dat wil zeggen dat wanneer twee props bij elkaar in de buurt staan, de ene altijd wint van de andere. De kikker is de ‘hoogste’ prop, daarna komen de vis en de slak en de boom staat onderaan de ranglijst.
Overview scherm In het Gebouwtje is een zeer groot overview scherm aanwezig. Op dit scherm is vanuit een overzichtelijk vogelperspectief het hele Kijkveld met de virtuele tekeningen te zien, de complete AR. Dit scherm is door de bouw van het Gebouwtje al te zien wanneer mensen de Kladderlaan naderen. Het overview scherm heeft een aantal redenen: Allereerst dient het scherm als lokkertje. Door het flinke formaat wordt de aandacht onmiddellijk naar de Kladderlaan getrokken en wekt (als het goed is) de nieuwsgierigheid van bezoekers. Bovendien wordt door het scherm snel duidelijk wat er grotendeels aan de hand is: op het veld zijn zwevende kindertekeningen aanwezig. In combinatie met de aanwezigheid van canvassen, props op het veld en de kijkende en interacterende kinderen wordt de context van de ervaring al meteen redelijk duidelijk. Hierdoor begrijpen de gebruikers sneller wat er mogelijk is en wat er van hen wordt verwacht. Daarnaast kunnen de gebruikers via het overview scherm hun eigen tekening terugvinden. Omdat de Kladderkijker een beperkte kijkhoek heeft en op dit moment nog niet vaststaat hoe groot het Kijkveld is, kan het gebeuren dat gebruikers hun tekening uit het oog verliezen. Door het overview scherm zijn ze echter in staat snel te zien waar een tekening zich bevindt.
41
Een bijkomende functionaliteit is dat de mensen die geen Kladderkijker hebben zo een beetje mee kunnen genieten van de AR ervaring. Zonder Kladderkijker zou het anders helemaal niet mogelijk zijn om naar de AR te kijken, en hoewel de immersie bij het overview scherm uiteraard wel een stuk minder is, zou zonde zijn om de AR alleen aan kinderen die een Kladderkijker hebben te tonen.
Organisatorische randvoorwaarden Bij de Kladderlaan zijn begeleiders nodig. Er moet minstens één persoon aanwezig zijn in het Gebouwtje om de Kladderkijkers uit te delen en in te nemen. Omdat er met dure apparatuur wordt gewerkt is het verder aan te raden om een oogje in het zeil te houden bij de canvassen. Daarnaast moet het voor de medewerkers van het park mogelijk zijn om handmatig tekeningen uit het systeem te halen, in het geval er om een of andere reden ontoelaatbare inhoud door een gebruiker de AR is ingestuurd.
Mogelijke toevoegingen Het concept kan met een aantal onderdelen uitgebreid worden. We hebben ervoor gekozen om deze onderdelen niet standaard binnen het concept op te nemen, omdat ze niet genoeg bijdragen aan de kern van het concept of de doelen noodzakelijk ondersteunen. Bovendien is het concept al vrij uitgebreid en maakt iedere toevoeging het dus weer complexer. Toch hebben we wel nagedacht over een aantal toevoegingen die een leuke extra dimensie aan Kladderlaan kunnen geven: 1. Tekening op internet Het zou leuk zijn als kinderen iets aan hun bezoek aan de Kladderlaan over houden. Omdat bij het afgiftepunt van de Kladderkijker de namen geregistreerd moeten worden, is het niet al te ingewikkeld ook een e-mailadres te vragen. Op dit adres ontvangen de gebruikers na afloop van het bezoek aan het park een wachtwoord waarmee ze kunnen inloggen op de Almere Waaidorp website en daar hun eigen tekening op kunnen halen. Eventueel zou dit wachtwoord ook als een soort beloning kunnen worden meegegeven aan de gebruikers wanneer ze de Kladderkijker weer inleveren bij het Gebouwtje. 2. Geluid bij de AR-wereld In de AR-wereld zou het mogelijk zijn om geluid aan de tekeningen mee te geven. Door gebruik te maken van 3D-geluid, wordt er nog meer de suggestie gewekt dat de tekeningen leven dan dat ze nu doen. Omdat het wel weer een vrij ingewikkelde en dure toevoeging is en niet noodzakelijk is, is geluid op dit moment niet binnen het concept opgenomen. 3. Wisselschilderij met tekeningen De tekeningen van de kinderen worden de AR ingestuurd. Maar omdat de tekeningen op zichzelf ook al interessant zijn, zou een leuke toevoeging een digitaal schilderij kunnen zijn waar in een continu wisselende beeldenstroom alle tekeningen voorbijkomen. Deze digitale wissellijst zou bijvoorbeeld al bij de ingang van het park kunnen hangen, om mensen te lokken naar de Kladderlaan. 4. Kijker voor mensen zonder Kladderkijker Omdat het aantal Kladderkijkers beperkt is, en deze in principe alleen aan kinderen worden verstrekt, zou het misschien leuk zijn als er op het Kijkveld ook nog wat vaste, niet mobiele kijkers aanwezig zijn waardoor ouders en kinderen die geen Kladderkijker hebben ook naar de AR kunnen kijken. Anders dan bij het overview scherm zouden zij hierdoor de ervaring ook kunnen beleven vanuit het eigen perspectief zoals dat bij de gebruikers met Kladderkijker gebeurt, al zullen zij de mobiliteit dan uiteraard nog steeds moeten missen.
42
5.2 User scenario Een jongetje van 9 jaar is samen met zijn ouders, zusje (7 jaar) en een vriendje (8 jaar) in het park van Almere Waaidorp. Ze lopen samen door het park. Al snel komen ze bij het Attractieterrein van Kladderlaan. Van een afstandje zien ze een groot scherm hangen op een Gebouwtje. Op dit scherm is de overview te zien, een beeld van de open ruimte tussen de bomen en struiken (Kijkveld) dat ze naderen waarin een aantal kindertekeningen bewegen. Dit beeld is gefilmd vanuit vogelperspectief. Het maakt meteen duidelijk wat er gebeurt: de tekeningen zijn er niet in het echt, ze zijn alleen te zien op het scherm. Als ze wat dichterbij komen zien ze op het veld allerlei kinderen lopen, die door een verrekijker kijken en achter iets aan lijken te rennen wat er niet is. Op het Kijkveld bewegen virtuele tekeningen die alleen te zien zijn door de Kladderkijker of op het overview scherm. Het groepje loopt het Gebouwtje binnen dat aan het begin van het Kijkveld staat. In het Gebouwtje zien ze allerlei kinderen met de Kladderkijker op grote canvassen schilderen. De canvassen staan bij elkaar in groepjes van drie. De kinderen kunnen een Kladderkijker afhalen bij het uitgiftepunt. Hier worden de namen van de kinderen geregistreerd. De gebruiker loopt zodra hij de Kladderkijker heeft samen met zijn vriendje en zusje naar drie canvassen die bij elkaar staan. Doordat ze de andere kinderen zien tekenen en schilderen, en op de overview zien dat deze tekeningen virtueel in het Kijkveld belanden, snappen ze dat ze ook hun eigen tekening tot leven kunnen gaan wekken wanneer ze deze hebben gemaakt. De drie canvassen waar de kinderen voorstaan delen één palet, welke onder de canvassen hangt. Als de gebruiker voor de canvas gaat staan, wordt het palet geladen. Hij ziet alleen zijn naam op het palet staan (welke bij de registratie bij het uitgiftepunt is vastgelegd), maar verder is het palet leeg. De gebruiker heeft immers nog geen samples in zijn palet gestopt. De gebruiker drukt de voorkant van zijn kwast tegen de grond. Daarmee pakt hij de eerste sample op die op zijn palet terecht komt. Op de Kladderkijker is een tellertje te zien dat van 20 naar 19 springt. De gebruiker snapt dat hij met de kwast kleuren en texturen kan oppakken (samplen). De grond is donker en geeft een lelijke sample. De gebruiker moet op zoek naar mooiere samples. Op een van de muren in het Gebouwtje is een SampleMap aanwezig. De gebruiker loopt hier langs als hij naar buiten wil lopen. Op deze map staan allerlei samples met daarbij de plek waar deze in het park te vinden zijn. De gebruiker wil ook van deze mooie samples vinden. Geïnspireerd door de SampleMap loopt de gebruiker naar buiten op zoek om samples op te pikken met de Kladderkijker. Hij rent als een gek het hele park door op zoek naar details die hij kan gebruiken voor zijn tekening. Gras, bomen, planten, maar ook delen van kunstwerken die al in het park staan, zelfs zijn eigen jas kan hij samplen. De teller telt af tot hij op 0 staat. De gebruiker heeft 20 samples verzameld, nu is de Kladderkijker vol. Hij loopt terug naar het Gebouwtje. Daar zoekt hij een nieuwe lege canvas. Zijn vriendje en zusje zijn ondertussen al aan het schilderen geslagen, zij hebben ook een aantal samples genomen. Toevallig is de canvas naast hen vrij. Zodra de gebruiker voor de canvas staat, worden de samples die hij zojuist heeft gezocht geladen in het palet dat onder de canvas hangt. Door de samples met zijn kwast aan te tikken kan hij er mee schilderen op het canvas. De actieve sample die op de kwast zit, staat centraal op het palet. Hiermee maakt de gebruiker zijn eerste streken. Hij ziet aan het palet een marker hangen waarmee hij zwarte lijnen kan tekenen. Hiermee tekent de gebruiker een figuur op de canvas. Deze figuur begint hij in te kleuren met de kwast. Hij kiest iedere keer een andere sample om mee te schilderen. Toevallig ziet hij dat de buurman zijn eigen oog heeft gesampled. Die sample wil hij ook hebben. Door op een sample te klikken die bij zijn buurman op het palet zitten, krijgt hij die sample ook op zijn kwast en centraal in zijn eigen palet. De gebruiker kan dus schilderen met samples van anderen. Omdat hij aan het verven is, wil de gebruiker ook wel eens kijken of het mogelijk is om kleuren te mixen. Door een sample aan te tikken krijgt de gebruiker deze sample op het midden van zijn palet, bijvoorbeeld het oog. Nu kan de gebruiker een tweede sample erbij slepen. In dit geval sleept de gebruiker er groen bij. Op het palet mengen de samples tot een nieuwe sample: een groen oog. Nu kan de gebruiker met groene ogen schilderen. De gebruiker tekent een mannetje met groene ogen. Af en toe maakt hij een fout tijdens het schilderen, of bedenkt zich en wil hij liever een andere kleur gebruiken. Dan pakt hij de gum om delen uit te gummen. Omdat de gebruiker aan de 20 samples die hij op zijn palet heeft staan niet genoeg heeft, wil hij weer
43
opnieuw naar buiten om nieuwe samples te maken. Hiervoor moet hij eerst het palet leegmaken. Door de gum te pakken wist de gebruiker de helft van zijn samples op het palet. De samples verdwijnen daardoor van het palet en de teller op de Kladderkijker springt naar 10. De gebruiker kan nu tot 10 nieuwe samples op gaan pakken in het park. Waneer de gebruiker terugloopt naar het Gebouwtje, is zijn canvas in gebruik. Dit maakt niet uit, hij kan gewoon naar een andere canvas lopen. Daar wordt zijn tekening geladen in de staat zoals hij hem verlaten heeft toen hij het Gebouwtje uitliep. Wanneer de gebruiker na een tijdje met zijn tekening klaar is wil hij de volgende stap nemen: de tekening tot leven wekken. Dit kan hij doen door de tekening eerst op een ‘magische’ manier in de Kladderkijker te zuigen, en de tekening vervolgens in het Kijkveld los te laten. De gebruiker plaatst de Kladderkijker in een speciaal hiervoor gemaakte houder naast de canvas. Op het moment dat de Kladderkijker in de houder zit, gebeurt er van alles met het canvas. Op de canvas zelf wordt eerst afgeteld, de spanning wordt opgebouwd. De gebruiker ziet op de machine waar de canvas op bevestigd is lampjes knipperen en er komt geluid uit. Op het moment dat de teller op de canvas is afgeteld naar 0, wordt de tekening van de canvas gezogen en via lichtjes in een buis naast het palet wordt de suggestie gewekt dat de tekening in de Kladderkijker wordt gezogen. Nu zit de tekening gevangen in de Kladderkijker. De houder springt open en de gebruiker neemt de Kladderkijker eruit. Op de Kladderkijker begint nu een tellertje af te tikken. De gebruiker heeft 60 seconden om het Kijkveld op te rennen. Hij rent het Gebouwtje uit het Kijkveld op. Op het moment dat de 60 seconden afgelopen zijn komt er geluid uit de Kladderkijker en beginnen er lampjes te knipperen. Andere gebruikers die al op het Kijkveld naar de AR kunnen kijken, zien uit de Kladderkijker de tekening ontsnappen. De gebruiker trekt nu de Kladderkijker uit, zodat deze in de kijkmodus komt. De gebruiker kijkt door de lens ervan. Hij ziet meteen een reusachtige tekening door de lucht vliegen. Het is een zwevende SpongeBob, niet zijn eigen tekening. De gebruiker zoekt zijn tekening in het veld. Na een minuut rennen en draaien ziet hij plotseling het mannetje dat hij heeft gemaakt. De gebruiker rent zijn eigen tekening achterna. De tekening beweegt zich in een rechte lijn door de lucht. Plots raakt de tekening in het veld van een ‘gedragsprop’. In dit geval is dat het gebied van de boze kikker. Op het moment dat de tekening het gebied van deze prop binnenkomt, ziet de gebruiker dit gebied in de AR even oplichten. De tekening heeft vanaf dat moment het gedrag van de boze kikker. De tekening springt hevig heen en weer in de lucht boven de gebruikers. Doordat andere gebruikers de props over het Kijkveld verschuiven, krijgt de tekening constant een ander gedrag. Dan beweegt hij weer als een vis door de lucht, vervolgens blijft de tekening stilhangen in de lucht wanneer deze in het gebied van de ‘boomprop’ komt. Dan geeft de Kladderkijker aan dat de tijd op is. Op de Kladderkijker zit een schermpje en daarop is een zandlopertje te zien dat is volgelopen. De gebruiker kan de Kladderkijker terugbrengen naar het uitgiftepunt. Zijn tijd zit er op, tijd voor een volgende gebruiker.
5.3 Technische opzet In deze paragraaf wordt een mogelijke implementatie van het concept beschreven. Het concept maakt deel uit van een driejarig project. Hierdoor is er geen daadwerkelijke uitvoering van het systeem in de eerste fase van het project. Bij het maken van het concept is wel rekening gehouden met de technische mogelijkheden. Dit document beschrijft een manier waarop het concept geïmplementeerd kan worden. Dit is niet tot in detail beschreven, de daadwerkelijke implementatie moet worden uitgewerkt door de opvolgende groepen. Als eerste zal er hierna een lijst van benodigde hardware volgen. Deze is gebaseerd op een systeem voor drie gebruikers die simultaan bezig zijn met het product. Vervolgens zullen een aantal diagrammen volgen over hoe de hardware met elkaar samenwerkt, en een beschrijving over de relaties tussen de data. Tot slot zal worden ingegaan op knelpunten en valkuilen die wij op het moment zien binnen deze opzet.
44
Het is aan te raden dit deel van het document pas te lezen, na het gehele concept dat eerder in dit hoofdstuk beschreven staat, gelezen te hebben.
Benodigde Hardware & Software Het systeem bestaat uit drie onderdelen: 1. De Kladderkijker, een mobiel en draadloos device 2. De Tekenplek, het systeem waar getekend/geschilderd wordt 3. De Kijkplek, de plek waar de augmentatie plaats vindt Hieronder staat beschreven welke hardware voor elk onderdeel apart nodig is. De Kladderkijker • • • • • • • • • • •
Camera Beeldscherm WIFI mogelijkheden Pocket pc 3DOF sensor 7-segmenten display druk sensor Klein lampje Programmeerbare chip (zoals een PIC of AMTEL) (Wunderwall pointer device: mits er een Wunderwall gebruikt wordt) (externe processing pc: alternatief als pocket pc te traag is voor rendering)
De Tekenplek • • • • •
Groot digitaal Canvas - Wunderwall: in het geval van meer gebruikers per canvas - SMART board: in het geval van één gebruiker per canvas Beamer voor het digitale Canvas Touchscreens voor het palet WIFI tracking voor tracking Pc voor de verwerking (Tekenplek pc)
De Kijkplek • • • • • • •
WIFI Access Points voor tracking Kladderkijkers Pc voor tracking en wereld data (World pc) WIFI tags voor props/gedragsobjecten Beamer voor het overview scherm Camera voor de overview Ethernet switch (Pc voor de overview, mits nodig ivm met beperkte resources World pc)
Hardware verbindingen In figuur 5-h worden de onderlinge verbindingen tussen de diverse hardware weergegeven. De verbinding van de Kladderkijker wordt later beschreven. Dit mobiele en draadloze device is namelijk verbonden met zowel het Kijkveld als met het canvas.
45
Figuur 5-h
Hardware overview.
In figuur 5-j worden de hardwareonderdelen binnen de Kladderkijker getoond, inclusief de onderlinge verbindingen.
licht
programmeerbare chip
druk sensor camera
3DOF sensor
usb
intern
Pocket PC
7-segment display
intern
beeldscherm
intern
Wifi input/ output Figuur 5-j
Techniek Kladderkijker.
De 3DOF sensor is hier verbonden met de programmeerbare chip (PIC/AMTEL), dit is gedaan door de beperkte hoeveelheid USB poorten die beschikbaar zijn. Bij een Pocket pc met meerdere USB poorten kan de 3DOF sensor direct op de Pocket pc worden aangesloten, wat heel wat werk kan schelen omdat daar dan al drivers voor beschikbaar zijn.
46
Verbindingen Kladderkijker tot het systeem De Kladderkijker is op meerdere plaatsen in verbinding met het systeem met een verschillend effect. Hieronder een beschrijving van de verschillende manieren. Elke verbinding met het systeem heeft als onderliggende techniek een WIFI verbinding. Kijkveld De WIFI verbinding met de Access Points (AP) van het Kijkveld is tweeledig. De WIFI AP’s worden ten eerste gebruikt als tracking technology. Hiermee kunnen de x en y coördinaten van de Kladderkijker bepaald worden. De tweede verbinding is voor de dataoverdracht tussen de Kladderkijker en de World pc en/of de externe rendering pc’s. Deze laatste verbinding zorgt ervoor dat Kladderkijker ten alle tijden weet welke objecten waar in de wereld staan. Tekenplek Er zijn verschillende manieren waarop de Kladderkijker in verbinding staat met de Tekenplek. De eerste is een WIFI verbinding. Deze verbinding wordt gebruikt om de aanwezigheid van een Kladderkijker bij de Tekenplek te detecteren. Deze verbinding wordt tevens gebruikt om de patronen of samples van de Kladderkijker naar het palet te sturen. De tweede verbinding is de verbinding tussen de Kladderkijker en het canvas. In het geval dat er een Wunderwall gebruikt wordt, zal er een speciale IR-pointer in de Kladderkijker zitten. Deze pointer laat het canvas weten waar de kwast zich bevindt zodat er mee geschilderd kan worden. In het geval dat er voor een SMARTboard gekozen wordt, dan zal er geen extra hardware nodig zijn in de Kladderkijker. De derde manier waarop de Kladderkijker een verbinding heeft met de Tekenplek is een verbinding met het touchscreen van het palet. Zodra de kwast op het touchscreen drukt, wordt een sample gekozen. De identificatie met de Kladderkijker wordt gedaan door te kijken op welk moment er gedrukt wordt. Hierbij gaan we ervan uit dat er niet meerdere Kladderkijkers -exact- tegelijkertijd op het touchscreen zullen drukken.
Software/data opzet Flowchart totaal proces Figuur 5-k is de technische flowchart van het totale proces, zoals beschreven in het user scenario van het concept (paragraaf 5.2). In dit diagram is de flowchart van de Kladderkijker te zien. Het proces van de server wordt in de flowchart van figuur 5-l weergegeven. Het model van de Kladderkijker kan zowel op een event-driven als op een lineaire manier geprogrammeerd worden. Voor het model van de World en Tekenplek pc is een event-driven programmeerstijl meer geschikt.
47
48
Figuur 5-k
Flowchart Kladderkijker.
Figuur 5-l
Flowchart Tekenplek en Kijkplek
49
UML Class Diagram In figuur 5-m worden de relaties tussen de verschillende data beschreven die wij verwachten binnen dit project. Variabelen en functies zijn nog weggelaten. Dit diagram is geen volledige beschrijving maar een opzet die tijdens de productie verder uitgewerkt kan worden.
Figuur 5-m
Opzet UML diagram verwachtte data.
Beschikbare frameworks Voor het maken van een AR experience op een Pocket pc bestaat al een framework voor het afhandelen van de rendering en de trackers: StudieStube. Als men gebruikt maakt van dit 18 framework dan kan de productietijd aanzienlijk verkort worden .
Knelpunten en valkuilen Met de huidige gekozen techniek zijn er al een aantal problemen die wij voorzien. Deze staan hier beschreven. Afwijkingen metingen hardware Een van de grootste problemen bij AR projecten is de precisie van de hardware. Als de hardware niet nauwkeurig is kan het lastig zijn om de virtuele objecten op een juiste manier te renderen ten opzichte van de gebruiken en in dit geval de Kladderkijker. WIFI tracking WIFI tracking is een manier van plaatsbepaling die niet erg precies is. De afwijking is ca. 50 cm tot 1 meter. In eerste instantie is dit geen probleem voor het concept, juist om deze reden hebben we de tekeningen in de lucht geplaatst. Hoewel wij dit niet als een groot probleem zien kan dit het wel worden als er niet goed opgelet wordt.
18
Documentatie en download mogelijkheden op: http://www.studierstube.org/
50
Door middel van het voorspellen van de volgende locaties en door de vorige meetresultaten mee te nemen (averaging) kan dit probleem software matig beperkt worden. Er zijn alternatieve manieren van locatie-tracking, aangezien wij WIFI echter tevens als techniek gebruiken voor de dataoverdracht lijkt dit een logische (want relatief goedkope) keuze. Wunderwall tracking Ten tijde dat wij gewerkt hebben met de Wunderwall (2004) was de techniek nog niet 100% accuraat qua positiebepaling. Het bedrijf Wunderworks had hier wel al een softwarematige oplossing voor, en werken tevens nog aan dit probleem. Beperkte rekenkracht 3D Rendering op pocket pc’s is mogelijk met het Studierstube framework, hiermee wordt op de huidige pocket pc’s een framerate van 7 tot 12 fps gehaald. Tegelijkertijd moet het beeld van de camera in de Kladderkijker worden samengevoegd met de gerenderde beelden. Dit onderdeel kan enorme vertragingen veroorzaken en er moet goed opgelet worden dat dit gedeelte erg soepel loopt. Wij verwachten wel dat de pocket pc’s voor het einde van het project al veel sneller zullen zijn en er een hogere framerate gehaald kan worden. De vooruitgang zal vooral komen door integratie van (geoptimaliseerde) webcams in pocket pc’s en verdere ontwikkeling van videokaarten voor pocket pc’s met ondersteuning voor hardware acceleration van 3D rendering. Een alternatieve manier voor het verkrijgen van de 3D beelden zou eventueel ook externe rendering zijn: het beeld wordt dan gerendered op een externe pc en in de pocket pc meteen samengevoegd met de camera-stream. In dit geval dient er wel rekening te worden gehouden met een andere vertraging door de grote hoeveelheid extra data die dan verstuurd zal moeten worden. Dit is meteen het volgende belangrijke probleem: vertragingen door de apparatuur. Vertraging apparatuur Naast het probleem van de precisie van tracking apparatuur is het tweede grote probleem de vertragingen die door de hardware kunnen optreden. En hoe meer vertraging er optreedt, hoe minder geloofwaardig de ervaring zal overkomen. WIFI tracking & dataoverdracht Bij elke vorm van tracking zit sowieso een kleine vertraging, zo ook bij WIFI tracking. Daarnaast zorgt ook het versturen van data tussen de ‘world’ server en de pocket pc in de Kladderkijker voor een vertraging: een datapakketje zal er enige tijd over doen om via (W)LAN heen en weer gestuurd te worden tussen server en Kladderkijker. Hoewel met WLAN grote hoeveelheden data verstuurd kunnen worden, is juist de initiële vertraging van groot belang bij AR. Batterij voorziening Een ander probleem dat kan optreden met de Kladderkijker is de tijdsduur van de batterij. Er zit aardig wat elektronica in de Kladderkijker. Wij weten niet of de batterij van de pocket pc het lang genoeg volhoudt. Dit is een punt waar dus nog flink naar gekeken moet worden.
5.4 Aanbevelingen voor vervolg project Om de techniek die nodig is voor het concept van dit project goed te implementeren is flink wat technische kennis nodig. AR is een vrij nieuw technisch vakgebied waar nog geen off-theshelf hard- en software beschikbaar voor is. Voor de implementatie van het concept zijn minstens de volgende disciplines nodig: Informaticus – Software Architect Mogelijke Master opleidingen: Computer Engineering: Vrije Universiteit, Technische Universiteit Delft
51
Computer Science: Technische Universiteit Delft Software Engineering : Universiteit van Amsterdam Software Technology: Universiteit van Utrecht De software architect beheert het totale proces van de implementatie en gaat verder met deze opzet van het systeem, of bedenkt een betere opzet. De software architect zorgt er tevens voor dat de verwerking van de verschillende data binnen het systeem vlekkeloos gaat verlopen. De software architect heeft ervaring met zowel de C++ en JAVA programmeer talen, hetgeen nodig is om met de bestaande frameworks met betrekking tot AR om te gaan. De software architect gaat zich bezighouden met het aansluiten van alle verschillende delen van dit systeem alsmede het bouwen van de datastructuren en netwerkverbindingen. Informaticus – grafisch 2D/3D programmeur Mogelijke Master/Bachelor opleidingen: Game programmeur: Quantum College, HKU (maar dan wel echt een goede, niet iemand die het een ‘beetje’ kan) Game technology & Simulation: Hogeschool van Utrecht – Media Technologie De grafisch programmeur heeft ervaring met het programmeren van grafische engines, waaronder 3D engines en kan goed programmeren in de C++ programmeer taal, hetgeen nodig is om met de bestaande frameworks met betrekking tot AR om te gaan om te gaan. De grafisch programmeur gaat zich bezighouden met de rendertechnieken van de Kladderkijker en de overview, hiernaast gaat de grafisch programmeur aan het werk met de applicatie van de Tekenplek. Elektrotechnicus (HBO) Mogelijke Bachelor opleidingen: E-Technology: Hogeschool van Amsterdam Elektrotechniek: Hogeschool van Utrecht Technische Informatica: Hogeschool van Amsterdam, Hogeschool van Utrecht De elektrotechnicus gaat aan de slag met voornamelijk de techniek van de Kladderkijker. Deze werkt de techniek voor de Kladderkijker en mogelijk andere delen van het systeem precies uit. De hardware met name van de Kladderkijker is niet off-the-shelf. Om dit goed te laten werken is hoogstwaarschijnlijk iemand nodig die dus veel verstand heeft om hardware aan elkaar te verbinden. De elektrotechnicus ontwerpt en assembleert de hardware voor de Kladderkijker en Machine. Product designer Mogelijke Bachelor/Master opleidingen: Industrial Design and Robotics: Hogeschool voor de Kunsten Utrecht Industrial Design: Technische Universiteit Delft Design Technology: Hogeschool voor de Kunsten Utrecht De product designer gaat zich bezighouden met de vormen van de Kladderkijker en de Tekenplek. De product designer moet hierbij rekening houden met de door de technische gestelde eisen van de hardware, alsmede met de ergonomische eisen van de doelgroep. De product designer ontwerpt en bouwt de vormen van de devices (Kladderkijker en Machine) Interaction Designer/Digital Media Designer Mogelijke Bachelor/Master opleidingen: Interaction Design: Hogeschool voor de Kunsten Utrecht Digital Media Design: Hogeschool voor de Kunsten Utrecht
52
De rol van de Interaction Designer in het team is het bewaken van de kwaliteit van het concept. De overige leden van het team zijn vooral gespecialiseerd in het daadwerkelijk bouwen van het huidige concept, waarbij zij uiteraard op een punt kunnen belanden dat het concept aangepast dient worden. De kennis van de Interaction Designer moet eraan bijdragen dat technische keuzes van de overige leden niets afdoen aan het concept, en er enkel conceptueel geschikte oplossingen worden aangewend in het geval er afbreuk aan het concept gedaan moet worden.
53
Conclusie
Dit verslag is het resultaat van een onderzoek naar Augmented Reality voor kinderen binnen de context van edutainment, met een focus op real-world georiënteerde interactie. Er is onderzoek gedaan naar AR in het algemeen, de doelgroep waarvoor de AR applicatie ontwikkeld wordt en de context waarbinnen de AR moet plaatsvinden. Hieruit is het concept voor de Kladderlaan voortgekomen wat gerealiseerd moet gaan worden in Almere Waaidorp, een kunst- en cultuurcentrum dat over enkele jaren in Almere geopend wordt door de Stichting Annie M.G. Schmidt Huis. Er is een inleiding gegeven over AR en begrippen die daarmee samenhangen zoals mobile en pervasive computing, context-aware interactie en natural interfaces. AR vraagt namelijk om interfaces die niet direct refereren aan de traditionele desktop metafoor zoals we die nu zien bij pc’s, maar om nieuwe interfaces die de virtuele en de echte wereld naadloos op elkaar aan laten sluiten. Een AR applicatie verhoudt zich per definitie uitdrukkelijk tot de reële wereld en is tevens aanwezig ín de fysieke wereld, die dus ook als (onderdeel van) de applicatieomgeving kan dienen. Daarnaast hebben we gekeken naar de context waarbinnen dit project zich afspeelt. Eerst is gekeken naar de doelgroep, die bestaat uit kinderen van de leeftijd zes tot dertien jaar. We hebben geconstateerd dat er een behoorlijk groot verschil zit tussen de verschillende leeftijden, en dat de doelgroep grofweg gezien opgesplitst kan worden naar twee subgroepen. Er is gekeken naar de visuele perceptie van kinderen, en er is onderzocht wat kinderen al weten en kennen op gebied van kunst en games. Verder is onderbouwd dat en aangegeven hoe AR zich leent voor toepassing binnen edutainment en is er onderzoek gedaan naar natural (AR) interfaces voor kinderen. De beste manier om een interactieve en immersive ervaring te creëren is door applicaties te ontwikkelen die inhoud uit de echte en virtuele wereld combineren en de gebruiker te stimuleren met zijn verbeelding de gaten in te vullen, waardoor hij werkelijk immersed wordt. Uit dit onderzoek is daarnaast gebleken dat AR een effectief educatief instrument kan zijn: het kan gebruikt worden voor het verduidelijken van concepten en/of relaties tussen zowel echte als virtuele objecten. Tevens is de momenteel beschikbare techniek onder de loep genomen. Het valt nog niet mee om een AR applicatie te ontwikkelen voor kinderen met de technologie die op dit moment beschikbaar is. Er is een uitgebreid onderzoek gedaan naar allerlei mogelijke technieken voor AR welke allemaal kort zijn beschreven. Veel technieken staan nog in de kinderschoenen en zijn erg kostbaar. Hoewel er al enkele jaren geëxperimenteerd wordt met Head-Mounted Displays, zijn deze (nog) niet geschikt voor kinderen en consumenten in het algemeen. Tenslotte hebben we een concept ontwikkeld voor een AR ervaring in het kunst- en cultuurcentrum Almere Waaidorp, getiteld Kladderlaan. Dit concept is zo volledig mogelijk beschreven en inhoudelijk zijn de belangrijkste keuzes al gemaakt. Aangezien HMD’s vanwege de doelgroep dus niet kunnen worden gebruikt binnen het concept, hebben we een speciaal device bedacht waarmee de problemen die normaal gesproken optreden bij gebruik van een HMD, worden omzeild. Dit nieuwe device is de Kladderkijker, waarmee de kinderen naar de tekeningen in de AR kunnen kijken, die ze even daarvoor met behulp van diezelfde Kladderkijker met samples uit het park hebben geschilderd op een digitale canvas. We proberen de kinderen bewust te laten kijken naar de omgeving die ze samplen, onder andere door de SampleMap. Via fysieke objecten op het veld, is het mogelijk een bijna directe relatie aan te gaan met de tekeningen, wat het gevoel versterkt dat de tekeningen werkelijk aanwezig zijn. In feite is de AR een soort grote expositieruimte die wordt opgebouwd uit het werk van de kinderen.
54
De studenten die in de eerstvolgende fase van het traject met dit concept aan de slag gaan, zullen vooral eerst de technische kant uit moeten werken. Hier ligt nog een grote uitdaging, want hoewel er een opstapje is gegeven in de vorm van een mogelijke technische implementatie, is er nog niet op detailniveau uitgezocht wat de beste hard- en software is om het concept uit te voeren (bijvoorbeeld welke sensoren, camera’s of beeldschermen exact gebruikt moeten en kunnen gaan worden gezien randvoorwaarden als formaat, budget e.d.). Hoewel er een speciaal device is bedacht en er gebruik wordt gemaakt van technieken die nog behoorlijk in ontwikkeling zijn, achten wij dit concept wel degelijk realistisch. Juist door dit enigszins experimentele karakter speelt het erg in op de ontwikkelingen die er gaande zijn binnen de interactieve media. De toekomst zal echter moeten uitwijzen of dit concept ook daadwerkelijk zo werkt zoals wij hebben uitgedacht en verwacht, en bovenal wat de bezoekertjes van Almere Waaidorp er uiteindelijk van vinden.
55
Literatuur
Abowd, G.D. & Mynatt, E.D. (2000). Charting past, present, and future research in ubiquitous computing [Electronic version]. ACM Transactions on Computer-Homan Interaction, 7(1), 2958. Alben, L. (1996). Quality of experience; Defining the criteria for effective interaction design. Interactions, 3(3), 11-15. Andersen, T.L., Kristensen, S., Nielsen, B.W. & Grønbæk, K. (2004). Designing an augmented reality board game with children; The battleboard 3d experience [Electronic version]. Proceeding of the 2004 conference on Interaction design and children (IDC ’04), 137-138. Aoki, T., Ichikawa, H., Asano, K., Mitake, H., Iio, Y., Ayukawa, R., Kuriyama, T., Kawase, T., Matsumura, I., Matsushita, T., Toyama, T., Hasegawa, S. & Sato, M. (2005). Kobito, virtual brownie; Virtual creatures interact with real objects and real people. SIGGRAPH Emerging Technologies. Gedownload 15 december 2005 van http://rogiken.org/vr/index.php?plugin=attach&refer=FrontPage&openfile=kobito_siggraph200 5.pdf Azuma, R. (1997). A survey of Augmented Reality. Prescence: Teleoperators and Virtual Environments, 6(4), 355-385. Azuma, Baillot, Behringer, Feiner, Julier & MacIntyre (2001). Recent advances in Augmented Reality. IEEE Computer Graphics & Applications, 21, 34-47. Billinghurst, M. (2001). Crossing the chasm. Proceedings of the International Conference on Augmented Reality Tele-Existence (ICAT 2001). Gedownload 15 december 2005 van http://vrsj.t.u-tokyo.ac.jp/ic-at/ICAT2003/papers/01033.pdf Billinghurst, M. & Kato, H. (2002). Collaborative Augmented Reality [Electronic version]. Communication of the ACM, 45(7), 67-70. Billinghurst, M., Kato, H. & Poupyrev, I. (2001). The magicbook; A transitional AR interface [Electronic version]. Computer Graphics, 25, 745-753. Braun, N. (2003) Storytelling in collaborative Augmented Reality environments. Proceedings of WSCG, 1-4. Cheverst, K., Davies, N., Mitchell, K. & Efstratiou, C. (2001). Using context as a crystal ball; Rewards and pitfalls [Electronic version]. Personal and Ubiquitous Computing, 5, 8-11. Cocking, R. & Renninger, K. (1993), The development and meaning of psychological distance. New Jersey: Erlbaum. Cohen, Y., Dekker, J., Hulskamp, A., Kousemaker, D., Olden, T., Taal, C. & Verspaget, W. (2004). Demor: Een location-based 3D audio game [EMMA Thesis]. Hilversum: Hogeschool voor Kunsten Utrecht. Dey, A.K. (2001). Understanding and using context [Electronic version]. Personal and Ubiquitous Computing, 5, 4-7.
56
Durand, F. (2001, maart). Art and science of depiction; Limitations of the medium, compensation or accentuation. Gedownload 16 december 2005 van http://people.csail.mit.edu/fredo/ArtAndScienceOfDepiction/9_Depth/flat.pdf Druin, A. (1999). Cooperative inquiry: developing new technologies for children with children. Conference on Human Factors in Computer Systems. Proceedings of the SIGHI conference on Human factors in computing systems: the CHI is the limit, 592-599. Druin, A. (2002). The role of children in the design of new technology. Behaviour and Information Technology (BIT), 21(1), 1-25. Gaitatzes , A., Christopoulos, D. & Roussou, M. (2001). Reviving the past; cultural heritage meets Virtual Reality. Proceedings of the 2001 conference on Virtual Reality, archeology, and cultural heritage, 1, 103-110. Glos, J.W. & Cassell, J. (1997). Rosebud; Technological toys for storytelling. Proceedings of CHI’97 Extended Abstracts, 359-360. Goswami, U. (1998). Cognition in children. Hove. East Sussex: Psychology Press. Hejdenberg, A (2005, april) The psychology behind games. Gamasutra. Gedownload 15 december 2005 van http://www.gamasutra.com/features/20050426/hejdenberg_01.shtml Jobsis, D. (2003). User Experience bij kinderen [EMMA Thesis]. Hilversum: Hogeschool voor de Kunsten Utrecht. Haber, R.N. (1969). Information processing approaches to visual perception. New York: Holt, Rinehart & Winston. Kok, J.J.M. (2003). Talenten transformeren; Over het nieuwe leren en nieuwe leerarrangementen [Oratie]. Eindhoven: Fontys Hogescholen. Gedownload 15 december van http://www.fontys.nl/generiek/bronnenbank/sendfile.aspx?id=11621 Landin, H., Lundgren, S., Prison, J. (2002). The iron horse; A sound ride. ACM International Conference Proceeding Series, Proceedings of the second Nordic conference on Humancomputer interaction, 31, 303-306. Livingstone, M. (2002), Vision and art; The biology of seeing. New York: Incorporated. Mackay, W.E. (1998). Augmented reality, linking real and virtual worlds; A new paradigm for interacting with computers [Electronic version]. Proceedings of the ACM Conference on Advanced Visual Interfaces (AVI ’98), 13-21. Magerkurth, C., Cheok, A.D., Mandryk, R., Nilsen, T. (2005). Pervasive games; Bringing computer entertainment back to the real world. ACM Computers in Entertainment, 3(3), 4. Mein Kumpel Picasso, (1994). Passagen, 16, 3-4. Milgram, P. and Colquhoun, H. (1999). A taxonomy of real and virtual world display integration. In Y. Ohta & H. Tamura (Eds.), Mixed Reality - Merging Real and Virtual Worlds (pp. 1-16). Berlin: Springer Verlag. Moran, P.T. & Dourish, P. (2001). Introduction to this special issue on context-aware computing [Electronic version]. Human-Computer Interaction, 16, 87-95. Mostert, R. (2000). Inleiding tot 3d animatie in de praktijk. Amsterdam: Pearson Education. e
Naeyé, S. (2003). The medium is the method. In J.J. Hermsen (Eds.), Boekman Cahier (1 druk, pp. 300-309). Amsterdam: Boekmansstudie.
57
Neisser, U. (1978). Cognition and Reality. San Francisco: Freeman. Nichols, R., (2001, april). Child development of visual perception. Gedownload 15 december 2005 van http://people.csail.mit.edu/fredo/ArtAndScienceOfDepiction/OtherTalks/children.pdf Nilsen, T., Linton, S. & Looser, J.(2004). Motivations for augmented reality gaming. Proceedings of Fuse ’04, New Zealand Game Developer’s Conference, 86–93. Olden, T. (2004). Het creëren van interfaces voor de ondersteuning van naadloze interactie met virtuele werelden [EMMA Thesis]. Hilversum: Hogeschool voor de Kunsten Utrecht. Pomi, A., Marmitt, G., Wald, I. & Slusallek, P. (2005, oktober). Streaming video textures for mixed reality applications in interactive ray tracing environments. Gedownload 15 december 2005 van http://graphics.cs.uni-sb.de/Publications/webgen/videotextures/download/vtex.pdf Rademacher, P.M. (2001). Measuring the Perceived Visual Realism of Images. Gedownload 15 december 2005 van ftp://ftp.cs.unc.edu/pub/publications/techreports/03-031.pdf Rogers, Y., Scaife, M., Gabrielli, S., Smith, H. & Harris, E. (2003) A conceptual framework for mixed reality environments; Designing novel learning activities for young children. Presence, 11(6), 677-686. Ryokai, K., Marti, S. & Ishii, H. (2004). I/O brush; Drawing with everyday objects as ink. Proceedings of the ACM SIGCHI conference on Human factors in computing systems (CHI'04), 303-310. Satyanarayanan, M. (2001). Pervasive computing; Vision and challenges [Electronic version]. IEEE Personal Communications, 8(4), 10-17. Schmidt, A. (2000). Implicit human-computer interaction through context [Electronic version]. Personal Technologies Volume, 4(2&3), 91-199. Oorspronkelijk (1999) een paper in S. Brewster & M. Dunlop (Eds.), Proceedings of the 2nd Workshop on Human–Computer Interaction with Mobile Devices, pp. 23-27. Schreuder, R. (2005). Contextgevoelige interactie; Zinvol gebruik van context in mobile e computing [3 jaars scriptie]. Hilversum: Hogeschool voor de Kunsten Utrecht. Gedownload 2 oktober 2005 van http://student-kmt.hku.nl/~ramon5/schreuder_ci_2005.pdf SKV Zeist (1997). Wat is kunst? Gesprekken met kinderen over kunst [Video, 20 min]. Zeist: SKV Zeist. Sparacino, F. (2004). Scenographies of the past and museums of the future; From the wunderkammer to body-driven interactive narrative spaces. Proceedings of the 12th annual ACM on Multimedia, 12, 72-79. Task Force on Children’s learning (1998). Young children and the arts; Making creative connections. Washington: Arts Education Partnership. Thomas, B., Close, B., Donoghue, J., Squires, J., Bondi, P. de & Piekarski, W. (2002). First person indoor/outdoor augmented reality application; ARQuake. Personal and Ubiquitous Computing, 6, 75-86. Qrius (2005, juni). Onderzoek door Qrius in opdracht van Kidsgids: favoriete uitjes geselecteerd door kinderen. Gedownload 15 december 2004 van http://62.250.6.250/kidsgids/top10.pdf Weevers, I., Sluis, R.J.W., Schijndel, C.H.G.J. van, Fitrianie, S., Kolos-Mazuryk, L. & Martens, J.B.O.S. (2004).Read-It; A multi-modal tangible interface for children who learn to read [Electronic version]. Lecture Notes in Computer Science, 3166, pp. 226-234.
58
Weiser, M. (1994). The world is not a desktop [Electronic version]. Interactions, 1(1), 7-8. Whitton, M.C. (2003). Making virtual environments compelling [Electronic version]. Communications of the ACM, 46(7), 40-46. Wojciechowski, R., Walczak, K., White, M. & Cellary, W. (2004). Building virtual and augmented reality museum exhibitions; 3D technologies for the world wide web. Proceedings of the ninth international conference on 3D Web technology, 135. Woods, E., Billinghurst, M., Looser, J., Aldridge, G., Brown, D., Garrie, B. & Nelles, C. (2004). Augmenting the science centre and museum experience [Electronic version]. Proceedings of the 2nd International Conference on Computer Graphics and Interactive Techniques in Australasia and South East Asia, 2, 230-236. Zappouders (2005) Media-opvoeding. Gedownload 15 december 2005 van http://portal.omroep.nl/?nav=wufbFsHEjGwDhCtBlB&0editLnk=0
59
BIJLAGEN BIJLAGE A: VERKLARENDE WOORDENLIJST................................................1 BIJLAGE B: CONTENT-ANALYSE .....................................................................1 BIJLAGE C: KINDEREN EN HEAD-MOUNTED DISPLAYS...............................1 C.1 INLEIDING EN OVERZICHT PROBLEMEN...................................................................................... 1 C.2 TECHNIEKEN VOOR DIEPTEPERCEPTIE ...................................................................................... 1 C.3 MEDISCHE BEZWAREN ............................................................................................................. 2 Motion sickness ...................................................................................................................... 2 Diepte perceptie...................................................................................................................... 3 Epilepsie.................................................................................................................................. 3 C.4 PSYCHOLOGISCHE EFFECTEN .................................................................................................. 4 Anxiety .................................................................................................................................... 4 Na-effecten ............................................................................................................................. 4 Immersion Injury ..................................................................................................................... 5 C.5 INTERACTIEVE EN ERGONOMISCHE BEZWAREN ......................................................................... 5 Gewicht apparatuur................................................................................................................. 5 Geen passende HMD voor kinderen ...................................................................................... 5 Kabels en andere apparatuur ................................................................................................. 6 C.6 BRONNEN ............................................................................................................................... 6
BIJLAGE D: VELDONDERZOEK ........................................................................1 D.1 CAVE .................................................................................................................................... 1 Inleiding bezoek aan de CAVE ............................................................................................... 1 Algemene indrukken ............................................................................................................... 1 Samenvatting observaties CAVE............................................................................................ 2 D.2 ALMERE WAAIDORP ................................................................................................................ 3 Inleiding Almere Waaidorp...................................................................................................... 3 Bezoek Almere Waaidorp 9 november 2005 .......................................................................... 3 Bezoek Almere Waaidorp 16 november 2005 ........................................................................ 4
Bijlage A: verklarende woordenlijst
Plaatsbepaling Almere Waaidorp : Attractieterrein :
Kladderlaan Gebouwtje
: :
Kijkveld Samplegebied
: :
Tekenplek
:
Het hele kunst en cultuurpark in Almere. Locatie waar Kijkveld en Gebouwtje zich bevinden. Doordat dit de centrale plek is waar de ervaring zich bevindt, zal dit waarschijnlijk door het publiek op een gegeven moment aangeduid gaan worden als de Kladderlaan, tevens de naam van het volledige concept. Overkoepelende naam van het volledige concept. Gebouw op Attractieterrein waarbinnen zich bevinden: - Overviewscherm - SampleMap - Tekenplek - Afgiftepunt Gebied waar de AR wereld zich bevindt. Gebied waar gesampled kan worden met de Kladderkijker (is gelijk aan het hele park) Plek in Gebouwtje waar de canvassen staan
Objecten Canvas Gum
: :
Kladderkijker
:
Machine
:
Marker : Overviewscherm : Palet
:
Props
:
SampleMap
:
Digitale schildersezel. Hierop maakt de gebruiker de tekening. Tool waarmee gebruikers lijnen en vlakken kunnen wissen op de canvas en samples kunnen wissen op het palet. Device waarmee de gebruiker kan: - samplen (ingeschoven) - schilderen (ingeschoven) - loslaten (kan zowel ingeschoven als uitgeschoven) - kijken naar AR (uitgeschoven) Opstelling van drie werkplekken, bestaande uit drie fysiek gescheiden canvassen, drie houders voor een Kladderkijker en drie paletten, fysiek gecombineerd tot één groot langwerpig palet. Device waarmee de gebruiker zwarte lijnen kan tekenen op canvas. Overzicht van Kijkveld met daarin de AR, gefilmd vanuit een geschikt gekozen vogelperspectief. Device verbonden aan canvas. Hierop worden samples van gebruiker getoond. De gebruiker kan de samples vanaf het palet oppakken met Kladderkijker om mee te schilderen op canvas. Fysieke objecten die het gedrag van de virtuele tekeningen op het Kijkveld beïnvloeden. Kaart van park met daarop uitvergoot enkele samples, en waar deze te vinden zijn in het park.
A-1
Bijlage B: content-analyse
Figuur B-a
In dit diagram is de content-analyse van Kladderlaan weergegeven.
B-1
Bijlage C: kinderen en Head-Mounted Displays
C.1 Inleiding en overzicht problemen Dit document beschrijft de redenen waarom Head-Mounted Displays (HMD’s) niet voor kinderen gebruikt kunnen worden. De eerste aanleiding om geen HMD’s te gebruiken voor ons project kwam na een gesprek met Mark de Jong, verkoper van HMD’s van Cybermind NL, een producent van HMD’s in Nederland. Toen wij met ons project bij hem kwamen en de doelgroep meldde zei hij meteen: "HMD’s mogen niet gebruikt worden voor kinderen onder de 15 jaar". In dit document staat het resultaat van research naar de redenen waarom HMD’s niet voor kinderen gebruikt mogen en kunnen worden.
Figuur C-a
Overzicht Problemen HMD’s
C.2 Technieken voor diepteperceptie Voordat de verschillende problemen bij gebruik van HMD’s worden besproken, worden eerst de technieken die bij HMD’s en andere 3D apparaten worden gebruikt beschreven. Om diepte te creëren moeten twee beelden die met ongeveer 6,5 cm uit elkaar staan naar elk apart oog worden gestuurd. Om dit tot stand te brengen bestaan drie manieren:
C-1
1. Stereoscopie met behulp van shutters Bij deze techniek wordt er één video feed gebruikt die naar twee beeldschermpjes wordt gestuurd. Hierbij wordt het beeld voor het linker en rechteroog erg snel afgewisseld. De beeldschermen hebben daarvoor minimaal een refresh-rate van 120 Hz nodig (zodat er een beeld ontstaat van 60 Hz). De shutter zorgt ervoor dat alleen het oog waarvoor het beeld bedoeld is deze ziet. Het andere oog ziet het beeld niet doordat de shutter dicht gaat. De shutters zijn elektronisch en moeten dus synchroon met het beeld lopen. 2. Stereoscopie met behulp van polarisatie filters Bij deze techniek wordt ook één video feed gebruikt. Twee beelden worden tegelijkertijd geprojecteerd. Beide projecties hebben echter een andere golflengte. Een bril met een filter maakt het juiste beeld voor het juiste oog. Deze techniek wordt veel in bioscopen gebruikt. Het is hetzelfde principe als de rood/groene brilletjes, alleen dan geavanceerder zodat er full colour geprojecteerd kan worden. 3. Stereoscopie met behulp van twee beeldschermen Bij deze techniek worden twee video feeds gebruikt, één voor elk oog. Doordat beide beelden een film tonen die vanuit een net iets anders hoek is gefilmd, wordt het beeld in de hersenen tot een driedimensionaal beeld gemaakt.
Figuur C-b
Stereoscopische bril (Stock Xchange, 2005)
C.3 Medische bezwaren Motion sickness Probleem De belangrijkste factor die motion sickness veroorzaakt is het conflict tussen de verschillende sensoren van het lichaam. Dit conflict treedt op als het beeld dat door het oog ontvangen wordt anders is dan dat door de andere sensoren ontvangen wordt of in conflict zijn met vorige situaties (Howarth, 1996; Gupta, Wantland & Klein, 1995). Er zijn twee manieren waardoor dit kan optreden. In het geval van HMD’s kan dit komen doordat er een vertraging zit tussen het beeld en de beweging hiervan. Dit komt door trackers die te langzaam zijn, onnauwkeurige trackers of langzame verwerking van de data (Howarth, 1996; Gupta e.a., 1995). De input van de ogen verschilt dan met die van de rest van het lichaam. In het geval van 3D bioscopen, waar het beeld vast staat kan motion sickness worden veroorzaakt doordat het beeld beweging suggereert maar de rest van het lichaam niet. Effect Nadelige gevolgen die op kunnen treden van deze motion sickness zijn misselijkheid, desoriëntatie, duizeligheid en slaperigheid (Howarth, 1996; Gupta e.a., 1995).
C-2
Mogelijke oplossingen Nog geen. Het is één van de grootste problemen van VR en AR.
Diepte perceptie Probleem Een HMD toont diepte op een andere manier dan de normale diepte waargenomen wordt. Er wordt een ‘trucje’ gebruikt om diepte te creëren. Hierdoor ziet de persoon diepte, maar hier kunnen wel nadelen aan verbonden zijn. Door het ‘trucje’ gaan de hersenen anders reageren. Voor kinderen kan dit blijvende schade aan de diepte perceptie veroorzaken (Bergeijk, 1996). Een oorzaak is het verschil in brandpuntdiepte of focal depth en het verschil in diepte van het beeld. Normaliter als je naar een object kijkt dat dichtbij is, dan focussen de ogen dichtbij en ze draaien ook een beetje naar binnen. Dit heet converge of scheel kijken. Wanneer een object ver weg staat dan focussen de ogen naar buiten. Dit wordt divergence genoemd. Bij stereoscopische displays verandert het effectieve focuspunt veroorzaakt door optics en het verschil in diepte niet (Isdale, 1994). Effecten Bij stereoscopische HMD’s kunnen na 10 minuten al klachten ontstaan, zoals verminderde diepteperceptie, verrekijker visie, wazigheid en stress/uitputting van de ogen. De ogen worden overbelast om deze signalen te kunnen onderscheiden (Isdale, 1994). Mogelijke oplossingen Het schijnt dat dit effect niet optreed bij bioscopen die van stereoscopie gebruik maakt. The CAVE bij SARA (http://www.sara.nl/products/products_08_ned.html) is bijvoorbeeld volgens SARA wel geschikt voor kinderen, evenals de 3D bioscoop in NEMO (http://www.e-nemo.nl). Het grootste probleem lijkt dus dat de beeldschermen te dichtbij staan. Andere mogelijke oplossingen zouden gebruik kunnen maken van non-stereo depth cues’ (Johansson, 2005): • • • • • • •
Occlusion: objecten die dichtbij staan blokkeren het zicht op verder gelegen objecten. Apparent size: als twee objecten eigenlijk dezelfde grote hebben, maar de ene is kleiner dan staat deze verder weg Motion parallax: objecten die dichterbij staan lijken sneller te bewegen dan objecten die verder weg liggen Perspective: parellele lijnen convergeren in de verte Texture: de textuur van objecten veranderd met afstand Colour change: kleuren worden blauwer in de verte Haze: objecten worden waziger in de verte
Epilepsie Probleem Hoewel dit maar een klein deel van de doelgroep voorkomt, ongeveer 1% van de bevolking, is dit toch een reëel gevaar. Mensen met een aanleg voor epileptische aanvallen kunnen last krijgen van flicker vertigo. (http://www.i-med.com/mi/cyberpath.html, http://www.washingtontechnology.com/news/9_8/news/9026-1.html) Dit komt voor bij beeldschermen waarbij het beeld niet sneller dan 8 tot 12 keer per seconden opnieuw ververst wordt. Bij gewone beeldschermen is dit tegenwoordig geen probleem meer.
C-3
Echter zodra de field-of-view, helderheid en scherpte groter worden dient het scherm sneller ververst te worden. Juist HMD’s vergroten de field-of-view en helderheid waardoor een grotere refresh-rate nodig is. Effecten De bronnen zijn het oneens over de effecten. Aan de ene kant wordt er een epileptische aanval genoemd (Washington Technology, 1994), aan de andere kant kort verlies van de aandacht (Gupta e.a., 1995). Mogelijke oplossingen Een mogelijke oplossing is de flicker uit de beeldschermen laten verdwijnen, met snellere techniek moet dit te doen zijn. Er dient hier een dieper (literatuur) onderzoek in gedaan te worden, over flicker en tv's is bijvoorbeeld veel gepubliceerd.
C.4 Psychologische effecten Anxiety Probleem Een probleem dat kan ontstaan tijdens het gebruik van een HMD is anxiety of bezorgdheid. Hoewel dit in mindere mate voor zal komen bij AR dan bij VR willen we deze toch noemen. Tijdens het opdoen van een HMD kan een persoon kort claustrofobisch daar de HMD de persoon helemaal afsluit. Ook tijdens de ervaringen kunnen bepaalde verschijnselen optreden als hoogtevrees als de persoon hoog op een ‘virtuele’ berg zou staan. Ook dit is minder in AR (Gupta e.a., 1995). Effect Anxiety, claustrofobie, hoogtevrees. Mogelijke oplossingen Dit is geen groot probleem en zeker ook geen reden om geen HMD’s te gebruiken, er moet echter wel op gelet worden, zeker bij het gebruik bij kinderen daar de getoonde virtuele overlay vrij echt kan overkomen.
Na-effecten Probleem Psychologische na-effecten van een VR ervaring kunnen optreden. Hoewel dit enkel voor VR beschreven is, dient hier toch opgelet te worden of dit ook optreedt in een AR evaring. Deze problemen zijn ook maar tijdelijk (Gupta e.a., 1995). Effecten Na-effecten kunnen denkbeeldig gevoel van klimmen en draaien, een waargenomen omdraaiing van het visuele veld en verstoorde lichaamscontrole tot gevolg hebben. Mogelijke oplossingen (verder onderzoek) Er dient onderzocht te worden of dit überhaupt ook bij AR optreedt.
C-4
Immersion Injury Probleem Immersion Injury is het probleem dat een persoon dusdanig immersed kan raken in de ervaring dat deze minder let op de omgeving. Behalve teveel opgaan in de ervaring is ook de field-of-view kleiner in een HMD waardoor Immersion Injury op kan treden. De drager van de HMD komt nu makkelijker ten val of botsing (Gupta e.a., 1995). Zeker in het geval van een park of bos kan dit een groot probleem worden. Effect Lichamelijke schade door vallen en botsen. Mogelijke oplossingen Zorgen voor een vlakke vloer en zorgen dat alle obstakels zacht gemaakt zijn. Uiteraard zijn er meer mogelijkheden zoals geluidssignalen bij het naderen van een object buiten de fieldof-vision.
C.5 Interactieve en ergonomische bezwaren Gewicht apparatuur HMD’s zijn er in verschillende soorten en maten te vinden. Dit kan variëren van een paar honderd gram tot een paar kilo's. Alle HMD’s hebben één ding gemeen: ze zijn zwaarder aan de voorkant doordat hier de displays zitten zoals te zien is in Figuur C-c. Hierdoor zijn ze frontheavy, wat wil zeggen dat er extra gewicht aan voorkant van het hoofd wordt geplaatst. Dit heeft tot gevolg dat de nek meer wordt belast, aangezien het zwaartepunt van het hoofd tussen de schedel en nekwervels zit. Het gebruik van HMD’s kan risico's en schadelijke effecten hebben op nekspieren en nekwervels. (Knight & Baber, 2004) Figuur C-c
Head Mounted Display (Co
Tevens zijn ze slecht geventileerd en daardoor zullen de gebruikers sneller gaan zweten.(Riedel & Deisinger, 1996) HMD’s zitten niet prettig. De gebruiker zal er constant van bewust zijn dat hij een HMD op heeft.
Geen passende HMD voor kinderen Bijna alle HMD’s zijn gemaakt voor volwassenen en niet voor jonge kinderen geschikt. Vaak zijn HMD’s te groot en zakken ze van hun hoofd af en daarom moeten kinderen de HMD’s soms met één of zelfs twee handen ondersteunen. Dit beperkt de bewegingsvrijheid van kinderen, en ook rondrennen is dan uitgesloten (Zwern, 1995).
C-5
Kabels en andere apparatuur De meeste HMD’s maken nog gebruik van kabels, maar er zijn ook draadloze HMD’s. Deze draadloze HMD’s zijn echter nog niet op de markt gebracht, dus niet beschikbaar voor de consument. De HMD’s hebben bovendien een accupack nodig om te kunnen werken, welke ook door de kinderen moet worden gedragen. Het gewicht van deze accupack kan variëren van een paar honderd gram tot een paar kilo's. Daarnaast is er nog meer apparatuur noodzakelijk voor het gebruik van HMD’s, zoals een videobox en eventueel een camera. Het gewicht dat de kinderen met zich moet dragen wordt erg groot en dat kan ten kosten gaan van de mobiliteit van de kinderen. De kabels bij HMD’s kunnen er voor zorgen dat kinderen hier overheen kunnen vallen, doordat ze immersed zijn en afgeleid kunnen zijn van de echte wereld (Gloude, 2004).
C.6 Bronnen Bergeijk, J. (1996), Mark Pesce; De uitvinder van VRML, Wave 1996 Codognet, P. (1999, april). Artificial nature and natural artifice. Gedownload 15 december 2005 van http://pauillac.inria.fr/~codognet/VR.html Could the surgeon general warn; ‘VR is hazardous to your health?' (1994). Washington Technology, 9(8). Gedownload 10 oktober 2005 van http://www.washingtontechnology.com/news/9_8/news/9026-1.html Gloude, B. (2004). Functionaliteiten piramide. Gedownload 10 oktober 2005 van http://www.cs.vu.nl/~bsgloude/odyssee/index.html Gupta, S., Wantland, C. & Klein, S. (1995) Cyberpathology; medical concerns of VR applications. Gedownload 2 oktober 2005 van http://www.i-med.com/mi/cyberpath.html Howarth, P. & Costello, P. (1996). The nauseogenicity of using a Head-Mounted Display, configured as a personal viewing system for an hour [Electronic version]. Proceedings of FIVE '96, Pisa, Italy, December, 1996. Isdale, J. (1998). What is Virtual Reality? A web-based introduction. Gedownload 10 oktober 2005 van http://vr.isdale.com/WhatIsVR/noframes/WhatIsVR4.1-VR.html Johansson, J. (2005). Stereoscopy, Gedownload 10 oktober 2005 van http://www.ualberta.ca/CNS/RESEARCH/Courses/2005/02_Tuesday/05-Stereoscopy.pdf Knight, J. & Baber, C. (2004) Neck muscle activity and perceived pain and discomfort due to variations of head load and posture. Aviation, Space, and Environmental Medicine [Electronic Version], 75(2), pp. 123-131. Riedel, O & Deisigner, J (1996) Ergonomic issues of Virtual Reality systems; Head-Mounted Displays, Virtual Reality World 1996. Conference documentation. Gedownload 10 oktober 2005 van http://vr.iao.fhg.de/papers/hci/ergonomi-en.htm Stock Xchange, Stereoscopische bril. Gedownload http://www.sxc.hu/browse.phtml?f=view&id=293332)
16
december
2005
van
Zwern, A (1995, maart), How to select the right Head-Mounted Display, Meckler's VR World. Gedownload 10 oktober 2005 van http://www.genreality.com/howtochoose.html
C-6
Bijlage D: veldonderzoek
We hebben op verschillende plaatsen veldonderzoek verricht voor dit project. We hebben inspiratie opgedaan bij NEMO te Amsterdam, en daarna hebben we gericht onderzoek gedaan naar kinderen en techniek en het tekengedrag van kinderen. Om meer te weten te komen over hoe kinderen met VR omgaan, hebben we een bezoek gebracht aan SARA tijdens de open dag van het Science Park te Amsterdam. Hier hebben we groepen kinderen geobserveerd en geïnterviewd die de CAVE bezochten. De CAVE (CAVE Automatic Virtual Environment) is een ruimte waar door middel van driedimensionale visualisaties presentaties kunnen worden gegeven. Naast onderzoek naar kinderen en techniek hebben we ook onderzoek gedaan naar het tekengedrag van kinderen. Dit hebben we gedaan door schilderende kinderen te observeren tijdens workshops die werden georganiseerd door de Stichting Annie M.G. Schmidt Huis. Hier hebben we ook tijdens het ontwerpproces van het project de kinderen om feedback gevraagd en gekeken wat ze van ons concept vonden.
D.1 CAVE Inleiding bezoek aan de CAVE Zaterdag 22 oktober 2005 hebben Ramon Schreuder en Julian van Buul een bezoek gebracht aan de open dag van SARA’s CAVE. De beelden in de CAVE zijn stereoscopisch, dat wil zeggen dat op elk scherm gelijktijdig twee beelden worden geprojecteerd - een voor het linkeroog en een voor het rechteroog. De CAVE-gebruiker draagt een speciale bril, waardoor een 3D-beeld wordt gevormd. Infrarood emitters, die rondom de CAVE zijn geplaatst, zorgen voor de synchronisatie van de stereoscopische beelden. De open dag van het Science Park was speciaal voor kinderen (tot 14 jaar). De kinderen die de CAVE bezochten werden in groepen van ongeveer tien personen een kleine 15 minuten in vijf verschillende virtuele omgevingen geplaatst: een 3D-model van het gebouw van SARA, de cockpit van een vliegtuig, een molecuul, de Grote Markt van Brussel en een door kindertekeningen samengestelde fantasiewereld (geïnspireerd op SpongeBob). Er was bij iedere groep één begeleider aanwezig die de kinderen door de VR-ruimte loodste. Tijdens de open dag hebben we drie groepen kinderen geobserveerd, en tevens verscheidene kinderen geïnterviewd over wat ze gezien hadden, hoe ze over de techniek dachten en wat zij graag zouden willen zien in een VR environment. De uitkomst van deze interviews hebben wij verwerkt in onderstaande indrukken en tabel D-a.
Algemene indrukken Wat opviel was dat er grote verschillen waren tussen de drie verschillende groepen. De oudere kinderen waren doorgaans ondernemender, gingen meteen van alles uit proberen. Jongere kinderen stonden veel meer in zichzelf gekeerd en gingen naar ons idee meer op in de ervaring. Wat tevens opviel was dat binnen de tweede groep (met een aantal oudere kinderen) veel meer discussie was, en de derde groep (een groepje uit een kleuterklas) de CAVE juist collectief onderging. Vrijwel alle kinderen hadden de neiging om binnen de CAVE te gaan verplaatsen, terwijl ze gewoon stil konden (en vanwege de beperkte ruimte eigenlijk ook móesten) staan. Ze liepen vaak naar de projectieschermen toe en probeerden dingen met hun handen vast te pakken. Vooral bij de demonstratie met het molecuul staken veel kinderen hun handen uit om de
D-1
slingers te grijpen. Alle kinderen zetten af en toe hun bril af of keken er even overheen, om uit de 3D-illusie te stappen of te zien wat er ‘echt’ te zien was. Verder leek het alsof de jongere kinderen vooral de laatste wereld (kindertekeningen met o.a. SpongeBob) het leukste vonden, terwijl de oudere kinderen de Grote Markt van Brussel het leukste vonden. De middelste demonstratie (molecuul) had bij iedereen veel succes, de eerste twee (SARA gebouw en interieur vliegtuig) leken minder impact te hebben. Over het algemeen leek de stijl niet zoveel uit te maken voor de geloofwaardigheid van de ervaring. De getekende wereld was net zo ‘echt’ als de Grote Markt van Brussel. Vrijwel alle kinderen die we na afloop hebben gesproken gaven aan het ‘vliegen’ over Brussel heel leuk te vinden. Grappig was dat sommige kinderen zelf loopbewegingen op de plaats gingen maken als het beeld vooruit bewoog: ze vulden zelf de lichaamsbeweging aan die bij de beweging van het beeld hoorde. Een ander voorbeeld hiervan was een soort ‘Supermanbeweging’ bij het vliegen over Brussel. De kinderen die de kans kregen zelf te sturen vonden dat helemaal te gek. Al was de joystick niet geheel begrijpelijk voor de jeugdige bestuurders, dát ze zelf iets mochten doen was op zich al stoer genoeg. Op de vraag of de kinderen liever een verhaal, film, spel, of eigen gemaakte wereld zouden willen zien, antwoordden de meeste dat het ze leuk leek om zelf iets te creëren. Verder wilden veel kinderen graag dingen zien die je normaal niet ziet of niet kan zien, zoals dinosaurussen, robots, figuren uit Star Wars, monsters, etc. Op de vraag of ze iets van de CAVE hebben geleerd, kregen we hele uiteenlopende antwoorden: sommigen hadden niets geleerd, of zeiden heel letterlijk wat ze gezien hadden. Anderen zagen ook de ervaring op zich als een leermoment: “hoe het is om in een tekening te lopen”, of “hoe het is om te kunnen vliegen”. Niemand heeft binnen dit kader iets gezegd over de techniek of de omgang met VR. Over de techniek waren verschillende opvattingen: over het algemeen ging alles goed en hadden de kinderen nergens last van. De meeste kinderen konden de bril makkelijk dragen en hadden geen last van bijwerkingen. Een enkeling zei er een klein beetje hoofdpijn van te krijgen of de bril te hard te vinden. Zonder uitzondering waren alle kinderen het er over eens dat ze liever (of zelfs beter) samen iets konden doen, dan in hun eentje.
Samenvatting observaties CAVE In onderstaande tabel D-a wordt weergegeven wat de observaties waren die we hebben gedaan bij drie verschillende groepen kinderen: • Groep 1: acht kinderen van 7 – 11 jaar • Groep 2: tien kinderen van 6 – 13 jaar • Groep 3: tien kinderen 5 – 7 jaar Tabel D-a
samenvatting observaties bezoekersgroepen CAVE demo
Lichaamsbeweging
Groep 1
Groep 2
Groep 3
Gaan de kinderen in de film op?
Ja
Ja
Ja
Bewegen ze of staan ze stil (geforceerd)? Proberen ze dingen met hun handen aan te raken?
Verplaatsen (op instructie) Ja, als t in de buurt ‘hangt’
Verplaatsen zo veel mogelijk Ja, lopen er zelfsachteraan
Bewegen op hun plek Ja, voortdurend
Duiken ze weg als er iets op hen afkomt?
Ja
Nee, vooral schreeuwen
Ja, en gillen er hard bij
D-2
Omgang met bril / techniek
Groep 1
Groep 2
Groep 3
Doen ze de bril meteen op of inspecteren ze hem eerst? Zijn ze voorzichtig met de bril of behandelen ze hem als speelgoed? Zetten ze de bril ook wel eens af tijdens het kijken?
Meteen op
Meteen op
Als bril
Meteen op, later inspectie Als speelgoed
Als zonnebril
Soms, als het gezegd wordt
Ja, “dan zie je ‘t ook gewoon!”
Ja, heel kort maar wel vaak
Sociale interactie
Groep 1
Groep 2
Groep 3
Beleven de kinderen de ervaring alleen?
Ja
Nee
Nee
Praten ze tijdens de ervaring hardop?
Sommigen
Allemaal
Zoeken ze contact met hun ouders?
Ja
Zoeken ze contact met andere kinderen?
Bijna niet
Allemaal om het hardst Nee! Ouders grijpen soms in. Ja, iedereen ‘discussieert’!
Nee Ja, samen in ‘kinderwereld’
D.2 Almere Waaidorp Inleiding Almere Waaidorp We zijn een aantal keer langs geweest bij de workshops die werden georganiseerd door de Stichting Annie M.G. Schmidt Huis. Tijdens deze workshops werden kinderen gevraagd mee te denken over het ontwerpproces voor het Annie M.G. Schmidt Huis en Park (Almere Waaidorp). We hebben in Almere onze tussentijdse ontwerpen aan kinderen voorgelegd en gevraagd wat ze ervan vonden. Daarnaast hebben we gekeken op welke manier kinderen tekenen, zodat we beter in staat waren keuzes te maken voor de AR ervaring. De eerste keer dat leden van de groep de workshops bezochten hebben we meer algemene indrukken opgedaan, daarna hebben we wat specifieker onderzoek gedaan.
Bezoek Almere Waaidorp 9 november 2005 Frank, David en Nie zijn 9 november naar een Almere Waaidorp workshop geweest en hebben daar vier kinderen met viltstiften laten tekenen op een groot stuk papier: Benit (11 jaar), Jason (11 jaar), Noelle (10 jaar) en Remi (9 jaar).
Bevindingen • • • • •
De meisje spraken met elkaar en werkten met elkaar samen. Allemaal probeerden ze zo veel mogelijk verschillende kleuren te bemachtigen, maar een groot deel van de kleuren gebruikten ze niet in hun tekening. Hoewel we hadden gezegd dat ze ook samen een tekening mochten maken, gingen ze toch allemaal een eigen tekening maken. Opvallend was dat de twee meisjes(Noelle en Remi) die naast elkaar zaten, een soortgelijke tekening maakten en bij de twee jongens (Benit en Jason) idem dito. Ze tekenden allemaal eerst de buitenste lijnen van wat ze wilden tekenen en vervolgens gingen ze de lijntekeningen invullen met kleur.
D-3
• • •
Jason was erg onafhankelijk/zelfstandig en gefixeerd op zijn tekening. Hij gebruikte zelfs een boek als liniaal en hij tekende langzaam en voorzichtig. En vond dat de meisjes te veel praatten. Het uitzoeken van de patronen snapten de kinderen niet helemaal en lieten de tijdschriften een beetje links liggen. Ze gingen hun tekeningen onderling niet met elkaar verbinden, en vonden dat niet echt nodig.
Reacties op ons concept • • • •
Ze pikten het concept van de telescoop functie van de Kladderkijker direct op zonder dat ze daar iets over wisten. Ze vonden het customizen van het gedrag grappig en ze lachten toen er werd gezegd dat het mogelijk was om een koe als een kikker te laten springen. Ze wilden met een kleine pen de buitenste lijnen te tekenen om die vervolgens met een kwast in te kleuren. Ze snapten wat AR was, nadat we het filmpje van Kobito hadden laten zien en waren in staat ons concept te verwoorden aan de rest van de klas.
Reacties van de klas op de I/O Brush demovideo • •
Kinderen waren onder de indruk en lachten toen er werd geschilderd met bewegingen (vooral met de knipperende ogen). Ze vonden het schilderen met de sample die ze van een echte hond hadden genomen erg leuk.
Bezoek Almere Waaidorp 16 november 2005 Op 16 november hebben Julian, Ramon, Frank en Sylvia een bezoek gebracht aan een van de workshops in Almere. We hebben eerst twee groepjes van drie kinderen geobserveerd tijdens het schilderen, vervolgens hebben we voor de hele klas het concept uitgelegd aan de hand van wat demonstratievideo’s. Bevindingen schilderen We hebben de kinderen vrij laten schilderen op A2 vellen aan de muur (ca 50 minuten). Groep 1 bestond uit 2 jongens en 1 meisje (9-12) voorzien van 4 kleuren waterverf, water, kwasten en zwarte markers. Groep 2 bestond uit 2 meisjes en 1 jongen (8-11), voorzien van 4 kleuren waterverf, water, kwasten en zwarte verf. • • • • • • • •
Groep 2 wil onmiddellijk ook markers hebben. Als alternatief vragen ze naar fijnere kwasten om de zwarte verf mee te gebruiken. Groep 1 is duidelijk sneller met schilderen. Allemaal 3 tekeningen binnen de tijd, terwijl groep 2 gemiddeld nog geen 2 tekeningen af heeft. De kinderen willen allen graag hun naam op een tekening schrijven. Hoewel dit echter een stuk lastiger gaat met verf, doen ze het toch (al bedekt het de halve tekening…) Enkele kinderen geven bij navraag aan het op prijs te stellen als ze hun fouten zouden kunnen corrigeren, maar bedenken uit zichzelf andere oplossingen vanwege de eigenschappen van de materialen (verf i.c.m. papier). Kinderen zijn erg gericht op zoek naar een bepaalde kleur voor invulling van hun ideeën De beperking van 4 kleuren is niet genoeg stimulans om zelf te gaan mengen: de kennis hiervoor blijkt niet standaard aanwezig. Na enige uitleg en voorbeeld gaan de kinderen zelf hun kleuren proberen te mengen. Groepen willen onderling niet echt samenwerken: groep 1 wilde groep 2 het ‘recept’ voor paars niet geven. Binnen een groep worden ideeen en mengkleuren juist van
D-4
•
harte uitgewisseld: in groep 2 begon iedereen bijvoorbeeld met een zonnetje in de linkerbovenhoek. Geen van de groepen blijft door toevoeging van de zwarte verf of markers steken in tekeningen van enkel lijnen zonder invulling met verf
Reacties van de klas op de I/O Brush demovideo • • • •
Veel reactie bij shot van samplen vacht hondje. Nog meer reactie bij samplen oog meisje. Over het algemeen verhoogde reactie bij het gebruik van filmmateriaal in een tekening. Ongeloof en verbazing (“Huh? Kan dat echt?”) maken na kleine toelichting plaats voor verwondering en enthousiasme (“Wow! Wanneer mogen wij?”)
D-5
