Een oog voor kunst. Van visuele waarneming tot visuele kunst

Een oog voor kunst Van visuele waarneming tot visuele kunst

Inhoudstafel 1. Het oog, het visueel brein en visuele waarneming: basisnoties 2. Perceptuele organisatie en vormperceptie: basisnoties en relevantie voor kunst 3. Experimentele psycho-esthetiek: voorbeelden van soorten onderzoek 4. Oogbewegingen en het gebruik daarvan in experimentele psycho-esthetiek 5. Andere voorbeelden van perceptie en kunst interacties

1. Het oog, het visueel brein en visuele waarneming: basisnoties

Overzicht Het oog is geen perfect optisch instrument Het visueel brein is grosso modo modulair en hiërarchisch georganiseerd Maar ook de dynamiek is erg belangrijk (het belang van feedforward en feedback iteraties) Grote stadia van visuele informatieverwerking: – Low level – Mid level – High level

Kernidee: visuele waarneming is geen perfecte registratie van de fysische realiteit maar een subjectieve reconstructie (cf. illusies)

Het oog is geen perfect optisch instrument

Het oog bestaat uit meerdere componenten maar het is geen perfect optisch instrument

De lichtgevoelige receptoren (kegeltjes en staafjes) zitten bvb. achteraan in het netvlies (retina)

De kegeltjes (“cones”) zijn geconcentreerd in de fovea en de staafjes (“rods”) zijn minder goed voor details De scherpte neemt daardoor drastisch af in de periferie

Er is bovendien een grote blinde vlek in elk oog t.h.v. optische zenuw Daarom moeten we voortdurend oogbewegingen (“saccades”) maken (2 à 4 x per sec)

DEMONSTRATIE: Sluit je rechteroog Fixeer de opeenvolgende cijfers Bij één van de cijfers zal de gele cirkel verdwijnen Misschien is het nodig wat verderaf te gaan of dichterbij te komen

REDEN: Op die specifieke kijkafstand projecteert de gele cirkel op de blinde vlek van je linkeroog

Wat we denken te zien:

Wat echt in het netvliesbeeld te zien is:

Het visueel brein is grosso modo modulair en hiërarchisch georganiseerd

• De “input” voor het visueel systeem is geen beeld maar een verzameling hersencellen die vuren • De hersenen moeten de informatie dus verwerken (“decoderen”) • Ongeveer een derde van de hersenen houdt zich bezig met visuele informatieverwerking • Er zijn heel wat verschillende gebieden met elk hun eigen specialisatie, bvb. – Vier lobben met meerdere subregio’s (Brodmann areas) – Twee stromen (“wat” en “waar”) met meerdere verwerkingsstations – Retinotopie (codering van plaats in het visueel veld), vooral in “lage” gebieden

Vier lobben met meerdere subregio’s

Brodmann areas

Twee stromen (“wat” en “waar”) met meerdere verwerkingsstations 2 = dorsale (pariëtale) stroom voor “waar” informatie (bvb. visueel gebaseerde actie)

1 = ventrale (inferieur-temporale) stroom voor “wat” informatie (bvb. herkenning)

Visueel veld en retinotopie centraal

paracentraal

voor iemand met normaal zicht

voor iemand met verlies van perifeer zicht

Van Baelen et al., in voorbereiding

perifeer

Het visueel brein is dus grosso modo hiërarchisch en modulair georganiseerd, maar:

– heel wat kruisverbindingen, zowel “feedforward” (“bottom-up”) als “feedback” (“top-down”) – interacties en dynamiek zijn dus ook erg belangrijk (bvb. “re-entrant processing”: combinatie van “top-down” met “bottom-up” informatie)

Verwerking kan tot bewustzijn leiden, maar dat hoeft niet

functionele specialisatie en corticale hiërarchie

Grill-Spector & Malach, 2004

complexe connectiviteit met “feedforward” en “feedback”

Felleman & Van Essen, 1991

Serre et al., 2007

dynamiek van informatieverwerking en verspreiding over het corticale netwerk, al dan niet leidend tot bewuste visuele perceptie

Del Cul et al., 2007

Gevolgen hiervan voor visuele waarneming Visuele waarneming is geen perfecte registratie van de fysische realiteit maar een subjectieve reconstructie (cf. illusies) – gebaseerd op complexe informatieverwerking – met meerdere tussenstappen – met wisselwerking tussen “bottom-up” beeldinformatie en “top-down” kennis en verwachtingen

Grote stadia van visuele informatieverwerking • “low level” – registratie van “input” (stimulatie van receptoren in het netvlies) – decodering van responsen: enkelvoudige kenmerken (“features”) binnen het receptief veld van één cel (bvb. oriëntatie van een rand)

• “mid level” – – – –

perceptuele groepering figuur-achtergrond organisatie diepteperceptie 2-D en 3-D vormperceptie

• “high level” – betekenis (identificatie, categorisatie, semantische associaties, …)

Concreet voorbeeld

voorwerp waar men naar kijkt

weergave van de “input” (vroege verwerking)

2-D vormperceptie

3-D vormperceptie

Rol van perceptuele organisatie hierin

Groepering

perceptuele groepering

=

+

figuur-achtergrond organisatie symmetrie

Rol van “feedforward” en “re-entrant processing” hierin

2. Perceptuele organisatie en vormperceptie: basisnoties en relevantie voor kunst

Visuele waarneming is geen perfecte registratie van de fysische realiteit maar een subjectieve reconstructie

Visuele illusies http://www.michaelbach.de/ot/ : de klassiekers http://illusioncontest.neuralcorrelate.com/ :“Best Visual illusion of the Year Contest”

Enkele minder gekende voorbeelden

kijk naar de stip in het midden en beweeg je hoofd vooruit en dan weer achteruit (blijf ondertussen kijken naar de stip)

Het constructieproces bemoeilijkt

Dalmatian dog

Koe

Nelson Mandela

merk op: eens je gezien hebt wat er te zien is, kan je het niet meer anders zien

Pareidolia Soms overdrijft het visueel systeem door iets te construeren dat er niet is vaak met gezichten of levende wezens (bvb. dieren in wolken of rotsen)

Perceptuele ambiguïteiten

vaas vs gezichten

saxofoon-speler vs profiel van een vrouwenhoofd

oude vs jonge vrouw

eend vs konijn

Onmogelijke figuren

Subjectieve contouren

Kanizsa vierkant

Veelvuldig gebruikt in kunst Escher, Dali, Vasarely en “op art” (“optical art”) …

De manier waarop experimenteel-psychologen dergelijke fenomenen onderzoeken is meestal door: -zorgvuldige constructie van goed gecontroleerde stimuli (waarin bepaalde factoren gemanipuleerd worden) -zorgvuldige registratie van observeerbare responsen (bvb. % correcte responsen en reactietijd) op een bepaalde taak (bvb. detectie, discriminatie, identificatie)

Op de PCs hier vind je daarvan tal van voorbeelden: - doe-het-zelf experimenten (“Visuolympics”) - voor wie meer wil weten: korte uitleg met demos

Voorbeeld Kleine vlekjes met goed gecontroleerde grijswaarden (“Gabor patch”) Gauss blob

x

x

sine wave

=

Gabor patch

=

Ideale stimulus voor een hersencel in de laagste visuele hersengebieden

We kunnen hiermee de normale visuele processen vertragen en meetbaar maken, bvb. ₋ perceptuele groepering van elementen in een rand (“contour”) ₋ perceptuele afscheiding van groepjes samenhorende elementen (contour of textuur), uit de wirwar van elementen in de achtergrond (extractie van “signaal uit ruis”)

We kunnen de factoren manipuleren die dit makkelijker of moeilijker maken We kunnen de interacties tussen die processen onderzoeken, bvb. ₋ buitenste rand vs textuur van het oppervlak erbinnen ₋ de rol van herkenbaarheid van de figuur

Onderwerpen die we onderzoeken “low level”: ₋ contrast-perceptie ₋ hoe een populatie van hersencellen de “input” kan decoderen

“mid level”: ₋ ₋ ₋ ₋ ₋ ₋ ₋

perceptuele groepering figuur-achtergrond organisatie perceptuele multistabiliteit symmetrieperceptie transformaties en invarianten diepteperceptie 2-D en 3-D vormperceptie

“high level”: ₋ ₋ ₋ ₋

2-D en 3-D object- en gezichtsperceptie emotieperceptie perceptie van biologische beweging scèneperceptie

toepassingen ₋ perceptie en appreciatie van visuele kunst ₋ visuele waarneming in autisme

Onderzoeksmethoden Experimentele psychologie ₋ zie demonstraties op PCs ₋ ook oogbewegingsregistratie (zie elders in zaal 1, 2 en 5)

Psychofysica Modellering Neuroimaging ₋ vnl. EEG en fMRI ₋ zie ook zaal 4 (“Een brein voor kunst”)

Voorbeelden van parallellen tussen wat wij als wetenschappers onderzoeken en wat kunstenaars op hun manier al weten Texturen en kanteling in diepte Herhaling en symmetrie Transformaties en invarianten Perceptuele groepering en figuur-achtergrond organisatie Perceptuele ambiguïteit van figuurachtergrond organisatie

Contour vs oppervlak

Wetenschappers: Onderzoek:

Texturen & kanteling in diepte

Kunstenaars: Ruth Loos

studie van losse pagina’s: paraffine op kalkpapier

“sea of stories - fairy tales”

Doordrukalfabet bladen en gedroogde koraal

Wetenschappers: Onderzoek:

Herhaling & symmetrie

Kunstenaars: Ruth Loos

Wetenschappers: Onderzoek:

A

B

C

D

E

F

G

100% Duck 0% Rabbit

80% D 20% R

60% D 40% R

50% D 50% R

40% D 60% R

20% D 80% R

0% Duck 100% Rabbit

Transformaties & invarianten

Kunstenaars: Wendy Morris

Wetenschappers: Onderzoek:

Perceptuele groepering & figuur-achtergrond organisatie

Kunstenaars: Anne-Mie Van Kerckhoven

Wetenschappers: Onderzoek:

Perceptuele ambiguïteit van figuur-achtergrond organisatie

Kunstenaars: Anne-Mie Van Kerckhoven

Wetenschappers: Onderzoek:

Contour vs. oppervlak

Kunstenaars: Anne-Mie Van Kerckhoven

3. Experimentele psycho-esthetiek: voorbeelden van soorten onderzoek

Inleiding “De gustibus non est disputandum” of toch? Experimentele psycho-esthetiek = wetenschapsdiscipline die probeert te begrijpen welke factoren esthetische appreciatie bepalen/beïnvloeden Historische start = “Vorschule der Aesthetik” (1876) van Gustav Theodor FECHNER (1801-1887) Recentere voorbeelden: - Rudolf ARNHEIM “Art and visual perception” (1974) “The power of the center” (1988) - Ernst GOMBRICH “Art and illusion” (1980)

Experimentele methode: ₋ Manipulatie van factoren ₋ Meting van esthetische responsen

Problemen: - Niet alles is manipuleerbaar - Keuze van meetmethode: wat kan je vragen aan deelnemers? (hoe mooi? hoe aangenaam? hoe intens? enz. – zie studie over “esthetische woordenschat” elders in de zaal)

Grote variatie aan soorten onderzoek Van (a) heel eenvoudig, sterk gereduceerd (ver van echte kunst) tot (b) heel complex, weinig gecontroleerd (dichter bij echte kunst) a) Bvb. rol van gulden snede (aanwezig in veel echte kunst, bvb. Leonardo da Vinci, Le Corbusier, Mondriaan) vaak onderzocht met eenvoudige rechthoeken (welke van de twee vind je best/mooist?)

b) Bvb. analyse van vormelijke aspecten van compositie in bestaande werken, bvb. Leyton “Symmetry, causality, mind” (1992) (puur theoretisch/speculatief)

Leyton (1992) “Symmetry, causality, mind” Vormwaarneming = reconstructie van ontstaansgeschiedenis ₋ causale verklaring van vorm door asymmetrieën ongedaan te maken ₋ zien van processen

Esthetische respons = evaluatie van causale verklaring (als oplossing van een probleem)

Voorbeeld-analyse “Les Demoiselles d’Avignon” Pablo Picasso (1907) Proces 1: “Stretching”

Proces 2: “Overcoming rigidity”

Proces 3: “Overcoming resistance”

Proces 4: “Pulling open”

Proces 5: “Branching out”

Proces 6: “Tearing apart”

Grote variatie aan soorten onderzoek (c) Tussenin: ⁻

Invloed van kader en element-vorm op compositie

⁻

‘Visual rightness’ theorie van beeldcompositie

⁻

Microgenese van kunstperceptie

Grote variatie aan soorten onderzoek Tussenin – voorbeeld 1 Invloed van kader en element-vorm op compositie (Cornelis et al., 2000) Architectuur-studenten maken composities in een bepaald kader (rechthoek of cirkel) en met bepaalde elementen (rechthoekige driehoeken, gelijkbenige driehoeken en ongelijkzijdige driehoeken; trapezia, rechthoeken en onregelmatige vierhoeken)

26th Congress of the International Association of Empirical Aesthetics, New York, U.S.A.

Grote variatie aan soorten onderzoek Tussenin – voorbeeld 2 ‘Visual rightness’ = theorie van beeldcompositie (Locher et al., 1996, 1999, 2003) De organisatie-structuur van een “visueel goede” compositie: - is visueel opvallend - wordt beter beoordeeld dan een variant - getest met 16 bestaande schilderijen - verschillende experimenten

Getest met 16 bestaande schilderijen (figuratief en abstract) in verschillende experimenten (met verschillende soorten deelnemers)

Locher, P., Gray, S., & Nodine, C. (1996). The structural framework of pictorial balance. Perception, 25, 1419–1436. Locher, P., Stappers, P., & Overbeeke, K. (1999). The role of balance as an organizing principle underlying adults’ compositional strategies for creating visual displays. Acta Psychologica, 99, 141–161. Locher, P. (2003). An empirical investigation of the visual rightness theory of picture perception. Acta Psychologica, 114, 147–164.

Grote variatie aan soorten onderzoek Tussenin – voorbeeld 2 Experiment 1 ⁻“Naïeve” proefpersonen (50 psychologie-studenten) ⁻Keuze voor origineel in 55% van de gevallen ⁻“Goodness rating” (Algemeen = +0.37, Figuratief = +0.54, Abstract = +0.19

Experiment 2 ⁻ “Expert” proefpersonen (12 kunst-docenten) ⁻ Keuze voor origineel in 64% van de gevallen ⁻ “Goodness rating” (Algemeen = +0.83, Figuratief = +0.73, Abstract = +0.92)

“The golden wall” (Hofmann)

“The daughters of Edward Darley bois” (Sargent) O=Original, A=adjusted

Grote variatie aan soorten onderzoek Tussenin – voorbeeld 2 Experiment 3 ⁻ “Tussenin” proefpersonen (187 ontwerpstudenten) ⁻ Plaatsing van het “vrije” element

Experiment 4 ⁻ “Naïeve” proefpersonen (100 psychologiestudenten) ⁻ Keuze tussen 3 versies: Origineel, Lichtjes gewijzigd, Sterk gewijzigd

Grote variatie aan soorten onderzoek Tussenin – voorbeeld 3 Style follows content: On the microgenesis of art perception (Augustin et al., 2008) Microgenese van kunstperceptie: Hoe wordt de waarneming van bepaalde aspecten van kunst in de tijd opgebouwd? Hoe sterk wegen stijl en inhoud door in het bepalen van de waargenomen gelijkenis tussen paren van kort gepresenteerde schilderijen

→gelijkenis/verschil van inhoud weegt zwaarder door dan stijl (vanaf 10 ms al) →verwerking van stijl ontwikkelt iets later (vanaf 50 ms) maar wordt sterker met langere aanbieding →verwerking van stijl kan al op basis van snel beschikbare informatie

Augustin, M. D., Leder, H., Hutzler, F., & Carbon, C. C. (2008)., Acta Psychologica, 128(1), 127-138.

4. Oogbewegingen en het gebruik daarvan in experimentele psychoesthetiek

Oogbewegingen Het oog kan enkel detail-informatie krijgen met het centraal deel van het netvlies (de fovea). Perifeer zicht is onscherp (zie “het oog”, helemaal vooraan in het bladerboek). Daarom moeten we voortdurend onze ogen bewegen (2 à 4 x per sec). Het kijkpatroon (scanpath) bestaat dus uit een opeenvolging van oogpauzes (fixaties) en oogbewegingen (saccades). We kunnen deze registreren met oogbewegingsapparatuur.

Scanpath De afbeelding hiernaast toont een scanpath, gemeten met de EyeLink II (ook tijdens de tentoonstelling aanwezig in bepaalde periodes, zie flyer over deelname aan onderzoek).

Elke fixatie wordt hier weergegeven door een cirkel met – diameter proportioneel aan duur van de fixatie – fixatieduur in cijfers – rangordenummer van de fixatie

Saccades worden weergegeven met pijlen

Scanpath (vervolg) Wanneer we meerdere scans over een beeld verzamelen (hetzij van dezelfde persoon, hetzij van verschillende personen) kunnen we fixatieverdelingen opstellen: ₋ waar vinden we de meeste / langste fixaties? ₋ welke delen trekken de meeste aandacht?

Die fixatieverdelingen kan je op verschillende grafische wijzen voorstellen: ₋ fixatiereliëfs waarbij in een 3D-plot meer/langere fixaties (= meer interesse) voorgesteld worden met hogere pieken ₋ fixatiecontouren of “heatmaps” waarbij meer kijken en meer interesse voorgesteld wordt aan de hand van intensere of helderdere kleuren ₋ interessefilters waarbij meer kijken en meer interesse voorgesteld wordt door het oorspronkelijk beeld op die plaats lichter, levendiger, meer zichtbaar te maken

Christ Addressing a Kneeling Woman. Paolo Veronese

evolutie van fixatievoorkeur over de tijd

Oogbewegingsapparatuur We beschikken in het Laboratorium voor Experimentele Psychologie over twee soorten oogbewegingsapparatuur: – EyeLink II soort helm zodat het hoofd mobiel blijft snelheid: 500 Hz, accuraatheid: 0.5°

– Dual Purkinje Image Eyetracker individueel mondstuk om hoofd te stabiliseren snelheid: 1000 Hz, accuraatheid: 0.1°

Gebruik van oogbewegingsregistratie in experimentele psycho-esthetiek Twee voorbeelden 1.

Verschil in kijkgedrag tussen groepen: links leken, rechts kunstexperten leken veel meer gedreven door figuur-achtergrond (clustering op menselijke figuur); kunstexperten scannen veel ruimer

2.

“regions of interest” in kunst: “de gouden driehoek” met fixatie cluster gedomineerd door globale structuur, niet door locale beeldinformatie

Ons oogbewegingsonderzoek in het kader van Parallellepipeda “Kalligrafie” (15 tekeningen) van Anne-Mie Van Kerckhoven ₋ studie door Peter De Graef, Karen De Ryck & Johan Wagemans ₋ zie zaal 1 voor grote dynamische display van resultaten (4 flatscreens aan de muur) ₋ scan paths, appreciatie en expertise

“Off the Record” (animatiefilm) van Wendy Morris ₋ studie door Peter De Graef, Line Denayer & Johan Wagemans ₋ zie zaal 4 voor grote dynamische display van resultaten (4 flatscreens aan de muur) ₋ scan paths, appreciatie en invloed van kennis

Nu in ZAAL 1:

Oogbewegingen bij “Kalligrafie” AMVK zelf: heel veel fixaties (voortdurende afwisseling tussen centraal en perifeer kijken)

Leek: blijft lang bij tekst hangen

Kunstkenner: tussen beide in (heel volledig scanpath, gericht op compositie als geheel)

Nu in ZAAL 4:

Oogbewegingen bij “Off the Record” Bij een film is er voortdurend beweging, die vaak door het oog gevolgd wordt (“smooth pursuit”). Hier staan telkens drie snapshots onder elkaar die elkaar snel opvolgen. Een tragere kijker kan slechts één fixatie maken per snapshot en kijkt meer centraal.

Een snelle kijker kan twee korte fixaties maken per snapshot en fixeert twee opvallende voorwerpen.

5. Andere voorbeelden van perceptie en kunst interacties

Oogbewegingen als kunst Catherine Baker registreert haar fixaties terwijl ze tekent en neemt de fixatiecontouren als input voor haar grafiek

Oogbewegingen als kunst Een LCD display van Mirjam Netten’s Infant (links) wordt gefilterd door de cumulatieve kijkpatronen van het publiek (rechts), geregistreerd met de camera’s links-onder en rechts-boven

Data als kunst

De manier waarop wetenschappers hun data weergeven is erg belangrijk voor de communicatie. Vaak hebben die data-displays ook iets esthetisch. Hier tonen we een paar voorbeelden. Idee en selectie: Jonas Kubilius.

you and i working together working against each other

An experimenter moved her hand up and down or left and right, while a participant had to either repeat her motion (left panel) or do an opposite motion (right panel). Here, the trajectory of participant hand’s motion is drawn. Left panel has more consistent lines, thus the task was easier when both the experimenter and the participant worked hand in hand. Reproduced from Kilner et al., Current Biology (2003)

untitled.tiff

When presenting some stimuli in experiments, it is often useful to know where people are looking at. Scientists use eye-tracking machines that can record and display the position of where they were looking. The more yellow, the more one was staring there. Here, people were asked to look at the plus while some images were shown to the sides or above/below. You can see people sometimes peeking at those images: curiosity wins. Reproduced from Dilks et al. (not published)

emptiness

Images of various rooms have been superimposed on top of each other and painted red.

Reproduced from Dilks et al. (in preparation)

Mona Lisa, met een knipoog en een glimlach Naoki Kogo doet onderzoek over figuurachtergrond organisatie en subjectieve contouren, bvb. gebruik makend van varianten van het Kanizsa vierkant

Links zie je heel duidelijk een vierkant in het midden, rechts niet (hoewel de hoeken binnenin locaal precies gelijk zijn) Als je deze invoegt in de Mona Lisa, zie je soms heel duidelijke vierkanten, die er natuurlijk niet zijn (daarom: subjectieve of illusoire figuren)

AMVK is geen illusie Dit toont de zgn. “corridor illusion”, een neveneffect van de normale waarneming van diepte op basis van perspectief-cues en de onbewuste correctie van waargenomen grootte i.f.v. retinale grootte en afstand (zgn. grootteconstantie). N.B. Dit werkt niet alleen met kunstenaars. Idee en realisatie: Lee de Wit.

Puntlichtfiguur in goed gezelschap Puntlichtfiguren worden vaak gebruikt in onderzoek over de waarneming van biologische beweging (zie experiment op PC) Hier steekt er eentje in goed gezelschap Abbey Road over (voor bewegende versie: zie demonstratie op PC) Idee en realisatie: Lee de Wit en Ervin Poljac.

Dit is geen conceptuele kunst Eef Ameel doet onderzoek over de mentale representatie van concepten en conceptuele combinaties. Ze speelt hier op een visuele manier met haar onderzoeksthema.

Voor meer leuke demonstraties: kijk eens op de computers en kijk ook eens achter het muurtje (op sommige dagen vinden hier echte experimenten plaats)

www.gestaltrevision.be Inhoud: [email protected] Schikking: Stephanie Poot