FACULTEIT LETTEREN ONDERZOEKSEENHEID MUSICOLOGIE
Muziek voor mobiele media Een overzicht binnen de hedendaagse kunstmuziek
Zimcke Van de Staey Masterproef aangeboden binnen de opleiding master in de musicologie Promotor prof. dr. Mark Delaere Academiejaar 2012-2013 120 965 tekens
ABSTRACT |I
ABSTRACT This thesis concentrates on the emergence of a new form of music, defined by the term “mobile music”. The term implies a very broad sense, signifying all music that is played or created on smartphones, tablets, etc. The dissertation consists of four parts and researches the artistic possibilities of mobile phones. The first chapter backtracks the transformation of mobile phones from a sole means of communication to convergent media, defined by their extensive use of sensors. In the second chapter I present a possible categorization for music that is created for and on mobile media, distinguishing between the performer (making music via applications), the listener as performer (e.g. interactive locative audio) and the listener as player (e.g. augmented aurality in games). The third chapter studies two musical compositions in detail, providing an insight into the technological genesis of the work and a performance analysis. The last chapter aims to draw some broader conclusions about the future of mobile music: what are the consequences of the strong reciprocity between technology and music? Can mobile music become an autonomous genre, gaining it’s place in our music education? How can we document an art form that is temporarily, due to the rapid evolution of technology?
D A N K W O O R D | II
DANKWOORD In eerste instantie wil ik professor dr. Mark Delaere bijzonder bedanken voor zijn onvoorwaardelijke steun en begeleiding bij de keuze van een dergelijk uitdagend onderzoek. Daarnaast gaat er speciale dank uit naar componist David Collier en artistiek directeur Paul Craenen die steeds tijd vrij maakten om mijn vragen te beantwoorden. Vervolgens wil ik Yves Dhont van BibWord bedanken, voor zijn geloof in open source, zodat ik een eigen bibliografische stijl kon programmeren met de code die hij beschikbaar stelde. Ook het personeel van Alpha Copy verdient een woord van dank, voor hun uitmuntende service. Ten slotte wil ik mijn medestudente Sara Smalbrugge, mijn vriend Yvan Vander Sanden en mijn ouders bedanken voor hun vertrouwen in het welslagen van dit stimulerende project.
I N H O U D S T A F E L | III
INHOUDSTAFEL ABSTRACT _________________________________________________________________________________________ I DANKWOORD _____________________________________________________________________________________ II INHOUDSTAFEL___________________________________________________________________________________
III
LIJST MET FIGUREN ________________________________________________________________________________
V
1
INLEIDING _______________________________________________________________________________ 1
2
HISTORISCH OVERZICHT:
2.1 2.2 2.3
BEKNOPTE GESCHIEDENIS VAN DE MOBIELE TELEFOON ____________________________________________ 4 THEORETISCHE BESCHOUWING VAN MOBIELE MEDIA ______________________________________________ 6 MOBIELE MEDIA ALS “CONVERGENT MEDIA” ______________________________________________________ 9
3
MOBIELE MEDIA EN MUZIEK ____________________________________________________________12
3.1 3.2
MOBILE MUSIC: EEN DEFINITIE _________________________________________________________________ 12 MOBILE MUSIC VOOR DE UITVOERDER: EEN INNOVEREND, UBIQUITAIR EN ELEKTRONISCH INSTRUMENT ___________________________________________________________________________________ 14 3.2.1 3.2.2 3.2.3
3.3
VAN COMMUNICATIEMIDDEL TOT CONVERGENTE MEDIA
_______ 3
Conventioneel elektronisch instrument door middel van applicaties ____________14 Intuïtief expressief instrument _____________________________________________________19 Mobiele ensembles __________________________________________________________________26
3.4
MUZIEK VOOR DE LUISTERAAR ALS UITVOERDER: EEN INTERACTIEF EN LOCATIE-AFHANKELIJK GEGEVEN _______________________________________________________________________________________ 26 MOBILE MUSIC VOOR DE LUISTERAAR ALS SPELER: AUGMENTED REALITY AUDIO IN VIDEOSPELLEN 31
4
CASESTUDIES ___________________________________________________________________________33
4.1 4.2 4.3
SELECTIECRITERIA _____________________________________________________________________________ 33 METHODOLOGIE ________________________________________________________________________________ 33 CASESTUDY I: OSTINATO FÜR 8 IPODS (2011) __________________________________________________ 34 4.3.1 4.3.2 4.3.3
4.4
Biografie Uwe Schamburek ________________________________________________________34 Het DigiEnsemble ___________________________________________________________________34 Ostinato für 8 iPods _________________________________________________________________36
CASESTUDY II: IN YOUR OWN TIME (2013) ____________________________________________________ 41 4.4.1 4.4.2
Biografie David Collier _____________________________________________________________41 In Your Own Time ___________________________________________________________________42
5
KRITISCHE REFLECTIE __________________________________________________________________50
5.1
OVERHEERSING VAN TECHNOLOGIE OP ARTISTIEKE ASPECTEN ___________________________________ 50 5.1.1
Reproductie _________________________________________________________________________50
I N H O U D S T A F E L | IV 5.1.2
Productie ____________________________________________________________________________53
5.2 5.3
ACADEMISCH ___________________________________________________________________________________ 55 DOCUMENTATIE ________________________________________________________________________________ 56
6
SLOTBESCHOUWINGEN __________________________________________________________________57
BIBLIOGRAFIE ____________________________________________________________________________________60
LIJFST MET FIGUREN |V
LIJST MET FIGUREN Figuur 1: Korg ElecTribe ESX-1 (links) en Korg iElectribe (rechts). ......................................................... 15 Figuur 2: Het plaatsen van virtuele geluidsgenererende objecten in Reactable mobile................... 16 Figuur 3: Singing Fingers. ............................................................................................................................................ 17 Figuur 4: Orbits................................................................................................................................................................ 18 Figuur 5: Visualisatie van de beperkingen en mogelijkheden van de sensoren op tablets en smartphones, gestaafd aan de hand van vier parameters (bewegingen, bereik, de vorm van de data en de gemeten waarden). .................................................................................................................................. 21 Figuur 6: Interface van Magic Fiddle en het storybook ................................................................................. 24 Figuur 7: Drie verschillende composities en hun gebruikersinterface uit de applicatie n (Jorge Drexler) ............................................................................................................................................................................... 29 Figuur 8: De grafische gebruikersinterface van ThumbJam ......................................................................... 39 Figuur 9: Controle van optionele muzikale parameters via bewegingen van het toestel ................ 40 Figuur 10: Het melodisch thema uit het A-deel op de vijf verschillende toonhoogtes boven elkaar weergegeven (in realiteit hoort men om de 15 seconden een nieuwe inzet). ...................................... 45 Figuur 11: De ritmische stemmen en hun respectievelijke centrumfrequentie en tempo uit het Bdeel boven elkaar weergegeven. .............................................................................................................................. 45 Figuur 12: De ritmes uit het A-deel in oplopende waarden tegenover de ritmes uit het B-deel... 47 Figuur 15: In Your Own Time tijdens het afspelen, met knop om het werk te stoppen (en te herbeginnen) en een voortgangsbalk onderaan. ............................................................................................... 49 Figuur 14: Het beginscherm van In Your Own Time met speelknop om de adaptieve compositie aan te vatten...................................................................................................................................................................... 49 Figuur 13: De instellingen van de applicatie aanpassen. ............................................................................... 49 Figuur 16: Kaart met geluidsobjecten in noTours. ........................................................................................... 55
INLEIDING |1
1 INLEIDING
1
INLEIDING
2
HISTORISCH OVERZICHT
3
MUZIEK VOOR MOBIELE MEDIA
4
CASESTUDIES
5
KRITISCHE REFLECTIE
6
SLOTBESCHOUWINGEN
Reeds met mijn allereerste mobiele telefoon – toen nog een zeer performante Nokia 3310 – trachtte ik zijn functie als louter communicatiemiddel te overstijgen door er mijn eigen ringtones op te componeren met de zeer primitieve notatieapplicatie die op het toestel aanwezig was. Vandaag de dag is die bezigheid, als musicoloog, uitgegroeid tot de studie van muziek die voor en door de hedendaagse mobiele media wordt gecomponeerd en uitgevoerd. In deze masterproef wil ik dan ook onderzoeken hoe ver mobile music sindsdien geëvolueerd is en in welke mate muziek voor mobiele media ons muziekbegrip kan beïnvloeden. Het eerste hoofdstuk vat ik aan met een kort historisch overzicht van de belangrijkste ontwikkelingen van de mobiele telefoon. Vervolgens ga ik over tot een beschouwing van de hoedanigheden of essentiële eigenschappen die eigen zijn aan mobiele media, namelijk de draagbaarheid, alomtegenwoordigheid, connectiviteit en personificatie van de toestellen. Tot slot bespreek ik de overgang van mobiele media die louter als communicatiemiddel functioneerden tot de convergente of multifunctionele toestellen van tegenwoordig. Daarbij toon ik duidelijk aan wat deze toestellen onderscheidt van desktop computers, bijvoorbeeld het veelvuldig gebruik van sensoren. Het tweede hoofdstuk bestaat uit een definitie en een theoretisch overzicht van muziek voor mobiele media, dat ik zal structureren aan de hand van drie categorieën: (1) mobile music voor de uitvoerder, (2) mobile music voor de luisteraar als uitvoerder en (3) mobile music voor de luisteraar als speler. De eerste categorie omvat een bespreking van de verschillende soorten applicaties die voor smartphone en tablet beschikbaar zijn en die als een elektronisch muziekinstrument kunnen behandeld worden. Vervolgens vestig ik de aandacht op een aantal factoren waarmee rekening moet worden houden bij het ontwerp van zo’n applicatie. Ik verduidelijk wat de mogelijkheden van de sensoren op een mobiel toestel zijn en hoe deze gebruikt kunnen worden om een expressief muziekinstrument te ontwikkelen. Ook de ensembles die uitsluitend musiceren met mobiele media komen onder deze categorie aan bod.
INLEIDING |2 In mobile music voor de luisteraar als uitvoerder of als speler gaat het om applicaties die noch als instrument noch als een opname van een compositie mogen beschouwd worden. De keuzevrijheid, die hier bewust aan de luisteraar wordt overgelaten (wanneer men een applicatie opent), staat hier centraal. Zoals uit de gekozen voorbeelden zal blijken, ontstond er de laatste jaren een grote tendens naar locative audio of muziek die volgens de locatie van de luisteraars gestuurd wordt. Aan de hand van twee recente casestudies zal ik de eerste twee categorieën verder uiteenzetten. De eerste casestudy Ostinato für 8 iPods (Üwe Schamburek) betreft een compositie uit te voeren op smartphone(s). De studie toont aan dat mobiele media gehanteerd kunnen worden als veelzijdig muziekinstrument. De tweede casestudy In Your Own Time
is een adaptieve
compositie waarvan de muzikale inhoud steunt op de beweging van de luisteraar-uitvoerder. De beperkingen of evaluatie van deze twee analyses zal ik naderhand in het vierde hoofdstuk presenteren. Aansluitend zal ik nog kort een aantal alternatieve voorstellen aanreiken in de slotbeschouwingen. De afbeeldingen en opnames waar ik naar refereer in de tekst zijn terug te vinden op de webpagina die bij deze masterproef hoort: http://masterproef-mobile-music.blogspot.be.
HISTORISCH OVERZICHT |3
2 HISTORISCH OVERZICHT : VAN COMMUNICATIEMIDDEL TOT CONVERGENTE MEDIA
1
INLEIDING
2
HISTORISCH OVERZICHT
3
MUZIEK VOOR MOBIELE MEDIA
4
CASESTUDIES
5
KRITISCHE REFLECTIE
6
SLOTBESCHOUWINGEN
Dit eerste hoofdstuk geldt als een introductie waarin een aantal begrippen worden verklaard die verder in deze masterproef nog zullen voorkomen. Vragen zoals “hoe kunnen we mobiele media definiëren” en “hoe worden deze media gebruikt?” zullen hierin aan bod komen. Daarbij geldt de mobiele telefoon of hedendaagse smartphone als voorbeeld. Er zijn uiteraard nog andere elektronische toestellen die gevat kunnen worden onder “mobiele media”, zoals een tablet, een laptop, bepaalde gameconsoles… De mobiele telefoon lokte echter de grootste sociologische veranderingen uit en is bovendien het meest verspreide toestel. Ik vat aan met een beknopte geschiedenis van de mobiele telefoon die de ontwikkelingen binnen een socio-technologisch kader plaatst. Vervolgens tracht ik de grote impact van mobiele media op de maatschappij te verklaren aan de hand van J. J. Gibsons en D. Normans theoretisch model opgebouwd rond “affordances”, waarin de intrinsieke of waargenomen capaciteiten van een object centraal staan.1 Deze belangrijke eigenschappen van mobiele media leidden er ten slotte toe dat ze zich ontwikkelden als “convergent media” (multifunctionele media). Ik zal aandacht besteden aan de technologische verbeteringen en uitbreidingen sinds de komst van de iPhone. Zo kan ik me richten op de nieuwe functies die mobiele media toebedeeld krijgen, naast die als een efficiënt communicatiemiddel.
J. J. GIBSON, The Theory of Affordances, in Perceiving, Acting & Knowing: Toward an Ecological Psychology, Hillsdale, 1977, p. 67-82. D. NORMAN, The Design of Everyday Things, New York, 1988. 1
HISTORISCH OVERZICHT |4
2.1
B EKNOPTE
GESCHIEDENIS VAN DE MOBIELE TELEF OON
De eerste succesvolle poging tot het ontwerpen van een mobiele telefoon gebeurde reeds in 1910 door de Zweedse ingenieur Lars Magnus Ericsson.2 Ericsson installeerde een telefoon in de auto van zijn vrouw en in die zin was het toestel “mobiel”. De gebruiker was echter afhankelijk van vaste telefoonlijnen, want men moest de twee telefoonkabels van het toestel verbinden met een vrije (vaste) telefoonlijn. Via de aandrijving van een dynamo kon de gebruiker vervolgens verbonden worden met de dichtstbijzijnde operator. Het concept van deze mobiele telefoon werd evenwel nooit voor commerciële doeleinden gebruikt en is daarom volstrekt verwaarloosbaar. Toch zal later blijken dat het integreren van een telefoon in een voertuig een belangrijke aanzet was voor de ontwikkeling en verkoop van mobiele telefoons in de Verenigde Staten. Het verlangen om een telefoonnet aan te bieden dat mobieler was dan de vaste lijnen en dus ook toegankelijk was voor voertuigen, zorgde ervoor dat men op zoek ging naar nieuwe efficiëntere (radio gestuurde) communicatiesystemen. Door de uitvinding van de transistor in 1947 (Bell Labs) – een moderne elektronische component die elektrische signalen versterkt – was het mogelijk om stabielere en compactere toestellen te bouwen. Zo kon men investeren in radio gestuurde communicatie voor korte afstanden, zoals CB radio3, waarbij elke gebruiker over een station met zender en ontvanger beschikt (dat al dan niet geïnstalleerd kan worden in een voertuig). Ondanks de grote populariteit waren er enkele nadelen verbonden aan dit communicatiesysteem. Er waren slechts enkele frequenties voor handen, waardoor elk gesprek zich in de publieke ruimte bevond. Daarnaast moest een gebruiker steeds wachten tot een bepaald kanaal zijn boodschap had verzonden: er kan slechts één verzender zijn op elk moment. Ten slotte kon je iemand enkel bereiken als hij zijn toestel had aanstaan en als je zijn frequentie kende. In 1947 ontstond bij Bell Laboratories ook het hedendaagse model voor een mobiel telefoonnetwerk, het zogenaamde cellular idea. Het concept hield in dat het beschikbare radiospectrum (spectrum met radiofrequenties tussen 300 en 3000 MHz) op een dynamische manier verdeeld wordt over een bepaald gebied.4 Dat gebied zou dus in een aantal cellen ingedeeld moeten worden, die elk overeenstemmen met een bepaalde frequentie. Zolang cellen met dezelfde frequentie ver genoeg uit elkaar liggen, zou er nooit interferentie optreden in een J. FARMAN, Historicizing Mobile Media, in The Mobile Media Reader, uitg. door N. ARCENEAUX en A. KAVOORI, New York, 2012, p. 15. 3 Citizen’s Band 4 R. LING en J. DONNER, Mobile Communication, Cambridge, 2009, p. 31. 2
HISTORISCH OVERZICHT |5 telefoongesprek. Wegens technologische tekortkomingen was het echter nog niet mogelijk om het systeem in gebruik te nemen. Zo kon er nog geen probleemloze overschakeling tussen de cellen gerealiseerd worden tijdens een telefoongesprek.5 Het mobiele toestel moet zijn locatie voortdurend updaten naar het systeem, zodat het systeem in staat is om het toestel op te sporen wanneer er een oproep is. Zodra er een oproep is zal deze naar de juiste gsm-mast gestuurd worden en vervolgens naar het juiste toestel. Mocht je op hetzelfde moment in beweging zijn, en een bepaalde minimumdrempel van een andere gsm-mast wordt overschreden, dan zal die nieuwe gsm-mast de oproep overnemen. Het ging dus om een complex systeem dat steeds op de hoogte zou moeten zijn van elk individueel toestel. Bovendien moest er nog een bijkomstig systeem ontworpen worden dat ook elke oproep correct zou factureren. In 1969 werd het cellulaire systeem voor de eerste maal toegepast, op een treinverbinding tussen New York en Washington DC. In 1977 werd het cellulaire systeem geïnstalleerd in Chicago. Het systeem had een limiet van tweeduizend gebruikers, vanwege het beperkt aantal beschikbare radiofrequenties. Een ander probleem was de stroomtoevoer: de ontworpen mobiele telefoons hadden een grote energietoevoer nodig en bezaten dus een sterke (grote) batterij. Hierdoor konden de toestellen enkel geïnstalleerd worden in voertuigen (ze waren transportable, maar niet portable). 6 De eerste handtelefoon verscheen in 1973 en was ontworpen door het bedrijf Motorola. Desondanks werd de eerste commerciële mobiele telefoon – DynaTAC 8000x – slechts tien jaar later op de markt gebracht.7 Terwijl de Amerikaanse Oostkust (Chicago en New York) de pionier was bij het uitvinden van het cellulaire systeem, was de Westkust (San Diego) verantwoordelijk voor de belangrijkste verbetering, namelijk een gedigitaliseerde standaard die meer gebruikers zou toelaten. Deze standaard kwam er door een wisselwerking tussen militaire instanties en de gespecialiseerde onderzoekscentra voor elektronica. Zo werd in 1968 het militair communicatiebedrijf Linkabit opgericht, dat later opgevolgd werd door Qualcomm. De nieuwe digitale standaard CDMA (Code Division Multiple Access) werd er aanvankelijk in de jaren 1980 ontworpen als een satelietmodem voor de United States Air Force.8 Qualcomm introduceerde de standaard echter ook in commerciële toepassingen. In CDMA wordt een conversatie vermengd met een willekeurig signaal, om de boodschap te coderen en later bij de ontvanger weer te decoderen. In de zelfde periode als CDMA was er tevens al een andere digitale standaard ontwikkeld, TDMA J. FARMAN, o.c., p. 16. J. FARMAN, o.c., p. 15. 7 J. FARMAN, o.c., p. 17. 8 J. AGAR, Constant Touch, a Global History of the Mobile Phone, 2de editie, Cambridge, 2004, p. 69. Een modem staat voor het moduleren en demoduleren (converteren) van data. Bij een satelietmodem is die data afkomstig van een communicatiesateliet en zal daarna gedemoduleerd worden door de modem. 5 6
HISTORISCH OVERZICHT |6 (Time Division Multiple Access). Deze methode was veel eenvoudiger, omdat de verschillende conversaties in verschillende “time slots” werden ingedeeld. Tot de komst van het universele en internationale 3G-netwerk (3rd Generation) aan het begin van de jaren 2000, werden CDMA en TDMA simultaan gehanteerd. Ook Europa werd vanaf 1983 gekenmerkt door de ontwikkeling en het in gebruik nemen van nieuwe systemen, die later tot een digitale standaard zouden leiden. De belangrijkste stap hiertoe werd gezet door de Noord-Europese landen (voornamelijk Zweden). Reeds in 1969 werd er de NMT Group (Nordic Mobile Telephone Group) opgericht, die verschillende Noord-Europese landen vertegenwoordigde en er in 1982 een mobiel telefoonnetwerk opzette.9 Het netwerk was tot in de details uitgedacht, met twee frequentiebanden (NMT 400 en NMT 950) en zelfs de mogelijkheid tot roaming om in het buitenland te kunnen bellen. Het systeem raakte bekend en andere Europese landen, waaronder België, namen het over. Grotere Europese landen (Duitsland, Frankrijk, Groot-Brittannië en Italië) besloten dan weer om hun eigen cellulair systeem te concipiëren. In 1984 werd – na lang onderhandelen – geopteerd voor een Europese standaard met de naam GSM (Global System for Mobile Communication), dat ook in andere werelddelen werd geadopteerd.10 Tot slot was Japan een belangrijke speler, door de innovaties die er werden doorgevoerd in de toestellen zelf. De Japanse toestellen beschikten in het pre-smartphone stadium al over veel meer toepassingen dan alleen bellen. Zo werd er in 1999 al een succesvolle formule voor de toegang tot internet op de markt gebracht, i-mode.11 Er werd veel meer aandacht besteed aan het design van een mobiel toestel, met grote kleurenschermen en een voor de hand liggende interface. De Japanse mobiele cultuur gaf zelfs aanleiding tot het ontstaan van een populair literair genre: de gsm-roman.
2.2
T HEORETISCHE
BESCHOUW ING VAN MOBIELE MEDI A
Uit de vorige alinea’s blijkt duidelijk dat de populariteit van mobiele telefoons gegroeid is vanuit het belang als communicatiemiddel. Het bracht enkele fundamentele veranderingen teweeg in onze sociale interactie. Met de komst van de mobiele telefoon zijn we in staat om ons leven op een dynamische manier te organiseren en afspraken in real time vast te leggen.
Deze
veranderingen staan evenwel niet stil, het gaat om extreem veelzijdige, snel evoluerende en wijd J. AGAR, o.c., p. 50. R. LING en J. DONNER, o.c., p. 2. 11 M. NEGISHI, Development of Mobile Phone Culture in Japan and Its Implications to Library Services: Prospecting Information Services in Coming "Ubiquitous Society", in NII Journal, 5, 6, 2003, p.59. 9
10
HISTORISCH OVERZICHT |7 verspreide media. Net daarom is het zeer moeilijk om mobiele media vanuit een specifiek denkkader te analyseren, zonder bepaalde eigenschappen uit het oog te verliezen. Veel onderzoekers beperken zich slechts tot een communicatietheorie en de consequenties daarvan.12 De onderzoekstopic van deze masterproef toont echter aan dat mobiele media veel verder gaan dan alleen een communicatietechnologie.13 Zodoende is het van belang om binnen de context van dit onderzoek op zoek te gaan naar een theoretisch model dat zowel de communicatieve als de andere eigenschappen van smartphones en mobiele media in het algemeen in achting neemt. Een recent overzicht van theorieën die de snelgroeiende populariteit van mobiele media proberen te verklaren, werd samengesteld door Rich Ling en Jonathan Donner.14 Een van de besproken theorieën is een toepassing van de algemene theorie van Everett Rogers.15 Rogers bespreekt hoe nieuwe technologieën of innovaties aanvaard worden in of door een maatschappij. De snelheid waarmee een innovatie aanvaard wordt, is volgens hem afhankelijk van een aantal eigenschappen: (1) de relatief gunstige omstandigheden, (2) hoe verenigbaar het object is met oudere innovaties en de noden van potentiële gebruikers, (3) hoe complex het object is voor de gebruiker, (4) in hoeverre de gebruiker kan experimenteren met de innovatie en (5) in hoeverre de resultaten van de innovatie ook zichtbaar zijn voor anderen. Daarnaast deelt hij de “aanhangers” van een bepaalde technologie op in vijf groepen: de pioniers, de vroege aanhangers, de vroege meerderheid, de late meerderheid en ten slotte de laatkomers. Het bereiken van een kritische massa is volgens Rogers van zeer groot belang. De waarde van een mobiel toestel neemt namelijk toe naargelang er meer gebruikers zijn (je kan immers meer mensen bereiken). Daarnaast wordt het ook steeds moeilijker om niet deel te nemen aan een technologische innovatie. Om te evalueren of een object verenigbaar is met een oudere innovatie en of het voldoet aan de noden van potentiële gebruikers, kunnen we hier Gibsons model van “affordances” bij betrekken. Gibson verstaat onder affordances de intrinsieke of waargenomen capaciteiten van een innovatie. Zij bepalen voor een groot deel hoe een object of toestel door de maatschappij gebruikt zal worden. Norman breidde deze theorie later uit en verwees naar zeer voor de hand liggende eigenschappen die een potentiële gebruiker zullen aanzetten tot bepaalde acties. Scott
Ik verwijs hier naar het theoretisch discours van onder andere J.R. Beniger (1986), M.E. McCombs en D.L. Shaw (1972), C. Licoppe (2004), R. Ling (2002) en J. Katz en M. Aakhus (2002). 13 Op deze stelling kom ik verder in dit hoofdstuk nog terug. 14 R. LING en J. DONNER, o.c., p. 12-26. 15 E. M. ROGERS, Diffusion of Innovations, New York, 1995. 12
HISTORISCH OVERZICHT |8 W. Ruston onderscheidde in zijn artikel Cinematic Imaginations of Mobile Media’s Critical Affordances vijf eigenschappen die van groot belang zijn.16 Ten eerste onderscheidt een mobiele telefoon zich door zijn draagbaarheid. De draagbaarheid is geen unieke eigenschap van de smartphone, maar geeft het toestel een voorsprong op grotere apparaten, zoals een laptop. Het mobiel telefoonnetwerk kent een lange evolutie naar slankere toestellen. Door steeds meer functies op dezelfde chip te plaatsen, volstond een kleinere batterijcapaciteit. Daarnaast werd de densiteit van het aantal cellen steeds groter en had het toestel een kleinere energietoevoer nodig om met een gsm-mast te kunnen communiceren. Wogen de eerste mobiele telefoons nog ruim 1 kg en verschaften ze de gebruiker zo’n half uur beltijd, dan beschikt men nu over smartphones die minder dan 200 g wegen, goed in de hand passen en over een opgelopen gespreksduur van 300 à 1000 minuten beschikken. De draagbaarheid werkt uiteraard de ubiquiteit (de tweede eigenschap) van een mobiel toestel in de hand. Recente cijfers geven aan dat er reeds meer dan vijf miljard gsm-abonnementen zijn wereldwijd.17 Onderzoek toonde verder aan dat een mobiele telefoon of een smartphone behoort tot de vaakst gekochte mobiele media.18 Dat mobiele telefoons zo alomtegenwoordig zijn, maakt het eenvoudig om informatie op een snelle manier met elkaar te delen. Bovendien zorgen mobiele media voor een verhoogd gevoel van veiligheid.19 De derde eigenschap is de verschillende vormen van connectiviteit. Enerzijds is er sociale interactie mogelijk door synchrone (bellen) en asynchrone (sms’en) communicatie via een gsmnetwerk. Anderzijds vindt er steeds meer dataverkeer via het internet plaats: The report reveals that UK households now own on average three different types of internetenabled device such as a laptop, smartphone or internet-enabled games console with 15% owning six or more devices.20
S. W. RUSTON, Calling Ahead. Mobile Media's Critical Affordances, in The Mobile Media Reader, New York, 2012, p. 25-37. 17 G. GOGGIN, Global Mobile Media, New York, 2011, p. 1. Mobile Subscribers Worldwide, http://mobithinking.com/mobile-marketing-tools/latest-mobile-stats/ a#subscribers, november 2011. [geraadpleegd op 26 december 2012] 18 Enkele vergelijkende cijfers van het Pew Research Center: 85% van de Amerikaanse volwassen bevolking bezit een mobiele telefoon en 45% een smartphone, tegenover slechts 25% die een tablet bezit. J. BRENNER, Pew Internet: Mobile, http://pewinternet.org/Commentary/2012/February/Pew-InternetMObile.aspx, 4 december 2012. [geraadpleegd op 26 december 2012] 19 M. CASTELLS, M. FERNÁNDEZ-ARDÈVOL, J. LINCHUAN QIU, e.a., Mobile Communication and Society, Massachusetts, 2007, p. 97. 20 Ofcom, The Communications Market 2012, http://stakeholders.ofcom.org.uk/market-data-research/ market-data/communications-market-reports/cmr12/uk/, juli 2012. [geraadpleegd op 29 december 2012] 16
HISTORISCH OVERZICHT |9 Ten vierde laten de mobiele media veel ruimte voor de eigen persoonlijkheid. Er worden telkens nieuwe modellen met nieuwe features op de markt gebracht, die bovendien in verschillende designs of kleuren beschikbaar zijn. Je kan je eigen cover, ringtones of andere decoraties kiezen en verder ook zelf gewenste applicaties downloaden. De mobiele telefoon ontwikkelde zich tot een extensie van ons lichaam: het is een zeer gepersonaliseerd toestel dat in veel diverse situaties een oplossing kan bieden en ons dagtaken helpt organiseren. Toen Bill Clinton in mei 2000 burgers toegang verschafte tot het GPS-systeem, transformeerden de toenmalige mobiele media zich ten slotte zeer snel tot locatiegebaseerde technologie.21 Door deze location-awareness nam het belang van het “lokale” weer toe in een vorm van technologie die zich aanvankelijk op een globale vorm van communicatie richtte. Deze eigenschap leidde tot veel creatieve experimenten, omdat een bepaalde ervaring rechtstreeks gekoppeld kan worden aan een locatie.
2.3
M OBIELE
MEDIA ALS
“ CONVERGENT MEDIA ”
Veel van de theorieën die door Ling en Donner werden opgenomen in hun overzicht, concentreren zich slechts op de invloed van een mobiel toestel als communicatiemiddel. 22 Overzien we echter de evoluties van de voorbije tien jaar, dan kunnen we stellen dat mobiele media steeds meer functioneren als convergente media. Het zou daarom een enorme tekortkoming zijn om zich enkel te richten op de impact van mobiele media op de sociale interactie van mensen. […] the cellular mobile phone has moved beyond being a communications technology, in a way that is still recognizably an evolution from the telephone. From at least 2001 onwards, the mobile has been imagined, discussed and shaped as a form of media. By the middle of the decade in 2005, media industries were regarding mobiles as an integral part of cross-platform media businesses.23 Mobile handsets are increasingly convergenced devices, with 41 % of those with a mobile phone using them to take photos, 17 % using them for games and 13 % making use of their diary / organizer functionality.24 Almost another ninety minutes per week is spent accessing social networking sites and e-mail, or using a mobile to access the internet, while for the first time ever time spent on calls on both fixed and mobile phones has declined.25
J. FARMAN, o.c., p. 19. Ik verwijs hier naar het theoretisch discours van onder andere J.R. Beniger (1986), M.E. McCombs en D.L. Shaw (1972), C. Licoppe (2004), R. Ling (2002) en J. Katz en M. Aakhus (2002). 23 G. GOGGIN, o.c., p. 2. 24 Ofcom, The Communications Market 2008, http://www2.ofcom.org.uk/research/cm/cmr08/, 2008. [geraadpleegd op 29 december 2012] 25 Ofcom, o.c. [geraadpleegd op 29 december 2012] 21 22
H I S T O R I S C H O V E R Z I C H T | 10 Met de komst van de iPhone in 2007 werden mobiele telefoons voor de eerste maal op een gebruiksvriendelijke manier aangepast aan het internet. Bovendien beschikte het toestel over een volwaardige camera en muziekspeler. Daarnaast kon de gebruiker naar believen applicaties downloaden uit de App Store. Deze applicaties variëren van informatieve databases, naar videospelletjes tot creatieve programma’s waarmee je muziek kan ontwerpen. Dit leidde in 2009 tot een definitieve omkeer, waarbij het dataverkeer de bovenhand nam (tegenover het aandeel gesprekscommunicatie).26 Smartphones namen steeds meer de verkleinde vorm aan van een laptop, met een groter geheugen (tegenwoordig reeds gemiddeld 8 GB en meer) en volwaardige processors. Een groot aantal van de beschikbare applicaties benutten de sensoren die reeds vroeger aanwezig waren op een mobiele telefoon, zoals een microfoon of een camera (beeldsensor). Daarnaast benutten ze vaak ook een reeks nieuw ingevoerde sensoren of eigenschappen van de iPhone
(en
hedendaagse
smartphones).
Deze
sensoren
bieden
tal
van
nieuwe
speelmogelijkheden in de ontwikkeling van videospelletjes, die bij een vaste computer of laptop niet mogelijk zijn. Zonder deze sensoren zouden de applicaties niet kunnen functioneren. Een van deze eigenschappen heb ik reeds aangehaald, namelijk de positiedetectie van het apparaat. Deze maakt het mogelijk om binnen een applicatie andere inhoud te tonen aan de gebruiker naargelang de locatie waarop hij zich dan bevindt. Positiedetectie wordt vaak gecombineerd met andere sensoren, zoals de beeldsensor, om applicaties in augmented reality te creëren. Deze nieuwe technologie houdt in dat virtuele elementen geprojecteerd worden op het beeldscherm dat ook een afspiegeling van de reële wereld vertoont door gebruik van de camera. Zo komen bepaalde monumenten of gebouwen uit een stad in het nieuwe spel Ingress overeen met een virtuele portal, die de speler moet proberen te kraken. De speler is dus in interactie met zijn omgeving en kan niet meer ter plekke blijven spelen zoals dat nog wel kon bij een vaste computer. Naast positiedetectie en een camerasensor beschikken de meeste toestellen ook over een lichtsensor, meestal in de vorm van een ambient light sensor (ALS).27 Deze sensor meet de sterkte van het aanwezige licht in een ruimte en zal op basis daarvan de helderheid van het achtergrondlicht van het scherm aanpassen. De sensor heeft op die manier een economisch effect op het batterijverbruik van de smartphone. De belangrijkste nieuwe sensor is uiteraard de tastsensor, die een fysisch toetsenbord of een computermuis overbodig maakte. Deze sensoren reageren enkel op de lichamelijke capaciteit van de mens (die ervoor zorgt dat het lichaam zich als een condensator gedraagt) en zal dus niet reageren op andere voorwerpen die het J. FARMAN, o.c., p. 17. ASAD-UJ-JAMAN, Sensors in Smartphones, http://mobiledeviceinsight.com/2011/12/sensors-insmartphones/, 1 december 2011. [geraadpleegd op 28 december 2012] 26 27
H I S T O R I S C H O V E R Z I C H T | 11 touchscreen aanraken. Bovendien zijn de schermen van mobiele media vaak multi-touch; ze ondersteunen minstens twee simultane contactpunten.28 Verder zijn er ook nog een aantal sensoren die evalueren hoe de gebruiker zijn toestel bedient of beweegt. Zo is er een afstandssensor die de afstand tussen het scherm en je lichaam berekent. De sensor zorgt er gemakshalve voor dat een applicatie of het touchscreen gedeactiveerd wordt wanneer de smartphone dicht bij je lichaam is (en je bijvoorbeeld een oproep beantwoordt). Daarnaast beschikken smartphones, tablets of interactieve gameconsoles over een versnellingsmeter om de oriëntering van het toestel te bepalen en vervolgens de vormgeving aan te passen. De versnellingsmeter wordt tegenwoordig gecombineerd met een gyroscoop, een sensor die opnieuw instaat voor de oriëntering van het toestel, maar daarnaast ook een driedimensionale beweging kan waarnemen en meten.29 Op die manier kunnen applicaties niet enkel via het beeldscherm bestuurd worden, maar ook door het toestel op verschillende wijzen te bewegen. Deze bewegingspatronen zullen worden herkend door de applicaties. De metingen van de versnellingsmeter en gyroscoop worden aangevuld met een digitaal kompas. Ten slotte is er nog een temperatuursensor en een sensor die de atmosferische druk meet. Het aantal sensoren op een mobiele telefoon of computer is het voorbije decennium enorm snel gestegen. Men mag niet vergeten dat het slechts om een tijdelijk stadium gaat en dat er in de toekomst nog een reeks nieuwe sensoren zal worden aangebracht, zoals chemische sensoren of een sensor die de luchtkwaliteit meet.30
L. MODZDYN, The True Meaning of MultiTouch, http://www.ecnmag.com/articles/2010/08/truemeaning-multitouch, 31 augustus 2010. [geraadpleegd op 28 december 2012] 29 ASAD-UJ-JAMAN, o.c., 2011. [geraadpleegd op 28 december 2012] 30 E. MILUZZO, Smartphone Sensing, Darthmouth College, New Hampshire, 2011, p.15. 28
M O B I E L E M E D I A E N M U Z I E K | 12
3 MOBIELE MEDIA EN MUZIEK
1
INLEIDING
2
HISTORISCH OVERZICHT
3
MOBIELE MEDIA EN MUZIEK
4
CASESTUDIES
5
KRITISCHE REFLECTIE
6
SLOTBESCHOUWINGEN
In dit hoofdstuk schets ik een overzicht van de evolutie en het diverse aanbod van mobile music. Aangezien de mogelijkheden van mobiele media zodanig uitgebreid zijn, was het nodig om de muzikale applicaties en composities in drie verschillende categorieën in te delen en een selectie te maken van de belangrijkste en meest recente toepassingen. Ten eerste beschrijf ik de vanzelfsprekende situatie waarin de mobiele telefoon als een nieuw instrument gehanteerd wordt, voortkomend uit de convergentie van media (cf. infra). Enerzijds wijs ik hier op de applicaties die een conventioneel instrument trachten te imiteren in virtuele vorm, al dan niet aangepast aan de touchscreenfunctionaliteit. Mijn voorbeelden zullen wijzen op een grote tendens tot het ontwikkelen van intuïtieve interfaces waarin muzikale expressie centraal staat. Anderzijds maak ik een beknopte opsomming van de verschillende ondersteunende applicaties. Daarnaast zal ik het hier ook hebben over de consequenties van deze virtuele instrumenten binnen de uitvoeringspraktijk, namelijk de recent opgerichte ensembles die zich uitsluitend focussen op mobiele media. Ten tweede komen de applicaties aan bod die de luisteraar een nieuwe luisterervaring willen bieden, door middel van interactiviteit of adaptie en locatiedetectie. Ten slotte bespreek ik het gebruik van augmented audio – het toevoegen van real-time, omgevingsafhankelijke geluiden – in videospellen om een grotere toestand van immersie te creëren.
3.1
M OBILE
MUSIC : EEN DEFINITIE
Vooraleer ik verder ga met een overzicht van verschillende vormen van mobile music, is het nuttig een mogelijke definitie van het begrip te geven. Mobile music is een concept dat algemeen
M O B I E L E M E D I A E N M U Z I E K | 13 aanvaard en gehanteerd wordt in de literatuur31, maar zelden expliciet omschreven wordt. Dit is zo, omdat het enerzijds te dubbelzinnig en anderzijds te globaal is. Onder mobile music wordt meestal het downloaden van muziek naar mobiele telefoons en het afspelen daarvan verstaan. Die betekenis is afkomstig van het ontstaan van ringtones en truetones bij oudere mobiele telefoontoestellen. In die zin zou het beter zijn om eerder te spreken van Mobile Music-Making of in Nederlandse bewoordingen “muziek voor mobiele media”, zoals reeds voorgesteld werd door Georg Essl en Michael Rohs32. Daarnaast is het mobiele karakter – zoals de Engelstalige term lijkt aan te geven – niet het essentiële element dat deze nieuwe vorm van muziek maken definieert, maar wel het ubiquitaire karakter dat daaruit voortvloeit33: Yet mobility in use has never been a constitutive element of mobile-phone musical instruments, as most of them allow for musical interaction indoors as much as outdoors, in the privacy of the home as much as in public, on the go as much as in stationary environments. Similar to other mobile devices for producing sounds (including your guitar or ghetto-blaster), the iPhone—or for that matter, any mobile phone—can be played on stage, around the campfire, at home, alone, or in a group. The interesting difference with conventional instruments is, rather, that music comes as an added function to an already existing device that accompanies us everywhere we go. 34
Verder wordt er onder mobile music in deze paper nog steeds muziek bedoeld, die vanwege artistieke objectieven tot stand komt. Zoals later in dit hoofdstuk nog zal blijken, kan dit zelfs in een game-context het geval zijn. De verschillende audio players die weliswaar ook als mobile music worden beschouwd, zullen hier niet behandeld worden. Ten slotte is ook de grotendeels directe verwerking of creatie (real-time processing) van belang. Bijvoorbeeld door het bespelen van elektronische instrumenten op smartphones of in geluidswandelingen met locatiedetectie waar de luisteraar via beweging de klanken beïnvloedt (“remixen” van soundscapes door de wandelroutes die de luisteraar-uitvoerder kiest35).
“Mobile Music-Making” in ESSL en ROHS, art. cit., 2009, p.197-207. Ook heel wat bijdragen voor de jaarlijks conferentie over nieuwe interfaces voor muzikale expressie refereren rechtstreeks naar deze term: N. J. BRYAN, J. HERRERA, J. OH, e.a., MoMu: A Mobile Music Toolkit, 2010, p. 174-177. … etc. Het begrip gaf aanleiding tot het organiseren van de Mobile Music Workshop (2004-2008) die zich richtte op het musiceren met mobiele telefoons en tablets. 32 ESSL en ROHS, art. cit., 2009, p.197-207. 33 “Mobile” in het begrip “mobile music” is een bijvoeglijk naamwoord, maar verwijst in feite naar de verkorte vorm van “mobile phone” of een mobiel. 34 F. BEHRENDT, Playing the iPhone, in Moving Data: The iPhone and the Future of Media, New York, 2012, p. 287. 35 Interview met Frauke Behrendt: Rhythmanalysis. Lefebvre on a GPS Sound Walk, uitgezonden door http://backdoorbroadcasting.net/2011/10/frauke-behrendt-rhythmanalysis-lefebvre-ona-gps-sound-walk/, Londen, Verenigd Koninkrijk, 29 oktober 2011. 31
M O B I E L E M E D I A E N M U Z I E K | 14
3.2
M OBILE
MUSIC VOOR DE UITVOERDER : EEN INNOVEREND , UBIQUITAIR EN ELEKTRONISCH
INSTRUMENT
De data die ik in het eerste hoofdstuk aanhaalde, omtrent het bezit en gebruik van mobiele media, tonen aan dat een aanzienlijk deel van de bevolking in de nabije toekomst over een relatief goedkoop, potentieel muziekinstrument zal beschikken. In januari 2013 bezat Android bovendien reeds meer dan 24 000 applicaties voor smartphones en tablets in de categorie “music & audio”, waarvan slechts 12% niet gratis downloadbaar is.36 Voor iOs waren er in januari 2013 in de categorie “music” zelfs meer dan 29 000 applicaties beschikbaar (tegenover 6 600 in dezelfde periode twee jaar voordien).37 Bovendien moet de musicus doorgaans geen lange muziektechnische opleiding volgen, in vergelijking met wanneer men conventionele instrumenten wil bespelen. Men kan dus besluiten dat het om een exponentieel groeiende technologie gaat, waarvan de impact binnen de muziekpraktijk pas over enkele jaren duidelijk zal worden.
3.2.1
C ONVENTIONEEL ELEKTRO NISCH
INSTRUMENT DOOR MIDDEL VAN APPLICA TIES
Tijdens de twintigste eeuw gaven een hele reeks van technologische vernieuwingen telkens ook aanleiding tot een nieuw klankenarsenaal. Toen er in de jaren 1900 een verbeterde versie van de condensator en de radiolamp op de markt kwam, leidde dat bijvoorbeeld tot de bouw van de eerste theremin in 1920. Dit instrument dat gekenmerkt werd door een aparte, artificiële klankkleur, ging daarom een belangrijke rol spelen in sciencefiction films om het onaardse aan te kondigen. Met de komst van de synthesizer in de jaren 1950 en de sampler in de jaren 1960 werd het mogelijk om met één instrument zowel nieuwe elektronische geluiden te produceren, als “sons trouvés” te integreren of conventionele instrumenten te imiteren. Vandaag de dag kunnen, als gevolg van het grotere aantal transistoren op een computerchip, de mogelijkheden van deze twee instrumenten getransformeerd worden naar kleinere applicaties (software), die geopend kunnen worden via het besturingssysteem van een smartphone of tablet. Vaak worden deze applicaties gratis aangeboden of voor een veel kleiner bedrag (gaande van een aantal eurocent tot een aantal euro) dan hetgeen men moet betalen voor een equivalent ontwikkeld voor een laptop of personal computer. Appbrain, Most popular Android market categories, http://www.appbrain.com/stats/androidmarket-app-categories, 8 februari 2013. [geraadpleegd op 9 februari 2013] 37 Current Active Application Count By Categories, http://148apps.biz/app-store-metrics/ ?mpage=catcount, 4 februari 2013. [geraadpleegd op 9 februari 2013] 36
M O B I E L E M E D I A E N M U Z I E K | 15 De applicaties die door componisten en musici gebruikt worden om muziek te produceren, kunnen worden onderverdeeld in een aantal categorieën. Zoals eerder vermeld, zijn er uiteraard onnoemelijk veel applicaties voorhanden, waardoor ik genoodzaakt ben om er hier slechts enkele te selecteren die de specificiteit van mobiele media kunnen illustreren. Matthias Krebs, oprichter van het DigiEnsemble, deelde de applicaties in naargelang de bediening van het touchscreen en de werking ervan.38 Ten eerste spreekt hij over virtuele toetsinstrumenten (“Pad–Instrumente”). Dat zijn conventionele instrumenten, waarbij rekening is gehouden met de touchscreenfunctionaliteit en de sensoren van het mobiele toestel. De theremin die ik eerder aanhaalde, vindt ook hier zijn digitaal equivalent. Dit onderdeel zal ik in de volgende sectie (“Intuïtief expressief instrument”) in detail bespreken, omdat zich in deze categorie de grootste vernieuwing voordoet. Bovendien zal het aandeel van deze categorie in de toekomst enorm uitbreiden door de integratie van nieuwe sensoren. De tweede categorie omvat de traditionele sequenzers in applicatievorm. Zo bestaat er sinds 2010 bijvoorbeeld een virtuele, digitale versie voor iPad van de hardware sequenzer Korg ElecTribe ESX–1 (2003) onder de naam iElectribe (vergelijking op figuur 1). Er werd zelfs een extra eigenschap toegevoegd, “motion sequencing”, waarmee alle bewegingen van de virtuele draaiknoppen kunnen worden opgenomen om later te hergebruiken (presets). Deze handige eigenschap is niet mogelijk op een hardware sequenzer.
Figuur 1: Korg ElecTribe ESX-1 (links) en Korg iElectribe (rechts).
Vervolgens onderscheidt Krebs grafische synthesizers, waarvan Reactable mobile een vertrouwd voorbeeld is (figuur 2). Reactable mobile laat je toe om een aantal virtuele objecten M. KREBS, Musikmachen mit iPhone: Neue Technologien - neues Musizieren?, http:// www.slideshare.net/MatzeRak/musikmachen-mit-iphone-neue-technologien-neues-musizieren, 19 juli 2011. [geraadpleegd op 9 februari 2013] 38
M O B I E L E M E D I A E N M U Z I E K | 16 op het scherm te plaatsen, waaronder geluidsgeneratoren, geluidseffecten en controllers. Vervolgens kan men hun parameters instellen. Men kan ook gebruik maken van input via de versnellingsmeter en microfoon.
Figuur 2: Het plaatsen van virtuele geluidsgenererende objecten in Reactable mobile Bron: Press ready pictures, Media, http://reactable.com
Ten vierde komen grafische klankomgevingen aan bod. Deze applicaties bevatten opnieuw ingebouwde synthesizers en samplers, maar de musicus hoeft ze niet te bedienen volgens de conventionele draaiknoppen. In plaats daarvan wordt aan het touchscreen een x– en y–as toegewezen en kan de musicus zich vrij in het afgebakende veld bewegen. Een zeer treffende toepassing is Singing Fingers (2010).39 De applicatie bestaat uit twee functies. Enerzijds kan men tekenen op het scherm terwijl er in real-time samples worden gemaakt van wat de microfoons op dat moment registreren. De musicus neemt dus op een conventionele manier geluid of muziek op, maar kan tegelijkertijd kiezen welke symbolen en iconen gehanteerd worden om het geluid te visualiseren (figuur 3). Daarbij is de kleur van tekeningen die op het scherm verschijnen afhankelijk van de geregistreerde toonhoogte (frequentie) en is de dikte van de lijn
E. ROSENBAUM en J. SILVER, Singing Fingers, http://singingfingers.com/. [geraadpleegd op 3 maart 2013] 39
M O B I E L E M E D I A E N M U Z I E K | 17 evenredig met de intensiteit van het geluid. Anderzijds kan de musicus door de tekeningen opnieuw aan te raken, de opgenomen fragmenten weer afspelen en dat met een limiet van vijf simultane samples. De applicatie biedt de mogelijkheid om op een snelle en eenvoudige manier interactieve grafische partituren te creëren die een multicursaal karakter hebben. Multicursaliteit staat dan voor de niet-lineariteit van een bepaald concept en is een begrip dat zijn oorsprong vindt in de speltheorie.40 De speler, of in dit geval de uitvoerder-luisteraar, moet een kritische keuze maken tussen een aantal verschillende wandelpaden en die keuze zal het resultaat beïnvloeden.
Figuur 3: Singing Fingers. Bron: P. VAN VELDHOVEN, Singing Fingers, http://www.viralblog.com/mobile-and-apps
Ten slotte gaf Krebs een vijfde categorie aan die alle generatieve muziek bevat en die hij tevens omschreef met de term “soundtoys”. Deze applicaties geven de gebruikers zeer weinig controle over het muzikaal resultaat, omdat het behoorlijk onvoorspelbaar is hoe hun fysieke acties (de bewegingen op het scherm) verwerkt zullen worden. Toch gaat het niet om louter aleatorisch klinkende muziek, want de applicaties worden vaak gestuurd door zeer duidelijke algoritmes (precompositie). In Orbits (fig. 4) kan de gebruiker in een tweedimensionale ruimte partikels plaatsen die bewegen met een bepaalde richting, grootte en snelheid afhankelijk van beweging van de gebruiker. Wanneer de partikels in aanraking komen met elkaar, zullen ze klanken produceren die afhankelijk zijn van de grootte van de objecten.
40
G. DE MEYER en S. MALLIET, Spelen in Cyberspace, Leuven, Acco, 2007, p. 76, 85.
M O B I E L E M E D I A E N M U Z I E K | 18
Figuur 4: Orbits Bron: G. ESSL en M. ROHS, Interactivity for Mobile Music-Making, in Organised Sound, 14, 2, 2009, p. 197-207.
Hoewel Krebs een zeer transparante onderverdeling bewerkstelligt met deze categorisering, zijn er vaak raakpunten tussen de verschillende categorieën. Zo bezitten in zekere zin alle applicaties een interface die afgestemd is op het gebruik van een aanraakscherm. Naast deze verschillende categorieën die zich richten op de creatie van muziek, bestaan er uiteraard nog een reeks ondersteunende applicaties. Ten eerste zijn er applicaties waarin muzieknotatie centraal staat; zowel conventioneel notenschrift (Maestro, Ensemble Composer), akkoordsymbolen (iReal b of ChordPad), tablaturen (Guitar Tab Player) of zelfs via grafische elementen (Nymph Melody Creator, Chord Wizard). Sommige van deze applicaties zijn compatibel met hun computerequivalent, zoals de Remote Control for Sibelius of MuseScore Player. Ten tweede is er een verzameling applicaties beschikbaar, waarmee men audio kan opnemen en die men vervolgens kan bewerken of waaraan men geluidseffecten kan toevoegen. Hoewel microfoons van mobiele telefoons niet dezelfde kwaliteit bereiken als speciaal ontworpen digitale opnameapparaten, vormen ze wel een handig middel om snel geluiden te registreren. Bovendien zijn de meest recente mobiele telefoons uitgerust met twee of zelfs drie microfoons en een noise cancellation systeem. Met dat systeem worden omgevingsgeluiden buitengesloten, omdat de twee signalen (van de twee microfoons) van elkaar worden
M O B I E L E M E D I A E N M U Z I E K | 19 afgetrokken. Zo blijft enkel het sterkste signaal, de stem of muziek die men wil opnemen, over. 41 Daarnaast zijn er een aantal realtime analyseprogramma’s (bijvoorbeeld om FFT toe te passen) en controllers om het geluidsniveau in te stellen of het gebruik van samples te reguleren (bijvoorbeeld TouchOSC of een Max/MSP Control). Ten slotte bestaat er een groep didactische applicaties, zoals digitale metronomen, stemapparaten, applicatie voor gehoorvorming (bijvoorbeeld Music Theory Pocket Trainer of Eartrainer) en muzikale compendia (bijvoorbeeld iImprov - Chord/Scale Compendium of Fakebook).
3.2.2
I NTUÏTIEF EXPRESSIEF
INSTRUMENT
Sinds 2003 wordt er veel onderzoek geleverd rond het ontwikkelen van interactieve instrumenten die functioneren door middel van expressieve bewegingen van de uitvoerder. Het voorbije decennium werden er enorm veel verkennende projecten opgestart die de mogelijkheden van smartphones of tablets op deze manier trachten te ontdekken. Het merendeel van deze projecten is terug te vinden via de jaarlijkse NIME conferentie (Conference on New Interfaces for Musical Expression) die sinds 2001 gehouden wordt en de Mobile Music Workshop Series die van 2004 tot 2009 georganiseerd werd. Hoewel veel van deze projecten bij een onderzoekfase bleven, zijn er ook enkele doorgestroomd naar de markt. Deze applicaties zal ik hier ter illustratie aanhalen.
I N KAART BRENGEN VAN DE SENSOREN Om tot goede applicaties te komen die de bewegingen van uitvoerders op een duidelijke manier interpreteren, is het noodzakelijk om de technische mogelijkheden van de eerder opgesomde sensoren te kunnen inschatten. Een helder overzicht werd samengesteld door Georg Essl en Michael Rohs.42 Ze stelden een tweedimensionale ruimte op, waarin de sensoren worden voorgesteld naargelang hun kwaliteiten en beperkingen. Ten eerste werd vastgelegd welke waardeverandering ze meten: positie, snelheid of versnelling. Ik breidde het overzicht uit door ook de sensoren die omgevingsfactoren meten, voor te stellen (geluid, temperatuur, luchtdruk). Daarnaast wordt vastgelegd welke bewegingen kunnen worden gedetecteerd door de sensoren, M. JEUB, C. HERGLOTZ, C. NELKE, e.a., Noise Reduction for Dual-Microphone Mobile Phones Exploiting Power Level Differences, in IEEE International Conference on Acoustics, Speech, and Signal Processing, 2012, p. 1693-1696. 42 G. ESSL en M. ROHS, Interactivity for Mobile Music-Making, in Organised Sound, 14, 2, 2009, p.197-207. 41
M O B I E L E M E D I A E N M U Z I E K | 20 namelijk lineaire bewegingen of omwentelingsbewegingen, indien dit van toepassing is.43 Een derde parameter is de mate waarin de snelheid gemeten kan worden: is deze ongelimiteerd of gelimiteerd (de detectie overstijgt de bewegingssnelheid van de mens of niet). Daarnaast wordt er bepaald of de reikwijdte van de fysische interactie gelimiteerd of ongelimiteerd is. Ten slotte worden de sensoren ingedeeld naargelang de eigenschappen van hun gemeten waardes (relatief of absoluut).
Lineaire bewegingen of omwentelingsbewegingen doen uiteraard niet ter zake bij sensoren die omgevingsfactoren meten, zoals temperatuur, geluidsgolven of luchtdruk. 43
M O B I E L E M E D I A E N M U Z I E K | 21
Bewegingssensoren: 1 Accelerometer 2 Magnetometer 3 Gyroscoop 4 Beeldsensor 5 Beeldsensor
6 7 8 9 10 11
Optische bewegingsdetector Touchscreen Multitouchscreen Touchpad Capacitieve nabijheidssensor Infrarood LED
Omgevingssensoren: 12 Microfoon 13 Temperatuursensor 14 Barometer
Figuur 5: Visualisatie van de beperkingen en mogelijkheden van de sensoren op tablets en smartphones, gestaafd aan de hand van vier parameters (bewegingen, bereik, de vorm van de data en de gemeten waarden). Bron: G. ESSL en M. ROHS, Interactivity for Mobile Music-Making, in Organised Sound, 14, 2, 2009, p. 197-207, met toevoeging van omgevingsfactoren.
M O B I E L E M E D I A E N M U Z I E K | 22
M APPING TUSSEN DE SENSOREN EN DE MUZIKALE PARAMETERS Die indeling is van belang, omdat de waarden van de verschillende sensoren later aan een muzikale parameter zullen worden gekoppeld. Als de waarden absoluut zijn, kunnen ze veel sneller herhaald en bewaard worden. Ze situeren zich binnen een referentiekader en zullen door componisten het eenvoudigst gekoppeld worden aan absolute muzikale parameters, zoals toonhoogte en intensiteit.44 Voor relatieve waarden, zoals die van een touchpad of een versnellingsmeter, geldt dat ze zonder een referentiekader functioneren en telkens geïnterpreteerd worden ten opzichte van de vorige meting. Sinds 2010 zijn er een aantal systemen ontworpen die een eenvoudige koppeling tussen sensoren en parameters bewerkstelligen. Zo werkte de co-oprichter van Smule, Ge Wang, mee aan de Mobile Music toolkit (MoMu). Deze toolkit bevat een verzameling aan application programming interfaces (API) die speciaal ontwikkeld zijn om muziekapplicaties te creëren voor het besturingssysteem van de iPhone. Naast de toegang tot de sensoren van het apparaat biedt MoMu mogelijkheden voor real-time audio, audio synthese, filtering en FFT.45 De toolkit is vrijgegeven met een licentie voor opensourcesoftware, waardoor gebruikers de API’s zelf kunnen modificeren. Vervolgens verscheen in 2012 Sensynth, een interface waarmee de gemeten waardes van de sensoren op een smartphone verbonden kunnen worden met de parameters van geluidssynthese en geluidseffecten.46 Uiteraard kan niet elke sensor met elke parameter verbonden worden. Zo kan de frequentie van een geluidsgolf niet bepaald worden door een sensor die maar twee waarden geeft (bijvoorbeeld de nabijheidssensor). Verder is men ook bezig met de ontwikkeling van een embeddable versie van Pure Data (Libpd) die het mogelijk maakt om Pure Data als een sound engine in mobiele applicaties te gebruiken.47
H ET ONTWERP VAN DE INTERFACE Een zeer prominente applicatieontwikkelaar op dit moment is Smule, een bedrijf dat in 2008 opgericht werd in California en luisteraars een “sociale muzikale ervaring” wil bieden.48 Aan het
G. ESSL en M. ROHS, art. cit., p.199. N. J. BRYAN, J. HERRERA, J. OH, e.a., MoMu: A Mobile Music Toolkit, 2010, p. 174-177. 46 D. ASHBROOK, R. MCGEE en S. WHITE, SenSynth: a Mobile Application for Dynamic Sensor to Sound Mapping, in Proceedings NIME'12, 2012. 47 Libpd, http://puredata.info/downloads/libpd. [geraadpleegd op 20 januari 2013] 48 About Smule, in Smule, http://www.smule.com/about/. [geraadpleegd op 19 januari 2013] 44 45
M O B I E L E M E D I A E N M U Z I E K | 23 hoofd staan Jeff Smith, een doctoraatsstudent van Stanford University en Dr. Ge Wang die assistent professor is aan Stanford en gespecialiseerd is in mobile music. Een applicatie van Smule die de technologische en muzikale problemen bij het ontwerpen van zo’n interface verduidelijkt en tracht op te lossen, is Magic Fiddle. Ondanks het feit dat de applicatie sinds april 2012 niet meer wordt ondersteund, blijft ze een accuraat beeld geven van hoe een applicatie tot stand komt. Het doel van de applicatie is de optimalisatie van het design, waarbij de gebruiksvriendelijkheid van de interface en de muzikale expressiviteit centraal staan. Zo wil men tot een interactieve technologie komen waarmee de gebruikers de mobiele media als een extensie van zichzelf ervaren: “we hope to realize a tangible experience from our design of a musical instrument on the iPad by combining the physical and the virtual.” 49 Bij het programmeren van een dergelijk instrument, werden de ontwerpers met een aantal fundamentele problemen geconfronteerd. Deze problemen en hun potentiële oplossingen zal ik hier verduidelijken. Ten eerste boog men zich over de transformatie van een groot, driedimensionaal akoestisch instrument zoals een viool naar een virtuele, tweedimensionale vorm. Men moet in staat zijn om het instrument te bespelen op een veel kleiner vlak (de schermdiagonaal van de iPad meet 25 cm). Als men de conventionele ordening van de snaren wil behouden, zal de speler over minder ruimte beschikken voor de positionering van de vingers en het bestrijken van de snaren. De zeer precieze controle over het klankresultaat van een traditioneel strijkinstrument komt daardoor in het gedrang. Men was daarom genoodzaakt om alternatieven te vinden die voor een gelijkwaardige controle garant konden staan (cf. infra p. 25), maar met een groter speelcomfort. Om de ruimte van het scherm zo intelligent mogelijk te hanteren in Magic Fiddle, werden enkel de fysieke elementen overgenomen die instaan voor het bespelen – en niet het klinken – van de viool, namelijk de snaren met de toets en de snaren ter hoogte van de kam (bow region)(figuur 6).
G. WANG, J. OH en T. LIEBER, Designing for the iPad: Magic Fiddle, in Proceedings of the International Conference on New Interfaces for Musical Expression, 2011. Het overzicht dat ik hier presenteer is tevens op dit artikel gebaseerd. 49
M O B I E L E M E D I A E N M U Z I E K | 24
Figuur 6: Interface van Magic Fiddle en het storybook Bron: O. CHESLER, Wire to the Ear, http://www.wiretotheear.com/2010/11/11/smule-magic-fiddle/
Een tweede belangrijke stap in het designproces is de keuze voor de meest gepaste audiosynthese. De beweegredenen achter die keuze zijn een zo natuurlijk en expressief mogelijke klank, die aansluit bij de hoedanigheden van een aanraakscherm. Voor dat instrument waren er een aantal mogelijkheden. Ten eerste kon men gebruik maken van een aantal vooraf ontworpen audio programming interfaces (API’s). Zo overwogen Wang en Lieber voor Magic Fiddle onder andere de Synthesis Toolkit (STK) voor “bowed instrument”.50 Deze API’s zijn echter niet steeds afgestemd op de aanraakbewegingen bij het vioolspelen: omdat de synthese zodanig accuraat werkt, is het voor onervaren musici zeer moeilijk om een natuurlijke klank te produceren. Daarnaast kon men ook reeds bestaande soundfonts integreren, die weliswaar rechtstreeks importeerbaar zijn, maar vaak leiden tot een artificieel resultaat (er is bijvoorbeeld geen variatie in de vibratie van een toon). Wegens deze nadelen besloten Wang en Lieber om P. R. COOK en G. P. SCAVONE, The Synthesis Toolkit in C++, in Center for Computer Research in Music and Acoustics, https://ccrma.stanford.edu/software/stk/, 2012. [geraadpleegd op 23 maart 2013] 50
M O B I E L E M E D I A E N M U Z I E K | 25 eigen geluiden samen te stellen, door middel van commuted waveguid synthesis. Bij deze synthese wordt rekening gehouden met de wijze van excitatie, de resonator (in dit geval de klankkast van de viool), de luchtabsorptie en de weerklank van de ruimte. Men kan er dus een zeer buigzame klank mee creëren die niet per se hoeft te gelijken op de klank van een viool. De combinatie van de visuele elementen uit de interface met keuze van audi synthese leidt tot een eerste functioneel model, maar is niet afgestemd op de kwaliteiten van elk individu. Teneinde het controleverlies – dat het vlakke speelscherm met zich meebrengt – te compenseren, gingen de ontwerpers van Smule vervolgens op zoek naar extra functies of aanpasbare instellingen die niet mogelijk zijn op een akoestische viool. De snaren staan verticaal afgebeeld op de iPad (in plaats van horizontaal of diagonaal), zodat er een aanzienlijke ruimte voorzien is per noot en beginnende musici de toonhoogte beter kunnen controleren. Er wordt slechts gebruik gemaakt van drie snaren, om de afstand tussen de snaar en de rand van het touchscreen gemakkelijker te overbruggen. De meest intuïtieve manier van musiceren op een aanraakscherm is dat er een noot zal klinken wanneer men het scherm aanraakt op een bepaalde plaats, tot het moment dat men het scherm weer loslaat. Op een akoestische viool kan men de vingers echter al op voorhand positioneren en de hoek van de boog zal bepalen welke snaar wordt geëxciteerd. Aangezien dit niet mogelijk is op het tweedimensionale vlak van een tablet (elke snaar die men aanraakt is hoorbaar), namen de ontwerpers van Smule in beraad om een bow region per snaar te ontwerpen. Op die manier kan de musicus ook een open snaar aanstrijken of de vingers op voorhand klaarzetten. Ondanks het feit dat dat ontwerp dichter ligt bij de mechaniek van de akoestische viool, levert het een moeizame wijze van spelen op, omdat men simultaan de toonhoogte en boogstrijk van drie snaren moet controleren. De uiteindelijke versie van de applicatie bevat daarom slechts één strijkmechanisme, dat de aangeraakte snaren (simultaan) zal laten klinken, bij aanraking van dit mechanisme (figuur 6). Teneinde het gebruik van de applicatie te faciliteren, kan de gebruiker bovendien kiezen om met fretten te spelen, de snaren dichter of verder van de schermrand te plaatsen en instellen in welke mate de noten automatisch worden geïntoneerd volgens de gelijkzwevende stemming (de toonhoogte wordt omgebogen naar de dichtstbijzijnde noot). Tevens is er een reeks van composities en popnummers geïntegreerd, waaruit de musicus kan selecteren. Welke noten gespeeld moeten worden, wordt in real-time aangeduid met gekleurde symbolen langs de snaren (figuur 6). Ten slotte zijn er sterke pedagogische elementen ingevoegd in de vorm van een storybook (figuur 6). Het storybook werkt als een virtuele, interactieve muziekleraar die de beginnende gebruiker zal inleiden en motiveren bij het bespelen van Magic
M O B I E L E M E D I A E N M U Z I E K | 26 Fiddle. Dit gebeurt op een zeer persoonlijke manier, namelijk door een begeleidende stem en een virtueel handboek dat de gegevens van de musicus bijhoudt.
3.2.3
M OBIELE
ENSEMBLES
De enorme explosieve groei van applicaties en nieuwe instrumenten die ik zonet in zijn context plaatste, leidde tot verscheidene nieuw opgerichte ensembles die louter de mobiele telefoons en tablets als instrument bespelen. In 2007 werd aan de universiteit van Stanford door Ge Wang (de oprichter van het Stanford Laptop Orchestra en een van de mede-oprichters van Smule) het eerste telefoonensemble opgericht, genaamd Stanford Mobile Phone Orchestra (MoPho).51 Het MoPho werd later opgevolgd door verschillende andere universitaire mobiele ensembles, zoals het Helsinki MoPho (sinds 2008)52, het Michigan Mobile Phone Ensemble (sinds 2009), het KAIST Mobile Phone Orchestra uit Korea (sinds 2010)53 en het DigiEnsemble uit Berlijn (sinds 2010) dat in het volgende hoofdstuk als case study zal worden behandeld.
3.3
M UZIEK
VOOR DE LUISTE RAAR ALS UITVOERDER : EEN INTERACTIEF EN L OCATIE -
AFHANKELIJK GEGEVEN
Naast applicaties die functioneren binnen een traditionele uitvoeringscontext (componist, uitvoerder en een publiek) bestaat er een tweede groep applicaties die het uitvoeringsaspect verlegt naar de toehoorder. De luisteraar zal hierbij bepalen welke de precieze muzikale output van een mobiele applicatie zal zijn. Een vroegtijdig experiment is Location33 (2005), een Amerikaans project waarbij de luisteraar elke dag een eigen lied kan samenstellen door de combinatie van vooraf opgenomen muziekfragmenten die per dag wisselen. Elk muziekfragment is verbonden met één van de twintig knooppunten in Culver City (Californië). Wanneer de luisteraar in de buurt van een knooppunt komt (de locatie wordt voortdurend geüpdatet via GPS), zal het juiste fragment gestreamd worden. Omdat de luisterfragmenten telkens vernieuwd worden, is de luisteraar in
G. WANG, Stanford Mobile Phone Orchestra, http://mopho.stanford.edu/, 2010. [geraadpleegd op 11 januari 2013] 52 H. PETTINEN, An Interview with Henri Pettinen, the Founder of Helsinki Mobile Phone Orchestra (adapted from Interviews in Finnish), in Helsinki Mobile Phone Orchestra, http:// www.acoustics.hut.fi/projects/helsinkimopho/about.shtml. [geraadpleegd op 12 januari 2013] 53 KAMPO, KAIST Mobile Phone Orchestra, in Korea Advanced Institiute of Science and Technology, http://kampo.kaist.ac.kr/. [geraadpleegd op 12 januari 2013] 51
M O B I E L E M E D I A E N M U Z I E K | 27 staat om een album in zeven dagen samen te stellen. De luisteraar kan de liederen daarna in mp3-formaat downloaden. Voor Location33 verschenen er al een aantal gelijkaardige projecten (Sonic City, Ambient Addition…), maar deze maakten nog allemaal gebruik van voor de gelegenheid ontworpen hardware. Een tweede project, Tactical Sound Garden, werd in de loop van 2007 door Mark Shepard gecreëerd.54 Door middel van toegang tot het internet en een applicatie die de luisteraar gratis downloadt, kan men zelf geluiden uit de bibliotheek van de applicatie linken aan een zelfgekozen plaats en zo een “sound garden” creëren die toegankelijk is voor anderen: “The TSG Toolkit supports the creation of shared social spaces within which people collaborate on the cultivation of sonic environments”. Interactieve applicaties bieden verder een interessant alternatief voor de conventionele vorm waarin artiesten een album uitbrengen. In maart 2011 bracht het Amerikaanse duo Bluebrain uit Washington D.C. voor het eerst een album, genaamd The National Mall, uit als een applicatie voor iPhone. Het betreft een locatieafhankelijk programma dat ontworpen is voor de National Mall in Washington D.C. In hetzelfde jaar werd het album opgevolgd door Central Park (Listen to the Light), uiteraard ontworpen voor Central Park in New York. Ten slotte volgde er voorlopig nog een derde applicatie The Violet Crown dat figureerde op het South by Southwest festival in Austin. Voor elke applicatie werd het betreffende gebied ingedeeld in zeer verschillende zones die elk hun eigen muzikale inhoud werden toegewezen. De inhoud van de muzikale zones werd door Bluebrain gecomponeerd en in samenwerking met andere artiesten opgenomen. Via locatiedetectie wordt gecontroleerd in welke zone de luisteraar zich situeert en welke muziek de luisteraar dus zal horen. Op de grens tussen twee zones zal de muziek deels overlappen. Door verschillende zones te gebruiken en niet een vaste opeenvolging van muzieknummers, gaf Bluebrain
hun album een multicursaal karakter, zoals men dit meestal in video games
terugvindt. De luisteraar zal, met andere woorden, het album niet chronologisch, maar op een geografische manier exploreren. De non-lineaire benadering van muziek staat ook centraal in de applicatie (album) n van de Spaans-Uruguayaanse zanger Jorge Drexler, die in samenwerking met Samsung in 2012 ontwikkeld werd. “N” staat voor het aantal van verschillende versies die de luisteraar kan kiezen, in de tekst van de strofes, de instrumenten die spelen en de arrangementen van het thema, met een totaal van 1027 mogelijkheden voor het eerste nummer. Drexler spreekt dan ook niet over een applicatie, maar een “aplicanción” dat staat voor een samentrekking van M. SHEPARD, Agenda, in Tactical Sound Garden, http://www.tacticalsoundgarden.net/. [geraadpleegd op 25 januari 2013] 54
M O B I E L E M E D I A E N M U Z I E K | 28 “aplicación” (applicatie) en “canción” (lied).55 Het album bestaat uit drie nummers die allemaal volgens verschillende parameters functioneren. Het eerste nummer Room 316 gaat over een ontmoeting tussen twee onbekenden in een hotelkamer; de luisteraar beslist zelf hoe deze ontmoeting verloopt, door de gezongen tekst in real-time aan te passen via een draaiend rad (figuur 7). De luisteraar heeft na afloop van het lied de mogelijkheid om zijn versie op te slaan en later opnieuw te beluisteren. Het tweede nummer heet Driftwood en is een locatieafhankelijk nummer. Telkens als men de applicatie opstart wordt een nieuwe instrumentgroep gedeblokkeerd; alleen de vocale partij is van het begin beschikbaar. Om een andere instrumentengroep te deblokkeren, moet de gebruiker zich 500 m verplaatsen. Daarna kan de luisteraar kiezen welke groep(en) wanneer spelen. De werking van de applicatie stemt overeen met de inhoud van de tekst, namelijk dat de keuzes die we maken, ons een identiteit bezorgen. Het derde nummer Décima to the Power of Ten is ten slotte tijdsafhankelijk. Het moment van de dag bepaalt het aantal strofes die afgespeeld worden (tussen een en tien strofes). Grafisch bestaat het nummer uit zestien driehoeken in de vorm van één driehoek. Door één van deze kleinere driehoeken te selecteren, verandert de luisteraar de zanger van het volgende vers. De titel “décima” verwijst naar een 16e-eeuwse Spaanstalige vorm van poëzie: een lied bestaande uit tien octosyllabische verzen.
J. DREXLER, Jorge Drexler y Samsung presentan "n", una innovadora aplicación musical, in Jorge Drexler, http://www.jorgedrexler.com/ ficha_noticia.asp?nid=2373&a=79&hash=fffaee5c594343a08b25c74468b137d8, 25 november 2012. [geraadpleegd op 28 januari 2013] 55
M O B I E L E M E D I A E N M U Z I E K | 29
Figuur 7: Drie verschillende composities en hun gebruikersinterface uit de applicatie n (Jorge Drexler)
De zopas beschreven applicaties vertonen telkens een nieuwe grafische en auditieve uitwerking, maar ze steunen wel op een gemeenschappelijke factor: de betrokkenheid van of interactie met het publiek. Daardoor transformeert het publiek van luisteraars die doorgaans in een concert op
M O B I E L E M E D I A E N M U Z I E K | 30 een afstand toehoren, tot actieve deelnemers die over een zekere artistieke keuzevrijheid beschikken. Het interactieve karakter van deze applicaties kan nog verder worden doorgetrokken door een spelelement te introduceren, zoals ik in de volgende categorie zal illustreren.
M O B I E L E M E D I A E N M U Z I E K | 31
3.4
M OBILE
MUSIC VOOR DE LUISTERAAR ALS SPELE R :
A UGMENTED
REALITY AUDIO IN
VIDEOSPELLEN
Muziek en meer algemeen geluid speelt tevens een belangrijke rol binnen videogames om bij de spelers een grotere toestand van immersie te veroorzaken. Sinds enkele jaren wordt die immersie niet louter beoogd door een vooraf geconcipieerde en vastgelegde soundtrack en geluidseffecten, maar ook door zogenoemde “augmented reality audio” (ARA). ARA maakt deel uit van “augmented reality” (AR), waarin de fysieke omgeving in real-time verrijkt wordt met andere zintuiglijke effecten afkomstig van digitale media. Dit gebeurt meestal door een virtuele laag van audio en of video te synchroniseren met de werkelijkheid, aan de hand van 3D positionering van virtuele objecten. Dit virtuele systeem kan zowel reactief als interactief zijn. In tegenstelling tot conventionele videogames die beschikken over een volledig virtuele wereld, zal de speler de band met de werkelijkheid behouden, terwijl er toch sprake is van nieuwe sensoriële manipulatie.56 De term “augmented reality” werd in 1992 geïntroduceerd door de onderzoekers Tom Caudell en David Mizell.57 Voor het begin van de 21e eeuw werd AR enkel geïntegreerd in computers of speciaal ontworpen hardware; pas sinds 2001 werden de eerste applicaties ontworpen voor mobiele telefoons. Dit was te wijten aan de locatiedetectie, beeldsensor en wifi die voor 2000 nog ontbraken op een mobiele telefoon. Vandaag de dag wordt AR gehanteerd voor zeer gevarieerde toepassingen. Zo speelt augmented reality een belangrijke rol binnen het toerisme om het publiek een aangepaste gids te kunnen bieden. Belangrijke plaatsen kunnen zo aangevuld worden met auditieve of visuele informatie en er kunnen bijvoorbeeld 3D-modellen getoond worden van reeds verdwenen of nog niet geconstrueerde gebouwen. Enkele duidelijke voorbeelden van applicaties met een meer toeristische invalshoek zijn Layar, Wikitude en noTours. Die laatste zal in het vierde hoofdstuk nog concreter aan bod komen. Een andere prominente toepassing is het detecteren van woorden in andere talen via een beeldsensor en een vertaling projecteren op de beelden. Een nieuw, succesvol bedrijf dat zich uitsluitend toelegt op het ontwerpen van games en applicaties met ARA en “smart music players” is RjDj uit Londen. Sinds 1999 doet het bedrijf
J. ROZIER, K. KARAHALIOS en J. DONATH, Hear & There: An Augmented Reality System of Linked Audio, in Proceedings of the 6th International Conference on Auditory Display, Atlanta, VSA, 2000. 57 T. P. CAUDELL en D. W. MIZELL, Augmented Reality: An Application of HeadsUp Display Technology to Manual Manufacturing Processes, in Proceedings of 1992 IEEE Hawaii International Conference on Systems Sciences, Kaual, Hawai, 1992, p. 659-669. 56
M O B I E L E M E D I A E N M U Z I E K | 32 onderzoek naar een nieuw geluidsproject dat het brein auditief wil stimuleren, door middel van sensoriële input uit de werkelijkheid.58 Zo wil RjDj de luisteraar een andere perceptie van de werkelijkheid bieden. In 2008 verscheen de eerste applicatie van RjDj, een reactieve muziekspeler.59 In plaats van zelf nummers te importeren, kan de luisteraar een keuze maken tussen een aantal “music scenes”. Elke scène bevat een uniek algoritme dat afhankelijk is van de data die afkomstig zijn van de sensoren. De sensoren vangen geluiden, bewegingen of beelden op uit de werkelijkheid en het algoritme zal deze verwerken tot een real-time compositie. Zo kunnen storende omgevingsgeluiden die opgenomen worden met de microfoon(s) bewerkt worden tot muzikale geluiden, bijvoorbeeld door ze te loopen. De gebruiker kan zijn compositie ook opnemen en ze later delen met anderen of herbeluisteren. De idee om omgevingsgeluiden en bewegingen van de luisteraar om te zetten in muziek bleef een belangrijk concept in de spelletjes die RjDj daarna ontwikkelde. In deze games zal het concept ten dienste staan van de immersie; de elektroakoestische geluiden worden gepercipieerd als een extensie van de alledaagse geluiden. In 2011 creëerde RjDj “Inception the app”, als vervolg op de gelijknamige film. Het spel bestaat uit een verzameling “dromen” die de speler zelf moet deblokkeren: (1) reverie dream, (2) still dream, (3) full moon dream, (4) travelling dream, (5) action dream, (6) sunshine dream, (7) Africa dream, (8) quiet dream, (9) sleep dream, (10) limbo, (11) reward dream, (12) airport dream en (13) shared dream. Elke droom kan niet op elke moment, situatie of locatie gedeblokkeerd worden, zo moet de speler bijvoorbeeld intensief in beweging zijn om de “action dream” te kunnen activeren of moet er veel zonlicht zijn om de “sunshine dream” te activeren.
RjDj, Dimension The Sonic Adventure Game, in RjDj, http://dimensions.rjdj.me/download/. [geraadpleegd op 7 februari 2013] 59 RjDj, More than An App, in RjDj, http://blog.rjdj.me/more-than-an-app, september 2012. [geraadpleegd op 8 februari 2013] Sinds oktober 2012 wordt de applicatie niet meer geüpdated en kan ze niet meer gedownload worden van iTunes. Voor het Android-besturingssysteem bestaat er een gelijkaardige applicatie, Scene-player. 58
C A S E S T U D I E S | 33
4 CASESTUDIES
1
INLEIDING
2
HISTORISCH OVERZICHT
3
MOBIELE MEDIA EN MUZIEK
4
CASESTUDIES
5
KRITISCHE REFLECTIE
6
SLOTBESCHOUWINGEN
In tegenstelling tot het vorige hoofdstuk, waarin ik een zo duidelijk mogelijk overzicht van mobile music voor ogen had, zal ik in dit hoofdstuk die categorieën verder toetsen door middel van een aantal concrete case studies. Het spreekt voor zich dat het niet eenvoudig is om een selectie te maken uit het zo snel evoluerend landschap van dit genre. Wat vandaag de dag als innoverend en waardevol wordt beschouwd, is misschien morgen irrelevant. Toch heb ik een aantal afgebakende criteria gehandhaafd bij dit selectieproces.
4.1
S ELECTIECRITERIA
Ten eerste gaat het om een aantal projecten die geografisch dicht bij ons staan. De componisten en musici staan binnen de Europese cultuurtraditie en bouwen in hun werk duidelijk voort op de westerse muziekgeschiedenis. Door dit als uitgangspunt te nemen, kan men doeltreffend nagaan wat de impact is van mobiele media op de hedendaagse kunstmuziek. Bovendien kon er zo probleemloos gecommuniceerd worden met de componisten en musici die aan de basis staan van de projecten. Daarnaast kies ik voor recente projecten die in 2013 hun intrede deden of zeer actief zijn.
4.2
M ETHODOLOGIE
Gezien de projecten zo uiteenlopend zijn en er in de literatuur nog geen specifieke analysemethodes ontwikkeld zijn voor mobiele muziek, zijn de analyses die hier gepresenteerd zullen worden zeer heterogeen en niet noodzakelijk de meest geschikte. Wel zullen er duidelijk twee invalshoeken aan bod komen, namelijk een studie van de meer technologische aspecten die deel uitmaakt van een genetische analyse – en een analyse van het muzikaal materiaal. De
C A S E S T U D I E S | 34 genetische analyse heeft als centrale vragen hoe de composities of applicaties tot stand gekomen zijn en hoe ze door de luisteraar, muzikant of componist ervaren worden.
4.3
C ASESTUDY I: O STINATO
FÜR
8 I P ODS (2011)
De eerste casestudy focust op de eerste categorie uit het vorige hoofdstuk, namelijk de uitvoering van muziek voor mobiele media. Het uitgangspunt daarbij is een contemporaine compositie die via één of meerdere applicaties door acht smartphones of tablets wordt uitgevoerd of één toestel indien men gebruik maakt van “opnamesporen”. De opname die ik als referentie hanteer is die van het DigiEnsemble (dat ik reeds in het tweede hoofdstuk vermeldde). Dit ensemble in volle ontwikkeling gaat bij het uitvoeren van instrumentale muziek uitsluitend te werk met mobiele media en vormt een toonbeeld van hoe men met smartphones kan musiceren.
4.3.1
B IOGRAFIE U WE S CHAMBUREK
De compositie Ostinato für 8 iPods60 werd reeds in 2011 door Uwe Schamburek (1987) geschreven. Schamburek werd geboren in Villingen-Schwenningen (Duitsland) en maakt sinds de oprichting deel uit van het DigiEnsemble. Van 2007 tot 2011 studeerde hij kerkmuziek aan de Üniversität der Künste in Berlijn. Daarna studeerde hij orgel bij Leo van Doeselaar, Paolo Crivellaro en Erwin Wiersingna. 61 Schamburek is organist bij verscheidene christelijke gemeenschappen, ondermeer in de Osterkirche en de katholieke kerk Sankt Ludwig te Berlijn. In zijn eigen composities vertrekt Schamburek vaak van oude muziek die hij vervolgens laat alterneren of in elkaar overvloeien met zelf gecomponeerde delen.
4.3.2
H ET D IGI E NSEMBLE
Het DigiEnsemble werd in 2010 door muziekpedagoog en operazanger Matthias Krebs opgericht aan de Universität der Kunste in Berlijn. Het ensemble, dat eerder bekend was onder de naam “iPods” verwijst in deze titel naar de iPod Touch, de tablet computer die de leden van het DigiEnsemble voornamelijk bespelen tijdens hun concerten. 61 Konzertprogramm Collegium Ioanneum, in Collegium Ioanneum, http://www.collegiumioanneum.de/wp-content/uploads/2012/10/PROGRAMM.pdf, 3 juni 2012. [geraadpleegd op 13 juli 2013] 60
C A S E S T U D I E S | 35 DigiMediaL – iEnsemble, ontstond als een onderzoeksproject dat verbonden is aan de eerdergenoemde universiteit. Ondertussen wil het tevens steeds meer als een professioneel ensemble functioneren.62 Krebs vindt het belangrijk om met de nieuwe media de westerse muzikale canon te herontdekken, zodat deze enerzijds onderworpen wordt aan een herevaluatie en zodat men anderzijds een beter zicht krijgt op het artistieke potentieel van mobiele media: Nach anfänglichen Schwierigkeiten, die Vielfalt an Klängen und Spielkonzepten aufeinander abzustimmen, haben sich die Musikerinnen und Musiker darauf geeinigt, ihre Entdeckungsreise bei bekannten Musikstilen zu beginnen. So entstehen Musikstücke aus den unterschiedlichsten Stilrichtungen zwischen “klassischem” Streichorchester bis hin zu Heavy Metal.
Deze keuze leidde de voorbije drie jaar tot een zeer gedifferentieerd programma, waaraan ondertussen een aantal hedendaagse composities werden toegevoegd, die specifiek voor het ensemble gecomponeerd zijn. In 2011 en 2012 bracht het ensemble vooral populaire nummers, zoals Starlight (2006) van Muse en I Need a Dollar (2010) van Aloe Bacc. Daarnaast voerden ze zeer bekende klassieke composities uit, onder andere Eduard Griegs Morgenstimmung (in samenwerking met het MDRSinfonieorchester). Zo deed het ensemble ook een project rond bekende aria’s, waarbij ze een moderne interpretatie leverden van bijvoorbeeld Ombra Mai Fu uit Händels opera Xerxes en Großer Herr und starker König uit Johann Sebastian Bach’s Weihnachtsoratorium. Sinds 2012 bracht het ensemble in een aantal concerten eveneens nieuwe composities of klankcollages die bepaalde klassieke werken als uitgangspunt namen. In 2011 werden ook de eerste composities voor het ensemble gecomponeerd. Met deze hedendaagse composities nam het ensemble deel aan het Klangkunstfest in Berlijn in 2011. 63 Aanvankelijk wilde ik graag één van deze nieuwe compositieopdrachten analyseren, om zo te kunnen bevragen welke nieuwe artistieke benaderingen er mogelijk zijn met de nieuwe media. Gezien er echter geen goede opnames en partituren beschikbaar werden gesteld door het ensemble en op verzoek van Matthias Krebs, koos ik ervoor om een hedendaagse compositie te
KREBS, DigiEnsemble Berlin, http://digiensemble.de, juni 2013. [geraadpleegd op 3 juli 2013] Internationales Klangkunstfest Berlin, http://www.inter-art-project.de/ InternationalesKlangkunstfest11%20NEU.html, oktober 2011. [geraadpleegd op 3 juli 2013] 62 63
C A S E S T U D I E S | 36 analyseren waarin de speelwijze (of beter het klankresultaat) van conventionele instrumenten wordt benaderd en waarvan de partituur en opname vrij beschikbaar is.64
4.3.3
O STINATO
FÜR
8 I P ODS
Het werk mag men beschouwen als een neoclassicistische compositie – de componist spreekt zelf over pseudo-klassiek – in die zin dat het om een imitatie gaat van de stijl van het ostinato uit 17e- of 18e-eeuwse composities. Ook voor de keuze van de muziekinstrumenten op de tablets wordt rekening gehouden met het instrumentarium van deze historische periode. Het ensemble tracht namelijk om de speelwijze (of beter het klankresultaat) van deze instrumenten te benaderen. Vooraleer ik een analyse van de uitvoering zal maken, zal ik daarom eerst de applicatie toelichten die het ensemble tijdens de uitvoering gebruikt.
T HUMB J AM De klank van de akoestische instrumenten tracht het ensemble te realiseren met de applicatie ThumbJam voor iPhone, iPad en iPod Touch. Het succes van de applicatie is voornamelijk te danken aan haar veelzijdige mogelijkheden en haar nieuwe concept van de expressieve grafische gebruikersinterface. De applicatie biedt twee belangrijke diensten aan. Enerzijds werkt de applicatie als een opnamestudio, zodat de componist of musicus zijn eigen nummers kan spelen en simultaan opnemen (zoals aangeduid met nummers 14, 15 en 16 op onderstaande figuur). Daarvoor wordt een geïntegreerde selectie instrumenten aangeboden (gebaseerd op samples), die standaard over meer dan 40 zowel “akoestische” als elektronische instrumenten beschikt van hoge klankkwaliteit.65 Deze instrumenten nemen slechts enkele megabytes opslagruimte in beslag, waardoor ze bijzonder adequaat zijn voor een medium dat over aanzienlijk minder opslagcapaciteit beschikt dan een desktop computer. Om dit mogelijk te maken werden de samples door digitale synthese gegenereerd (ze zijn dus niet van akoestische oorsprong, omdat dit te veel opslagcapaciteit in beslag zou nemen). Door verbinding met een wifi-netwerk kan de
De partituur is beschikbaar via de website van het DigiEnsemble (http://digiensemble.de/ostinato) onder een Creative Commons licentie, maar is ook als bijlage toegevoegd achteraan. De opname van de compositie kan men beluisteren via de webpagina van deze masterproef. 65 ThumbJam, http://www.thumbjam.com/, 2013. [geraadpleegd op 3 juli 2013] 64
C A S E S T U D I E S | 37 gebruiker ook andere instrumenten, toonladders of loops downloaden naar zijn toestel. Men kan de verschillende lagen muziek vervolgens opnemen in een aantal “tracks”. Het is echter niet mogelijk om deze daarna nog grondig te wijzigen en ook de verschillende opties om de muziek te mixen zijn vrij beperkt. De mogelijkheid tot opnemen gaat gepaard met veel import- en exportmogelijkheden. Om je smartphone of tablet met andere applicaties of toestellen te combineren, kan men gebruik maken van de communicatiestandaard MIDI of de extra applicatie OSC. Men kan de opname bewaren in allerlei digitale geluidsformaten en de bestanden kan men meteen uploaden naar verschillende sociale media of webservers om de muziek te delen met anderen. Anderzijds gaat het om een applicatie die zeer geschikt is om mobiele media te bespelen tijdens muziekvoorstellingen. De applicatie kent namelijk een zeer ergonomische grafische gebruikersinterface (GUI), zoals voorgesteld is op onderstaande figuur. De GUI bestaat uit twee zones, namelijk een menu aan de linkerzijde van het aanraakscherm dat de gebruiker doorgaans met zijn linkerhand bedient en een speelzone over de rest van het scherm dat de gebruiker met zijn rechterhand en eventueel zijn linkerhand bestuurt. Het zijmenu is zodanig opgesteld dat de gebruiker snel instellingen kan veranderen tijdens de uitvoering van een compositie. Zo is er een snelknop om moeiteloos over te schakelen naar een secundair instrument dat vooraf werd geselecteerd. Daarnaast kan de gebruiker met “plus” en “min” kiezen welke octaven actief zijn (aangeduid door cijfers naast de notennamen) en de breedte van de toetsen aanpassen (uiteraard is dit omgekeerd evenredig met het aantal toetsen dat wordt getoond). Bovendien kan de gebruiker snel wisselen tussen een aantal speelmodes, zoals staccato, legato of glissandi. De speelzone bestaat uit een verticale opeenvolging van virtuele toetsen met aan de rechterzijde de notenbenaming in letters (figuur 8). Wat bijzonder is aan deze applicatie is dat niet alle chromatische toetsen in de speelzone worden weergegeven. Er wordt verwacht van de musicus dat hij een bepaalde modus of toonladder (of meerdere) selecteert, zodat men minder moeite heeft om de juiste noten aan te klikken op het scherm. Er is reeds een grote collectie toonladders en modi aanwezig in de applicatie, gaande van allerlei bluestoonladders tot Messiaens modi, maar de musicus kan ook zijn eigen toonverzamelingen toevoegen. Dit impliceert dat de applicatie dus niet enkel functioneert voor tonale of modale muziek, maar ook voor atonale en zelfs microtonale muziek (cf. infra). De toetsen gaan bovendien gepaard met een specifieke kleurcodering die de musicus assisteert om sneller te kunnen spelen: de grondnoot krijgt een donkerrode toets, de kwart en kwint zijn respectievelijk blauw en groen.
Tijdens een
groepsperformance kunnen de geselecteerde toonaarden, tempi of instrumenten ten slotte gauw
C A S E S T U D I E S | 38 gedeeld worden met andere musici door een bluetoothverbinding tussen de verschillende mobiele apparaten. Het meest vernieuwende aspect van deze gebruikersinterface schuilt ongetwijfeld in het optionele gebruik van lichamelijke gestes om de expressiviteit van een klank aan te passen. Door de metingen van de rotatiesensor aan te wenden om muzikale parameters te sturen, kan de gebruiker op een zeer natuurlijke manier muziek maken en hoeft niet alles via het touchscreen bestuurd te worden. In figuur 9 wordt getoond hoe het volume, het panoramische karakter of de pitch bend van een klank kan bediend worden door het toestel om de verticale of horizontale as te draaien. Deze parameters kunnen uiteraard ook bediend worden door meer naar links, rechts, omhoog of omlaag te glijden op de toets. Er kan ook een vibrato of tremolo toegevoegd worden door het toestel op en neer te schudden, waarbij de frequentie van de beweging overeen komt met die van de vibrato.
C A S E S T U D I E S | 39
Figuur 8: De grafische gebruikersinterface van ThumbJam
C A S E S T U D I E S | 40
Figuur 9: Controle van optionele muzikale parameters via bewegingen van het toestel
O PSTELLING Met deze compositie wil Schamburek de flexibiliteit van mobiele media aantonen. De compositie is – zoals deze masterproef – een onderzoek naar de mogelijkheden en de beperkingen van deze media om muziek te maken. De compositie kan in een conventionele concertopstelling uitgevoerd worden, waarbij de leden van het ensemble uiteraard het oogcontact met elkaar moeten kunnen behouden. De verschillende mobiele toestellen worden bij voorkeur verbonden met een mengpaneel, zodat de verschillende intensiteitsniveaus beter op elkaar zijn afgestemd. Gezien de toetsen van de toonhoogtes bij ThumbJam nog steeds in het tweedimensionale vlak van het aanraakscherm moeten bespeeld worden, zonder enige tactiele aanwijzing, horen de uitvoerders de partituur van de compositie goed te memoriseren.
Het is mogelijk dat
Schamburek de melodieën en ritmes zeer eenvoudig hield, omwille van deze ingrijpende consequentie van het aanraakscherm. Ten slotte is het aangeraden dat de uitvoerders de bewegingen van het toestel volgens de verschillende assen goed instuderen, zodat een precieze controle van de muzikale parameters mogelijk is.
C A S E S T U D I E S | 41
U ITVOERINGSANALYSE Het ostinato bestaat uit twee frasen van telkens acht maten. Het werk staat in sol klein, maar deze toonaard komt in verschillende vormen voor. Concreet betekent dit dat hobo, eerste dwarsfluit, eerste viool en altviool Thumbjam kunnen instellen op sol klein harmonisch (met fa kruis) en de tweede dwarsfluit op sol klein (zonder leidnoot). De cello zal spelen in sol dorisch (met mi hersteld) en de tweede viool en contrabas zullen re klein harmonisch met verlaagde tweede trap (napolitaans) instellen. De ambitus van elke stem bedraagt maximaal een none in dit werk, dus er hoeven hoogstens twee octaven getoond te worden op het aanraakscherm. Dit betekent dat de toetsen een aanzienlijke breedte hebben, wat het speelcomfort vergroot. In de opname van het DigiEnsemble kan men duidelijk zien hoe de crescendi en decrescendi verwezenlijkt worden door de iPod langs de verticale as te draaien. Ook de dynamische nuances per noot worden zo uitgevoerd. Omdat het aanraakscherm met verschillende vingers tegelijk bespeeld mag worden, en per toets meerdere noten kunnen klinken, kan de musicus ook tussen twee dezelfde noten feilloos een legatoboog creëren. In plaats van enkel het volume over te laten aan de sensoren, had het ensemble ook nog persoonlijke vibrato kunnen toevoegen door het instrument te bewegen66.
4.4
C ASESTUDY II: I N Y OUR O WN T IME (2013)
4.4.1 David
Collier
B IOGRAFIE D AVID C OLLIER (1987)
is
een
jonge
Ierse
componist
die
een
bachelor
in
de
ingenieurswetenschappen (mechatronica) volgde en een onderzoeksmaster in muziek- en mediatechnologie behaalde.67 Het is dan ook niet verwonderlijk dat het samengaan van kunst en technologie centraal staat in het werk van Collier. Voor Collier aan de slag ging met mobiele media stichtte hij mee het Dublin Laptop Orchestra68, waar hij zijn eerste composities voor schreef. Daarnaast maakt Collier deel uit van het Irish Composer’s Collective, de Association of Irish Composers en het Contemporary Music Centre.
De vibrato die in de vioolpartij op de opname te horen is, was al opgenomen in het gesamplede instrument en werd bijgevolg niet toegevoegd door de uitvoerder. 67 D. COLLIER, Bio, http://davidcollier.ie/index.php/about, juni 2013. [geraadpleegd op 3 juli 2013] 68 Dublin Laptop Orchestra, http://www.dublinlaptoporchestra.com/about.html. [geraadpleegd op 3 juli 2013] 66
C A S E S T U D I E S | 42 Collier werd in zijn muzikale ideeën vooral beïnvloed door het erfgoed van het minimalisme en de eenvoud in de muziek van Arvo Pärt. Bovendien voelde Collier zich aangesproken door de nieuwe functies van muziek die werden aangereikt door ambient music en de muzikale atmosfeer die daarin werd bereikt door componisten zoals Brian Eno. Het waren deze elementen die David Collier in zijn eerste adaptieve compositie In Your Own Time (IYOT) trachtte te verwezenlijken.
4.4.2
I N Y OUR O WN T IME
In Your Own Time (2013) is een reactieve compositie in de gedaante van een applicatie voor smartphone, die oorspronkelijk geconcipieerd werd voor een thesis rond locatieve muziek69. De applicatie die hieruit voortkwam sluit aan bij de tweede categorie die ik in het vorige hoofdstuk besprak, namelijk de creatie van composities die aan de luisteraar een assertieve rol willen toebedelen door de participatie in compositorische keuzes. De muzikale analyse die hieronder wordt gepresenteerd is deels gebaseerd op Colliers eigen geschriften 70 en deels op de correspondentie die ik voerde met de componist.
O PZET David
Collier
reageert
in
zijn
geschriften
sterk
tegen
de
componisten
en
computerwetenschappers die de mobiele media in hun werk slechts vanuit de technologisch vernieuwende aspecten benaderen, zonder in de eerste plaats rekening te houden met de artistieke consequenties: The locative musical experience can at times rely too much on novelty as its unique point with the result that the musical elements are not exploited to their full [artistic] potential. […] This creates a scenario where the experience can have an instant appeal due to its novelty, but no sustaining appeal through the music created i.e. the listener tries the experience and finds it interesting but once this initial excitement has passed the experience does not contain enough to warrant further listens.71
D. COLLIER, In Your Own Time: A Mobile Music Composition, Tritinity College Dublin, Dublin, 2012. 70 COLLIER, o.c., 2012. D. COLLIER, In Your Own Time, http://www.inyourowntime.net/, april 2013. [geraadpleegd op 7 juli 2013] COLLIER, David Collier, http://davidcollier.ie/index.php. [geraadpleegd op 5 juli 2013] 71 COLLIER, o.c., 2012, p.2. 69
C A S E S T U D I E S | 43 Een muzikaal werk dat louter gebaseerd is op zo’n teleologisch concept belemmert de luisteraar – die in zekere zin steeds op zoek is naar een directe ervaring van het schone of het sublieme – om een immersieve beleving te hebben. Met IYOT wil Collier daarom een compositie creëren die zich enerzijds tussen een conventionele opname en een live concertuitvoering begeeft en zich anderzijds onderscheidt van een virtueel instrument of geluidsinstallatie.
V OORSTELLING VAN HET MUZIKALE MATERIAAL Allereerst zal ik de muzikale parameters opsplitsen en hen afzonderlijk bespreken. De parameters vorm, dynamiek, melodie en de totale tijdsduur zijn op voorhand gedefinieerd, terwijl de muzikale parameters klankkleur, ritme en tempo gekarakteriseerd worden door onbepaaldheid, of beter door aanpassing aan de luisteraar. Het is dan ook voor deze parameters dat de sensoren van het mobiele toestel een belangrijke rol zullen spelen. Collier onderstreept het belang van de mate waarin er nog kritische keuzes moeten gemaakt worden door de luisteraar: The balance between musical indeterminacy and composition is a distinguishing feature of Mobile Music and will ultimately come down to an aesthetic choice by the composer. 72
De interactiviteit die eigen is aan mobiele media zal steeds vragen om een aantal muzikale parameters onderhevig te laten zijn aan onbepaaldheid. Hoe dat kan worden toegepast, onderzocht Collier met In Your Own Time. (A) V ORM EN TIJDSDUUR
De compositie duurt ongeveer 7’15’’, een lengte die tijdens iedere uitvoering dezelfde zal blijven ongeacht de verschillende waarden die de onbepaalde paramaters zullen krijgen. De compositie bestaat uit één groot ABA’-vormschema dat opnieuw constant blijft tijdens elke uitvoering. Ieder deel uit dit vormschema werd gebaseerd op een bepaald canonisch principe. Het gebruik van een canon bevestigt het minimalistische idee om zo veel mogelijk uit te componeren met zo weinig mogelijk muzikaal materiaal.73 Het A-deel is een imitatiecanon bestaande uit één melodie die herhaald wordt met vijf verschillende inzetten. Hoewel de inzetten telkens op eenzelfde tijdsinterval van elkaar komen, namelijk elke 15 seconden, is de verticale synchronisatie tussen de melodieën telkens variabel. 72 73
COLLIER, o.c., 2012, p.22. COLLIER, o.c., 2012, p.23.
C A S E S T U D I E S | 44 Elke keer de melodie terugkomt in een andere “stem” wordt ze immers met een andere snelheid afgespeeld, die recht evenredig is met de bewegingssnelheid van de luisteraar (gemeten met een versnellingsmeter die op elk toestel aanwezig is). De tempi worden vastgelegd door de in realtime gemeten waarden van de versnellingsmeter op het toestel te analyseren en te verwerken. Beknopt samengevat worden de versnellingswaardes in de tijd gezuiverd door een low-pass filter, zodat onbruikbare waardes verwijderd worden en enkel de curve met voetstappen overblijft.74 De waardes van de versnellingsmeter worden telkens automatisch afgelezen door de applicatie en de berekening van het correcte tempo gebeurt volledig achter de schermen van de applicatie. Wanneer het A-deel op het einde van het werk terugkeert – met hetzelfde tempomechanisme – kan men dus spreken over een brugvorm, omdat de canon met dezelfde opbouw opnieuw terugkeert.75 In het B-deel wordt de imitatiecanon gecontrasteerd door een echte mensuratiecanon, zoals we die ook in werken van Arvo Pärt terugvinden. Voor Collier was Cantus: In Memoriam Benjamin Britten (1977) een rechtstreekse inspiratie. Hij neemt het texturele additieve proces over om muziek te creëren die de luisteraar volledig omringt. De vijf lagen zetten op hetzelfde moment in, maar zullen op een verschillend, vooraf vastgelegd, tempo worden afgespeeld (zie de aanduidingen op figuur 11). (B) M ELODIE
In figuur 10 wordt het thema van het A-deel weergegeven. Het betreft een diatonische melodie in re frygisch76 zonder rustpunten (geen stilstand op de tonica). Ook hier is er een gelijkenis met Pärts compositie, die ook een modale in plaats van een tonale basis koos. De melodie is opgebouwd uit een kwint (sol, la, sib, do re), zodat door middel van transpositie op de dominant la (do, re, mib, fa, sol) de hele toonladder aan bod komt. De opeenvolgende inzetten gebeuren telkens in een ander register: eengestreepte octaaf op la, tweegestreepte octaaf op re, eengestreepte octaaf op re, tweegestreepte octaaf op la en het kleine octaaf op la. Collier koos hiermee voor de registers die het beste auditieve resultaat geven met de kleine speakers van een smartphone.
De overblijvende curve geeft enkel de voetstappen van één been weer, dus het aantal stappen per tijdseenheid moet verdubbeld worden om de juiste bewegingssnelheid te berekenen. 75 Collier zelf spreekt over een palindroomvorm, maar dit is geen accurate beschrijving aangezien de stemmen en de noten in hun oorspronkelijke versie terugkeren (en niet in kreeftvorm). 76 Namelijk de toonladder re, mib, fa, sol, la, sib, do, re, dus de componist koos logischerwijze voor een voortekening met twee mollen. 74
C A S E S T U D I E S | 45
Figuur 10: Het melodisch thema uit het A-deel op de vijf verschillende toonhoogtes boven elkaar weergegeven (in realiteit hoort men om de 15 seconden een nieuwe inzet). Het B-deel contrasteert met het A-deel doordat de componist in de canon het ritme vooropstelt, in plaats van de melodische inhoud. Desalniettemin zijn er een aantal fundamentele toonhoogtefrequenties aanwezig, afgeleid uit de melodische kwint (sol, la, sib, do, re) van het thema uit het A-deel (figuur 11).
Figuur 11: De ritmische stemmen en hun respectievelijke centrumfrequentie en tempo uit het B-deel boven elkaar weergegeven. (C) D YNAMIEK
Het dynamische niveau van het hele werk ligt volledig vast. Zelfs in het middendeel waar er opgenomen samples worden afgespeeld, worden die eerst genormaliseerd. Op hoger niveau bewerkstelligde Collier een dynamisch contrast tussen de uiterste delen en het middendeel. De uiterste delen hebben een veel grotere intensiteit dan het ritmische middendeel dat de omgevingsgeluiden overneemt. Het contrast is echter zodanig groot dat, wanneer men de
C A S E S T U D I E S | 46 compositie beluistert in een omgeving met veel achtergrondgeluid, men de samples in het middendeel niet meer duidelijk kan waarnemen.77 (D) K LANKKLEUR
Op het vlak van klankkleur is er opnieuw een sterk contrast tussen de uiterste secties en de middensectie. De uiterste secties worden – net zoals bij de gekozen toonhoogtes – gekenmerkt door een zeer eenvoudige klankkleur, namelijk die van een sinustoon. Bewust of onbewust kan men hier het verband maken met de allereerste mobiele toestellen die enkel over monofone of polyfone beltonen beschikten (in tegenstelling tot realtones die pas na het jaar 2000 beschikbaar waren). Om het resultaat natuurlijker te laten klinken, werd een kleine delay toegevoegd aan elke noot en blijft elke noot nog liggen wanneer de volgende inzet. Om de overgang te maken naar de middensectie, werd een grote fade-out van 60 seconden toegevoegd en convergeren de verschillende stemmen naar één grote klankmassa.
In de
middensectie worden de centrumfrequenties die ik reeds vernoemde (zie figuur 11), toegepast op samples die via de microfoon worden opgenomen. De samples bestaan uit omgevingsgeluiden en zullen zorgen voor een variabele klankkleur. De opgenomen sample wordt telkens toegekend aan één van de vijf voorziene plaatsen in het geheugen. Het middendeel reflecteert bovendien de grote brugvorm door met een contrasterende middensectie te werken. Het contrast bestaat erin om binnen de verschillende samples nogmaals de klankkleur te variëren. Het B-deel begint met zeer eenvoudige sinustonen (zoals in het A-deel) die gradueel omgevormd worden tot de opgenomen samples met rijk timbre, maar een vast toonkarakter (de centrumfrequenties), om vervolgens weer gemoduleerd te worden naar de sinustonen. De samples worden omgevormd tot een vast toonkarakter, door er een bandpass filter op toe te passen.78 De uiteindelijke samples worden niet alleen afgespeeld op de toonhoogte van de centrumfrequentie, maar tevens op een kwart onder en een kwint boven die frequentie. Dit is een duidelijke verwijzing naar de afstanden tussen de verschillende lagen in de canon uit het Adeel. Om opnieuw de overgang naar het A-deel te maken, voegde Collier een fade-in toe van 80 seconden.
Ik heb er voor geopteerd om in de opname van de applicatie het geluidsniveau van het middendeel een beetje hoger te maken. 78 COLLIER, o.c., 2012, p.32. 77
C A S E S T U D I E S | 47 (E) R ITME EN TEMPO
In het A-deel zijn de ritmes en tijdsintervallen volledig vastgelegd, maar wordt het tempo per inzet vanaf de tweede inzet bepaald door de bewegingssnelheid van de luisteraar. Zo streeft de componist ernaar om tot een nieuwe vorm van ambient music te komen, die de luisteraar begeleidt bij andere activiteiten. Het tempo van de eerste inzet bedraagt ongeveer 66 = q. De andere tempi bevinden zich tussen 30 en 75 tellen per minuut. Collier koos voor deze waarden, omdat ze volgens hem het best bij de gekozen melodieën passen; daarbuiten zou de muziek te variabel zijn. De ritmes in het thema zijn zeer onregelmatig geplaatst en er komen in het totaal zeven verschillende figuren voor (figuur 12). De ritmes werden zodanig gekozen dat de melodie moeilijk door de luisteraar voorspeld kan worden. Ondanks de vele contrasten tussen de uiterste delen en het middendeel, werd ook in het middendeel gekozen voor zeer asymmetrische ritmes om de ritmische structuur minder conventioneel te maken. Bovendien zijn de figuren afgeleid van de ritme waarden uit de A-delen (figuur 12). Twee figuren uit het eerste thema komen niet in dat middendeel terug, namelijk de gepunteerde vierde noot en de gepunteerde halve noot. Het basistempo in het middendeel bedraagt, zoals in het eerste deel, 66 = q en wordt aan de middelste stem van de canon toegekend. De andere tempi liggen telkens op 16,5 tellen per minuut van elkaar. Dit resulteert uiteindelijk in een reeks zeer gemiddelde tempo’s, waarbij het hoogste tempo gelijk is aan het basistempo opgeteld met de helft (99 = q) en het laagste tempo gelijk is aan de helft van het basistempo (33 = q).
Figuur 12: De ritmes uit het A-deel in oplopende waarden tegenover de ritmes uit het B-deel.
C A S E S T U D I E S | 48
P ROGRAMMEEROMGEVING : A PPLICATIE VAN R J D J In Your Own Time functioneert op een smartphone met besturingssysteem Android en kan rechtstreeks van Google Play gedownload worden.79 Op technisch vlak werd de applicatie ontworpen met RjDj, de programmeeromgeving waarmee reeds de muziek van verschillende gegeerde games met augmented aurality werd ontworpen (zie hoofdstuk 2). Omdat RjDj sinds oktober 2012 niet meer beschikbaar is, zal ik me verder beperken tot de technologische mogelijkheden die rechtstreeks een invloed hadden op de muzikale ideeën en de grafische vormgeving van de compositie. RjDj zorgt ervoor dat men als componist zeer snel Pure Data patches kan afspelen op een smartphone of tablet. Zo kunnen componisten met hun vertrouwde audio engine blijven werken, zonder een nieuwe programmeertaal te hoeven verkennen. Daarnaast is het zeer eenvoudig om een compositie op verschillende mobiele platformen af te spelen, zolang deze ondersteund worden (werden) door RjDj. Het gebruik van RjDj, in plaats van de software development kit die door elk mobiel besturingssysteem zelf wordt voorzien, kent ook een aantal nadelen die ook in In Your Own Time tot uiting komen. Ten eerste moet de componist natuurlijk Pure Data zeer goed beheersen als hij complexe klankobjecten wil gebruiken in zijn werk. Het gebruik van sinustonen in de uiterste delen van In Your Own Time is een voorbeeld van de klankkleur die standaard door Pure Data wordt aangeboden. Mocht de componist ervoor gekozen hebben om een complexer timbre te hanteren, dan zou hij eerst zelf nog een synthesizer of sampler moeten construeren. Ten tweede kunnen parameters, zoals de geluidsintensiteit, minder flexibel worden vastgelegd. Daardoor was het niet mogelijk om het geluidsniveau van de compositie groter te maken. Ten derde worden niet alle sensoren (bijvoorbeeld de magnetometer) ondersteund door RjDj (of gelijkaardige programmeeromgevingen) zodat ideeën om de compositie nog adaptiever te maken, niet verwezenlijkt kunnen worden. Dus hoewel de componist zelf stelt dat hij geen compromissen hoefde te maken op het vlak van de artistieke inhoud80, is dit in zekere mate wel gebeurd. Door te kiezen voor het platform van RjDj, heeft Collier slechts een zeer beperkte vorm van reactiviteit kunnen implementeren in deze compositie. De complexiteit van de mobiele media beperkt in bepaalde omstandigheden de haalbaarheid van de artistieke ideeën van de
In Your Own Time, in Google Play, https://play.google.com/store/apps/ details?id=com.davidbcollier.inyourowntime, 1 april 2013. [geraadpleegd op 4 juli 2013] 80 COLLIER, o.c., 2012, p.23. 79
C A S E S T U D I E S | 49 kunstenaar. Die verregaande consequentie zal ik dan ook in het volgende hoofdstuk nog dieper belichten.
G RAFISCHE GEBRUIKERSINTERFACE De grafische gebruikersinterface van de compositie (figuur 14 en figuur 15) wordt opnieuw gekenmerkt door een sterke eenvoud en resoneert met een conventionele muziekspeler. De applicatie kan ook op de achtergrond worden geopend, zodat de gebruiker tijdens het luisteren andere applicaties kan bedienen. De reactiviteit door de pedometer werkt echter het meest efficiënt wanneer het toestel bevestigd wordt aan de heupen. Via de menuknop op het toestel kan de luisteraar een programma bekijken over de compositie. Daarnaast kan hij instellingen aanpassen om de gevoeligheid van de pedometer te configureren naargelang de activiteit (figuur 13).
Figuur 15: De instellingen van Figuur 14: Het beginscherm van de applicatie aanpassen. In Your Own Time met speelknop om de adaptieve compositie aan te vatten.
Figuur 13: In Your Own Time tijdens het afspelen, met knop om het werk te stoppen (en te herbeginnen) en een voortgangsbalk onderaan.
K R I T I S C H E R E F L E C T I E | 50
5 KRITISCHE REFLECTIE
1
INLEIDING
2
HISTORISCH OVERZICHT
3
MUZIEK VOOR MOBIELE MEDIA
4
CASESTUDIES
5
KRITISCHE REFLECTIE
6
SLOTBESCHOUWINGEN
Dit hoofdstuk bevat een aantal kritische opmerkingen bij de casestudies uit het vorige hoofdstuk. Ze zullen leiden tot een serie algemenere vaststellingen over mobile music die ons een beter zicht leveren op de toekomst van mobile music. Ik zal drie belangrijke elementen bespreken. Ten eerste zal ik het hebben over de moeilijke verhouding tussen technologische en artistieke ontwikkelingen, waarbij die laatstgenoemde vaak ten koste gaan van de eerstgenoemde. Vervolgens tracht ik de ontwikkelingen van mobiele muziek te situeren binnen de educatie en ten slotte zal ik ingaan op de documentatie van kunst die sterk afhankelijk is van technologische ontwikkelingen.
5.1
O VERHEERSING VAN
TECH NOLOGIE OP ARTISTIEKE ASPECTEN
Ondanks het feit dat de componisten en uitvoerders van beide casestudies duidelijke doelstellingen voor ogen hadden (zoals het gebruik van sensoren om tot een nieuwe expressieve muzikale interface te komen), bestaat het gevaar dat die technologische veranderingen weinig artistieke vernieuwingen teweegbrengen. Mobiele media worden in dat geval benut voor hun nieuwe muzikale mogelijkheden, zonder dat deze een significante verandering binnen het muziekbegrip veroorzaken.
5.1.1
R EPRODUCTIE
Een dergelijke situatie maakt het bovendien voor een grote groep luisteraars nog moeilijker om mobiele media, die een nieuw technologisch paradigma inluiden, binnen de creatie van muziek te aanvaarden. Het moeizaam introduceren van zo’n ander paradigma, is een fenomeen dat zich reeds een aantal keer voordeed in de muziekgeschiedenis. In het midden van de negentiende
K R I T I S C H E R E F L E C T I E | 51 eeuw werd de invoering van een kleppensysteem op houtblaasinstrumenten met veel protest onthaald, ondanks dat ze de juiste intonatie van toonhoogtes aanzienlijk vergemakkelijkte. Men vond dat dat het kunstig karakter van de instrumenten teniet deed, omdat op het moment dat een mechanisch systeem ontstond, het juist kunnen intoneren plots van minder belang was.81 Een eeuw later had de uitvinding van de synthesizer binnen de klassieke muziekstromingen hetzelfde effect. Het instrument was voor velen verbonden met de avant-garde uit de jaren 1960 (Musique Concrète, ….) en werd lang niet door iedereen als vanzelfsprekend beschouwd om “klassieke” muziek op uit te voeren.82 Slechts met de komst van Wendy Carlos’ album Switchedon-Bach (1968), waarop een aantal werken van Johann Sebastian Bach te horen zijn, zagen uitvoerders het potentieel van het instrument (toen de Moog synthesizer) in: So I [Wendy Carlos] began my young experience as a composer realizing that what I had to offer was generally hated. But I thought that if I offered people a little bit of traditional music, and they could clearly hear the melody, harmony, rhythm and all the older values, they'd finally see that this was really a pretty neat new medium, and would then be less antipathetic to my more adventurous efforts.83
Ook het DigiEnsemble benadert het nieuwe medium vanuit de uitvoering van gekende stijlen, zoals met Ostinato für 8 iPods duidelijk werd. Ondanks het algemene enthousiasme van het publiek kreeg Carlos heel wat negatieve reacties van muziekrecensenten. Deze afkeurende reviews zien we tevens bij het DigiEnsemble verschijnen, wanneer het om hun performances van oude en pseudo-klassieke muziek gaat. De citaten die hier zullen volgen, zijn reacties op de uitvoering van de aria Großer Herr, o starker König van Bach84 en illustreren de bedenkingen van de luisteraars. Ze resoneren bovendien dezelfde bedenkingen die bijna twee eeuwen terug werden gemaakt, wanneer er technologische veranderingen werden doorgevoerd in een artistieke context. Sommigen zien geen enkele meerwaarde bij het uitvoeren van oude muziek met nieuwe instrumenten die, uiteraard, niet dezelfde klank bereiken als hun akoestische equivalenten: I mean I fail to see the point in this. The results are such a pale rendition of what acoustic instruments can do in this repertoire. I don’t get what statement this group is trying to make.
H. HENKEL, Die Technik der Musikinstrumentenherstellung am Beispiel des klassischen Instrumentariums, in Technik und Kunst, Volume 2, uitg. door D. GUDERIAN, Düsseldorf, 1994, p. 67-91. 82 T. J. PINCH en K. BIJSTERVELD, "Should One Applaud?": Breaches and Boundaries in the Reception of New Technology in Music, in Technology and Culture, 40, 3, juli 2003, p.547-558. 83 W. CARLOS, A Brief History of S-OB, in Switched-On Bach 2000, http://www.wendycarlos.com/ +sob2k.html. [geraadpleegd op 15 juli 2013] 84 De beeldopname van deze uitvoering is toegevoegd aan de webpagina met mediabestanden van deze masterproef. 81
K R I T I S C H E R E F L E C T I E | 52 Surely not that electronic instruments really ARE instruments, right? I mean nobody is still doubting that… except maybe a minority of classically trained people? Maybe?85 Let me see… here we have 21st century instruments containing more computing power than Apollo 11 had when it went to the moon, being used to replicate (and not improve or change) instrumentation and arrangements from 200 years ago. Why am I so underwhelmed? Just because something can be done doesn’t necessarily mean that it should be…. 86
Anderen vinden dat een uitvoering op tablets geen muzikale expressie kan teweeg brengen: Its [sic] not a joke, its [sic] Bach, which is the gold standard for precision. I have no serious issues with this, but it still chills me a bit to see people smiling and pushing buttons as if they were playing a viola. Even if a piece DOES “sound good,” there is a disconnect going on. I spent years playing piano and various keyboards, so I have a firm advantage over someone who only plays an iPad or MPC. A vital personal subtlety is lost without a greater commitment. So while I am always impressed by anyone who can pull off a Bach piece, I’m still looking for that breakthrough where a synth-based piece gets across to The Crowd on its own terms. I give squat for most dance and pop; I’m restless to hear the next “Timesteps.” Bach is the standard for universal notational precision; Carlos’ modular epic is the gold standard for pretty much the entire synth lexicon, even with all the technical advances since then. C’mon, kids, don’t just trigger, actually emote more. 87
Volgens de auteur van het citaat is er geen goede koppeling meer tussen het bespelen van een klavier (scherm) en de expressie binnen de klanken. Wanneer we opnieuw een vergelijking maken met Switched-on-Bach, kan men besluiten dat Carlos bewust een nieuwe interpretatie leverde van de composities van Bach. Bij het DigiEnsemble ontbreekt deze nog grotendeels, omdat ze als het ware de compositie slechts transfereren naar een nieuw medium. Hierdoor krijgt dit ensemble het publiek maar moeilijk aan zijn zijde. Uit de opname van Ostinato für 8 iPods blijkt duidelijk dat de klankkwaliteit van de gekozen instrumenten beduidend minder is dan wanneer men gesamplede instrumenten op een desktop computer zou bespelen. De uitvoering leert ons dan ook dat de imitatie van akoestische instrumenten op mobiele media niet de meeste interessante benadering van het medium is. Het gebruik van duidelijke lichamelijke gestes en de onmogelijkheid om voortdurend de partituur te lezen tijdens het spelen, geeft aan dat in de toekomst meer geëxperimenteerd zou kunnen worden met groepsimprovisaties.
Max, Synthopia, in Bach’s Christmas Oratorio, Performed By The DigiEnsemble Berlin, http:// www.synthtopia.com/content/2012/12/20/bachs-christmas-oratorio-performed-by-thedigiensemble-berlin/, december 2012. [geraadpleegd op 15 juli 2013] 86 NACNUD, art. cit., in Synthopia, http://www.synthtopia.com/content/2012/12/20/bachschristmas-oratorio-performed-by-the-digiensemble-berlin/, december 2012. [geraadpleegd op 15 juli 2013] 87 F. MCGURK, art. cit., in Synthopia, http://www.synthtopia.com/content/2012/12/20/bachschristmas-oratorio-performed-by-the-digiensemble-berlin/, december 2012. [geraadpleegd op 15 juli 2013] 85
K R I T I S C H E R E F L E C T I E | 53 Ook al zouden heel wat elementen in de uitvoering kunnen verbeterd worden, zoals de differentiatie van klanken of het timbre, het is veel te voorbarig om op basis van één experiment een tablet af te schrijven als muzikaal medium. Het is zeer moeilijk op dit moment om als ensemble een hoog niveau van virtuositeit te behalen, doordat de grafische gebruikersinterfaces en applicaties zodanig snel evolueren. Dit belet de musici van het DigiEnsemble echter niet om telkens dezelfde speeltechnieken te oefenen en het samenspel goed op elkaar te enten, zoals ook in de uitvoering van Ostinato für 8 iPods naar boven kwam.
5.1.2
P RODUCTIE
David Collier beschrijft in zijn thesis hoe locative audio of mobile music nog te vaak vanuit haar technologische (tegenover artistieke) vernieuwing wordt benaderd. Dit is een zeer onvoorziene ontwikkeling, wanneer men in rekening neemt dat men weinig of geen gespecialiseerde hardware nodig heeft om dergelijke projecten te realiseren. De snelle evolutie van technologie, die leidde tot veel efficiëntere hardware, bracht paradoxaal genoeg voor kunstenaars een grotere complexiteit teweeg binnen de software. Voor In Your Own Time stelde Collier dat de artistieke ideeën achter zijn werk niet ondergeschikt waren aan de technologische implicaties van het medium dat hij gebruikte: “The composition techniques used have all been chosen with the medium in mind but without compromising the intent […]”.88 De keuze om te werken met het RjDj-platform (dat de artistieke mogelijkheden van een mobiel toestel enorm reduceert89) bewijst
echter
het
tegendeel.
Zolang
er
geen
veelzijdige
en
gebruiksvriendelijke
compositieplatformen voor de mobiele besturingssystemen worden ontworpen, zal de geluidskunstenaar over een grondige kennis van programmeertalen moeten beschikken om een interactieve compositie te kunnen creëren. Zonder die programmeertalen krijgt de kunstenaar geen toegang tot het hele arsenaal van muzikaal-expressieve capaciteiten, die nodig zijn om een compositie te structureren. Net zoals men verwacht dat een componist het orkestapparaat goed beheerst wanneer hij een symfonie schrijft, is het onontbeerlijk dat een kunstenaar de muzikale mogelijkheden van de mobiele media door en door kent. Voorlopig blijft dit een ondoenlijke zaak, gezien er op zijn minst drie (zeer verschillende) mobiele besturingssystemen in omloop zijn en er nog meer verschillende soorten toestellen met COLLIER, o.c., 2012, p.23. Zoals eerder vermeld konden slechts de data van een beperkt aantal sensoren benut worden in de muzikale composities die met RjDj ontworpen waren. Ook de manier waarop de compositie gepresenteerd kan worden is beperkt tot het tonen van een conventionele audio player. 88 89
K R I T I S C H E R E F L E C T I E | 54 verschillende sensoren bestaan. Daarnaast is het een relatief dure of tijdrovende opgave om een applicatie compatibel te houden na elke actualisatie die van een dergelijk besturingssysteem verschijnt. De tijdelijkheid van mobiele media vereist dus een grotere financiële investering van de kunstenaar. Bovendien kan ze grote repercussies hebben op de documentatie van deze soort kunst, een aspect waar ik later in dit hoofdstuk nog op terug kom. Anderzijds zou de vergankelijkheid van deze kunstvorm aanleiding kunnen geven tot de revalorisatie van hedendaagse kunstmuziek. Wanneer luisteraars muziek beluisteren die als boeiend ervaren wordt, blijven ze deze muziek vaak opnieuw afspelen zonder dadelijk nood te hebben aan nieuwe nummers of composities. Op deze manier ontstaat een zogenaamde canon of een succesnummer. Dit staat in schril contrast met de recente ontwikkelingen binnen de beeldende kunst waar de directheid van visuele kunstwerken ervoor zorgt dat ook nieuwe kunstwerken aandacht krijgen en onbekende media zo hun intrede doen. Hedendaagse visuele kunst spreekt de toeschouwer en passant vaak aan of net niet. Het auditieve zintuig, dat in het algemeen als “minder goed ontwikkeld” wordt beschouwd, zou getraind kunnen worden door de interactiviteit en directheid van inhoud die via mobiele toestellen gepresenteerd wordt. Dit wordt duidelijk geïllustreerd door de populariteit van applicaties rond ambient music. Mede door de interdisciplinariteit die verbonden is met het medium, kan men veeleer concluderen dat mobile music nog vaak ten dienste staat van andere domeinen (game-industrie, toerisme…), wat een betere artistieke benadering van de mobiele media niet bevordert. Een goede illustratie van zo’n situatie waarin wel voldoende aandacht wordt besteed aan de praktische haalbaarheid van een kunstproject, maar veel te weinig aan de muzikale inhoud is de tijdelijke geluidswandeling Luistervinken of a Knocking Bird die ontwikkeld werd om de stad Sint-Niklaas door bezoekers op een andere manier te beleven.90 De GPS-gestuurde applicatie werd ontwikkeld in samenwerking met noTours, een Spaans collectief dat werkt rond augmented aurality. NoTours bestaat uit een webeditor waarin geluiden door middel van GPScoördinaten gekoppeld kunnen worden aan een precieze locatie. Wanneer de luisteraar de afgewerkte klankwandeling opstart, zal hij een aantal klankvelden te zien krijgen (figuur 16). Een dergelijk concept werkt echter vooral wanneer een specifiek narratief idee wordt uitgewerkt tussen de verschillende klankvelden. In Luistervinken werd voor zeer algemene geluiden gekozen (vogelzang, stadsgedruis, fietsbellen, geluiden van cafeetjes etc.) die moeilijk als augmented aurality kunnen beschouwd worden, gezien ze de geluiden die men elke dag in de stad hoort imiteren. Er ontstaat op die manier geen noodzakelijk verband tussen de gekozen klanken en de reële omgeving waarin ze geplaatst worden. Ook het beperken van geluiden tot Geluidswandeling Luistervinken, http://www.dromenvandenatuurindestad.be/forum/ ?category_name=statie, 14 juni 2013. [geraadpleegd op 15 juli 2013] 90
K R I T I S C H E R E F L E C T I E | 55 een puntbron, zonder richting of binaurale effecten, getuigt van weinig originele ideeën. Ongetwijfeld zijn er op visueel vlak ook meer mogelijkheden om de voorstelling van klanken evident te maken, dan de gekleurde cirkels op een kaart. De zelfde opmerkingen gelden tevens voor In Your Own Time, waar Collier geen gebruik kan maken van het aanraakscherm omdat het toestel beter functioneert als het aan de heupen bevestigd wordt. Door RjDj te vervangen door een andere programmeeromgeving was het wél mogelijk geweest om de wandelsnelheid anders te berekenen (bijvoorbeeld via GPS-signaal) en zo het scherm te kunnen benutten voor een interessante voorstelling van de klanken.
Figuur 16: Kaart met geluidsobjecten in noTours. Bron: noTours, http://www.notours.org/archives/489
5.2
A CADEMISCH
Uit de vorige casestudies en de andere voorbeelden blijkt dat mobiele muziek, binnen de “kunstmuziek” althans (en dus niet in functie van andere domeinen), voorlopig vooral een academische aangelegenheid is. Sinds het eerste mobiele ensemble werd opgericht in 2007 is er weinig veranderd. Met uitzondering van het DigiEnsemble dat zich tracht te professionaliseren, zijn er nog geen ensembles of geluidskunstenaars die niet binnen een academische context functioneren. De ensembles worden nog steeds binnen een onderzoekseenheid van de universiteit opgericht, net zoals dat ook gebeurde met de allereerste elektronische muziek of de laptop orchestras. Deze situatie contrasteert zeer sterk met hoe het er binnen meer populaire
K R I T I S C H E R E F L E C T I E | 56 genres aan toe gaat. Daar gaf de grote verzameling aan muziekapplicaties aanleiding tot een reeks online communities waar musici zich verenigen.91 Binnen deze gemeenschappen zijn er talloze artiesten die hun muziek enkel produceren met mobiele media of hun albums enkel via een applicatie op de markt brengen.92 Het is nog wachten vooraleer mobiele ensembles of interactieve applicaties ook een plaats krijgen in hedendaagse muziekfestivals of –concerten.
5.3
D OCUMENTATIE
Een laatste belangrijk vraagstuk dat ik in dit hoofdstuk wil aanraken is de problematiek rond de conservatie van kunstwerken die enkel toegankelijk zijn via mobiele media. Een kunstwerk of compositie, zoals In Your Own Time, is onlosmakelijk verbonden met zijn medium. Er is meestal geen uitgeschreven partituur beschikbaar en een opname van de applicatie laat net die aspecten die het werk uniek maken (bijvoorbeeld de input van sensoren) weg. Om een applicatie te kunnen openen moet ze compatibel zijn met de verschillende soorten toestellen en besturingssystemen. Deze evolueren op dit moment echter zeer snel. Elke nieuwe versie van een besturingssysteem
brengt
nieuwe
mogelijkheden,
maar
brengt
heel
wat
compatibiliteitsproblemen naar voren. Bij louter functionele programma’s zijn de consequenties meestal minimaal, omdat ze vervangen zullen worden door meer performante equivalenten. Wanneer zo’n applicatie echter als kunstwerk wordt beschouwd, en dus een esthetische waarde bezit, gaat deze verloren. Wegens de noodzakelijke werking van sensoren in de composities of applicaties
kunnen
ze
bovendien
meestal
niet
opgesteld
worden
in
musea
of
tentoonstellingsruimtes. Om diezelfde reden kunnen emulatoren (software die een andere vorm van computers simuleert) vaak ook geen oplossing bieden.
Onder meer: C. BOAZ, iOs Music and You, http://iosmusicandyou.com/. [geraadpleegd op 25 juli 2013] iOs Music Community, http://iosmusic.org/, 2013. [geraadpleegd op 25 juli 2013] Sean, iOs Musician, http://www.iosmusician.com/, 2013. [geraadpleegd op 25 juli 2013] Android Musician, Android Musician, http://www.androidmusician.com/, 2013. [geraadpleegd op 25 juli 2013] 92 Voornaam voorbeeld hiervan is het album Biophilia (2011) van de IJslandse zangeres Björk, dat geldt als het eerste album dat geproduceerd en uitkwam voor de iPad. C. BURTON, In depth: How Björk's 'Biophilia' album fuses music with iPad apps, http:// www.wired.co.uk/magazine/archive/2011/08/features/music-nature-science, 11 juli 2011. [geraadpleegd op 25 juli 2013] 91
S L O T B E S C H O U W I N G E N | 57
6 SLOTBESCHOUWINGEN
1
INTRODUCTIE
2
HISTORISCH OVERZICHT
3
MUZIEK VOOR MOBIELE MEDIA
4
CASESTUDIES
5
KRITISCHE REFLECTIE
6
SLOTBESCHOUWINGEN
Mobiele media nemen ongetwijfeld een steeds belangrijke plaats in in het dagelijks leven en ook het hedendaagse muzieklandschap plukt daar de vruchten van. Ze zijn door hun toegenomen rekenkracht stilaan uitgegroeid van een handig communicatiemiddel (mobiele telefoon of gsm) tot zeer convergente media (smartphones of tablets) die de functies van heel wat specifieke apparaten (zoals fototoestellen, muziekinstrumenten, gps-toestellen, etc.) overnemen.
De
belangrijkste eigenschappen van mobiele toestellen, namelijk connectiviteit, draagbaarheid, ubiquiteit en de personificatie van het toestel, zorgden ervoor dat de toestellen ook gunstig werden bevonden om muziek te creëren of af te spelen. Om die muziek aan te duiden hanteert men vandaag de dag de gegeneraliseerde term “mobile music”. Met deze masterproef werd voor de eerste keer een overzicht gemaakt van de verschillende richtingen die binnen de mobile music worden uitgegaan. Gezien het om een zodanig breed domein gaat, besloot ik om het onderzoek te beperken tot de hedendaagse kunstmuziek en slechts hier en daar kort te verwijzen naar de ontwikkelingen binnen de populaire muziekgenres. Binnen de muziek voor mobiele media, maakte ik een onderscheid tussen drie categorieën die geënt zijn op de verschillende soorten applicaties voor smartphones en tablets. De eerste categorie betrof de mobile music voor de uitvoerder, waarbij vooral aandacht werd besteed aan de verschillende soorten applicaties die musici of componisten hanteerden als digitale instrumenten. Dit was tevens de ideale plaats om de ensembles die met dergelijke applicaties musiceren te beschrijven. Vervolgens ging ik in op mobile music voor de luisteraar als uitvoerder, een categorie die het merendeel van de locatieve audio omvat. In deze categorie stond het maken van bewuste of onbewuste keuzes door de luisteraar – in plaats van enkel door de componist of uitvoerder – centraal. De laatste categorie bekeek ten slotte de situatie waarin
S L O T B E S C H O U W I N G E N | 58 een nog groter spelelement werd toegevoegd aan de applicaties, zodat muziek als een vorm van augmented reality de immersieve toestand van de speler vergroot. Uit de twee casestudies die hierop volgden, kan men onmiskenbaar een aantal vaststellingen destilleren. Ten eerste blijkt dat zowel bij de reproductie van bestaande werken alsook bij de creatie van nieuwe composities, de specifieke mogelijkheden van mobiele media weliswaar een gunstig effect kunnen hebben op de muzikale uitwerking, maar dat ze tegelijkertijd de artistieke vrijheid van de kunstenaar kunnen beperken. Componist en uitvoerder worstelen nog te veel met het technologisch potentieel van het nieuwe medium om de inhoud van het muziekbegrip grondig te wijzigen. Daarnaast gebeurt het pioniersonderzoek naar de muzikale alternatieven van mobiele media al te vaak binnen een academische context, waardoor de applicaties ten behoeve van andere domeinen (toerisme en game-industrie) niet de immersie bij de luisteraar of speler bereiken die ze voor ogen hebben. Niettegenstaande het academische karakter van mobile music binnen de kunstmuziek enerzijds en de afwezigheid ervan in muziekopleidingen, ontstonden er het voorbije jaar een aantal veelbelovende initiatieven. Deze bieden reeds een repliek op de problematische aspecten die ik bij de casestudies heb aangehaald. Zo werd begin augustus 2013 de eerste compositie- en klankworkshop rond mobile music georganiseerd.93 Deze workshop zal doorgaan onder leiding van het DigiEnsemble voor de Berlin Summer University. Gedurende vijf dagen zullen geïnteresseerden kennis maken met mobiele applicaties en samen musiceren. Er zal onderzocht worden welke muzikale vormen het best aanleunen bij mobiele media en hoe sensoren kunnen gebruikt worden om de muziek te sturen. Niet als een vaste opleiding binnen het kunstonderwijs, maar in de vorm van korte musiceersessies kan muziek voor mobiele media ook een plaats vinden binnen educatieve doeleinden. Daarmee wordt bovendien belangrijk veldwerk verricht, in welke het nieuwe medium verder geëxploiteerd zal worden. Dat muziek voor mobiele media reeds een hele weg afgelegd heeft, maar nog steeds in haar kinderschoenen staat, wordt bewezen door de snelle opeenvolging van nieuwe publicaties. Zo zal later in 2013 The Oxford Handbook of Mobile Music Studies verschijnen dat het onderzoek van een aantal gerenommeerde auteurs over muziek voor mobiele media bundelt. Ook in België verschijnen dit jaar een aantal nieuwe voorstellen. Naast nieuwe projecten binnen het toerisme (klankwandelingen zoals Luistervinken van noTours) werkt onder andere Musica – impulscentrum voor muziek – aan een mobiele applicatie van locative audio voor Klankenbos in KREBS, App Music: Mobile Music Making, http://www.udk-berlin.de/sites/sommerkurse/ content/artistic_courses_2013/music/mobile_music_making/index_eng.html, 2013. [geraadpleegd op 15 juli 2013] 93
S L O T B E S C H O U W I N G E N | 59 Neerpelt. De applicatie zal niet interfereren met de aanwezige klankinstallaties, maar mag eerder beschouwd worden als een virtueel complement. In de applicatie zal het klankenbos in een aantal virtuele zones onderverdeeld zijn. Elke zone bevat een specifieke verzameling klanken, die voor de gelegenheid gecomponeerd zijn door klankkunstenares Rosalie Hirs. In tegenstelling tot het projecteren van de klanken op een kaart, zoals in a Knocking Bird, wordt elke zone voorgesteld door een bepaalde kleur. Hoe meer de luisteraar naar de rand van de zone toe beweegt, hoe meer de kleur zal transformeren naar de naburige kleur. De voorstelling van het touchscreen bereikt zo een sterker verband met de auditieve elementen van de applicatie. Het is die samenloop tussen menselijke bewegingen, het gezichtsvermogen en het gehoor die in de toekomst verder onderzocht zal moeten worden en die bepalend is voor de richting die mobile music zal uitgaan.
B I B L I O G R A F I E
| 60
FACULTEIT LETTEREN ONDERZOEKSEENHEID MUSICOLOGIE
BIBLIOGRAFIE H ARD
COPY
AGAR, J., Constant Touch, a Global History of the Mobile Phone, 2de editie, Cambridge, 2004. ASHBROOK, D., R. MCGEE en S. WHITE, SenSynth: a Mobile Application for Dynamic Sensor to Sound Mapping, in Proceedings NIME'12, 2012. BEHRENDT, F., Playing the iPhone, in Moving Data: The iPhone and the Future of Media, New York, 2012, p. 287-295. BRYAN, N. J., J. HERRERA, J. OH, e.a., MoMu: A Mobile Music Toolkit, in Proceedings of the 2010 Conference on New Interfaces for Musical Expression, Sydney, Australië, 2010, p. 174-177. CASTELLS, M., M. FERNÁNDEZ-ARDÈVOL, J. LINCHUAN QIU, e.a., Mobile Communication and Society, Massachusetts, 2007. CAUDELL, T. P. en D. W. MIZELL, Augmented Reality: An Application of HeadsUp Display Technology to Manual Manufacturing Processes, in Proceedings of 1992 IEEE Hawaii International Conference on Systems Sciences, Kaual, Hawai, 1992, p. 659-669. COLLIER, D. In Your Own Time: A Mobile Music Composition. Tritinity College Dublin, Dublin, 2012. DE MEYER, G. en S. MALLIET, Spelen in Cyberspace, Leuven, Acco, 2007. ESSL, G. en M. ROHS, Interactivity for Mobile Music-Making, in Organised Sound, 14, 2, 2009, p. 197-207. FARMAN, J., , in The Mobile Media Reader, uitg. door N. ARCENEAUX en A. KAVOORI, New York, 2012. GIBSON, J. J., The Theory of Affordances, in Perceiving, Acting & Knowing: Toward an Ecological Psychology, Hillsdale, 1977, p. 67-82. GOGGIN, G., Global Mobile Media, New York, 2011. HENKEL, H., Die Technik der Musikinstrumentenherstellung am Beispiel des klassischen Instrumentariums, in Technik und Kunst, Volume 2, uitg. door D. GUDERIAN, Düsseldorf, 1994.
B I B L I O G R A F I E
| 61
JEUB, M., C. HERGLOTZ, C. NELKE, e.a., Noise Reduction for Dual-Microphone Mobile Phones Exploiting Power Level Differences, in IEEE International Conference on Acoustics, Speech, and Signal Processing, 2012, p. 1693-1696. LING, R. en J. DONNER, Mobile Communication, Cambridge, 2009. MILUZZO, E., Smartphone Sensing., Darthmouth College, New Hampshire, 2011. NEGISHI, M., Development of Mobile Phone Culture in Japan and Its Implications to Library Services: Prospecting Information Services in Coming "Ubiquitous Society", in NII Journal, 5, 6, 2003, p. 57-67. NORMAN, D., The Design of Everyday Things, New York, 1988. PINCH, T. J. en K. BIJSTERVELD, "Should One Applaud?": Breaches and Boundaries in the Reception of New Technology in Music, in Technology and Culture, 40, 3, juli 2003, p. 547-558. ROGERS, E. M., Diffusion of Innovations, New York, 1995. ROZIER, J., K. KARAHALIOS en J. DONATH, Hear & There: An Augmented Reality System of Linked Audio, in Proceedings of the 6th International Conference on Auditory Display, Atlanta, VSA, 2000. WANG, G., J. OH en T. LIEBER, Designing for the iPad: Magic Fiddle, in Proceedings of the International Conference on New Interfaces for Musical Expression, 2011.
B I B L I O G R A F I E
| 62
FACULTEIT LETTEREN ONDERZOEKSEENHEID MUSICOLOGIE D IGITAAL Internationales Klangkunstfest Berlin, http://www.inter-art-project.de/ InternationalesKlangkunstfest11%20NEU.html, oktober 2011. About Smule, in Smule, http://www.smule.com/about/. Android Musician, Android Musician, http://www.androidmusician.com/, 2013. Appbrain, Most popular Android market categories, http://www.appbrain.com/stats/androidmarket-app-categories, 8 februari 2013. ASAD-UJ-JAMAN, Sensors in Smartphones, http://mobiledeviceinsight.com/2011/12/sensors-insmartphones/, 1 december 2011. BOAZ, C., iOs Music and You, http://iosmusicandyou.com/. BRENNER, J., Pew Internet: Mobile, http://pewinternet.org/Commentary/2012/February/PewInternet-MObile.aspx, 4 december 2012. BURTON, C., In depth: How Björk's 'Biophilia' album fuses music with iPad apps, http:// www.wired.co.uk/magazine/archive/2011/08/features/music-nature-science, 11 juli 2011. CARLOS, W., A Brief History of S-OB, in Switched-On Bach 2000, http://www.wendycarlos.com/ +sob2k.html. COLLIER, D., David Collier, http://davidcollier.ie/index.php. COLLIER, D., In Your Own Time, http://www.inyourowntime.net/, april 2013. COOK, P. R. en G. P. SCAVONE, The Synthesis Toolkit in C++, in Center for Computer Research in Music and Acoustics, https://ccrma.stanford.edu/software/stk/, 2012. Current Active Application Count By Categories, http://148apps.biz/app-store-metrics/ ?mpage=catcount, 4 februari 2013. DREXLER, J., Jorge Drexler y Samsung presentan "n", una innovadora aplicación musical, in Jorge Drexler, http://www.jorgedrexler.com/ ficha_noticia.asp?nid=2373&a=79&hash=fffaee5c594343a08b25c74468b137d8, 25 november 2012. Dublin Laptop Orchestra, http://www.dublinlaptoporchestra.com/about.html.
B I B L I O G R A F I E
| 63
Geluidswandeling Luistervinken, http://www.dromenvandenatuurindestad.be/forum/ ?category_name=statie, 14 juni 2013. In Your Own Time, in Google Play, https://play.google.com/store/apps/ details?id=com.davidbcollier.inyourowntime, 1 april 2013. iOs Music Community, http://iosmusic.org/, 2013. KAMPO, KAIST Mobile Phone Orchestra, in Korea Advanced Institiute of Science and Technology, http://kampo.kaist.ac.kr/. Konzertprogramm Collegium Ioanneum, in Collegium Ioanneum, http://www.collegiumioanneum.de/wp-content/uploads/2012/10/PROGRAMM.pdf, 3 juni 2012. KREBS, M., App Music: Mobile Music Making, http://www.udk-berlin.de/sites/sommerkurse/ content/artistic_courses_2013/music/mobile_music_making/index_eng.html, 2013. KREBS, M., Musikmachen mit iPhone: Neue Technologien - neues Musizieren?, http:// www.slideshare.net/MatzeRak/musikmachen-mit-iphone-neue-technologien-neues-musizieren, 19 juli 2011. KREBS, M., DigiEnsemble Berlin, http://digiensemble.de, juni 2013. Libpd, http://puredata.info/downloads/libpd. Mobile Subscribers Worldwide, http://mobithinking.com/mobile-marketing-tools/latest-mobilestats/a#subscribers, november 2011. MODZDYN, L., The True Meaning of MultiTouch, http://www.ecnmag.com/articles/2010/08/ true-meaning-multitouch, 31 augustus 2010. Ofcom, The Communications Market 2008, http://www2.ofcom.org.uk/research/cm/cmr08/, 2008. Ofcom, The Communications Market 2012, http://stakeholders.ofcom.org.uk/market-dataresearch/market-data/communications-market-reports/cmr12/uk/, juli 2012. PETTINEN, H., An Interview with Henri Pettinen, the Founder of Helsinki Mobile Phone Orchestra (adapted from Interviews in Finnish), in Helsinki Mobile Phone Orchestra, http:// www.acoustics.hut.fi/projects/helsinkimopho/about.shtml. Interview met Frauke Behrendt: Rhythmanalysis. Lefebvre on a GPS Sound Walk, uitgezonden door http://backdoorbroadcasting.net/2011/10/frauke-behrendt-rhythmanalysis-lefebvre-ona-gps-sound-walk/, Londen, Verenigd Koninkrijk, 29 oktober 2011. RjDj, Dimension The Sonic Adventure Game, in RjDj, http://dimensions.rjdj.me/download/.
B I B L I O G R A F I E
| 64
RjDj, More than An App, in RjDj, http://blog.rjdj.me/more-than-an-app, september 2012. ROSENBAUM, E. en J. SILVER, Singing Fingers, http://singingfingers.com/. Sean, iOs Musician, http://www.iosmusician.com/, 2013. SHEPARD, M., Agenda, in Tactical Sound Garden, http://www.tacticalsoundgarden.net/. Synthhead, Bach’s Christmas Oratorio, Performed By The DigiEnsemble Berlin, in Synthopia, http:/ /www.synthtopia.com/content/2012/12/20/bachs-christmas-oratorio-performed-by-thedigiensemble-berlin/, december 2012. ThumbJam, http://www.thumbjam.com/, 2013. WANG, G., Stanford Mobile Phone Orchestra, http://mopho.stanford.edu/, 2010.
)
*
'()
&
'(
&
! " # $$$ !%
+
)
