Turntable Performance System Incorporating Lego-robots for Turntable Control (2008)

Turntable Performance System

Incorporating Lego-robots for Turntable Control (2008)

Fedde ten Berge & Luc van Weelden in opdracht van het Fonds voor de Podiumkunsten+

TPS (2008) Fedde ten Berge & Luc van Weelden Inhoudsopgave 1. Inleiding.......................................................................................... 2. Gebroken Vinyl & Lego-robots...................................................... 3. Stappen-motor Aansturing............................................................. 4. Analyse & Interactiviteit.................................................................. 5. Klank Transformaties..................................................................... 6. Video.............................................................................................. 7. Conclusie & Voorstel tot Voortzetting.............................................

2 3 5 7 16 27 32

1

TPS (2008) Fedde ten Berge & Luc van Weelden 1. Inleiding Dit verslag beschrijft de technische kant van de ontwikkeling van een turntable-performance-systeem door Fedde ten Berge en Luc van Weelden in de periode mei tot en met december 2008. Het systeem bestaat uit interactieve software, midi-contollers, legorobots en draaitafels. De motivatie voor het ontwerpen en bouwen van dit systeem is gelegen in een fascinatie voor geluid, platenspelers, vinyl en fysieke computer systemen (robotica). Het tot stand komen van dit systeem wordt in dit verslag aan de hand van schematische representaties, screenshots van de patches, foto’s en een los bijgevoegde DVD met de daadwerkelijke artistieke invulling aan u voorgesteld. Het tweede hoofdstuk gaat in op het experimenteren met en het gebruik maken van gebroken platen voor muzikale compositie. Daarnaast wordt de keuze voor het aansturen van de naald door Lego-robots toegelicht. In hoofdstuk drie wordt uitgelegd hoe het elektronische circuit voor de ‘stappen-motor’aansturing is ontworpen en ontwikkeld. Daardoor werd het mogelijk om de stappen-motoren die verwerkt zijn in de robot armen aan te sturen met een laptop. In het vierde hoofdstuk zetten wij uiteen hoe de vervaardigde analyse-software de compositorische handelingen van de performer interpreteert en de adaptiviteit van het systeem bewerkstelligt. In hoofdstuk vijf wordt ingegaan op de klanktransformaties van de geluidsignalen van de Lego-robot en de performer. Tot slot wordt in het zesde hoofdstuk het ontwerp van het video systeem aan u uitgelegd. Op de DVD is de eerste daadwerkelijke performance op 2 december 2008 aan het Instituut voor Sonologie in Den Haag te zien. Een volgende performance is gepland op 17 januari tijdens een grote manifestatie in de DCR in Den Haag. Zaal 100 in Amsterdam en theater Kikker in Utrecht hebben inmiddels ook interesse getoond. Tevens is de afspraak gemaakt dat er een demonstratie zal plaatsvinden aan de Hogeschool voor de Kunsten in Utrecht.

2

TPS (2008) Fedde ten Berge & Luc van Weelden

2. Gebroken Vinyl & Lego-robots Voor het ‘Turntable Performance System’ wordt gebruik gemaakt van gebroken vinyl en Lego-robots. Het gebroken vinyl bestaat uit delen van verschillende platen die zodanig zijn vastgehecht op een stuk hout dat een of meerdere delen verhoogd kunnen worden. Aan de robotarmen is een pick-up naald bevestigd die door de Lego-robots horizontaal en verticaal kunnen worden gepositioneerd om zo verschillende geluiden op te pikken. De robotarm wordt bestuurd aan de hand van een algoritme dat de handelingen van de performer analyseert. Dit wordt in hoofdstuk 4 verder uitgelegd. De platen die voor deze performance zijn geprepareerd, zijn opgebouwd uit samengestelde gebroken stukken vinyl. De stukken zijn met ijzerdraad aan elkaar gezet op een triplex plankje dat dezelfde diameter heeft als een vinyl plaat. Er ontstaat weer een ronde schijf die eenvoudig op een platenspeler kan worden gelegd. In de ruimte tussen het vinyl en het plankje kan een stukje karton worden geschoven zodat het stuk vinyl omhoog komt te staan (zie foto). Het idee is afgeleid van een techniek die ontwikkeld is door Michel Sanchez-Infante. Hij liet de naald in zweefstand staan en plaatste platen schuin op de draaitafel zodat iedere ronde alleen een kort fragment werd afgespeeld. Bij het afspelen van de plaat met de naald in zweefstand is vanaf de omhoog staande stukken vinyl iedere ronde een karakteristieke puls te horen. Deze karakteristieke pulsen vormen het uitgangspunt op basis waarvan het klankmateriaal voor de performance wordt vervaardigd.

3


In eerste instantie werd de arm van de draaitafel vast gezet zodat iedere omwenteling dezelfde groef werd afgespeeld. Dat impliceert dat het nodig is de naald een duwtje te geven om deze in een volgende groef te zetten en een andere klank hoorbaar werd. De beperking van het handmatig sturen van de naald over de groeven is dat het buitengewoon moeilijk is om een eerder uitgevoerd geluid exact terug te vinden. Een ander nadeel is dat er niet eenvoudig stiltes gecreëerd kunnen worden, als de naald daartoe voortdurend handmatig uit zijn vaste positie gehaald moet worden. Dit waren voor ons aanleidingen om de naald gemotoriseerd te willen kunnen besturen. Het leek ons bovendien interessant om op deze manier een fysieke interactie met een computer systeem aan te kunnen gaan. De robot-armen zijn gemaakt met technisch lego, plexi-glas en zogenaamde stappenmotoren. Er staan 2 plexi glazen plaatjes boven elkaar waarop de arm is gemonteerd. Door alle zware onderdelen zo laag mogelijk te plaatsen kon voldoende stabiliteit worden gecreëerd. Het mechaniek maakt gebruik van tandwiel vertraging om zodoende de naald met zo groot mogelijk precisie te kunnen bewegen. De arm kan door aandrijving van twee stappen-motoren in horziontale en verticale richting zowel voor als achteruit worden bewogen. Om te voorkomen dat de arm uit zijn geleider valt is er een maximale verplaatsing van 13cm horizontaal en 10cm verticaal mogelijk. Deze verplaatsingsmarges zijn voldoende om alle groeven te kunnen benutten tijdens de performance. 4

TPS (2008) Fedde ten Berge & Luc van Weelden 3. Stappenmotor aansturing De Lego robots zijn, zoals gezegd, uitgerust met een kleine en een wat grotere stappenmotor om de robot arm verticaal en horizontaal te kunnen laten bewegen. Een stappenmotor is een motor waarvan je de hoekverdraaiing van de as heel nauwkeurig kunt aansturen door middel van spoelen in de stator. Hij is daarom uiterst geschikt voor robotica. Om deze motoren via een laptop aan te kunnen sturen, is er gebruik gemaakt van een bipolaire stappenmotor met vier fases. Dat kan worden gerealiseerd door de vier fases (vier draadjes) om de beurt met de laptop te voorzien van een hoog signaal. Doordat de motor per stap kan worden aangestuurd wordt een bepaalde positie heel precies bereikt. Het signaal dat over vier aparte draadjes naar de stappenmotor wordt gestuurd ziet er als volgt uit: Stap 1 Stap 2 Stap 3 Stap 4

Draad 1 High Low Low Low

Draad 2 Low High Low Low

Draad 3 Low Low High Low

Draad 4 Low Low Low High

Om de daadwerkelijke aansturing mogelijk te maken is gebruik gemaakt van de volgende hardware units: − Arduino − H-brug (IC L298n) − Demultiplexor (IC 4051)

5


Binary input Digital outputs 5 Volt Ground

Arduino

Logical Input Supply voltage Ground

Supply voltage Ground

Demultiplexor IC 4051

Power supply (stepper output)

Stepper motor

H-Brug L298n

Logical Input Supply voltage Ground

5V 4A Adapter

Power supply (stepper output)

Stepper motor

H-Brug L298n De Arduino genereert het stuursignaal voor de vier fases van de stappenmotor. Het stuursignaal van de Arduino heeft echter niet genoeg vermogen om de spoelen van de motor te bekrachtigen. Daarom is er een IC L298n chip gebruikt, dit wordt ook wel een H-brug genoemd. Met deze H-brug is het mogelijk om met een lage spanning een hogere spanning door te sturen. Het vermogen van het besturingsignaal voor de stappenmotor kan met dit circuit van 40 milliAmpère naar 4 Ampère worden verhoogd, waardoor het daadwerkelijk mogelijk werd de naald met grote precisie voorgeprogrammeerde handelingen te laten verrichten. Zo werd het mogelijk de door een legorobot aangestuurde draaitafel met gebroken platen effectief te combineren met een levende performer met een draaitafel met een intacte plaat. Een demultiplexor is gebruikt om het aantal outputs die van de Arduino worden gebruikt te verminderen om in de toekomst meer dan twee Lego-robots aan te kunnen sluiten en het systeem aldus te verrijken.

6

TPS (2008) Fedde ten Berge & Luc van Weelden 4. Analyse en interactiviteit De volledige set-up van de turntable-performance bestaat uit: 2 performers, 2 Lego-robots, 4 draaitafels, 2 midi controllers en 2 laptops. De bedoeling is dat tijdens de performance de laptop zowel het geluid analyseert dat afkomstig is van de robotgestuurde draaitafel als dat van de draaitafel van de performer en dat er vervolgens interactiviteit kan worden gerealiseerd. De analyse van het geluid bestaat uit het meten van de ‘spectrale dichtheid’ en de ‘ritmische-dichtheid’ van beide geluidsbronnen. Daarnaast worden er een aantal parameters ontleend aan de bewegingen die de performer met zijn MIDI-controller maakt (lengte, grootte en snelheid). Het geheel aan analyse-parameters bepaalt de positie van de naald van de Lego-robot. Dat bepaalt tevens de waarde van de parameters van de klanktransformatie systemen (zie hoofdstuk 5). Er is per laptop een software systeem voor één Lego-robot en één performer. De beide systemen hebben elk hun eigen manier om de analyse parameters te verwerken. Samengevat zijn dit twee systemen waar binnen de Lego-robot en de menselijke performer beide anticiperen op de muzikale beweging die te weeg wordt gebracht. Spectrale analyse De spectrale analyse van het geluid wordt opgedeeld in de gebieden lage, midden en hoge frequenties. De analyse van de klanken die de performer en de Lego-robot voortbrengen wordt op deze punten met elkaar vergeleken. Bij elk analyse-interval wordt bekeken welke geluidsbron in welk frequentie gebied het sterkst aanwezig is. Ritmische analyse De ritmische dichtheid wordt uitgedrukt in de parameters: clock (trigger), dichtheid en energie. De clock parameter geeft het tijdsinterval weer tussen twee klanken die worden opgepikt door de naald van de robotarm. Deze parameter is het kloppende hart van het systeem. Ze geeft het tempo aan voor de frase-lengte van diverse klanktransformaties en handelingen van de performer. Daarnaast meet het systeem de interval snelheid (dichtheid) van de ritmische handelingen van de performer en hoe groot de energie/amplitude is. Gekozen is voor een analyse over een lengte van 3 seconden. Bewegings analyse De bewegingen die de performer maakt met de MIDI-controller worden opgenomen in een buffer. Aan deze buffer worden de parameters ‘bewegingslengte’, ‘bewegingssnelheid’ en ‘bewegingsgebied’ ontleend. Op deze manier legt het systeem een database aan van bewegingen die het zelf kan gebruiken. Op deze wijze kan dus met elk van beide robots interactiviteit worden gerealiseerd.

7

TPS (2008) Fedde ten Berge & Luc van Weelden Interactiviteit Lego-robot 1 op laptop 1 De naald van Lego-robot 1 wordt, zoals gezegd, geposititoneerd aan de hand van de spectrale analyse data. Met deze data wordt bepaald of de Lego-robot een nieuwe klank moet opzoeken die meer bij het geluid van de performer past. De robot zal ook opzoek gaan naar een nieuwe klank wanneer er een tijdje geen geluid aanwezig is van de performer. De clock(trigger) wordt gebruikt om de buffer van het ‘Spectral Freeze’ effect (zie hoofdstuk 5) opnieuw te vullen met een spectraal masker. Om en om wordt na het ontvangen van een nieuwe clock (trigger) het effect aan en uit gezet. De clock (trigger) wordt ook gebruikt om het geluid van het ‘Spectral Freeze’ effect te spatialiseren in de vorm van een baan door de ruimte. De verschillende bewegingen staan opgeslagen in een lijst, per trigger wordt daar random een beweging uit gekozen. De nieuwe beweging wordt met de vorige beweging geinterpoleerd. Het systeem raadpleegt de database met bewegingen die de performer met de MIDIcontroller heeft gemaakt om de parameters van ‘HpLpQ_Filter’ en ‘Allpass Netwerk’ aan te sturen. Er wordt een beweging gekozen aan de hand de spectrale analyse. Interactiviteit Lego-robot 2 op laptop 2 De positie van de naald van Lego robot 2 wordt bepaald door de bewegingslengte van de MIDI-controller-nummers waarmee het cutoff van de ‘HpLpQ_Filter’ wordt aangestuurd. Wanneer deze in een bepaalde mate veranderen dan betekent dat voor de Lego robot dat deze zelf ook opzoek moet gaan naar een nieuwe klank. De clock (trigger) wordt gebruikt om de lengte van de ‘Envelope Generators’ (zie hoofdstuk 5) te bepalen. De envelopes worden getriggerd op het moment dat de clock parameter wordt geupdate. De clock wordt ook gebruikt voor het synchroniseren van de ‘64 Multi Tap Delay’. Hierdoor zal bij een volledige dichtheid, een exact aantal van 64 vertraagde versies van het door de Lego-robot opgepikte geluid evenwichtig verspreid zijn over 1 omloop van de draaitafel. De clock (trigger) wordt bovendien gebruikt om de ‘Vector Generator’ een nieuwe random stereo positie te laten genereren voor de ‘Quadrafonische Spatializer’ van de ‘64 Multi Tap Delay’ (zie hoofdstuk 5).

8

TPS (2008) Fedde ten Berge & Luc van Weelden Tools van Performer 1 op laptop 1 Het geluid van de draaitafel van deze performer wordt bewerkt door het ‘HpLpQ_Filter’ en het ‘Spectral Freeze’ effect. Het ‘HpLpQ_Filter’ wordt gebruikt om het timbre van de klanken te bewerken. De bewegingen om het filter aan te sturen ontstaan door handelingen met de MIDI-controller van de performer. Het Spectral Freeze effect van de performer wordt gecontroleerd door de clock(trigger) die ontstaat door de analyse van de ritmische handelingen van performer 1. Tools van Performer op laptop 2 Deze performer gebruikt net zoals performer 1 een MIDI-controller om het ‘HpLpQ_Filter’ aan te sturen. Deze handeling bewerkt het timbre van de klank van zijn draaitafel. De interval-snelheid (dichtheid) van de ritmische handelingen van de performer wordt gebruikt om de modulatie snelheid van de ‘Sub Click Generator’ in te stellen. Het amplitude masker dat over het signaal van de ‘Sub Click Generator’ is geplaatst wordt aangestuurd door een massa-veer model dat bij iedere trigger van de clock wordt geexciteerd. Met de MIDI-controller wordt de dichtheid van de ‘64 Multi Tap Delay’ bepaalt. Met dit effect kan de performer de normaal gesproken 1 tik per omloop afkomstig van de draaitafel van de Lego-robot opvullen tot maximaal 64 tikken per omloop. Voor alle door de performer te bedienen klanktransformatieprocessen worden de volumes gecontrolleerd door gebruik te maken van de MIDI-controller.

9


Clock (trigger) Energie Analyse:

Bewegingsanalyse:

10


Spectrale Analyse:

11

TPS (2008) Fedde ten Berge & Luc van Weelden Interface Performer en Lego-robot 1:

Interface Performer en Lego-robot 2:

12

TPS (2008) Fedde ten Berge & Luc van Weelden Schematisch overzicht systeem 1 Performer

Lego robot Keyboard MIDI ctlr.

Amplitude deviation

HpLpQ_filter + gain

Spatializer

On/Off

Allpass netwerk filter

Pattern analyse Spectral Freeze

Spatializer

Pattern hersynthese

HpLpQ_filter + gain

Spectral Freeze

Spectrale analyse Pattern analyse

Spatializer Pattern select

Path generator

Robot positie

Quadrophonic speaker setup

13

TPS (2008) Fedde ten Berge & Luc van Weelden Schematisch overzicht systeem 2

14


15

TPS (2008) Fedde ten Berge & Luc van Weelden 5. Klank Transformaties HpLpQ_Filter/Cross Filter Beide Lego robots en beide performers hebben een Hipass en een Lowpass filter met resonantie (Q). De performer controlleert het filter met de midicontroller.

16


Spectral_Freeze Het Spectral_Freeze effect neemt een masker van het spectrum van de input op in een buffer. De input wordt vervolgens afgespeeld binnen dit spectrale masker waardoor deze de spectrale contouren van het masker in de buffer overneemt. De opname van het spectraal masker wordt gestart door een trigger van de clock parameter van de analyse van de ritmische dichtheid. Spectral Freeze Main-patch:

17


Spectral Freeze Sub-patch:

18


Allpass Netwerk Lego-robot 1 maakt gebruik van een netwerk van allpass filters. De parameters “delay” en “feedback” worden door de Lego robot aangestuurd door de gesture bibliotheek die ook wordt gebruikt voor het aansturen van de filters van Lego robot 1.

19


64 Multi Tap Delay Lego-robot 2 maakt gebruik van een multi tap delay, bestaande uit 64 vertraagde versies van het originele geluid. De 64 vertragingen worden gesynchroniseerd aan de clock (trigger). De dichtheid van de vertragingen wordt bepaald door de MIDI-controller. Deze maakt interpolaties tussen 6 lijsten: 1 lijst gevuld met random halve noten, 1 met random kwart noten, 1 met random 8e, 16e, 32e en 64e. Bij iedere clock trigger worden alle lijsten opnieuw random gevuld. Ieder element van een lijst representeert 1 vertraging.

Lijst Interpolatie:

Lijsten vullen:

20


Sub-patch voor 1 vertraging, werkt met Poly~:

21


Envelope Generator Dit is een algoritme voor het vullen van een lijst met een vierledige (ADSR) envelope. De amplitude en de kromming van de envelope worden random gegenereerd. Zes van deze envelopes worden gebruikt om een amplitude masker voor de output van de ‘Sample Players’ genereren. De envelopes worden getriggerd door de clock (trigger), iedere envelope heeft een lengte die afgeleid is van de clock tijd.

Envelope Generator Sub-patch:

22


Sample Players Main-patch:

23


Sub Click Generator Main-patch:

Sub Click Generator Sub-patch:

24


Mass-Spring Model:

25


Spatializer De spatializer maakt een gewogen verschil in tijd en amplitude voor vier luidsprekers aan de hand van positie van een geluidsbron in een quadrafonische luidspreker opstelling.

26

TPS (2008) Fedde ten Berge & Luc van Weelden 6. Video Voor het vervaardigen van de bij de performance behorende videoprojectie zijn we dank verschuldigd aan Tycho van Zijderveld, student autonome kunsten aan de Hogeschool voor de Kunsten te Utrecht. Hij maakte tijdens het ontwikkelingsporces een video van onze activiteiten. Het concept daarvan heeft de basis gevormd voor het video concept zoals dat nu tijdens de performance wordt gehanteerd. De registratie en nabewerking van de performance aan het Instituut voor Sonology is tevens door Van Zijderveld gedaan. Beide video’s zijn op de bijgevoegde DVD’s terug te vinden. Hardware De video bij de performance is samengesteld uit de beelden van vier verschillende camera’s die tijdens de performance op de Lego robots worden gericht. Elke camera registreert tijdens de performance, in real-time, een onderdeel van een Lego robot vanuit een ander perspectief. Aangezien er, voor zover ons bekend, nog geen video processoren bestaan die het toelaten om meerdere camera’s direct op een laptop aan te sluiten hebben wij gebruik gemaakt van een CCTV quad processor. Een CCTV quad processor is een video hardware unit die vaak bij beveiliging wordt gebruikt om meerdere camera’s tegelijk in de gaten te kunnen houden. De beelden van de camera’s worden door de quad processor omgezet tot één beeld door de vier verschillende camera inputs te plaatsen in Camera’s

Composite video output

Camera 1

Camera 2

Camera 3

Camera 4

Quad Processor

ADVC-55

Analoog naar Digitale Video converter

Naar laptop

de vier hoeken van een video beeld. Zie afbeelding hieronder. Het analoge video beeld van de quad processor wordt door middel van een converter omgezet naar DV (digital video), wat door de laptop kan worden verwerkt. Door deze twee tussenstappen werd het mogelijk om meerdere camera’s aan te sluiten op één laptop.

27

TPS (2008) Fedde ten Berge & Luc van Weelden Software Om de video te bewerken wordt gebruik gemaakt van Max Jitter (Cycling74). De software kan de digitale video van de converter real-time opvangen en bewerken. Het opgevangen beeld en de bewerkingen kunnen 8 maal parallel worden uitgevoerd. De definitieve projectie kan daardoor bestaan uit 8 verschillende beelden. De eerste bewerking is een in-/uitzoom selectie van het door de quadprocessor doorgestuurde beeld. Zo kan bijvoorbeeld alleen het beeld van camera 1 worden geselecteerd, of juist een extreme closeup van een deel van camera 3. De volgende bewerking is het maken van een “Opacity Masker”. Dit houdt in dat voor iedere pixel een onafhankelijke mate van transparantie kan worden ingevoerd. Het is hier door mogelijk om bepaalde delen van het geselecteerde beeld weg te laten en beter te focussen op het gedeelte van het beeld waar het om gaat. De laatste bewerking is het bepalen van een positie in het frame van de definitieve projectie. Het is mogelijk om het beeld over de x, y en z as te verplaatsen.

Camera 1

Camera 2

Video beeld input van quad processor Camera 3

Camera 4

Jitter: Video sub processor (8x) - Zoom selectie - Opacity masker - Positie bepaling (x,y,z)

Sub5

Sub4 Sub6 Sub1 Sub8

Sub2

Sub3

Video output

Sub7

Naar beamer

28

TPS (2008) Fedde ten Berge & Luc van Weelden Met deze software zijn een aantal verschillende presets gemaakt voor het weergeven van de Lego robots in verschillende beeldcomposities. Het construeren van de beelden gaat uit van het concept van Lego zelf, namelijk het samenstellen van een geheel door verschillende onderdelen op, naast en in elkaar te plaatsen. De verschillende presets worden tijdens de performance doorlopen aan de hand van een voorgecomponeerde tijdslijn.

29


Sub-patch video bewerking:

30

TPS (2008) Fedde ten Berge & Luc van Weelden Screenshots van de video projectie tijdens de eerste uitvoering bij het instituut voor Sonologie op 2 December 2008:

31

TPS (2008) Fedde ten Berge & Luc van Weelden 7. Conclusie & Voorstel tot Voortzetting Ons draaitafel project heeft zich met behulp van het Fonds voor de Podium Kunsten kunnen uitbreiden tot een systeem waarbij meerdere media konden worden samengevoegd binnen een performance, waar door anderen (gerenommeerde geluidstechnici zoals Paul Jeukendrup), conservatorium vakdocenten (zoals bijv. Kees Tazelaar) en musici die actief zijn op het terrein van improvisatie (zoals Anne La Berge en Peter van Bergen) zeer positief op is gereageerd, en die ook naar ons eigen idee zeer geslaagd is. Het gebruik van de verschillende technologische middelen in deze performance hebben geleid tot een systeem met een zeer eigen karakter en een eigen speeltechniek. De performers alsmede het publiek worden geconfronteerd met een volledig nieuwe benadering van het gebruik van de draaitafel en van het genereren en bewerken van klankmateriaal. Wij willen het fonds bedanken voor de mogelijkheid dit project te realiseren. Wij zouden, indien mogelijk, graag een voorstel tot voortzetting van dit project kenbaar willen maken middels dit verslag. Een voortzetting zou voor ons betekenen dat wij verder gaan met de ontwikkeling van extended hardware voor de draaitafel en de daaruit voortkomende speel- en aansturingstechnieken voor het gebruik hiervan in een performance. Tevens willen wij het analyse systeem verfijnen en uitbreiden zodat er een hogere mate van interactiviteit kan worden bereikt tussen het spel van de performers en met de Lego-robots. Wij horen heel graag wat de mogelijkheden zouden zijn tot voortzetting van ons project en zouden het fonds ook graag nader infomeren over de plannen die wij verder in gedachten hebben.

32

Turntable Performance System Incorporating Lego-robots for Turntable Control (2008)

Recommend Documents