Het effect van veranderingen in grootte op het classificeren van muziekstukken
J.H.M. Feijen Bachelor thesis 28 juni 2011
Communicatie- en Informatiewetenschappen Begeleider: Dr. M.M. van Zaanen Faculteit Geesteswetenschappen Universiteit van Tilburg
Inhoud 1. Inleiding ............................................................................................................................................... 3 1.1 Aanleiding tot het onderzoek ........................................................................................................ 3 1.2 Music Information Retrieval (MIR) ................................................................................................ 3 1.3 Probleemstelling............................................................................................................................ 5 1.4 Onderzoeksvragen......................................................................................................................... 5 2. Theoretisch kader ................................................................................................................................ 6 2.1 Muzikale achtergronden ............................................................................................................... 6 2.1.1 Muzikale periodes .................................................................................................................. 6 2.1.2 Nationale muziekstijlen .......................................................................................................... 8 2.2 Classificatiesysteem....................................................................................................................... 9 2.2.1 Classificatie op basis van patronen ........................................................................................ 9 2.2.2 N-grammen........................................................................................................................... 10 2.2.3 Relevantie van patronen ...................................................................................................... 10 2.3 Data representatie ...................................................................................................................... 12 2.3.1. Absoluut .............................................................................................................................. 12 2.3.2. Relatief................................................................................................................................. 13 2.3.3. Contour ................................................................................................................................ 13 2.3.4 Relatie coderingen met muzikale kenmerken ...................................................................... 14 3. Data ................................................................................................................................................... 15 3.1 Datasets ....................................................................................................................................... 15 3.2 Classificatietaken ......................................................................................................................... 15 3.3 Baselines ...................................................................................................................................... 16 4. Resultaten en discussie ..................................................................................................................... 17 4.1. Aantal gevonden patronen......................................................................................................... 17 4.2. Accuraatheid van patronen van een vaste lengte ...................................................................... 18 4.3. Accuraatheid van patronen van reeks van symbolen ................................................................ 19 5. Conclusie ........................................................................................................................................... 21 Literatuur ............................................................................................................................................... 23 Bijlage 1: Gemiddelde accuraatheid in procenten ................................................................................ 25
2
1. Inleiding In dit hoofdstuk zal een inleiding worden gegeven op deze bachelorscriptie. Er wordt in paragraaf 1.1 eerst beschreven waar het onderzoek over gaat en waarom dit relevant is. Vervolgens wordt het onderzoek in paragraaf 1.2 in de context van andere relevante onderzoeksgebieden geplaatst. Als laatste zal de probleemstelling met de bijhorende onderzoeksvragen worden beschreven.
1.1 Aanleiding tot het onderzoek Op plaatsen waar veel muziek gemaakt wordt is veel bladmuziek. Voorbeelden hiervan zijn muziekscholen of verenigingen zoals een harmonie of fanfare. Wanneer je veel bladmuziek hebt is het vaak een hele klus om al je muziekstukken te sorteren en bij elkaar te houden. Maar wat als je een pagina met bladmuziek hebt zonder een titel of de componist? Voor oudere muziekstukken die teruggevonden worden is het ook interessant om de tijdsperiode te bepalen waaruit het stuk afkomstig is. Elke tijd in de muziekgeschiedenis heeft zijn eigen specifieke eigenschappen. Vandaar dat het ook makkelijk is om een systeem te hebben dat muziekstukken automatisch kan classificeren op tijd. Daarnaast is het ook mogelijk om te kijken naar het land waaruit de componist van een muziekstuk afkomstig is. Zou het zo zijn dat componisten uit een bepaald land veel overeenkomstige eigenschappen hebben in hun muziekstukken? Het zou in deze situaties makkelijk zijn om een computer te laten bepalen in welke categorie dit muziekstuk plaats hoort. Zou het mogelijk zijn om de computer kenmerkende patronen voor bepaalde categorieën te laten zoeken in muziekstukken? Wanneer de computer deze patronen geleerd heeft en een nieuw muziekstuk krijgt aangeboden, zou hij dit stuk dan in kunnen delen in de juiste categorie? Dat is waar deze bachelorscriptie over gaat. Muziekstukken worden op basis van patronen die specifiek zijn voor een bepaalde categorie automatisch geclassificeerd. Er wordt onderscheid gemaakt in de volgende categorieën: componist, land, muzikale periode en eerste letter van de achternaam van de componist.
1.2 Music Information Retrieval (MIR) Het classificeren van digitale muziekstukken is een onderdeel van het onderzoeksgebied Music Information retrieval (MIR). Andere onderwerpen die onder Music Information Retrieval vallen zijn bijvoorbeeld het maken en implementeren van muziekarchieven, 3
automatische analyses van muziek en query humming. Bij query humming is het neuriën van een melodie de input voor het systeem. Op basis van deze melodie zoekt het systeem een muziekstuk waarin het deuntje voorkomt (Downie J. S., 2003). Music information retrieval is gebaseerd op Information Retrieval (IR). IR wordt vooral gebruikt om belangrijke, tekstuele, informatie uit documenten te halen. In deze scriptie wordt een vorm van music information retrieval toegepast die ook gebruik maakt van deze tekstuele methode. Naast gebruik te maken van aspecten van Information Retrieval wordt er bij de classificatietaken gebruik gemaakt van machine learning. Het systeem krijgt trainingsdata aangeboden waarin het eigenschappen gaat zoeken die specifiek zijn voor die bepaalde klasse. Vervolgens worden er testdata aangeboden, welke het systeem probeert te classificeren in de juiste klasse. Bij onderzoek naar het classificeren van digitale muziekstukken wordt zoveel mogelijk informatie uit de muziekstukken gehaald om zo tot de beste classificatie te komen (Downie, 2003). Hiervoor is het nodig om de muziek te coderen en een symbolische betekenis toe te kennen aan de muzikale kenmerken. De bladmuziek is digitaal opgeslagen en elk muzikaal kenmerk (toonhoogte, duur van een noot, maatsoort, rusten etc.) wordt gecodeerd. Dit kan op verschillende manieren. Bijvoorbeeld door muziek tekstueel te indexeren of door naar muzikale eigenschappen als toonhoogte en lengte van de noot te kijken (Typke, Wiering, & Veltkamp, 2005). In deze scriptie coderen we de muziek voor toonhoogte en lengte van de noot. Hierbij wordt gebruik gemaakt van drie verschillende coderingen: absoluut, relatief en contour. Bij de absolute codering voor toonhoogte heeft elke noot een eigen waarde die gebaseerd is op halve tonen. Deze tonen zijn gebaseerd op een toonladder. Een toonladder is een trapsgewijze rangschikking van tonen (Nelleke, 1990). Bij de absolute codering voor de duur van noten wordt de waarde van de noot aangegeven. Bij de relatieve codering voor toonhoogte en de duur van noten wordt de verandering ten opzichte van de vorige noot aangegeven. Deze verandering kan positief en negatief zijn. Bij de contour codering voor toonhoogte en de duur van de noten wordt aangegeven of een bepaalde noot stijgt, gelijk blijft of daalt. Er wordt hierbij dus geen rekening gehouden met de grootte van de afstanden tussen de verschillende noten (Van Zaanen, Gaustad, & Feijen, 2011).
4
Het classificatiesysteem dat in dit onderzoek gebruikt wordt gaat op zoek naar patronen van de hierboven beschreven symbolen. Op basis van deze kenmerkende patronen worden muziekstukken ingedeeld in een bepaalde klasse.
1.3 Probleemstelling Tot nu toe is het systeem dat in de inleiding is beschreven succesvol toegepast op data met een beperkt aantal klassen (twee of vier). Het is interessant om te onderzoeken of het systeem ook werkt wanneer er complexere data worden aangeboden. Hoe reageert het systeem bijvoorbeeld wanneer er gebruik wordt gemaakt van verschillende coderingen voor de muziek, of wanneer er onderscheid wordt gemaakt tussen meer klassen, of wanneer er gebruik wordt gemaakt van langere patronen? Is het voor het systeem dan nog mogelijk om de muziekstukken accuraat te classificeren op basis van gevonden patronen? Dit leidt tot de volgende onderzoeksvraag: Wat is het effect van veranderingen in de codering van de muziek, het aantal klassen in de dataset en de lengte van patronen op de accuraatheid van het classificeren?
1.4 Onderzoeksvragen In de experimenten wordt gebruik gemaakt van drie verschillende coderingen voor de toonhoogte en de duur van de muzieknoten. Het is interessant om te onderzoeken wat de verschillen tussen de drie coderingen zijn en wat de invloed van de codering is op de voorspellende kracht van het systeem. Elke codering is op een andere manier opgebouwd en elke codering heeft ook een verschillend aantal mogelijke symbolen (verschillende groottes van het vocabulaire). Daarom is de eerste onderzoeksvraag: Hoe verandert de accuraatheid van het classificatiesysteem wanneer er verschillende coderingen worden gebruikt om muziek te representeren?
Tijdens de experimenten worden de data opgedeeld in klassen. Het aantal klassen is niet bij elke dataset even groot. Zo worden er typisch maar zes muzikale periodes herkend, terwijl er wel honderden componisten bestaan. Bovendien kan er gebruik gemaakt worden van een frequentiedrempel. Hierbij worden alleen de klassen behouden waar voldoende data voor beschikbaar zijn. Het effect van het veranderen van het aantal klassen is erg interessant om te onderzoeken. Dit geeft ons meer inzicht in de werking van het systeem. Daarom is de tweede onderzoeksvraag: 5
Hoe verandert de accuraatheid van het classificatiesysteem wanneer het aantal klassen verandert?
Naast te kijken naar de verschillende coderingen en de verandering in het aantal klassen is het interessant om te kijken naar de effectiviteit van patronen van een bepaalde lengte. Worden de muziekstukken beter geclassificeerd bij korte patronen, of juist bij wat langere patronen? En verschilt dit per codering? Daarom is de derde onderzoeksvraag: Hoe verandert de accuraatheid het classificatiesysteem wanneer de lengte van de patronen verandert?
2. Theoretisch kader In dit hoofdstuk wordt de theoretische achtergrond besproken. Als eerste wordt er een uitleg gegeven over de zes muzikale periodes en wordt besproken hoe muzikale kenmerken per land kunnen verschillen. Vervolgens wordt het classificatiesysteem uitgelegd. Als laatste zal er een beschrijving worden gegeven van de drie verschillende coderingen en hun relatie met betrekking tot de muzikale kenmerken.
2.1 Muzikale achtergronden In deze paragraaf wordt een overzicht gegeven van de zes muzikale periodes in de muziekgeschiedenis. Ook worden per periode de belangrijkste muzikale kenmerken genoemd. Als laatste wordt er besproken hoe muzikale kenmerken per land kunnen verschillen. 2.1.1 Muzikale periodes
In deze paragraaf zal de muziekgeschiedenis worden beschreven aan de hand van een indeling in stijlperiodes. Elke periode in de muziekgeschiedenis heeft een aantal specifieke kenmerken (Steffelaar, 2007). Deze indeling begint bij de Middeleeuwen (400 tot ± 1400). In deze periode speelde de kerk een grote rol en werd er voornamelijk geestelijke muziek gemaakt. Beroepsmusici waren in dienst van de kerk. De muziek uit de Middeleeuwen was monofone muziek. Dit is muziek die gecomponeerd is voor één enkele stem of instrument, zonder begeleiding (Nelleke, 1990). Het gregoriaans was de officiële kerkzang van de Rooms-katholieke kerk. De belangrijkste functie van de gregoriaanse liederen was het volk in een stemming van vroomheid brengen. Bij de meeste composities ontbreekt de maatindeling. Deze stukken hebben een vrij ritme (Steffelaar, 2007). 6
Na de Middeleeuwen komt de Renaissance (1400-1600). De structuur van de composities uit deze tijd zijn eenvoudig. In deze periode wordt er naast monofone ook polyfone muziek gecomponeerd. Bij polyfone muziek worden meerdere stemmen tegelijk ten gehore gebracht. Elke stem is even belangrijk en heeft een eigen melodie (Nelleke, 1990). De meerstemmigheid wordt in deze periode vooral bepaald door imitatie. Verschillende stemmen brengen op verschillende momenten in de compositie eenzelfde motief ten gehore. De melodieën in composities uit deze tijd zijn gebaseerd op menselijke stemmen. Alle stukken kunnen door mensen gezongen worden en worden niet specifiek voor instrumenten geschreven. De ritmiek van de stukken is regelmatig en eenvoudig (Steffelaar, 2007). De periode van 1600-1750 wordt de Barok genoemd. In deze periode worden de muziekstukken complexer. Nadat zang centraal stond in de Middeleeuwen en de Renaissance kwam er in de Barok veel aandacht voor instrumentale muziek. Er werd veel gebruik gemaakt van begeleidende instrumenten zoals het klavecimbel en het orgel. De muziek uit deze periode wordt gekenmerkt door de vele versieringen en sequensen. Versieringen zijn snelle tonen die om de hoofdtoon heen worden gespeeld. Hierdoor wordt de muziek levendiger (Nelleke, 1990). Een sequens is een stijgende of dalende herhaling van een motief waarbij de afstand tussen de tonen wel gelijk blijft (Nelleke, 1990). De melodie is dus hetzelfde, maar deze klinkt wat hoger of lager. Een ander kenmerk van deze tijd is terrassendynamiek: van heel zacht naar heel sterk of andersom zonder enige overgang (Nelleke, 1990). Gelijkmatige overgangen komen nauwelijks voor. Bovendien krijgen de muziekstukken een duidelijke maatindeling (Van der Goot, 2000). In de klassieke periode of het classicisme (1750-1800) komt de piano op. De terrassendynamiek verdwijnt en maakt plaats voor gelijkmatige overgangen met crescendo (geleidelijk sterker worden) en decrescendo (geleidelijk zachter worden). De composities worden gekenmerkt door drieklankmotieven in zowel de melodiestemmen als in de begeleiding. Een drieklank is een samenklank van drie tonen: de eerste, de derde en de vijfde toon in een toonladder (Nelleke, 1990). De periode hierna is de romantiek (1800-1900). In deze tijd vonden vele maatschappelijke veranderingen plaats en als reactie zocht men toevlucht in fantasie, dromen, mythes en sprookjes. In de muziek kwam dit tot uiting in programmamuziek: men probeerde niet muzikale zaken (literatuur, beeldende kunst, natuur, etc.) uit te drukken met 7
behulp van muziek (Nelleke, 1990). Ook speelde de eigen stemmingen en gevoelens van de componist een belangrijke rol in de muziek. Door het groeiende nationalisme ontstonden er nationale scholen: men kreeg aandacht voor de kenmerkende muziek van het eigen land en deze werd verwerkt in composities. Romantische muziek is vaak dramatisch en bevat virtuoze passages. (Van der Goot, 2000). De periode die hierop volgt is de 20e eeuw (1900-heden). In deze periode wordt er veel geëxperimenteerd met geluiden. De melodieën zijn vaak kort en er worden dissonante samenklanken en akkoorden gebruikt. Dit zijn samenklanken die niet fijn in de oren liggen. De muziek wordt hierdoor minder voorspelbaar voor de luisteraar. Daarnaast worden de ritmes complexer en deze kunnen elke maat verschillend zijn. Het maatgevoel wordt steeds meer losgelaten (Van der Goot, 2000).
2.1.2 Nationale muziekstijlen
Naast het onderscheid in tijd waarin een muziekstuk gecomponeerd is kan er ook onderscheid worden gemaakt in het land waaruit de componist van het muziekstuk afkomstig is. De componisten in de database komen uit 13 verschillende landen. Een aantal van deze landen heeft een aantal typische kenmerken die terug te vinden zijn in hun muziek. In Spaanse muziek is bijvoorbeeld veel emotie en temperament te horen, maar toch is de muziek symmetrisch en geordend. Bovendien zijn er veel contrasten te vinden in de geluidssterkte. De muziek klinkt hierdoor overtuigend en vertelt een verhaal (Koopman, 2001). Afrikaanse muziek daarentegen is sterk gefocust op het ritmische aspect. Er wordt gebruik gemaakt van polyritmiek: verschillende ritmes worden tegelijkertijd uitgevoerd en syncopen spelen een belangrijke rol: accenten die tussen de tellen liggen (Nelleke, 1990). In dit onderzoek wordt geen gebruik gemaakt van Afrikaanse muziek, maar toch is het een duidelijk voorbeeld om contrasten tussen stijlen van landen aan te duiden. Zo heeft elk land zijn eigen muzikale kenmerken die onderscheidend zijn voor hun muziek. Wel is het zo dat de muziekstijlen van grenzende landen vaak veel op elkaar lijken. Dit maakt het classificeren op muzikale kenmerken lastig.
8
2.2 Classificatiesysteem In deze paragraaf wordt de werking van het classificatiesysteem uitgelegd. Als eerste zal besproken worden hoe het classificatiesysteem op basis van patronen is opgebouwd. Daarna wordt er dieper ingegaan op de patronen die gebruikt worden. Als laatste zal besproken worden hoe de relevantie van deze patronen gemeten kan worden. 2.2.1 Classificatie op basis van patronen
Het doel van het classificatiesysteem (van Zaanen & Gaustad, 2010) is patronen vinden in een dataset die kunnen gebruikt kunnen worden om nieuwe reeksen symbolen te classificeren. Het is hiervoor dus van belang dat het systeem onderscheid kan maken tussen de verschillende klassen die worden aangeboden. Het systeem leert dit onderscheid te maken door middel van machine learning. Bij machine learning leert het systeem van de invoer die het ontvangt: de trainingsdata. Wanneer het systeem later informatie krijgen die op de invoer lijkt, kan het deze nieuwe data makkelijk en succesvoller verwerken door gebruik te maken van algoritmes (Mitchell, 1997). Het systeem leert op een bepaalde taak. Na het verkrijgen van de trainingsdata kan deze taak beter worden uitgevoerd volgens een bepaalde evaluatiemetriek. Als eerste worden er trainingsdata aangeboden aan het systeem. Tijdens deze trainingsfase ontvangt het systeem een aantal klassen en een reeks van symbolen die bij deze klasse horen. Op basis van deze reeksen van symbolen worden er patronen van verschillende lengten en combinaties van lengten afgeleid en wordt de tf*idf waarde berekend voor elk patroon. De tf*idf waarde is een manier om de relevantie van een patroon in een bepaalde klasse te bepalen (zie paragraaf 2.2.3). Dit leidt tot een set patronen gecombineerd met een score voor elke klasse (Van Zaanen, Gaustad, & Feijen, 2011). Na de trainingsfase komt de testfase. In deze fase ontvangt het systeem een nieuwe reeks van symbolen welke geclassificeerd moet worden. Op basis van deze reeks berekent het systeem een totaalscore voor elke klasse. Dit gebeurt door elk patroon op de reeks toe te passen en bij elke match wordt tf*idf waarde voor het bepaalde patroon toegevoegd aan de cumulatieve scores voor elke klasse. (Van Zaanen, Gaustad, & Feijen, 2011). In de trainingsfase wordt dus gezocht naar patronen die kenmerkend zijn voor elke klasse. In de testdata, de nieuwe muziekstukken, wordt opnieuw gezocht naar zulke patronen. De
9
testdata worden toebedeeld aan de klasse waarmee zij de meeste overeenkomstige patronen hebben. Behalve naar patronen te kijken met een vaste lengte, wordt er in de reeks experimenten die gaat volgen ook gekeken naar patronen met een reeks van lengten. Hierbij worden er scores berekend van een reeks symbolen door patronen te gebruiken van verschillende lengtes. De uiteindelijke score voor de reeks is de combinatie van alle scores voor elke patroonlengte (Van Zaanen, Gaustad, & Feijen, 2011). Wanneer er bijvoorbeeld gekeken wordt naar de reeks van patroonlengte één tot en met drie, dan is de uiteindelijke score de som van patroonlengte één, twee en drie. De testdata worden op basis van deze score toebedeeld aan de klasse waarmee zij de meeste overeenkomstige patronen hebben. Alle resultaten voor de accuraatheid van het systeem worden berekend door middel van de 10-fold cross validation. Dit is een statistische methode waarbij de data worden ingedeeld in tien delen (folds). Negen van de tien delen worden gebruikt als trainingsdata, en één deel wordt gebruikt als het test dataset. Dit wordt een aantal keren herhaald waarbij elk van de delen één keer wordt gebruikt als test dataset. Het uiteindelijke resultaat is het gemiddelde van het aantal resultaten. 2.2.2 N-grammen
Het classificatiesysteem dat voor dit experiment gebruikt wordt (van Zaanen & Gaustad, 2010), probeert dus patronen te vinden in de dataset en classificeert nieuwe muziekstukken op basis van deze gevonden patronen. Deze patronen zijn gebaseerd op eigenschappen die gevonden zijn in de trainingsdata. De lengtes van de patronen worden vooraf vastgesteld en kunnen worden gezien als n-grammen, waarbij n het aantal symbolen in een patroon aangeeft (Heaps, 1978). De achterliggende gedachte hierbij is dat het systeem per klasse patronen vindt die helpen bij het classificeren van muziekstukken. 2.2.3 Relevantie van patronen
Om de relevantie te bepalen van de patronen die in de muziekstukken worden gevonden, wordt gebruik gemaakt van de tf*idf metriek (van Rijsbergen, 1979). Oorspronkelijk is deze metriek ontwikkelt voor het zoeken naar relevante documenten voor een bepaalde zoekvraag. Door de tf*idf methode toe te passen op documenten kan de waarde van een bepaalde term berekend worden in een verzameling documenten. Door de zoekvraag te vergelijken met alle beschikbare documenten kan het document gekozen worden dat het
10
beste bij de zoekvraag past. Locale informatie (van één document) wordt dus gewogen door het toevoegen van globale informatie (van de hele database). Het eerste gedeelte van de formule, de tf-waarde, is de term frequency. Dit getal geeft aan hoe vaak een bepaalde term voorkomt in een document. De tf-waarde wordt berekend door middel van de volgende formule:
Hierbij is ni,j het aantal keren dat term ti voorkomt in document j. Onder de breukstreep wordt de lengte van document j berekend. De uitkomst van deze deling is de tf-waarde: het relatief aantal keren dat een term voorkomt in een document. Het aantal keren dat een term voorkomt in een document wordt gedeeld door de lengte van het document omdat korte en lange documenten zo met elkaar vergeleken kunnen worden. Vervolgens wordt de term frequency vermenigvuldigd met de inverse document frequency, de idf-waarde. Deze waarde is een normalisatie voor de tf-waarde en geeft aan in hoeveel documenten de gezochte term voorkomt, en dus hoe belangrijk een bepaalde term is in alle documenten. De idf-waarde wordt door middel van de volgende formule berekend:
Hierbij wordt het logaritme genomen van de volgende deling: het totale aantal documenten gedeeld door het aantal documenten dat de term ti bevat. De uitkomst hiervan is de idfwaarde: een maat van het relatief voorkomen van documenten waarin term ti voorkomt ten opzichte van het totaal aantal documenten. Hoe hoger de uitkomst van de vermenigvuldiging, hoe typischer de term is voor het document. De formule voor de tf*idf waarde is hieronder weergegeven:
Onderzoek heeft laten zien dat de tf*idf metriek ook op muziekstukken kan worden toegepast (Downie, 1999). De muziekstukken in de digitale database zijn beschreven op een tekstuele manier. Elk kenmerk in het muziekstuk heeft een eigen symbool gekregen en lijken 11
de stukken veel op een tekstdocument. Op deze manier kan de tf*idf methode ook worden toegepast op de muziekstukken in deze database.
2.3 Data representatie De muziekstukken die gebruikt worden voor de reeks van experimenten zijn weergegeven in het Humdrum **kern formaat (Huron, 1997). **kern is een representatie van bladmuziek in ASCII. Muzikale symbolen zijn gegroepeerd per muzikale stem en alle muzikale symbolen worden in een tekstuele vorm weergegeven. Voor de experimenten die gaan volgen wordt alleen gebruik gemaakt van de eerste stem. De muziek die gebruikt wordt voor dit onderzoek is dus monofoon (Nelleke, 1990). Om de muzikale data vanuit verschillende uitgangspunten te bekijken zijn ze op drie verschillende manieren gecodeerd: absoluut, contour en relatief. Deze symbolische representaties kunnen worden toegepast op zowel de toonhoogte als de lengte van een muzieknoot. In de experimenten die gaan volgen zullen voor zowel de toonhoogte als lengte van de noot steeds dezelfde codering worden toegepast, net als in het onderzoek van Van Zaanen en Gaustad (2010). 2.3.1. Absoluut
Bij de absolute codering voor toonhoogte heeft elke noot een eigen waarde die gebaseerd is op halve tonen. Wanneer een bepaalde toon klinkt is de afstand tot de volgende noot een halve toon (Nelleke, 1990). In figuur 1 staat een stukje van het toetsenbord van een piano afgebeeld. De notennamen van de witte toetsen staan onderaan, de notennamen van de zwarte toetsen bovenaan. De reeks begint bij de noot c, welke het cijfer 0 krijgt. Elke toets die na de c komt krijgt een volgnummer. Als je op de noot c begint krijg je de reeks: c=0, cis=1, d=2, dis=3, e=4 enzovoorts. Bij een hoger of lager octaaf wordt er gewoon verder geteld. Bij de absolute codering voor de duur van noten wordt de waarde van de noot aangegeven. Zo krijgt een kwartnoot de codering
en een achtste noot de codering . In
figuur 2 is een voorbeeld van deze codering te zien toegepast op een stukje bladmuziek.
12
Cis
C
Dis
D
E
Fis
F
Gis
G
Ais
A
B
Figuur 1: Toetsenbord van een piano
2.3.2. Relatief
Bij de relatieve codering voor toonhoogte wordt de verandering ten opzichte van de vorige noot aangegeven. Hierbij wordt wel rekening gehouden met de grootte van de onderlinge afstanden gebaseerd op de halve tonen (ook wel semitonen) zoals is uitgelegd bij de absolute codering. De afstand tussen elke toets op een piano is een halve toon. De verandering kan dus ook negatief zijn. Wanneer de componist bijvoorbeeld een c heeft geschreven, en vervolgens een e, dan is de relatieve afstand 4 semitonen. Wanneer de componist na de e een dis schrijft, dan is de relatieve afstand -1 semitoon. Bij de relatieve codering voor de duur van noten wordt ook de verandering ten opzichte van de vorige noot aangegeven. Wanneer de componist eerst een kwartnoot schrijft en vervolgens een achtste noot dan krijgt deze noot de codering , want
x = . Wanneer na de achtste noot weer
een achtste noot volgt krijgt deze de codering =, want x 1 = . In figuur 2 is een voorbeeld van deze codering te zien toegepast op een stukje bladmuziek. 2.3.3. Contour
Bij de contour codering voor toonhoogte geeft aan of een bepaalde noot stijgt, gelijk blijft of daalt. Stijgende noten krijgen het teken +, dalende noten het teken -, en noten die gelijk blijven het teken =. Er wordt hierbij dus geen rekening gehouden met de grootte van de afstanden tussen de verschillende noten. Bij de contour codering voor de duur van noten op dezelfde manier aangegeven. Wanneer een noot korter is dan de vorige noot dan krijgt deze het cijfer -1 en wanneer een noot langer is dan de vorige noot dan krijgt deze het cijfer 1. Wanneer de noot gelijk van duur is dan de vorige noot dan krijgt deze noot het teken =. In figuur 2 is een voorbeeld van deze codering te zien toegepast op een stukje bladmuziek. 13
Toonhoogte
Absoluut
0
4
9
7
Relatief
4
5
-2
Contour
+
+
-
2
2
+
+
Absoluut Duur
Relatief Contour Absoluut
Codering
Relatief Contour
0:
4:
9:
4:
5:2
-2:2
+:+
-:+
+:-
7:
Figuur 2: Overzicht van de drie coderingen
2.3.4 Relatie coderingen met muzikale kenmerken
Elk van de hierboven beschreven coderingen heeft zijn positieve en negatieve kenmerken met betrekking tot muzikale kenmerken. De absolute codering komt het dichtst in de buurt bij de gebruikelijke notatie van muziek en is heel specifiek. Alle noten hebben een eigen symbool en de lengte van een noot wordt beschreven zoals de waarde van die noot is in een maat. Wanneer er een bepaald stukje muziek een aantal keren exact hetzelfde voorkomt in een muziekstuk dan kan dit met de absolute codering gevonden worden. Een sterk punt van de relatieve codering kan bijvoorbeeld intervallen herkennen. Een interval is een afstand tussen twee noten (Nelleke, 1990). In paragraaf 2.2.1 werden sequensen besproken. Een sequens kwam veel voor in de Barok en is een stijgende of dalende herhaling van een motief waarbij de intervalverhouding gelijk blijft (Nelleke, 1990). De melodie is dus hetzelfde, alleen klinkt deze op een hogere of lagere toonhoogte. De relatieve codering is geschikt om kenmerken te vinden in muziek die gebaseerd zijn op intervallen. Met de contourcodering is het mogelijk om bepaalde trends in de muziek te ontdekken, bijvoorbeeld stijgende en dalende muzikale lijnen. De contourcodering is echter 14
heel algemeen en is niet geschikt om specifieke kenmerken in een muziekstuk te ontdekken. De verwachting is daarom ook dat de accuraatheid van deze codering het laagst zal zijn van alle drie de coderingen.
3. Data In dit hoofdstuk wordt uitgelegd hoe de datasets eruit zien die gebuikt gaan worden in de reeks van experimenten. Vervolgens worden de experimenten verder toegelicht en wordt beschreven wat de classificatietaken zijn. Als laatste wordt er kort iets verteld over de baselines waartegen de resultaten zullen worden afgezet.
3.1 Datasets De muziekstukken die voor de experimenten zijn gebruikt zijn afkomstig van de voorpagina van de **kern scores website1 (Sapp, 2005). De bestanden op deze website bevatten muziekstukken in het Humdrum **kern formaat van 50 verschillende componisten (Huron, 1997). In totaal zijn er 3,132 muziekstukken. Tabel 1 geeft per experiment een overzicht van het aantal muziekstukken en laat zien in hoeveel klassen deze stukken zijn verdeeld.
3.2 Classificatietaken Op basis van de symbolische bladmuziek van de **kern scores website zijn zes verschillende classificatietaken gemaakt. In de eerste twee experimenten worden de muziekstukken geclassificeerd op componist. In het eerste experiment worden alle componisten meegenomen (componisten), in het tweede experiment alleen de componisten waarvan 50 of meer muziekstukken in de database zitten (componisten_50). Dit wordt gedaan omdat er anders te weinig gegevens beschikbaar zijn voor die klasse. Het aantal klassen en het aantal muziekstukken per experiment zijn weergegeven in tabel 1. In het derde en vierde experiment worden de muziekstukken geclassificeerd op het geboorteland van de componisten. Net als bij de eerste twee experimenten wordt de dataset opgesplitst. In het derde experiment worden alle geboortelanden meegenomen (landen), in het vierde experiment alleen de geboortelanden waarvan meer dan 50 muziekstukken in de database zitten (landen_50). In het vijfde experiment worden de muziekstukken geclassificeerd op basis van de tijdsperiode waarin het muziekstuk gecomponeerd is (perioden). Er wordt onderscheid 1
http://kern.humdrum.net
15
gemaakt tussen de volgende perioden: Middeleeuwen (400-1400), Renaissance (1400-1600), Barok (1600-1750), Classicisme (1750-1800), Romantiek (1800-1900) en 20e eeuw (1900nu). Deze indeling is overgenomen van de International Music Score Library Project (IMSLP) website2 en wordt ook gebruikt in de muziektheorie (Van der Goot, 2000). Tot slotte worden in het zesde experiment de muziekstukken geclassificeerd op de eerste letter van de achternaam van de componisten. Dit is een soort van controle experiment. De verwachting is dat deze classificatietaak laag zal scoren omdat er geen duidelijke structuur zit binnen de muziekstukken in deze verdeling. Daarom zullen er waarschijnlijk weinig patronen gevonden kunnen worden in deze dataset. In tabel 1 staat een overzicht van de zes experimenten met het aantal klassen en het aantal muziekstukken.
Tabel 1: Overzicht van de classificatietaken
Dataset
Klassen
Muziekstukken
Componisten
50
3,132
Componisten_50
9
2,747
Landen
14
3,132
Landen_50
5
3,050
Perioden
6
3,132
Initialen
17
3,132
3.3 Baselines Om te onderzoeken of de resultaten van de experimenten significant zijn of om resultaten van verschillende experimenten met elkaar te vergelijken is er een majority baseline nodig om de resultaten tegen af te zetten. Bij het berekenen van deze baseline wordt allereerst gekeken naar de klasse die het meeste voorkomt. Zonder te kijken naar de inhoud is het kiezen van deze klasse namelijk de beste optie. Vervolgens is de accuraatheid berekend voor het kiezen van deze klasse. Deze maat wordt gebruikt voor de berekening van alle resultaten. De accuraatheid wordt berekend door het aantal correct geclassificeerde muziekstukken te delen door het totaal aantal muziekstukken. Het getal wat hieruit komt is de baseline waartegen de resultaten worden afgezet.
2
http://imslp.org/
16
4. Resultaten en discussie In dit hoofdstuk worden de resultaten besproken van de experimentele opzet hierboven. Wanneer het systeem wordt toegepast op de experimentele dataset vallen er een aantal zaken op. Allereerst wordt gekeken naar het aantal patronen dat gevonden wordt voor de drie verschillende coderingen. Vervolgens wordt er voor elk van de datasets gekeken naar de accuraatheid van de patronen van een vaste lengte, en als laatste wordt gekeken naar de accuraatheid van de patronen van een reeks van symbolen.
4.1. Aantal gevonden patronen Ten eerste wordt gekeken naar het aantal patronen dat gevonden wordt. In tabel 2 wordt het aantal bruikbare patronen per codering en patroonlengte weergegeven. Bruikbare patronen zijn patronen waarvan de tf*idf waarde geen nul is. In de tabel is te zien dat naarmate de patronen langer worden er meer bruikbare patronen gevonden worden op basis van tf*idf. Dit komt doordat langere patronen een kleinere kans hebben om in alle klassen voor te komen. Wanneer er wordt gekeken naar het gevonden aantal patronen voor de verschillende coderingen is te zien dat de contourcodering minder bruikbare patronen oplevert dan de relatieve en absolute codering. Wanneer de absolute codering met de relatieve codering vergeleken wordt, is te zien dat de relatieve codering bij een patroonlengte van één de meeste bruikbare patronen oplevert. Naarmate de patroonlengte groter wordt, worden er echter meer patronen gevonden met de absolute codering. Dit komt doordat een bepaald interval (relatief) bijvoorbeeld minder kans heeft om in verschillende klassen voor te komen dan de exacte combinatie van noten (absoluut). Tabel 2: Gemiddelde aantal bruikbare patronen per codering en patroonlengte
Patroonlengte 1
2
3
4
5
6
7
Relatief
2,005
25,275
83,291
147,305
196,393
229,068
251,826
Absoluut
1,047
27,018
108,467
189,957
239,248
267,242
285,025
4
111
1,668
12,079
40,681
81,180
122,032
Contour
17
4.2. Accuraatheid van patronen van een vaste lengte In deze paragraaf wordt er gekeken naar de resultaten van de accuraatheid waarbij alle patronen dezelfde lengte hebben (vaste n-grammen). De resultaten van de experimenten zijn te zien in figuur 3. Als eerste valt op dat alle coderingen voor de meeste n-grammen significant boven de baseline scoren. Over het algemeen presteren langere patronen slechter. Een verklaring hiervoor is dat de kans dat langere patronen terugkomen in de testdata klein is. Wanneer het systeem in het hele muziekstuk geen patronen vindt die overeenkomen met de testdata valt het terug op de majority baseline. Wanneer er naar de verschillende coderingen wordt gekeken vallen er ook een aantal dingen op. De absolute en relatieve coderingen presteren ongeveer gelijk met een piek bij n=3 of n=4, afhankelijk van de classificatietaak. Er is geen significant verschil tussen de resultaten van de absolute en de relatieve codering (p=.44). De contour codering presteert wel significant slechter dan de andere twee coderingen (p<.001). Naarmate de patronen langer worden gaat de contour codering echter beter presteren. Dit kan worden verklaard door het langzaam groeiende aantal patronen (zie tabel 2). In figuur 3 is ook te zien dat bij de classificatietaken waar het aantal klassen met minder dan 50 muziekstukken wordt weggelaten (componisten_50 en landen_50) de accuraatheid stijgt ten opzichte van de oorspronkelijke taak. Een verklaring hiervoor is dat het aantal klassen waarop geclassificeerd kan worden kleiner wordt, en de muziekstukken beter geclassificeerd kunnen worden in de grotere klassen. De taak wordt dus makkelijker. Dit is ook te zien aan de baseline die omhoog gaat. Het is opvallend dat de resultaten van het controle experiment (initialen) boven de baseline uitkomen. De accuraatheid voor dit experiment is wel lager dan bij de andere experimenten. Na de data nog eens bekeken te hebben bleek dat er overeenkomsten waren tussen de verschillende invalshoeken van de experimenten. Er blijken bijvoorbeeld een aantal componisten met een bepaalde beginletter in dezelfde periode voor te komen. Hierdoor wordt er alleen niet geclassificeerd op beginletter, maar kunnen de verschillende kenmerken van een tijdsperiode een rol spelen. Er is dus een vorm van correlatie tussen de klassen van de verschillende classificatietaken.
18
Figuur 3: Accuraatheid van patronen van n-grammen met een vaste lengte. De horizontale lijn is de baseline.
4.3. Accuraatheid van patronen van reeks van symbolen In deze sectie wordt er gekeken naar de resultaten van de accuraatheid waarbij alle patronen verschillende lengtes hebben (reeks van n-grammen). De resultaten van de experimenten zijn te zien in figuur 4. Wanneer de grafieken in figuur 3 en 4 vergeleken worden valt op dat bij de resultaten met n-grammen met verschillende lengtes (figuur 4) de grafieken meer horizontaal lopen dan de grafieken van n-grammen met vaste lengtes (figuur 3). Dit komt doordat langere patronen minder invloed hebben in figuur 4, en dat de kortere patronen juist meer invloed hebben in figuur 3. De resultaten voor de drie verschillende coderingen zijn vergelijkbaar met de resultaten bij de vaste n-grammen. De absolute en relatieve codering verschillen niet significant van elkaar (p=.38), maar de contour codering presenteert significant slechter (p<.001).
19
Ook bij de reeksen scoren de meeste n-gram reeksen boven de baseline. Alleen bij het periodenexperiment scoren de absolute en contourcodering vooral onder de baseline, terwijl de relatieve codering wel boven de baseline scoort. Voor dit verschijnsel is nog geen verklaring gevonden. Voor het controle experiment, de initialentaak, zijn bij de reeks van n-grammen wel de verwachte resultaten te zien. Alle drie de coderingen zitten ongeveer op een rechte lijn net boven de baseline zoals te zien is in figuur 4. De patronen die gevonden worden hebben dus maar weinig invloed op de classificatie van de muziekstukken.
Figuur 4: Accuraatheid van patronen van n-grammen met een reeks van lengtes. De horizontale lijn is de baseline.
Door de resultaten van het gebruik van vaste n-grammen en reeksen van n-grammen te vergelijken is te zien dat vaste n-grammen betere resultaten opleveren dan reeksen van ngrammen.
20
5. Conclusie Het classificatiesysteem dat voor deze experimenten gebruikt is, was succesvol toegepast op data met weinig verschillende klassen. In dit onderzoek werd gebruik gemaakt van drie verschillende veranderingen van de dataset die te maken hebben met de codering van de muziek, het aantal klassen en de lengte van patronen waarop wordt gezocht. Is het nog mogelijk voor het systeem om met deze uitbreidingen de muziekstukken correct te classificeren op basis van de gevonden patronen? In dit hoofdstuk wordt een antwoord gegeven op de onderzoeksvraag van deze scriptie: Wat is het effect van veranderingen in de codering van de muziek, het aantal klassen in de dataset en de lengte van patronen op de accuraatheid van het classificeren? De dataset is toegepast op verschillende experimenten. Er werd geclassificeerd op basis van de componist, het geboorteland van de componist, de muzikale periode waaruit de componist afkomstig is en op de eerste letter van de achternaam van de componist. Bovendien werd er een frequentielimiet gebruikt bij de componisten en de geboortelanden. Hierbij werd alleen gekeken naar klassen die meer dan 50 items bevatten. Over het algemeen presteert het classificatiesysteem significant beter dan de baselines waartegen de resultaten worden afgezet. Er zijn geen verschillen tussen de prestaties van de absolute en de relatieve codering. De contourcodering daarentegen scoort significant slechter dan de andere twee coderingen. Dit komt doordat de contourcodering minder informatie meeneemt in de codering en dus een kleiner vocabulaire heeft. Wanneer er gebruik wordt gemaakt van patronen van een vaste lengte zijn de resultaten van de classificatie beter. Hierbij speelt wel de lengte van de patronen een grote rol. Te korte of te lange patronen verminderen de accuraatheid van de classificaties. Dit is geen wanneer er gebruik wordt gemaakt van reeksen patronen. Dit komt doordat deze resultaten krachtiger zijn. Toch scoren over het algemeen de patronen met vaste lengtes beter bij de classificatietaken dan de reeksen van patronen. Het gebruik van verschillende classificatietaken in dezelfde dataset heeft zowel voorals nadelen. Een voordeel is dat het aantal gegevens in elke classificatietaak gelijk is. Hierdoor kunnen er experimenten worden gedaan met een verschillend aantal klassen. Een nadeel is dat er een nauwe relatie is tussen de verschillende taken, wat het moeilijk maakt om aan te geven wat het systeem precies aan het leren is. Dit komt duidelijk naar voren bij het experiment met de eerste letter van de achternaam van componisten. Tegen de 21
verwachting in scoorde het systeem hoge resultaten op de accuraatheid van het classificeren van deze dataset. Dit komt doordat de klassen die hierbij gemaakt werden veel overeenkomsten toonden met klassen die gebruikt werden in andere experimenten.
22
Literatuur Baisili, R., Serafini, A., & Stellato, A. (2004). Classification of musical genre: a machine learning approach. Proceedings of the fifth International Conference on Music Information Retrieval (ISMIR) . Downie, J. (1999). Evaluating a simple approach to musical information retrieval: Conceiving melodic N-grams as text (Doctoral dissertation). The University of Western Ontario, London, Ontario. Downie, J. S. (2003). Music information retrieval. Annual review of information science and technology, 295-340. Geertzen, J., & van Zaanen, M. (2008). Composer classification using grammatical inference. Proceedings of the MML 2008 International Workshop on Machine Learning and Music held in conjunction with ICML/COLT/UAI 2008, 17-18. Heaps, H. S. (1978). Information retrieval: Theoretical and computational aspects. New York, United States: Academic press. Huron, D. (1997). Humdrum and kern: Selective feature encoding. In E. Selfridge-Field, Beyond MIDI: The handbook of musical codes (pp. 375-401). Cambridge: MA USA and London, UK: Massachusetts Institute of Technology Press. Koopman, H. (2001). Karakter en interpretatie van de Spaanse Klaviermuziek. Piano Bulletin, pp. 57-51. Mitchell, T. (1997). Machine Learning. McGraw-Hill. Nelleke, B. (1990). Muziekwoordenboek. Hillegom: Edition Heuwekemeijer. Sapp, C. (2005). Online database of scores in the humdrum file format. Proceedings of the sixth International Conference on Music Information Retrieval (ISMIR), 664-665. Steffelaar, W. (2007). Muzikale stijlgeschiedenis: De evolutie van stijlkenmerken in de westerse klassieke muziek. Amsterdam: Uitgeverij Nieuwezijds. Van der Goot, J. (2000). Theorie ABCD. Tzummarum: Uitgeverij Muzika. van Rijsbergen, C. (1979). Information Retrieval. Glasgow, UK: University of Glasgow. van Zaanen, M., & Gaustad, T. (2010). Grammatical inference as class discrimination. In J. Sempere, & P. Garcia, Grammatical inference: Theoretical results and applications (pp. 245-257). 23
Berlin/Heidelberg: Springer. Van Zaanen, M., Gaustad, T., & Feijen, J. (2011). Influence of size on pattern-based sequence classification. Proceedings of the 20th Machine Learning converence of Belgium and The Netherlands.
24
Bijlage 1: Gemiddelde accuraatheid in procenten De hoogste scores per experiment zijn gemarkeerd. Componisten Baseline 1 2 3 4 5 6 7
Absoluut 35.57 (2.66) 39.46 (3.77) 56.73 (3.54) 58.33 (3.37) 52.17 (5.64) 38.21 (7.00) 27.97 (5.20) 22.25 (4.47)
Relatief 35.57 (2.66) 35.86 (6.43) 48.75 (3.65) 54.60 (4.06) 54.79 (4.36) 47.19 (5.54) 36.40 (6.55) 27.84 (5.11)
Contour 35.57 (2.66) 21.94 (7.64) 41.13 (4.90) 43.49 (3.50) 42.11 (3.38) 41.16 (3.60) 41.44 (3.25) 41.38 (2.92)
1-2 1-3 1-4 1-5 1-6 1-7
49.23 (3.02) 51.56 (2.87) 51.91 (2.83) 52.10 (3.09) 52.17 (3.07) 52.23 (3.18)
43.52 (4.83) 47.09 (4.19) 48.28 (3.93) 49.01 (3.96) 49.58 (4.20) 49.78 (4.12)
38.00 (6.02) 41.19 (4.58) 41.73 (4.91) 41.54 (4.67) 41.29 (5.05) 41.29 (5.01)
Baseline 1 2 3 4 5 6 7
Absoluut 40.55 (2.22) 29.49 (5.81) 63.81 (2.56) 66.51 (2.72) 64.39 (4.65) 53.07 (7.66) 41.68 (6.94) 35.02 (6.59)
Componisten_50 Relatief 40.55 (2.22) 39.93 (3.99) 62.10 (3.59) 66.61 (4.03) 66.29 (3.92) 59.37 (6.82) 49.46 (7.77) 42.73 (8.36)
Contour 40.55 (2.22) 40.55 (2.22) 34.05 (8.76) 51.55 (6.73) 59.73 (4.76) 58.57 (5.08) 57.26 (5.03) 53.40 (5.99)
1-2 1-3 1-4 1-5 1-6 1-7
61.45 (2.90) 64.18 (2.93) 65.23 (3.08) 65.85 (2.98) 66.14 (3.12) 66.25 (3.02)
61.70 (3.55) 67.12 (4.04) 68.10 (4.92) 68.21 (5.13) 68.87 (5.58) 69.60 (5.85)
34.05 (8.76) 54.96 (6.29) 61.00 (6.91) 61.80 (6.83) 61.84 (7.13) 62.09 (7.50)
25
Landen Baseline 1 2 3 4 5 6 7
Absoluut 43.36 (2.76) 48.82 (2.76) 63.44 (2.31) 68.42 (3.60) 66.06 (3.68) 55.33 (5.23) 45.27 (5.09) 39.62 (4.37)
Relatief 43.36 (2.76) 46.61 (3.61) 52.87 (4.32) 60.21 (2.74) 63.54 (2.65) 58.68 (2.58) 51.56 (2.81) 44.57 (3.08)
Contour 43.36 (2.76) 43.42 (3.19) 51.02 (4.85) 49.74 (3.80) 49.33 (3.38) 50.19 (3.34) 51.08 (2.93) 50.22 (3.10)
1-2 1-3 1-4 1-5 1-6 1-7
57.44 (3.71) 59.96 (3.80) 61.08 (3.26) 61.52 (3.26) 61.81 (3.22) 62.13 (3.37)
49.84 (4.54) 54.79 (4.54) 56.22 (4.63) 56.99 (4.94) 57.18 (4.86) 57.31 (4.79)
49.07 (4.61) 50.16 (3.28) 50.29 (3.24) 50.41 (3.04) 50.70 (3.04) 50.86 (3.21)
Baseline 1 2 3 4 5 6 7
Absoluut 44.52 (2.79) 42.69 (4.52) 67.74 (2.25) 72.33 (3.24) 71.57 (4.29) 62.62 (6.01) 54.33 (7.21) 48.95 (7.46)
Relatief 44.52 (2.79) 48.92 (1.64) 69.57 (4.13) 69.93 (5.33) 70.89 (4.38) 66.39 (4.08) 58.43 (5.45) 52.69 (5.41)
Contour 44.52 (2.79) 44.52 (2.79) 27.28 (7.08) 48.98 (7.11) 60.52 (4.25) 61.74 (4.17) 62.89 (4.41) 60.56 (3.80)
1-2 1-3 1-4 1-5 1-6 1-7
67.18 (2.93) 70.66 (2.93) 71.93 (3.11) 72.36 (3.18) 72.72 (3.38) 72.66 (3.28)
68.95 (3.84) 71.15 (5.27) 72.20 (5.19) 72.52 (4.95) 72.98 (4.36) 73.18 (4.32)
27.28 (7.08) 55.44 (4.38) 62.03 (4.84) 63.61 (5.17) 65.15 (5.28) 65.90 (5.57)
Landen_50
26
Initialen Baseline 1 2 3 4 5 6 7
Absoluut 43.11 (2.83) 43.17 (2.78) 52.68 (4.08) 59.61 (2.59) 55.91 (3.75) 41.73 (5.85) 30.71 (4.92) 24.04 (4.49)
Relatief 43.11 (2.83) 43.20 (2.78) 47.32 (3.50) 52.30 (3.92) 55.17 (4.41) 50.25 (4.90) 41.02 (5.57) 32.79 (5.17)
Contour 43.11 (2.83) 42.08 (3.71) 45.63 (3.01) 46.07 (3.39) 46.55 (3.25) 47.06 (3.80) 47.06 (3.66) 45.72 (4.20)
1-2 1-3 1-4 1-5 1-6 1-7
45.88 (2.53) 46.20 (2.67) 46.36 (2.86) 46.65 (3.40) 46.68 (3.43) 46.84 (3.59)
45.85 (3.53) 47.29 (3.25) 47.70 (3.32) 48.12 (3.57) 48.40 (3.40) 48.56 (3.25)
45.53 (2.98) 46.46 (2.74) 46.52 (2.76) 46.65 (2.94) 46.71 (2.86) 46.74 (2.77)
Baseline 1 2 3 4 5 6 7
Absoluut 52.84 (3.14) 41.67 (3.29) 70.24 (4.20) 76.31 (2.67) 77.55 (2.94) 76.72 (2.80) 73.88 (2.46) 71.01 (2.47)
Perioden Relatief 52.84 (3.14) 48.84 (10.27) 59.35 (8.01) 71.74 (6.77) 73.08 (5.12) 73.21 (4.38) 73.08 (3.51) 72.25 (2.73)
Contour 52.84 (3.14) 49.93 (7.45) 51.62 (10.15) 56.15 (16.87) 53.63 (13.42) 53.99 (4.95) 60.34 (3.64) 63.95 (3.00)
1-2 1-3 1-4 1-5 1-6 1-7
43.61 (2.79) 44.80 (3.09) 45.72 (3.32) 46.17 (3.58) 46.90 (3.98) 47.35 (4.34)
53.09 (10.28) 56.89 (11.35) 57.37 (11.51) 57.79 (11.76) 57.95 (11.93) 58.14 (11.96)
51.69 (10.00) 53.95 (15.67) 52.32 (14.80) 48.05 (10.95) 48.37 (10.91) 48.75 (11.12)
27
