Implementatie van een verrijkingsraamwerk voor het beschrijven van linked data provenance

13

14

15

16

17

24

http://dbpedia.org

3.3 Genereren van verrijkingen met Silk 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44

45 46 47 48 49 50 51 52 53 54

49

< !−− D e s c r i b i n g t h e d a t a s e t s t h a t c o n t a i n t h e r e s o u r c e s t h a t s h o u l d be i n t e r l i n k e d d u r i n g t h e e n r i c h m e n t p r o c e s s : −−> < !−− For more i n f o r m a t i o n a b o u t t h i s DataSources s e c t i o n , c h e c k h t t p s : //www. a s s e m b l a . com/ w i k i / show / s i l k / D a t a S o u r c e s . −−> <Param name=” endpointURI ” v a l u e=” h t t p : // l o c a l h o s t : 8 8 9 0 / s p a r q l ” /> < !−− ” h t t p : // l o c a l h o s t : 2 0 2 0 / s p a r q l ” f o r D2R S e r v e r . −−> <Param name=” r e t r y C o u n t ” v a l u e=” 3 ” /> <Param name=” endpointURI ” v a l u e=” h t t p : // dbpedia . o r g / s p a r q l ” /> <Param name=” graph ” v a l u e=” h t t p : // dbpedia . o r g ” /> <Param name=” r e t r y C o u n t ” v a l u e=” 3 ” /> < !−− Uncomment t h e b l o c k i n g c o n f i g u r a t i o n b e l o w t o s p e e d up e n r i c h m e n t by e n t e r i n g a s p e c i f i c number o f b l o c k s . When t h e r e i s no amount o f b l o c k s s p e c i f i e d ( f o r i n s t a n c e i f t h i s p a r t o f t h e c o n f i g u r a t i o n i s k e p t b e t w e e n comment t a g s ) , t h e default amount o f b l o c k s t h a t i s used by s i l k i s 1 0 0 . Compromise: not a l l e n r i c h m e n t l i n k s may be found due t o a bad c h o i c e o f b l o c k amount . Most o f t h e time , 100 ( t h e default ) i s a good s e t t i n g . −−> < !−− −−> < !−− D e f i n i n g t h e l i n k c o n d i t i o n s : −−> < I n t e r l i n k s> < I n t e r l i n k i d=” c i t i e s ”>

3.3 Genereren van verrijkingen met Silk 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93

50

r d f s : s e e A l s o <S o u r c e D a t a s e t d a t a S o u r c e=” e v e n t d a t a ” var=” e v d c ”> ? evd c r d f : t y p e dul:Place < !−− Only B e l g i a n p l a c e r e s o u r c e s w i t h l a b e l s ( names ) i n d u t c h must be downloaded from DBpedia , b e c a u s e t h e e v e n t d a t a s e t on l o c a l h o s t o n l y c o n t a i n s d u t c h p l a c e names . −−> ? dbp c r d f : t y p e dbpedia−o w l : P l a c e . ? dbp c dbpedia−o w l : c o u n t r y d b p e d i a : B e l g i u m . ? dbp c r d f s : l a b e l ? l a b e l . FILTER ( l a n g ( ? l a b e l ) = ” n l ” ) < !−− For more i n f o r m a t i o n a b o u t t h i s L i n k a g e R u l e s e c t i o n : go t o h t t p s : //www. a s s e m b l a . com/ w i k i / show / s i l k / L i n k a g e R u l e −−> < !−− By removing b l a n k s ( w h i t e s p a c e s ) , s t r i n g s l i k e ” Lubbeek ” and ” Antwerpen 2 ” ( a f t e r alphaReduce ) w i l l g e t e n r i c h e d . −−> < !−− removing numbers from t h e s t r i n g : t h i s w i l l make i t p o s s i b l e t o e n r i c h s t r i n g s l i k e ” Antwerpen 2 ”. −−> < !−− converting to lowercase:

3.3 Genereren van verrijkingen met Silk 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110

111 112 113 114 115 116 117 118 119 120

121 122 123 124 125 126 127 128 129

51

t h i s w i l l make i t p o s s i b l e t o even e n r i c h s t r i n g s l i k e ”SINT−PIETERS−WOLUWE” . −−> < !−− ” vcard2006: ” avoiding disambiguation problems with ” v c a r d : ” = ” h t t p : //www. w3 . o r g /2001/ vcard−r d f /3.0# ” I f ” v c a r d : ” was used , no e n r i c h m e n t l i n k s would be found ! −−> < !−− remove w h i t e s p a c e s . This makes e n r i c h m e n t o f ” DePinte ” i n t h e e v e n t d a t a s e t ( b e c a u s e w h i t e s p a c e s a r e s t r i p p e d t h e r e ) p o s s i b l e w i t h t h e s t r i n g ”De P i n t e ” i n t h e DBpedia d a t a s e t . −−> < !−− Removing s t r i n g p a r t s l i k e ” ( gemeente ) ” i n t h e DBpedia c i t y names . −−> < !−− alphaReduce i s not n e c e s s a r y on t h e DBpedia d a t a items , t h o s e do not c o n t a i n numbers . −−> < !−− converting to lowercase: ”SINT−PIETERS−WOLUWE” i n t h e e v e n t d a t a s e t i s c o n v e r t e d t o ” s i n t −p i e t e r s −woluwe ” b u t must match w i t h ” S i n t − P i e t e r s −Woluwe” i n DBpedia ( i f a r e s o u r c e w i t h t h a t name e x i s t s t h e r e ) . −−> <Param name=” s e a r c h ” v a l u e=” ( s t a d ) ” /> <Param name=” r e p l a c e ” v a l u e=” ” /> <Param name=” s e a r c h ” v a l u e=” ( gemeente ) ” /> <Param name=” r e p l a c e ” v a l u e=” ” />

3.3 Genereren van verrijkingen met Silk 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167

52

<Param name=” s e a r c h ” v a l u e=” ( B e l g i ¨e ) ” /> <Param name=” r e p l a c e ” v a l u e=” ” /> < !−− One DBpedia p l a c e r e s o u r c e o n l y f o r each and e v e r y e v e n t p l a c e : −−> < F i l t e r l i m i t=” 1 ” /> < !−− This s e c t i o n s p e c i f i e s t h e f i l e l o c a t i o n s f o r t h e e n r i c h m e n t o u t p u t . −−> < !−− F i l e for the accepted enrichments ( t h e i r c o n f i d e n c e s c o r e i s h i g h enough ) : −−>

<Param name=” f i l e ” v a l u e=” C: \ U s e r s \ Sander \ Dropbox \Sem8\ M a s t e r p r o e f \ s i l k \ a c c e p t e d l i n k s . nq” /> <Param name=” format ” v a l u e=” nquads ” /> < !−− F i l e f o r t h e e n r i c h m e n t s t h a t must be manually v e r i f i e d : ( t h e i r c o n f i d e n c e s c o r e i s t o o low t o be a c c e p t e d ) This l i n k c o n f i g u r a t i o n f i l e i s b a s e d on s t r i n g comparisons . Normally , a l l e n r i c h m e n t s t h a t matched t h e l i n k c o n d i t i o n s w i l l have a confidence score of 1. Because o f t h a t , t h i s f i l e s h o u l d − n o r m a l l y − be empty . −−>

<Param name=” f i l e ” v a l u e=” C: \ U s e r s \ Sander \ Dropbox \Sem8\ M a s t e r p r o e f \ s i l k \ v e r i f y l i n k s . xml” /> <Param name=” format ” v a l u e=” a l i g n m e n t ” />

3.3 Genereren van verrijkingen met Silk

53

168 169 170

3.3.4

Optimalisatie van de SPARQL-endpointprestaties met OpenLink Virtuoso

In de vorige paragraaf was op het architectuurschema (figuur 3.4) te zien dat D2R Server gebruikt werd om de evenementendataset ter beschikking te stellen aan Silk. Nochtans was in figuur 3.1 al duidelijk dat de uiteindelijke architectuur voor het genereren van verrijkingen niet op het D2RQ-platform steunt. D2R Server beschikt nochtans ook over een SPARQL endpoint, maar het grote probleem is dat deze server geen triple store achter zich heeft. Bij een data-aanvraag wordt de database gewoon on-the-fly doorlopen en wordt de gevraagde data gewoon op het moment zelf vertaald naar RDF. Dat is slechts haalbaar voor kleine tot middelgrote databases. In eerste instantie werd immers getracht Silk uit te voeren met behulp van de SPARQL endpoint van D2R Server (zoals op figuur 3.4. Silk kon het verrijkingsproces nooit tot het eind doorlopen, in de loop van de uitvoer werd er een Exception (fout) meegedeeld. D2R Server start immers een timer bij het begin van de afhandeling van een data-aanvraag. De evenementendatabase is van een dergelijke grootte dat de timer afloopt vooraleer de D2RQ Engine alle opgevraagde data in RDF-formaat heeft vertaald. Een tweede bemerking bij het laten samenwerken van Silk en D2RQ, was dat het verrijkingsproces niet alleen middenin vast liep op een fout, het deed er ook enorm lang over om tot dat punt te komen. De oplossing voor beide was het maken van een RDF dump, een groot bestand dat alle RDF statements uit de dataset bevat. Daarvoor beschikt het D2RQ-platform over een programma, genaamd dump-rdf. De RDF dump werd ingeladen in de triple store van OpenLink Virtuoso. OpenLink Virtuoso Universal Server25 is een softwarepakket dat een server in staat stelt meerdere soorten data sources te kunnen inladen, bevragen en presenteren, met behulp van vele standaardformaten en -protocols[19], zie figuur 3.5. Terwijl op de traditionele 25

http://virtuoso.openlinksw.com/

3.3 Genereren van verrijkingen met Silk

54

manier op een server voor elk soort webapplicatie nieuwe serversoftware moet ge¨ınstalleerd worden (bijvoorbeeld Apache en PHP) bundelt Virtuoso alle vaak gebruikte pakketten. Vandaar de benaming Universal Server. Er bestaat zowel een commerci¨ele versie als een open source-versie26 .

Figuur 3.5: Architectuur van Virtuoso Universal Server. Bron: openlinksw.com/virtuoso-technical-architecture/.

http://virtuoso.

In de verrijkingsconfiguratie van Silk werd dus de SPARQL endpoint van Virtuoso(http:// localhost:8890/sparql/) opgegeven. Op die manier kan Silk foutloos zijn taak uitvoeren en presteert het verrijkingsraamwerk veel beter. De gegenereerde verrijkingen zijn te vinden in bijlage A.3. Deze RDF statements laten in de huidige vorm nog niet toe om ze te annoteren met provenance metadata. Daar gaat de volgende sectie op in. 26

De documentatie van de open source editie is te vinden op: http://virtuoso.openlinksw.com/ dataspace/doc/dav/wiki/Main/.

3.4 Overstap naar N-Quads ter voorbereiding van het beschrijven van provenance

3.4

55

Overstap naar N-Quads ter voorbereiding van het beschrijven van provenance

De verrijkingen die Silk genereert zijn van de vorm 1

<SourceDatasetResourceURI> .

Zowel het onderwerp, predicaat als object in deze triple werd beschreven met behulp van een URI. Die URI maakt het mogelijk er een nieuw statement over te schrijven. Er kan dus extra informatie beschreven worden over ´elk deel van het bovenstaande statement. Deze methode kan niet gebruikt worden voor het beschrijven van metadata over de gehele triple. De triple heeft simpelweg geen URI die gebruikt kan worden als identificatie. Daarom is het noodzakelijk om zo’n identificatie toe te kennen. De nieuwe beschrijving krijgt de naam quadruple, vanwege de vier URI’s waarmee een statement nu voorgesteld wordt. RDF Reification[28] is een manier in RDF om provenance informatie te beschrijven over statements, aan de hand van een in RDF ingebouwde vocabulary die daar speciaal voor is bedoeld. Een reification ziet er bijvoorbeeld zo uit: 1 2 3 4

localDataset localDataset localDataset localDataset

: enrichment2304 : enrichment2304 : enrichment2304 : enrichment2304

r d f : type r d f : Statement . rdf : subject localDataset : city1401 . r d f : p r e d i c a t e owl : sameAs . r d f : o b j e c t dbpedia : Ghent .

Deze bundel statements krijgt ook wel de naam reification quad. Reification wordt echter gebruikt om provenance te beschrijven vanuit een eerder subjectief standpunt. Een voorbeeld maakt dat duidelijk: “Het Atomium is een stalen constructie bestaande uit negen bollen” en “Mijn lerares fysica en chemie beweerde in het vijfde middelbaar dat het Atomium uit zeven bollen bestaat”zijn twee verschillende uitspraken. Het eerste is een equivalent van wat in RDF een normaal statement voorstelt, de tweede uitspraak — en helaas is die niet verzonnen — is waarvoor reification in RDF werd gemaakt: iemand toelaten een bewering te doen over iets. Er hangt echter een belangrijke implicatie aan vast. Het zou kunnen dat een website in RDF beweert: “Het Atomium is een stalen constructie bestaande uit zeven bollen”. Wanneer reasoning wordt losgelaten op deze laatste beschrijving en op de allereerste beschrijving in deze paragraaf, dan zou de reasoner een foutmelding geven die duidt op het feit dat er een inconsistentie in de gegeven data

3.4 Overstap naar N-Quads ter voorbereiding van het beschrijven van provenance

56

zit. De twee uitspraken kunnen immers niet beide tegelijkertijd geldig zijn. “Ik weet dat het Atomium uit acht bollen bestaat” is daarentegen een uitspraak die o´´ok niet met de waarheid strookt, maar ze wordt niet ongeldig verklaard. Het Web — ook Web 3.0 — voorziet immers in de mogelijkheid dat elkeen zijn eigen uitspraken mag formuleren. Anders zouden bijvoorbeeld twee verschillende mensen hun verschillende meningen niet kunnen publiceren over een zelfde boek, film, evenement, enzovoort. Het enige dat met zekerheid kan gezegd worden over de beide uitspraken, is dat er mistens ´e´en bewering verkeerd zal zijn — het Atomium kan niet tegelijk uit zeven ´en acht stalen bollen bestaan. Wanneer het echte aantal bollen op een geverifieerde website als feit beschreven staat, kunnen de beide uitspraken worden weerlegd, maar dat maakt ze niet ongeldig. Webgebruikers wordt niet het recht ontnomen foute beweringen te maken. Reification heeft dus zeker zijn nut, maar voor het beschrijven van provenance van gegenereerde verrijkingen is het niet bruikbaar. Veronderstel bij wijze van voorbeeld dat een verrijkingsraamwerk dit wegschrijft: “Ik, Silk 2.5.4 met plugin voor provenancebeschrijvingen, rapporteer dat deze verrijking werd gegeneerd op 23 april 2010.”. Dat doet het via reificatie, terwijl dat mechanisme het eigenlijk toelaat dat iets of iemand anders doodleuk twijfel kan zaaien door een tweede reification te schrijven over de verrijking (“Ik, Anonymous Hacker, rapporteer dat deze verrijking werd gegenereerd op 14 januari 1991.”). Er is nog een tweede manier om quadruples te beschrijven: N-Quads[13]. Het is een formaat dat in feite een uitbreiding is van N-Triples[21]: elke statement krijgt een optioneel graph label, dat de graaf aanduidt waartoe de triple behoort. Deze graaf wordt ook nog wel named graph genoemd, tenzij het graph label leeg gelaten werd: de triple wordt dan toegevoegd aan de default graph in de dataset. Het graph label wordt ook nog context label genoemd. Zoals eerder al werd beschreven, kunnen triples enkel geannoteerd worden met provenance metadata wanneer de triple ge¨ıdentificeerd kan worden. Het is in feite een triple schrijven over een andere triple. Dit wordt een ternaire relatie genoemd. RDF staat, zoals hierboven werd gedemonstreerd, niet toe om een ternaire relatie te beschrijven. Het graph label in het N-Quadsformaat laat dit wel toe: er wordt een graaf ter identificatie toegewezen aan een triple. Deze graaf wordt benoemd met een bepaalde URI (vandaar de benaming named graph) en deze URI wordt genoteerd in het graph label. Een triple schrijven over de vorige triple is dus mogelijk door een statement te beschrijven over de URI van de named graph. Op deze manier is het dus mogelijk provenance metadata over verrijkingen te beschrijven.

3.5 Opstelling van een model voor beschrijvingen van provenance bij verrijkingen

57

De vier URI’s in de beschrijving van de ternaire relatie samen vormen dan een zogenoemde quadruple (in plaats van triple) of quad. Wanneer de context URI wordt weggelaten, dan wordt de quadruple gewoon aanzien als een triple en wordt de triple geplaatst in de default graph van de dataset. De eerder als voorbeeld gegeven verrijking ziet er in N-Quadsformaat als volgt uit: 1 l o c a l D a t a s e t : c i t y 1 4 0 1 owl : sameAs dbpedia : Ghent l o c a l D a t a s e t : e n r i c h m e n t 2 3 0 4 .

Quadruples in N-Quads worden bondig genoteerd en kunnen gemakkelijk ingelezen worden. Een ander voordeel is dat, in tegenstelling tot reification, er geen twijfel mogelijk is over de context (herkomst) van een triple. Bij het ombouwen van Silk ter ondersteuning van provenance zullen verrijkingen dus weggeschreven moeten worden in de vorm van N-Quads, in plaats van in N-Triples zoals nu het geval is. Echter, vooraleer de wijzigingen in de implementatie van Silk worden besproken, wordt eerst nog het model verduidelijkt dat werd opgesteld voor het beschrijven van provenance-metadata over verrijkingen.

3.5

Opstelling van een model voor beschrijvingen van provenance bij verrijkingen

Eerder in deze scriptie werd al duidelijk gemaakt waarom generatie van provenenancemetadata over verrijkingen nuttig is. Ook werd in de literatuurstudie PROV-O aangeduid als ontologie om dergelijke beschrijvingen te kunnen maken en werd een overzicht gegeven van de belangrijkste termen in die ontologie. Met behulp van PROV-O werd een model opgesteld waarmee specifiek de herkomst van verrijkingen kan beschreven worden. Het volledige model is te vinden in bijlage A.4. Het wordt hieronder onderdeel per onderdeel besproken. Het verrijkingsproces wordt gezien als het centrale concept in de provenance-beschrijving. Het wordt voorgesteld als een prov:Activity. Een eerste statement maakt duidelijk dat een verrijking werd aangemaakt door het verrijkingsproces, zie figuur 3.6. De verrijking wordt voorgesteld als een prov:Entity. De rol van deze prov:Entity is zeer duidelijk: het is de verrijking die werd gegenereerd. Dit wordt dus ook in de provenance metadata opgenomen. Ook het tijdstip waarop de verrijking werd aangemaakt wordt vastgelegd. Het is ook belangrijk te weten welke bronnen geconsulteerd werden om de verrijking te

3.5 Opstelling van een model voor beschrijvingen van provenance bij verrijkingen

58

Figuur 3.6: Beschrijving van de relatie tussen de verrijking en het proces dat deze verrijking aanmaakte.

kunnen aanleggen. Dit zijn uiteraard de twee datasets van waaruit de twee aan elkaar gelinkte resources afkomstig zijn. Ook de configuratie van het verrijkingsraamwerk was nodig om het verrijkingsproces te kunnen uitvoeren. Figuur 3.7 geeft dit onderdeel van het model weer. Over de datasets wordt ook gezegd in welke richting de verrijkingslink werd aangelegd (source dataset en target dataset). Op de figuur werd aangegeven dat gebruik gemaakt werd van subsets van datasets. De reden daarvoor is dat in de verrijkingsconfiguratie SPARQL restrictions worden opgegeven, zodat enkel de entiteiten uit de datasets worden opgehaald waarvan men op voorhand weet dat de kans bestaat dat ze kunnen aan elkaar gelinkt worden. Bijvoorbeeld: “haal alle resources van het type dbpedia-owl:Place op.”. Van deze subset kan uiteraard gezegd worden uit welke dataset ze afkomstig zijn, zie figuur 3.8. Er kan ook meer informatie over de datasets worden meegegeven, bijvoorbeeld de URI van hun SPARQL endpoint. Op de figuur is ook te zien dat het configuratiebestand voor de verrijking een revisie kan zijn van een eerdere versie, bijvoorbeeld omdat er linkcondities werden toegevoegd. Agents zijn ook belangrijke concepten bij het beschrijven van provenance. Er zijn drie soorten Agents in PROV-O: prov:SoftwareAgent, prov:Person en prov:Organization. Ze zijn alledrie afgeleide klasses van prov:Agent. Uiteraard is het duidelijk dat de software agent in dit onderzoek het verrijkingsraamwerk Silk is. De persoon die betrokken is bij het instellen en uitvoeren van het verrijkingsproces wordt ook beschreven in de provenance metadata. Bovendien kan uitgedrukt worden voor welke organisaties de persoon dit werk

3.5 Opstelling van een model voor beschrijvingen van provenance bij verrijkingen

59

Figuur 3.7: Modellering van de bronnen die Silk consulteert tijdens het verrijkingsproces.

heeft uitgevoerd. Dit alles is te zien op figuur 3.9. Vooraf vastgelegde procedures die van belang zijn bij een Activity kunnen eveneens worden voorgesteld. PROV-O drukt deze uit met prov:Plan. De verrijkingsconfiguratie is in feite een vastgelegde procedure die Silk moet volgen. Ook diegene die het verrijkingsproces heeft ingesteld, doet dat misschien op basis van instructies van hogerhand. De figuur illustreert dat het model erop voorziet dat er nota kan gemaakt worden van deze instructies. Revisies worden ook ondersteund, maar deze zijn op de figuur weggelaten. Ze zijn te zien op het volledige model in bijlage A.4. Een laatste belangrijk concept bij het beschrijven van provenance-informatie over verrijkingen is de output die een verrijkingsraamwerk genereert. Dit is in de eerste plaats de verzameling verrijkingen, waarvan hun modellering al in figuur 3.6 werd afgebeeld. Twee andere belangrijke outputs van het verrijkingsraamwerk zijn het bestand dat de geaccepteerde verijkingen bevat en het bestand dat de links bevat die nog manueel moeten geverifieerd worden. Het model laat toe om ook deze concepten voor te stellen, zie figuur 3.10. Alle onderdelen van het model werden overlopen. Het volledige model is te vinden in bijlage A.4.

3.5 Opstelling van een model voor beschrijvingen van provenance bij verrijkingen

Figuur 3.8: Beschrijven van datasets en revisies van entities.

60

3.5 Opstelling van een model voor beschrijvingen van provenance bij verrijkingen

Figuur 3.9: De modellering van de agents die bij het verrijkingsproces betrokken zijn.

61

3.6 Uitbreiding van Silk voor het genereren van provenance metadata

62

Figuur 3.10: Model voor het beschrijven van de outputs van een verrijkingsproces.

Met het opgestelde model, het N-Quadsformaat, een verrijkingsconfiguratie voor Silk, Virtuoso en D2RQ is alles in feite in gereedheid gebracht om verrijkingen en hun metadata te kunnen genereren. De enige grote aanpassing die overblijft, is het uitbreiden van Silk zelf, zodat dit verrijkingsraamwerk ook daadwerkelijk in staat is om provenancedata te kunnen wegschrijven samen met de verrijkingen.

3.6

Uitbreiding van Silk voor het genereren van provenance metadata

Silk is een ingewikkeld framework. Vooraleer er werd overgegaan tot de daadwerkelijke uitbreiding, was een algemene analyse van de architectuur van Silk geen overbodige luxe.

3.6.1

Analyse van de huidige opbouw van Silk

Silk is open source software. Dat maakt het eenvoudiger: een uitbreiding van een bestaand framework maken dat provenance metadata genereert, is effic¨enter dan het wiel heruitvin-

3.6 Uitbreiding van Silk voor het genereren van provenance metadata

63

den. De broncode van Silk wordt ter beschikking gesteld op een Assembla Workspace.27 . Dat is een internetplatform, aangeboden als software-as-a-service, dat instrumenten samenbrengt om broncode en bugs te beheren en in team aan de broncode te kunnen werken. De repository op de Assembla Workspace die de broncode bevat, kan geforked worden met behulp van Git28 , een open source versiecontrolesysteem. Forken is in feite niets meer dan de broncode van een online repository downloaden naar een lokale repository op de computer van de Gitgebruiker. De fork voor de uitbreiding van Silk is ook te vinden op Assembla29 , in een aparte vertakking in het versiecontrolesysteem (de branch met de naam prov ). Open source software gaat altijd gepaard met een licentie. Aan Silk is de Apache softwarelicentie30 gekoppeld. Silk mag dus, onder enkele voorwaarden, vrij gebruikt en aangepast worden. De belangrijkste voorwaarden voor aanpassing van Silk zijn dat de oorsprong en licentie van de oorspronkelijke software moet worden meegedistribueerd en dat er duidelijk moet worden aangegeven in welke delen van de broncode er aanpassingen zijn aangebracht. De broncode van Silk is in feite een Mavenproject. Apache Maven 31 is een hulpmiddel voor het beheren van Java-gebaseerde softwareprojecten en het automatiseren van hun build. Het idee van Maven is dat vanuit ´e´en centraal punt alle acties vereenvoudigd worden die gerelateerd zijn aan het opbouwen van een softwareproject op basis van de broncode die werd geschreven. Het compileren van de broncode naar de uiteindelijke binaire machinecode hoort daar onder andere bij. Dat centrale punt van een Mavenproject is het POMbestand, waarin alle parameters vast gelegd worden die belangrijk zijn in het buildproces. Op deze manier kan Maven tijdens het builden van het Silkproject bijvoorbeeld alle andere softwareprojecten downloaden waarvan de broncode van Silk afhankelijk is. Het grootste deel van de klasses in de broncode van Silk zijn geschreven in de programmeertaal Scala 32 . Scala is een recente, general purpose programmeertaal die kan uitgevoerd worden op de Java Virtual Machine (JVM). Elke variabele en elke getalwaarde wordt in Scala voorgesteld door middel van een object. Ook functies en methodes worden ge¨ınterpreteerd als objecten, waardoor ze bijvoorbeeld net als variabelen kunnen worden meegegeven als 27

https://www.assembla.com/code/silk/git/nodes http://git-scm.com/book/en/ 29 https://www.assembla.com/code/sanderzz91-silk-fork/git/nodes/ 30 http://www.apache.org/licenses/LICENSE-2.0 31 http://maven.apache.org/ 32 http://www.scala-lang.org/ 28

3.6 Uitbreiding van Silk voor het genereren van provenance metadata

64

parameters in andere functies. Scala brengt dus de twee concepten Object Oriented Programming en Functional Programming samen in ´e´en taal. De syntax van Scala is korter dan vergelijkbare syntax in Java en het doel van Scala is simpelweg om programmeren effici¨enter te kunnen doen verlopen en schaalbare programma’s af te leveren. Aangezien Scalaprogramma’s gecompileerd worden voor de JVM zijn ze compatibel met Javaprogramma’s en omgekeerd. Bibliotheken uit Java gebruiken in Scala is bijvoorbeeld perfect mogelijk, en vice versa. De uitbreiding van Silk werd dan ook deels in Scala en deels in Java geschreven. Een Mavenproject wordt ingedeeld in modules. De modules waaruit Silk is opgebouwd, worden weergegeven op figuur 3.11. Het daarnet besproken POM-bestand en de projecten waarvan het verrijkingsraamwerk afhankelijk is, worden voor de volledigheid ook op de figuur weergegeven. Eerder in deze scriptie werd al beschreven dat er verschillende varianten van Silk bestaan. Deze varianten duiken terug op in de projectopdeling. De module Silk Core bevat de eerder vermelde Silk Link Discovery Engine, de motor van het hele verrijkingsraamwerk. De twee modules die nog niet werden ge¨ıntroduceerd, zijn Silk Learning en Silk Jena Extensions. De eerstgenoemde module wordt gebruikt om linkage rules op te stellen via machine learning, de tweede is een stuk middleware dat Silk in staat stelt te interageren met het Apache Jena framework33 — een Java framework voor het bouwen van applicaties voor het semantische web. Voor het evalueren van de resultaten van de frameworkuitbreiding werd Silk Single Machine uitgevoerd. Deze module maakt, net als de andere Silkvarianten, intensief gebruik van de module Silk Core — zo intensief zelfs dat de uitbreiding voor dit onderzoek volledig op deze kernmodule moest worden toegepast en de broncode van Silk Single Machine onaangeroerd kon blijven. Dat heeft het grote voordeel dat alle varianten van Silk blijven werken. De Core-module is teug een project op zich en bestaat uit een groot aantal packages, zie figuur 3.12. De namen van die packages illustreren hun hi¨erarchische opbouw. De hoofdpackages zijn de volgende: cache implementeert een stockageruimte voor entiteiten (basisobjecten) in het raamwerk. config bevat klasses voor het vastleggen van de configuratie van Silk. datasource wordt gebruikt voor het inlezen van resources uit datasets. 33

http://jena.apache.org/

3.6 Uitbreiding van Silk voor het genereren van provenance metadata

65

Figuur 3.11: De projectstructuur van Silk, onderverdeeld in verschillende modules.

entity bevat basisklasses, bijvoorbeeld voor het voorstellen van een resource in een dataset, of een verrijking. evaluation biedt mogelijkheden voor het evalueren van de output die verrijkingsregels teweegbrengen. execution bevat klasses die de verschillende taken beschrijven die achtereenvolgens door Silk worden uitgevoerd tijdens het verrijkingsproces. Verderop in dit hoofdstuk wordt hier verder op ingegaan. linkagerule bevat klasses waarin verrijkingsregels worden voorgesteld. output neemt het wegschrijven van de verrijkingen voor zijn rekening, zodat dat in het juiste formaat en naar de voorziene soort output gebeurt. plugins bevat alle plugins waarover Silk beschikt — afgezien van door de gebruiker ge¨ınstalleerde extra plugins. Ze woren gebruikt om bijvoorbeeld de verschillende ondersteunde afstandsmetrieken te berekenen, of de verrijkingen uiteindelijk in bestanden weg te schrijven. util bevat allerlei benodigdheden die hun nut bewijzen tijdens het verrijkingsproces. Hun taken zijn uiteenlopend, gaande van het controleren van het XML-formaat van het

3.6 Uitbreiding van Silk voor het genereren van provenance metadata

66

Figuur 3.12: De projectstructuur van de module Silk Core, met een overzicht van de daarin verwerkte packages.

configuratiebestand van Silk, tot het ondersteunen van SPARQL-bevragingen. Gezien de doeleinden van de uitbreiding — het genereren van provenance metadata bij verrijkingen — zijn het de packages entity, execution en plugins die onder handen genomen werden. De volgende paragraaf verduidelijkt de aanpassingen in de package entity.

3.6.2

Overgang van triples naar quadruples

Eerder in deze scriptie werd verduidelijkt waarom het noodzakelijk is dat Silk werd uitgebreid op een zodanige manier dat men ervoor kan kiezen om verrijkingen voor te stellen als quadruples in plaats van triples. Figuur 3.13 illustreert dit nog maar eens: voor de

3.6 Uitbreiding van Silk voor het genereren van provenance metadata

67

provenancebeschrijving van een verrijking is een extra URI nodig die die verrijking uniek identificeerbaar kan maken.

Figuur 3.13: Deel van het model voor het beschrijven van provenance metadata over een verrijking

Ter herhaling: die URI die elke verrijkingstriple moet krijgen, wordt bijgehouden in een extra tekstveld, het context label. Zo ontstaat een uitbreiding van het formaat N-Triples — en logischerwijs wordt dat formaat N-Quads genoemd. Het eerder gegeven voorbeeld illustreert het formaat: 1 l o c a l D a t a s e t : c i t y 1 4 0 1 owl : sameAs dbpedia : Ghent l o c a l D a t a s e t : e n r i c h m e n t 2 3 0 4 .

Silk stelt verrijkingen voor in N-Triplesformaat. Het N-Quadsformaat wordt niet ondersteund. Verrijkingen krijgen in Silk nog geen URI toegewezen (de triple URI ). Het staat vast dat dit voor de interne programmalogica van Silk twee wijzigingen met zich meebrengt. ˆ Eerst en vooral: dit quadrupleformaat betekent een aanpassing in de manier van voorstellen van een link tussen 2 resources. Een link statement bevat nu naast een onderwerp, predicaat en object ook nog een URI die dat statement uniek voorstelt. ˆ Eveneens betekent het voor Silk ook een verandering in de manier waarop een verrijking weggeschreven wordt. Silk zal het wegschrijven in N-Quadsformaat moeten ondersteunen.

In de vorige paragraaf werd de opdeling in packages van de module Silk Core ge¨ıntroduceerd. Elke package heeft zijn eigen verantwoordelijkheid in het raamwerk. Twee van deze verantwoordelijkheden voldoen niet aan de eisen die in de bovenstaande lijst werden vermeld. De eerste betekent een wijziging in de package entity, de tweede een aanpassing van plugins, meer bepaald de subpackage plugins.writer.

3.6 Uitbreiding van Silk voor het genereren van provenance metadata

68

De klasse Link in de package entity stelt een verrijking voor in Silk. Figuur De variabele source daarin stelt de URI voor van een resource uit een dataset, target is de variabele die de resource in een andere dataset aanduidt. De uitbreiding ligt voor de hand: een extra variabele tripleURI volstaat om links vanaf heden verrijkingen als quadruples voor te stellen. Bemerk dat een predicaat hier in deze klasse niet voorkomt. De reden daarvoor is dat alle verrijkingen in Silk eenzelfde predicaat hebben, bijvoorbeeld rdfs:seeAlso. Deze wordt gespecifieerd in het configuratiebestand van Silk en wordt elders slechts eenmaal opgeslagen in plaats van in ´elk object dat een link voorstelt. De package plugins.writer bevat een klasse NTriplesFormatter die, zoals de naam duidelijk maakt, verrijkingen in N-Triplesformaat wegschrijft. De code die erachter schuil gaat is zeer eenvoudig en was de basis voor het schrijven van een NQuadsFormatterklasse34 : 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

package de . f u b e r l i n . w i w i s s . s i l k . p l u g i n s . w r i t e r import de . f u b e r l i n . w i w i s s . s i l k . output . Formatter import de . f u b e r l i n . w i w i s s . s i l k . u t i l . p l u g i n . P l u g i n import de . f u b e r l i n . w i w i s s . s i l k . e n t i t y . Link / ** Write a g i v e n e n r i c h m e n t t r i p l e t o g e t h e r with i t s t r i p l e URI * a s a q u a d r u p l e − i n t h e N−Quads format ( h t t p : / /www. w3 . o r g /TR/n−quads / ) . */ @Plugin ( i d = ” nquads ” , l a b e l = ”N−Quads ” ) c l a s s NQuadsFormatter e x t e n d s Formatter {

16 17 18 19 20 21 }

o v e r r i d e d e f format ( l i n k : Link , p r e d i c a t e U r i : S t r i n g ) = { val tripleURI s : String = link . tripleURI . toString () // s u p p o r t i n g t r i p l e s a s w e l l ( t h e s e a r e a l l o w e d i n N−Quads f i l e s : t h e context l a b e l i s optional ) : i f ( t r i p l e U R I s . e q u a l s ( ” ” ) ) // g i v e n l i n k i s a t r i p l e ”<” + l i n k . s o u r c e + ”> <” + p r e d i c a t e U r i + ”> <” + l i n k . t a r g e t + ”> . \ n” e l s e // g i v e n l i n k i s a q u a d r u p l e ”<” + l i n k . s o u r c e + ”> <” + p r e d i c a t e U r i + ”> <” + l i n k . t a r g e t + ”> <” + t r i p l e U R I s + ”> . \ n” }

De regel @Plugin(id = "nquads", label = "N-Quads") maakt duidelijk dat deze klasse 34

De Apache licentie staat normaal als hoofding op elk broncodebestand. Ze zal in deze scriptie worden weggelaten, zodat de weergegeven code bondig kan blijven.

3.6 Uitbreiding van Silk voor het genereren van provenance metadata

69

een plugin is die bij het opstarten van het raamwerk moet ingeladen worden. Opdat Silk dat daadwerkelijk ook zou doen, is de regel Formatter.register(classOf[NQuadsFormatter]) toegevoegd aan de methode registerDefaultPlugins() van de klasse Plugins.scala. Deze methode wordt bijvoorbeeld opgeroepen bij de start van Silk Single Machine. Silk leest ook, voordat het echt met het uitvoeren van het verrijkingsproces begint, het configuratiebestand in. Bij het inlezen van de sectie van dat bestand maakt Silk dan objecten aan voor het afhandelen van het wegschrijven van de verrijkingen in het juiste formaat. Een output die gedeclareerd wordt in het configuratiebestand kan er dus als volgt uitzien: 1

2 <Param name=” f i l e ” v a l u e=”C: \ U s e r s \ Sander \ Dropbox \Sem8\ M a s t e r p r o e f \ s i l k \ a c c e p t e d l i n k s . nq” /> 3 <Param name=”format ” v a l u e=”nquads ” /> 4

Als het outputformaat aangegeven is met de waarde nquads zoals hierboven, dan komt die overeen met de id van de NQuadsFormatter, dus zal een object van deze klasse worden aangemaakt om de verrijkingen te formatteren. Op deze manier is Silk nu in staat om ook verrijkingen in N-Quadsformaat te genereren.

3.6.3

Ingrepen in het verloop van het verrijkingsproces

Nu elke verrijking een URI als identificatie heeft, kan ze met behulp van die identificatie geannoteerd worden met provenance metadata. Om te begrijpen hoe deze metadata in Silk gegenereerd kan worden, moet eerst het verloop van het verrijkingsproces bestudeerd worden. Er worden tijdens dat proces achtereenvolgens enkele taken uitgevoerd, zie figuur 3.14. De klasse die het doorlopen van alle uit te voeren taken controleert is GenerateLinksTask.scala. Deze klasse en alle uit te voeren taken bevinden zich in de package execution. Het verloop van de taken gaat als volgt: 1. De eerste taak — de LoadTask — die Silk moet uitvoeren is het inlezen van de verrijkingsregels en de resources uit de opgegeven datasets. Deze regels en resources worden in een cache weggeschreven, zodat ze effici¨ent kunnen worden opgehaald wanneer ze nodig zijn in verdere taken.

3.6 Uitbreiding van Silk voor het genereren van provenance metadata

70

Figuur 3.14: Een overzicht van de taken die Silk achtereenvolgens uitvoert om uiteindelijk tot een collectie verrijkingen te komen. Figuur uit de documentatie van Silk, te vinden op https://www.assembla.com/spaces/silk/wiki/Tasks.

2. De eerstvolgende taak is de MatchTask, die de condities in de verrijkingsregels (linkage rules genoemd op figuur 3.14) toepast op de resources. Veronderstel bijvoorbeeld een dataset A die moet verrijkt worden met een dataset B. Dat gebeurt op basis van links tussen de resources die beide datasets bevatten. Links die voldoen aan de voorwaarden die zijn opgesteld in de verrijkingsregels, worden geretourneerd. In feite doet de MatchTask dus niets meer of minder dan relaties leggen tussen resources, voorgesteld door de klasse Link. 3. De klasse GenerateLinkTask geeft de links dan door aan de volgende taak, de FilterTask. Deze zorgt ervoor dat van verschillende links die gelegd werden tussen dezelfde twee resources, er niet meer worden geselecteerd dan de filterlimietwaarde. Deze waarde wordt uit de verrijkingsconfiguratie gehaald. Eerder in deze scriptie werd een verrijkingsconfiguratie beschreven voor het verrijken van steden. Daarin was de filterlimietwaarde gewoon 1: er mocht telkens maar 1 link gelegd worden tussen een evenementenlocatie in de lokale dataset en een stad in DBpedia. 4. De OutputTask neemt dan tenslotte het wegschrijven van de links voor zijn rekening. Meestal worden de links weggeschreven naar een of twee bestanden. In dat laatste geval is het tweede bestand dan vaak een oplijsting van alle links die nog eens manueel geverifieerd moeten worden. Uiteraard is er ook een bestand dat de verrijkingen bevat die goed genoeg voldoen aan de opgegeven voorwaarden. Deze laatste taak zorgt ervoor dat de juiste links in het juiste bestand belanden, en in het correcte formaat. Het spreekt voor zich dat er enkel provenance metadata moet worden gegenereerd over de links die weerhouden zijn na de FilterTask. Een bijkomende vereiste is dat de links ook moeten voorzien worden van een triple URI voordat de OutputTask wordt gestart, zodat de NQuadsFormatter bij het wegschrijven tenminste netjes quadruples kan genereren. Er

3.6 Uitbreiding van Silk voor het genereren van provenance metadata

71

moet dus een taak tussen de FilterTask en de OutputTask geschoven worden, die zich met het aanmaken van provenancebeschrijvingen bezighoudt. Dat is echter niet voldoende. Tijdstippen zijn ook belangrijk in provenance metadata. In het opgestelde model in paragraaf [referentie] worden ook de start- en eindtijden van het verrijkingsproces beschreven, alsook bijvoorbeeld het tijdstip waarop het bestand met de geaccepteerde verrijkingen werd aangemaakt. Ook andere parameters worden vereist om de provenance metadata te kunnen genereren, bijvoorbeeld de versie van Silk. Deze parameters worden aan het begin van de GenerateLinksTask uitgelezen uit de configuratieobjecten in Silk. Sommige tijden worden gemeten op andere tijdstippen in het verrijkingsproces. Een overzicht van de uiteindelijke opeenvolging van taken die GenerateLinksTask moet laten uitvoeren, wordt weergegeven op figuur 3.15.

Figuur 3.15: Uitbreiding van de taken in de routine van Silk

De implementatie van GenerateLinksTask volgt verderop in de scriptie. Eerst worden nog enkele andere cruciale zaken verduidelijkt.

3.6.4

Opstelling van een nieuw configuratiebestand voor de uitbreiding van Silk

De lijst van vereiste parameters voor het opstellen van de provenance metadata gaat verder dan de eerder gegeven voorbeelden. Wat vooral belangrijk is, is dat Silk een deel ervan niet kent. De verrijkingsconfiguratie die tot nu toe werd gebruikt, bevat niet alle benodigde informatie. Een voorbeeld is de naam van de persoon die de verrijkingsconfiguratie opstelde. Deze informatie werd tot nu toe nog niet aan Silk meegedeeld. Daarom werd een nieuw configuratiebestand aangemaakt dat die parameters bevat, in dezelfde map als die waar de verrijkingsconfiguratie zich bevindt. De parameters worden er in een XML-syntax opgegeven:

3.6 Uitbreiding van Silk voor het genereren van provenance metadata

72

1 2 <EnrProvConfig> 3 6 7 <E n r i c h m e n t C o n f i g u r a t o r > 8 Sander Vanden Hautte 9 <email >s a n d e r . vanden . hautte@gmail . com 10 11 Howest 12 Multimedia Lab 13 14 15 <SourceDatasetProvenanceNamespace>h t t p : / / l o c a l h o s t : 2 0 2 0 / r e s o u r c e / enrichment−provenance / 16 <SourceDatasetSparqlEndpointURI>h t t p : / / l o c a l h o s t : 8 8 9 0 / s p a r q l / 17 h t t p : / / dbpedia . o r g / s p a r q l / 18

Het inlezen van deze parameters valt onder de initialisatie van de provenance-component, de eerste stap in GenerateLinksTask — zoals weergegeven werd op figuur 3.15.

3.6.5

Templating als methode om dynamisch de provenance metadata te genereren

Eerder werd al het model weergegeven waarmee de provenance metadata zou beschreven worden. Dit model steunde op RDF statements die voornamelijk gebruik maakten van de ontologie PROV-O. De meest voor de hand liggende methode om deze statements te genereren in Silk was via een Silk- of Java-library waarmee provenance-statements kunnen voorgesteld worden in objecten. Het framework zou de objecten (en de relaties tussen die objecten onderling) dan moeten interpreteren en uiteindelijk de statements moeten serialiseren, bij voorkeur in NTriplesformaat, omdat de outputformaten dan op elkaar zijn afgestemd: de geaccepteerde

3.6 Uitbreiding van Silk voor het genereren van provenance metadata

73

verrijkingen werden immers ook al in N-Quadsformaat weggeschreven. De W3C Provenance Working Group heeft de libraries die dergelijke functionaliteiten aanbieden opgelijst.35 Er zijn geen libraries in Scala geschreven, maar er zijn er twee in Java: ProvToolbox36 en PROVoKing37 . Beide zijn nog ‘under development’. ProvToolbox is niet goed gedocumenteerd en is eerder gericht op het valideren en converteren van provenancedocumenten. PROVoKing biedt een minimale documentatie aan en lijkt meer gericht te zijn op het aanmaken van provenance statements vanuit Java, maar is nog maar aan een eerste versie toe, bij gebruik werd het risico gelopen om op bugs te stoten. Bij het overwegen van deze opties ontstond echter nog een ander idee. Het opgestelde model kon evengoed geserialiseerd worden in Prov-N of Turtle — die formaten zijn het meest leesbaar voor provenancebeschrijvingen — en de weinige variabelen die erin voorkomen konden worden ingevuld at runtime, net zoals dat gebeurt in server-side scriptingtalen als PHP, JSP en ASP.NET. Een voorbeeld van deze aanpak wordt hieronder weergegeven. Het is uiteraard gebaseerd op het opgestelde model voor provenance-beschrijvingen van verrijkingen. Dit specifieke fragement is de vertaling in Turtle van figuur 3.13. Variabelen werden aangeduid met accolades en worden dus at runtime door hun respectievelijke waarden vervangen. 1 <EnrichmentLinkProvenance> 2 { enrichmentLinkURI } a prov : E n t i t y ; 3 prov : wasGeneratedBy sd : e n r i c h m e n t A c t i v i t y { timestamp } ; 4 prov : q u a l i f i e d G e n e r a t i o n [ 5 a prov : G e n e r a t i o n ; 6 prov : a c t i v i t y sd : e n r i c h m e n t A c t i v i t y { timestamp } ; 7 prov : hadRole sd : c r e a t e d E n r i c h m e n t L i n k 8 ] ; 9 prov : generatedAtTime ”{ l i n k G e n e r a t i o n T i m e }”ˆˆ xsd : dateTime . 10

Het voordeel van deze aanpak is dat de code die de uiteindelijke provenance statements genereert een stuk overzichtelijker is. Bovendien werden problemen vermeden met buggy en slecht gedocumenteerde libraries. Die libraries zullen binnenkort, nadat de bugs en documentatie onder handen zijn genomen, vooral hun nut in grote programma’s bewijzen — waarin de entiteiten waarover provenance metadata moet worden gegenereerd, veel veran35

http://www.w3.org/2011/prov/wiki/ProvImplementations https://github.com/lucmoreau/ProvToolbox 37 https://sites.google.com/site/provokinglibrary/ 36

3.6 Uitbreiding van Silk voor het genereren van provenance metadata

74

deren door de tijd heen. De programmacode van een tekstverwerker die provenance metadata bijhoudt zal er betrekkelijk eenvoudiger op worden door de provenance statements bij te houden in objecten: de vele wijzigingen in het document betekenen dan telkens gewoon een wijziging van de properties van ´e´en of meerdere objecten. De provenance van de verrijkingen die gegenereerd wordt tijdens een verrijkingsproces verandert niet doorheen de uitvoer van dat proces. Doordat de variabelen in de provenancebeschrijving doorheen dat hele proces niet veranderen, is het dus mogelijk om een Turtle template op te stellen van de provenance metadata en de variabelen erin in te vullen. Bovendien werd er al een configuratiebestand opgemaakt voor het beschrijven van enkele parameters die tot nog toe niet aan Silk werden meegedeeld; de template kon dus gewoon daaronder geplaatst worden. Het uiteindelijke configuratiebestand is te vinden in bijlage A.5. Het werd voorzien van commentaar ter verduidelijking. In feite is het een XMLbestand dat delen van de Turtle template bevat, zodat het programma telkens een deel kan inlezen en de juiste parameters erin kan invullen.

3.6.6

Uitbreiding van GenerateLinksTask

Het zal nu duidelijk zijn waarom GenerateLinksTask nog v´oo´r het uitvoeren van de LoadTask in een initialisatiestap de bestandslocatie van de provenance-configuratie moet doorgeven aan de ProvGenerator-klasse, de centrale component in de uitbreiding van Silk voor het genereren van de provenance metadata. Op die manier kan deze ProvGenerator de variabelen in het configuratiebestand inlezen en heeft deze klasse toegang tot de provenance template. Het genereren van de provenance metadata kan in twee delen gesplitst worden. De metadata over de verrijkingen die beschrijft dat ze gegenereerd werden door het verrijkingsproces, zoals weergegeven op figuur 3.16 (hieronder herhaald voor het gemak), gebeurt best nadat de verrijkingen door de FilterTask zijn weerhouden en voordat ze worden weggeschreven. Het is op dit moment in het verrijkingsproces dat de taak GenerateProvenanceTask werd ingevoegd, dus deze taak kan alvast het genereren van deze provenancebeschrijvingen voor zijn rekening nemen. Het tweede deel van de metadata bestaat uit een algemene beschrijving van belangrijke informatie over het verrijkingsproces zelf, zie figuur 3.17. Deze informatie bestaat uit onder andere de datum en tijd waarop het verrijkingsproces werd be¨eindigd, dus de aanmaak

3.6 Uitbreiding van Silk voor het genereren van provenance metadata

75

Figuur 3.16: Deel van het model voor provenance-beschrijvingen van verrijkingen, specifiek voor het relateren van verrijkingen aan het verrijkingsproces.

van dit deel van de metadata mag pas op het allerlaatst worden uitgevoerd, nadat de verrijkingen al zijn weggeschreven. Op basis van dit idee werd de code van GenerateLinksTask uiteindelijk aangepast tot wat op figuur 3.15 te zien was. De code is te vinden in bijlage A.6 Gezien deze klasse al in Scala was geschreven werd de uitbreiding uiteraard ook in Scala toegevoegd. Deze code illustreert het algemeen verloop van de uitbreiding van Silk die gemaakt werd. Ze maakt gebruik van de klasse GenerateProvenanceTask en de kernklassen van de uitbreiding. Deze kernklassen bevinden zich in een nieuwe, aparte package in de module Silk Core, met de naam ’com.sander.provenance’. Om dit hoofdstuk niet al te lijvig te maken, is de code van de kernklasse ProvGenerator te vinden in bijlage A.7. De andere klasses zijn beschikbaar op de digitale bijlage. Dit hoofdstuk beschreef de architectuur van Silk en de uitbreiding ervan die werd gemaakt om provenance metadata te kunnen genereren over de verrijkingen die Silk aanmaakt. In het volgende hoofdstuk worden de resultaten besproken.

3.6 Uitbreiding van Silk voor het genereren van provenance metadata

76

Figuur 3.17: Deel van het model voor provenance metadata over verrijkingen, specifiek bedoeld voor het verschaffen van extra informatie over het verrijkingsproces.

RESULTATEN

77

Hoofdstuk 4 Resultaten Het uiteindelijke doel van dit onderzoek was het implementeren van een verrijkingsraamwerk dat provenance metadata kan genereren over de verrijkingen die het heeft aangemaakt. Het verrijkingsraamwerk zelf is ´e´en van de resultaten, alsook de twee outputbestanden die erdoor werden aangemaakt aan de hand van een verrijkingsconfiguratie ter evaluatie. Het eerste bestand bevat de gegenereerde verrijkingen, het tweede bestand bevat de daarbij horende provenance metadata.

4.1

Uitbreiding van Silk

Voor de implementatie van het beoogde framework werd gebruik gemaakt van een bestaand verrijkingsraamwerk: Silk. Een digitale versie van de volledige uitbreiding van Silk is te vinden op CD, ingesloten bij deze scriptie. Ze is ook te vinden in de branch prov van de broncode op de Assembla Workspace op deze URL: https://www.assembla.com/code/ sanderzz91-silk-fork/git/nodes. De broncode kan geforked worden met behulp van Git.

4.2

Verrijkingen

Voor het evalueren van de gemaakte implementatie werd een verrijkingsconfiguratie opgesteld die Silk opdraagt links te leggen tussen evenementenlocaties in een lokale dataset met overeenkomstige steden in de dataset van DBpedia. Listing [referentie] geeft de eerste 10 van de 30897 verrijkingen weer die werden gegenereerd. Het volledige bestand is te

4.2 Verrijkingen

78

vinden in de digitale bijlage. De verrijkingen werden weggeschreven in N-Quadsformaat zoals bedoeld was, zodat ze konden worden geannoteerd met provenance-informatie. 1 . 2 < h t t p : / / l o c a l h o s t : 2 0 2 0 / r e s o u r c e / enrichment−provenance / enrichment2013 −05−11 07 −05−14 T r i p l e 1 > . 3 . 4 < h t t p : / / l o c a l h o s t : 2 0 2 0 / r e s o u r c e / enrichment−provenance / enrichment2013 −05−11 07 −05−14 T r i p l e 3 > . 5 . 6 . 7 . 8 < h t t p : / / l o c a l h o s t : 2 0 2 0 / r e s o u r c e / enrichment−provenance / enrichment2013 −05−11 07 −05−14 T r i p l e 7 > . 9 . 10 .

4.3 Gegenereerde provenance metadata

79

De eerste verrijking is, zoals de triple URI ervan duidelijk maakt, de eerste verrijking die werd gemaakt tijdens het verrijkingsproces dat gestart is op 11 mei 2013 om 7u05. Deze verrijking wordt in dit hoofdstuk als voorbeeld gebruikt om te illustreren dat het verrijkingsraamwerk zijn werk naar behoren doet. Een eerste evaluatie is de controle of Silk nog steeds de juiste verrijkingen blijft genereren sinds de uitbreiding werd ge¨ımplementeerd. Figuur 4.1 toont aan dat de twee resources die werden gelinkt wel degelijk ´e´en en dezelfde stad voorstellen.

Figuur 4.1: De webpagina die D2R Server genereert als de URI van de plaatsnaam in de lokale dataset (http://localhost:2020/resource/location/1332555) wordt opgezocht, blijkt qua plaatsinformatie inderdaad overeen te komen met de resource-informatie op DBpedia (http://dbpedia.org/resource/Bruges): in beide gevallen gaat het over de stad Brugge.

4.3

Gegenereerde provenance metadata

Voor de start van het verrijkingsproces werden deze parameters ingevuld in het configuratiebestand van de uitbreiding van Silk:

4.3 Gegenereerde provenance metadata

80

1 <E n r i c h m e n t C o n f i g u r a t o r > 2 Sander Vanden Hautte 3 <email >s a n d e r . vanden . hautte@gmail . com 4 5 Howest 6 Multimedia Lab 7 8 9 <SourceDatasetProvenanceNamespace>h t t p : / / l o c a l h o s t : 2 0 2 0 / r e s o u r c e / enrichment− provenance / 10 <SourceDatasetSparqlEndpointURI>h t t p : / / l o c a l h o s t : 8 8 9 0 / s p a r q l / 11 h t t p : / / dbpedia . o r g / s p a r q l /

Hieronder wordt een overzicht geboden van de provenance metadata die de uitbreiding van Silk over de gegenereerde verrijkingen vrijgaf, op basis van de opgegeven parameters hierboven. Het bestand dat de provenance metadata bevat is eveneens weer van grote omvang — hier wordt enkel de metadata weergegeven die van toepassing is op het gekozen voorbeeld: de verrijking met als triple URI http://localhost:2020/resource/ enrichment-provenance/enrichment2013-05-11_07-05-14Triple0. De uitbreiding van Silk maakt twee versies aan van het metadatabestand: ´e´en in Turtle-formaat, en ´e´en in N-Triplesformaat. Hieronder wordt de metadata in Turtle weergegeven, daar die een stuk leesbaarder is. 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

@prefix @prefix @prefix @prefix @prefix

sd : . prov : . xsd : . f o a f : . v o i d : .

sd : enrichment2013 −05−11 07 −05−14 T r i p l e 0 a prov : E n t i t y ; prov : wasGeneratedBy sd : e n r i c h m e n t A c t i v i t y 2 0 1 3 −05−11 07 −05−14 ; prov : q u a l i f i e d G e n e r a t i o n [ a prov : G e n e r a t i o n ; prov : a c t i v i t y sd : e n r i c h m e n t A c t i v i t y 2 0 1 3 −05−11 07 −05−14 ; prov : hadRole sd : c r e a t e d E n r i c h m e n t L i n k ] ; prov : generatedAtTime ”2013−05−11T07 : 0 5 : 3 1 ” ˆ ˆ xsd : dateTime . sd : e n r i c h m e n t A c t i v i t y 2 0 1 3 −05−11 07 −05−14

a prov : A c t i v i t y ;

4.3 Gegenereerde provenance metadata 17 prov : startedAtTime ”2013−05−11T07 : 0 5 : 1 4 ” ˆ ˆ xsd : dateTime ; 18 prov : endedAtTime ”2013−05−11T07 : 0 6 : 1 3 ” ˆ ˆ xsd : dateTime ; 19 prov : wasAssociatedWith sd : s i l k v 2 −5−4 ; 20 prov : q u a l i f i e d A s s o c i a t i o n [ 21 a prov : A s s o c i a t i o n ; 22 prov : a g e n t sd : s i l k v 2 −5−4 ; 23 prov : hadRole sd : enrichmentFramework ; 24 prov : hadPlan sd : enrichment2013 −05−11 07 −05−14 C o n f i g u r a t i o n 25 ] ; 26 prov : wasAssociatedWith sd : SanderVandenHautte ; 27 prov : q u a l i f i e d A s s o c i a t i o n [ 28 a prov : A s s o c i a t i o n ; 29 prov : a g e n t sd : SanderVandenHautte ; 30 prov : hadRole sd : e n r i c h m e n t C o n f i g u r a t o r ; 31 prov : hadPlan sd : enrichment2013 −05−11 07 −05−14 I n s t r u c t i o n s 32 ] ; 33 34 prov : used sd : s u b s e t O f e v e n t d a t a D a t a s e t ; 35 prov : q u a l i f i e d U s a g e [ 36 a prov : Usage ; 37 prov : e n t i t y sd : s u b s e t O f e v e n t d a t a D a t a s e t ; 38 prov : hadRole sd : s o u r c e D a t a s e t 39 ] ; 40 prov : used sd : s u b s e t O f d b p e d i a D a t a s e t ; 41 prov : q u a l i f i e d U s a g e [ 42 a prov : Usage ; 43 prov : e n t i t y sd : s u b s e t O f d b p e d i a D a t a s e t ; 44 prov : hadRole sd : t a r g e t D a t a s e t 45 ] . 46 47 sd : a c c e p t e d l i n k s 2 0 1 3 −05−11 07 −05−14 a prov : E n t i t y ; 48 prov : wasGeneratedBy sd : e n r i c h m e n t A c t i v i t y 2 0 1 3 −05−11 07 −05−14 ; 49 prov : q u a l i f i e d G e n e r a t i o n [ 50 a prov : G e n e r a t i o n ; 51 prov : a c t i v i t y sd : e n r i c h m e n t A c t i v i t y 2 0 1 3 −05−11 07 −05−14 ; 52 prov : hadRole sd : a c c e p t e d T r i p l e s 53 ] ; 54 prov : generatedAtTime ”2013−05−11T07 : 0 6 : 1 2 ” ˆ ˆ xsd : dateTime . 55 56 sd : v e r i f y l i n k s 2 0 1 3 −05−11 07 −05−14 a prov : E n t i t y ; 57 prov : wasGeneratedBy sd : e n r i c h m e n t A c t i v i t y 2 0 1 3 −05−11 07 −05−14 ; 58 prov : q u a l i f i e d G e n e r a t i o n [ 59 a prov : G e n e r a t i o n ;

81

4.3 Gegenereerde provenance metadata 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89

82

prov : a c t i v i t y sd : e n r i c h m e n t A c t i v i t y 2 0 1 3 −05−11 07 −05−14 ; prov : hadRole sd : t r i p l e s T o V e r i f y ] ; prov : generatedAtTime ”2013−05−11T07 : 0 6 : 1 2 ” ˆ ˆ xsd : dateTime . sd : s i l k 2 −5−4 a prov : Agent ; a prov : SoftwareAgent ; f o a f : givenName ” S i l k 2 . 5 . 4 ” . sd : SanderVandenHautte a prov : Agent ; a prov : Person ; f o a f : name ” Sander Vanden Hautte ” ; f o a f : mbox ” s a n d e r . vanden . hautte@gmail . com” ; prov : actedOnBehalfOf sd : Howest ; prov : actedOnBehalfOf sd : MultimediaLab . sd : Howest a prov : Agent ; a prov : O r g a n i z a t i o n ; f o a f : name ” Howest ” . sd : MultimediaLab a prov : Agent ; a prov : O r g a n i z a t i o n ; f o a f : name ” Multimedia Lab” . sd : s u b s e t O f e v e n t d a t a D a t a s e t a prov : E n t i t y ; prov : wasDerivedFrom sd : e v e n t d a t a D a t a s e t .

sd : e v e n t d a t a D a t a s e t a prov : E n t i t y ; a void : Dataset ; #t h i s d a t a s e t has a s u b s e t : ( t h e p r e v i o u s e n t i t y t h a t has been d e s c r i b e d ) 90 v o i d : s u b s e t sd : s u b s e t O f e v e n t d a t a D a t a s e t ; 91 v o i d : s p a r q l E n d p o i n t ” h t t p : / / l o c a l h o s t : 8 8 9 0 / s p a r q l /” . 92 93 sd : s u b s e t O f d b p e d i a D a t a s e t a prov : E n t i t y ; 94 prov : wasDerivedFrom sd : d b p e d i a D a t a s e t . 95 96 sd : d b p e d i a D a t a s e t a prov : E n t i t y ; 97 a void : Dataset ; 98 #t h i s d a t a s e t has a s u b s e t : ( t h e p r e v i o u s e n t i t y t h a t has been d e s c r i b e d ) 99 v o i d : s u b s e t sd : s u b s e t O f d b p e d i a D a t a s e t ; 100 v o i d : s p a r q l E n d p o i n t ” h t t p : / / dbpedia . o r g / s p a r q l /” .

4.3 Gegenereerde provenance metadata

83

101 102 sd : enrichment2013 −05−11 07 −05−14 C o n f i g u r a t i o n a prov : E n t i t y ; 103 prov : wasRevisionOf sd : enrichment2013 −05−11 05 −59−31 C o n f i g u r a t i o n ; 104 prov : wasAttributedTo sd : SanderVandenHautte . 105 106 sd : enrichment2013 −05−11 07 −05−14 I n s t r u c t i o n s a prov : E n t i t y . 107 sd : enrichment2013 −05−11 07 −05−14 I n s t r u c t i o n s prov : wasRevisionOf sd : enrichment2013 −05−11 05 −59−31 I n s t r u c t i o n s .

Deze metadata heeft de vorm zoals ze voorzien was in het opgestelde model. De opgegeven parameters zijn er duidelijk in te vinden. Wanneer iemand — of een softwareprogramma — gebruik maakt van verrijkingen, dan kan het voortaan ook gebruik maken van de extra provenance-informatie die erover beschikbaar is.

BESLUIT EN TOEKOMSTPERSPECTIEVEN

84

Hoofdstuk 5 Besluit en toekomstperspectieven Dit onderzoek was gericht op het implementeren van een verrijkingsraamwerk dat in staat is verrijkingen te annoteren met extra informatie over wanneer ze werden gegenereerd, welk verrijkingsraamwerk de taak verricht heeft, welke instellingen aan de basis lagen van het verrijkingsproces en en wie er verantwoordelijk was voor het opstellen van de instellingen en het verrijkingsproces in gang gezet heeft. Deze extra informatie wordt provenance metadata genoemd. Een verrijking is immers in essentie een link van een bepaalde entiteit in een dataset naar een overeenkomstige entiteit in een andere dataset. De juistheid van deze links bepaalt het succes van een applicatie die er gebruik van maakt. Wanneer provenance metadata over de verrijkingen aan een applicatie ter beschikking gesteld wordt, kan deze uitmaken in welke mate de verrijkingen te vertrouwen zijn. Op deze manier kan trust gerealiseerd worden bij gebruikers en software agents op het semantische web, iets waar tot op de dag van vandaag nog veel onderzoek over wordt gedaan. Deze scriptie verduidelijkte in de inleiding de nood aan de overstap op linked data als gestructureerd dataformaat voor het aanbieden van aanbevelingen van culturele evenementen op het Web. In een uitgebreide literatuurstudie werd de visie van het Semantisch Web toegelicht. Ook Linked Data, verrijking en provenance werden meer in detail beschreven. Het in dit onderzoek beoogde verrijkingsraamwerk werd ge¨ımplementeerd op basis van Silk, een bestaand verrijkingsraamwerk. Het hoofdstuk ontwerp en implementatie beschreef in detail de architectuur van de uitbreiding van Silk. Een algemeen overzicht op deze archi-

BESLUIT EN TOEKOMSTPERSPECTIEVEN

85

tectuur wordt weergegeven op figuur 5.1. Het verrijkingsraamwerk werd ge¨evalueerd op basis van een evenementendatabase. Opdat Silk zou kunnen werken met deze datacollectie, werd ze omgezet in RDF-formaat met behulp van het D2RQ-platform. De serversoftware OpenLink Virtuoso Universal Server werd gebruikt om het bevragen van de aangemaakte evenementendataset foutloos en sneller te laten verlopen. De opbouw van Silk werd onder de loep genomen en uitgebreid, zodat provenance metadata kon worden gegenereerd.

Figuur 5.1: Overzicht van de componenten waamee de uitbreiding van Silk werd bewerkstelligd. Het D2RQ-platform is hier niet op weergegeven.

Om provenance metadata over verrijkingen te genereren werd een model opgesteld. Dit model, weergegeven in bijlage op figuur A.2, werd in de uitbreiding van Silk toegepast.

BESLUIT EN TOEKOMSTPERSPECTIEVEN

86

Het is gebaseerd op de ontologie PROV-O, een specificatie van het World Wide Web Consortium. De uitbreiding van Silk die werd gemaakt is het belangrijkste resultaat van dit onderzoek. Ook de bestanden met de gegenereerde verrijkingen en provenance metadata werden in het resultatenhoofdstuk gepresenteerd. De belangrijkste conclusie die kan worden gemaakt is dat de implementatie vanaf nu met succes bij de gegenereerde verrijkingen provenance metadata kan genereren. Alle beschrijvingen over een verrijking waarvan verlangd werd dat Silk ze zou kunnen genereren, zijn te vinden in de output van het verrijkingsraamwerk. De implementatie geldt echter als een proof of concept. Ze kan immers nog op vele vlakken worden verbeterd. Op dit moment blijkt het genereren van provenance iets langer te duren dan de aanmaak van verrijkingen zelf, de prestaties van de uitbreiding zijn zeker nog niet optimaal. Ook de beschrijving van de metadata zelf kan nog onder handen worden genomen. De mate van betrouwbaarheid van elke verrijking zou bijvoorbeeld kunnen worden gepubliceerd. In de evaluatie van de resultaten werden evenementenlocaties verrijkt met vermeldingen van steden in de dataset van DBpedia. Deze verrijkingen waren gebaseerd op stringvergelijkingen, een veel gebruikte, maar relatief eenvoudige vergelijkingsmetriek. Wanneer resources in de twee datasets overeenkwamen, was de afstandsscore simpelweg 0, in het andere geval 1. Ingewikkeldere vergelijkingsalgoritmes produceren een afstandsscore die ni´et gewoon 0 of 1 is. Op basis van de afstandsscore wordt een betrouwbaarheidsniveau berekend, zie figuur 5.2. De ideale mate van overeenkomst tussen resources komt overeen met een betrouwbaarheid 1. Wanneer de afstand kleiner is dan een bepaalde parameter (de threshold ) is het resultaat een betrouwbaarheidsscore tussen 0 en 1, is de afstand nog groter dan de threshold, dan zakt de betrouwbaarheid onder 0 tot -1 bereikt wordt. Hoe hoger de betrouwbaarheidsscore, hoe groter de kans is dat de twee resources die gelinkt werden eenzelfde concept voorstellen. Deze betrouwbaarheidsscore kan dus zeer waardevol zijn bij het bepalen of een verrijking al dan niet mag vertrouwd worden. Uiteraard zijn ook de opgestelde vergelijkingscondities van belang: slecht opgestelde condities zullen voor verrijkingen zorgen waarvan de resulterende betrouwbaarheidsscore zeer hoog was, ook al komen de entiteiten die werden verrijkt niet overeen. Wanneer de betrouwbaarheidsscore in provenance metadata zou worden gepubliceerd, worden de verrijkingscondities dus best meegepubliceerd. Een andere verbetering van het model voor publicatie van provenance-informatie bij verrij-

BESLUIT EN TOEKOMSTPERSPECTIEVEN

87

Figuur 5.2: Berekening van de betrouwbaarheidsscore op basis van een afstandsmetriek.

kingen kan het beschrijven van versie-informatie zijn van de betrokken datasets. Het kan bijvoorbeeld voorkomen dat het aantal verrijkingen die Silk genereert plots toegenomen of afgenomen is tegenover een eerdere uitvoer van het verrijkingsproces, ook al werd er niets veranderd aan een verrijkingsconfiguratie. De reden is dan dat het aantal resources dat in ´e´en of meerdere datasets die worden gelinkt veranderd is. Bijvoorbeeld: wanneer 100 nieuwe Belgische steden en dorpen worden toegevoegd in de dataset van DBpedia, dan zullen er vanzelfsprekend meer links kunnen gelegd worden met locaties in een lokale evenementendataset. Er kan gezegd worden dat de dataset van DBpedia een update heeft gekregen. Deze informatie kan evengoed in het model voor de provenance metadata van verrijkingen worden beschreven, net zoals tot nu toe nieuwe versies van bijvoorbeeld de outputbestanden worden beschreven. De implementatie van de uitbreiding van Silk werkt op basis van templating. Een laatste opmerking over mogelijke verbetering is dat in de toekomst er gebruik zou kunnen gemaakt worden van bestaande libraries (voorlopig zijn dat ProvToolbox en PROVoKing). Deze zullen aangewezen zijn wanneer het beschrijven van provenance een dynamischer probleem wordt dan in dit onderzoek. Er kan besloten worden dat Silk met de ge¨ımplementeerde uitbreiding in staat is provenancebeschrijvingen over verrijkingen aan te maken. Op die manier komt de verwezenlijking van trust een klein stapje dichterbij en wordt het Web klaargestoomd voor Web 4.0, een web

BESLUIT EN TOEKOMSTPERSPECTIEVEN

88

waarop ook machines data (met bijbehorende versie-informatie) kunnen verwerken en conclusies terug op het Web kunnen publiceren.

APPENDIX: GEDETAILLEERDE RESULTATEN

89

Bijlage A Appendix: Gedetailleerde resultaten A.1

Structuur van de gegeven evenementendatabase

Zie volgende pagina.

A.1 Structuur van de gegeven evenementendatabase

Figuur A.1: De structuur van de evenementendatabase die werd omgezet.

90

A.2 Mapping voor de omzetting van de database met D2RQ

A.2

91

Mapping voor de omzetting van de database met D2RQ

1 # Namespace o f t h i s mapping f i l e ; d o e s not appear i n t h e r e s u l t i n g mapped data ! 2 @ p r e f i x map : < f i l e : / /C: / U s e r s / Sander / Dropbox /Sem8/ M a s t e r p r o e f / d2rq / o o s d b e v e n e m e n t e n d a t a b a s e /mapping−oosdb . t t l#> . 3 4 # D2RQ namespace : 5 @ p r e f i x d2rq : . 6 7 # Other namespaces : 8 @ p r e f i x j d b c : . 9 @ p r e f i x r d f : . 10 @ p r e f i x r d f s : . 11 @ p r e f i x xsd : . 12 @ p r e f i x l o d e : . 13 @ p r e f i x dcterms : . 14 @ p r e f i x vcard : . 15 @ p r e f i x time : . 16 @ p r e f i x d u l : . 17 @ p r e f i x f o a f : . 18 @ p r e f i x g r : . 19 20 # This ” namespace ” may be removed l a t e r on i f NOT used anymore w h i l e r e v i s i n g t h i s mapping f i l e ( check t h i s a f t e r t h a t r e v i s i o n ) 21 @ p r e f i x vocab : . 22 23 # Database c o n n e c t i o n s e t t i n g s : 24 map : d a t a b a s e a d2rq : Database ; 25 d2rq : j d b c D r i v e r ”com . mysql . j d b c . D r i v e r ” ; 26 d2rq : jdbcDSN ” j d b c : mysql : / / 1 2 7 . 0 . 0 . 1 / oosdb ” ; 27 d2rq : username ” r o o t ” ; 28 d2rq : password ” ” ; 29 j d b c : autoReconnect ” t r u e ” ; 30 j d b c : zeroDateTimeBehavior ” c o n v e r t T o N u l l ” ; 31 . 32 33 # C o n f i g u r a t i o n s 34 map : C o n f i g u r a t i o n a d2rq : C o n f i g u r a t i o n ; 35 d2rq : u s e A l l O p t i m i z a t i o n s t r u e . 36

A.2 Mapping voor de omzetting van de database met D2RQ

92

37 # Mapping o f a l l t a b l e s and columns : 38 39 # Table e v e n t 40 map : Events a d2rq : ClassMap ; 41 d2rq : d a t a S t o r a g e map : d a t a b a s e ; 42 d2rq : u r i P a t t e r n ” e v e n t /@@event . ID@@” ; 43 d2rq : c l a s s l o d e : Event ; 44 d2rq : c l a s s D e f i n i t i o n L a b e l ” e v e n t ”@en ; 45 d2rq : c l a s s D e f i n i t i o n C o m m e n t ”An e v e n t . ” @en ; 46 # o n l y map e v e n t s t h a t a r e not o u t d a t e d ( marked a s DELETED i n t h e d a t a b a s e ) 47 d2rq : c o n d i t i o n ” e v e n t .DELETED = 0 ” ; 48 . 49 50 map : eventID a d2rq : P r o p e r t y B r i d g e ; 51 d2rq : belongsToClassMap map : Events ; 52 d2rq : p r o p e r t y dcterms : i d e n t i f i e r ; 53 d2rq : p r o p e r t y D e f i n i t i o n L a b e l ” e v e n t ID”@en ; 54 d2rq : p r o p e r t y D e f i n i t i o n C o m m e n t ”The i d e n t i f i e r o f t h e e v e n t . ” @en ; 55 d2rq : column ” e v e n t . ID ” ; 56 d2rq : d a t a t y p e xsd : i n t e g e r ; 57 . 58 59 map : e v e n t L a b e l a d2rq : P r o p e r t y B r i d g e ; 60 d2rq : belongsToClassMap map : Events ; 61 d2rq : p r o p e r t y r d f s : l a b e l ; 62 d2rq : p a t t e r n ” Evenement #@@event . ID@@ : @@event . TITLE@@” ; 63 d2rq : l a n g ” n l ” ; 64 . 65 66 map : e v e n t T i t l e a d2rq : P r o p e r t y B r i d g e ; 67 d2rq : belongsToClassMap map : Events ; 68 d2rq : p r o p e r t y dcterms : t i t l e ; 69 d2rq : p r o p e r t y D e f i n i t i o n L a b e l ” e v e n t t i t l e ”@en ; 70 d2rq : p r o p e r t y D e f i n i t i o n C o m m e n t ”The t i t l e o f t h e e v e n t . ” @en ; 71 d2rq : column ” e v e n t . TITLE ” ; 72 #The e v e n t t i t l e i s not always i n dutch : 73 #d2rq : l a n g ” n l ” ; 74 . 75 76 map : e v e n t S h o r t D e s c r i p t i o n a d2rq : P r o p e r t y B r i d g e ; 77 d2rq : belongsToClassMap map : Events ; 78 d2rq : p r o p e r t y dcterms : d e s c r i p t i o n ;

A.2 Mapping voor de omzetting van de database met D2RQ 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111

93

#a l t e r n a t i v e f o r t h e above : ” d2rq : p r o p e r t y dcterms : d e s c r i p t i o n ; ” d2rq : p r o p e r t y D e f i n i t i o n L a b e l ” e v e n t SHORTDESCRIPTION”@en ; d2rq : p r o p e r t y D e f i n i t i o n C o m m e n t ”A s h o r t d e s c r i p t i o n o f t h e e v e n t . ” @en ; d2rq : column ” e v e n t .SHORTDESCRIPTION” ; d2rq : l a n g ” n l ” ; . #Using t h e GoodRelations v o c a b u l a r y t o d e s c r i b e t i c k e t p r i c e s : #Note : s t r i c t l y spoken , a l l e v e n t s s h o u l d have c l a s s type g r : O f f e r i n g . #This r u l e i s not obeyed , i t would make t h e mapping s e r i o u s l y c o m p l i c a t e d , #GoodRelations p r o p e r t i e s a r e used o n l y 3 t i m e s . . . map : event PRICEVALUE a d2rq : P r o p e r t y B r i d g e ; d2rq : belongsToClassMap map : Events ; d2rq : p r o p e r t y g r : hasCurrencyValue ; d2rq : p r o p e r t y D e f i n i t i o n L a b e l ” Event t i c k e t p r i c e ”@en ; d2rq : column ” e v e n t .PRICEVALUE” ; #d a t a t y p e was o r i g i n a l l y xsd : d o u b l e − changed t o xsd : f l o a t f o r GoodRelations c o m p l i a n c e . d2rq : d a t a t y p e xsd : f l o a t ; . map : event PRICECURRENCY a d2rq : P r o p e r t y B r i d g e ; d2rq : belongsToClassMap map : Events ; d2rq : p r o p e r t y g r : hasCurrency ; d2rq : c o n s t a n t V a l u e ”EUR”ˆˆ xsd : s t r i n g ; d2rq : p r o p e r t y D e f i n i t i o n L a b e l ” Event t i c k e t c u r r e n c y ”@en ; d2rq : c o n d i t i o n ” e v e n t .PRICEVALUE IS NOT NULL” ; . #The p r o p e r t y PRICEDESCRIPTION has been o m i t t e d f o r s i m p l i c i t y r e a s o n s ( s e t u p o f t h e d a t a s e t f o r t h e demo ) . #When t h i s mapping f i l e were t o be extended t o c o n v e r t a l l d a t a b a s e #columns − t o c o n v e r t t h e whole d a t a b a s e t o RDF dump − GoodRelations #c o u l d t u r n out v e r y u s e f u l : i t can be used t o d e s c r i b e t h e o p e n i n g #h o u r s o f c u l t u r a l c e n t e r s . #(UML diagram o f GoodRelations : h t t p : / /www. heppnetz . de / o n t o l o g i e s / g o o d r e l a t i o n s / g o o d r e l a t i o n s −UML. png )

112 113 # d e s c r i b i n g e v e n t l o c a t i o n s , u s i n g a new d2rq : ClassMap : 114 #−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−− 115 116 # NOTE: a d d r e s s e s w i l l be d e s c r i b e d u s i n g t h e vcard v o c a b u l a r y . ( h t t p : / /www. w3 . o r g / S u b m i s s i o n / vcard−r d f / )

A.2 Mapping voor de omzetting van de database met D2RQ 117 # 118 119 120 121 122

Another o p t i o n would ’ ve been t h e a d d r e s s v o c a b u l a r y , but t h e r e ’ s no Address CLASS . ( h t t p : / / schemas . t a l i s . com/2005/ a d d r e s s / schema#) map : e v e n t L o c a t i o n a d2rq : P r o p e r t y B r i d g e ; d2rq : belongsToClassMap map : Events ; d2rq : p r o p e r t y D e f i n i t i o n L a b e l ” e v e n t l o c a t i o n ”@en ; d2rq : p r o p e r t y D e f i n i t i o n C o m m e n t ” R e f e r s t o t h e l o c a t i o n a t which t h e e v e n t t a k e s p l a c e . ” @en ; #r e p l a c i n g ” d2rq : p r o p e r t y vcard :ADR; ” b e c a u s e t h e e v e n t must be d e s c r i b e d with t h e LODE v o c a b u l a r y when p o s s i b l e ( t h e s i s r e q u i r e m e n t ) d2rq : p r o p e r t y l o d e : a t P l a c e ; d2rq : r e f e r s T o C l a s s M a p map : e v e n t L o c a t i o n s ; .

94

123 124 125 126 127 map : e v e n t L o c a t i o n s a d2rq : ClassMap ; 128 d2rq : d a t a S t o r a g e map : d a t a b a s e ; 129 #Using u r i P a t t e r n s i n s t e a d o f blank nodes (D2RQ Mapping Language s p e c i f i c a t i o n − h t t p : / / d2rq . o r g / d2rq−l a n g u a g e − s a y s t o a v o i d them i f possible ) 130 d2rq : u r i P a t t e r n ” l o c a t i o n /@@event . ID@@” ; 131 #r e p l a c i n g ” d2rq : c l a s s vcard : Address ; ” ( d u l : P l a c e i s t h e c o r r e c t r a n g e o f lode : atPlace . ) 132 d2rq : c l a s s d u l : P l a c e ; 133 d2rq : c l a s s D e f i n i t i o n L a b e l ” L o c a t i o n ”@en ; 134 d2rq : c l a s s D e f i n i t i o n C o m m e n t ”A l o c a t i o n a t which an e v e n t t a k e s p l a c e . ” @en ; 135 # o n l y map e v e n t s t h a t a r e not o u t d a t e d ( marked a s DELETED i n t h e d a t a b a s e ) 136 d2rq : c o n d i t i o n ” e v e n t .DELETED = 0 ” ; 137 . 138 #There ’ s one problem with t h e above P r o p e r t y B r i d g e and ClassMap 139 #d e f i n i t i o n : t h e map : e v e n t L o c a t i o n s ” t a b l e ” w i l l c o n t a i n d u p l i c a t e s . 140 #Adding ” d2rq : c o n t a i n s D u p l i c a t e s ” True ” ; ” t o t h e c l a s s map p r o p e r t i e s 141 #above d o e s not help , t h e IDs o f d u p l i c a t e l o c a t i o n s a r e d i f f e r e n t and 142 #thus , t h e l o c a t i o n s a r e s e e n a s d i f f e r e n t l o c a t i o n r e c o r d s . 143 144 #The p r o p e r t i e s below have been mapped u s i n g t h e VCard v o c a b u l a r y . 145 #However : t h e i r r a n g e i s vcard : Address , which i s r e p l a c e d by d u l : P l a c e 146 #i n t h i s mapping f i l e t o be c o r r e c t with t h e LODE s p e c i f i c a t i o n . 147 #This i s a s m a l l grammatical e r r o r , but f o r t h e p u r p o s e s o f t h i s 148 #t h e s i s , i t has no d r a m a t i c a l c o n s e q u e n c e s . Only when r e a s o n i n g i s 149 #a p p l i e d , i n c o n s i s t e n c i e s would come up . 150 map : e v e n t C i t y a d2rq : P r o p e r t y B r i d g e ; 151 d2rq : belongsToClassMap map : e v e n t L o c a t i o n s ;

A.2 Mapping voor de omzetting van de database met D2RQ 152 d2rq : p r o p e r t y vcard : l o c a l i t y ; 153 d2rq : p r o p e r t y D e f i n i t i o n L a b e l ” c i t y ”@en ; 154 d2rq : column ” e v e n t . CITY ” ; 155 . 156 map : eventCountry a d2rq : P r o p e r t y B r i d g e ; 157 d2rq : belongsToClassMap map : e v e n t L o c a t i o n s ; 158 d2rq : p r o p e r t y vcard : country−name ; 159 d2rq : p r o p e r t y D e f i n i t i o n L a b e l ” c o u n t r y ”@en ; 160 d2rq : column ” e v e n t .COUNTRY” ; 161 . 162 map : e v e n t S t r e e t a d2rq : P r o p e r t y B r i d g e ; 163 d2rq : belongsToClassMap map : e v e n t L o c a t i o n s ; 164 d2rq : p r o p e r t y vcard : s t r e e t −a d d r e s s ; 165 d2rq : p r o p e r t y D e f i n i t i o n L a b e l ” s t r e e t a d d r e s s ”@en ; 166 d2rq : p r o p e r t y D e f i n i t i o n C o m m e n t ”The s t r e e t a d d r e s s o f t h e l o c a t i o n , c o n t a i n i n g t h e s t r e e t name and house number . ” @en ; 167 d2rq : p a t t e r n ”@@event .STREET@@ @@event .HOUSENR@@” ; 168 . 169 map : e v e n t P o s t a l C o d e a d2rq : P r o p e r t y B r i d g e ; 170 d2rq : belongsToClassMap map : e v e n t L o c a t i o n s ; 171 d2rq : p r o p e r t y vcard : p o s t a l −code ; 172 d2rq : p r o p e r t y D e f i n i t i o n L a b e l ” p o s t a l code ”@en ; 173 d2rq : column ” e v e n t . ZIPCODE” ; 174 . 175 #This p r o p e r t y might be u s e f u l f o r when e v e n t l o c a t i o n s must be e n r i c h e d . 176 #In t h a t c a s e , uncomment i t . 177 #map : event LOCATIONLABEL a d2rq : P r o p e r t y B r i d g e ; 178 # d2rq : belongsToClassMap map : e v e n t L o c a t i o n s ; 179 # d2rq : p r o p e r t y vocab : event LOCATIONLABEL ; 180 # d2rq : p r o p e r t y D e f i n i t i o n L a b e l ”Name o f t h e e v e n t l o c a t i o n ”@en ; 181 # d2rq : column ” e v e n t .LOCATIONLABEL” ; 182 # . 183 184 #These l o c a t i o n p r o p e r t i e s have been o m i t t e d : LOCATIONLABELCDBID and LOCATIONLABELEXTERNALID. 185 #They a r e not v e r y v a l u a b l e data e l e m e n t s f o r e n r i c h m e n t . 186 187 188 189 #e x p r e s s i n g e v e n t d a t e s and t i m e s u s i n g a new ClassMap : 190 #−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−− 191 192 map : e v en t Te m p or a l En t it y a d2rq : P r o p e r t y B r i d g e ;

95

A.2 Mapping voor de omzetting van de database met D2RQ 193 194 195 196 197 198 199 200 201 202 203

204 205 206 207 208

96

d2rq : belongsToClassMap map : Events ; d2rq : p r o p e r t y D e f i n i t i o n L a b e l ” e v e n t d e s c r i b e d i n time ”@en ; d2rq : p r o p e r t y D e f i n i t i o n C o m m e n t ” R e f e r s t o when t h e e v e n t happens and when i t ends . ” @en ; d2rq : p r o p e r t y l o d e : atTime ; d2rq : r e f e r s T o C l a s s M a p map : T e m p o r a l E n t i t i e s ; . #There ’ s one problem with t h e above P r o p e r t y B r i d g e : t h e map : T e m p o r a l E n t i t i e s ” table ” w i l l contain duplicates . #Again , adding t h e ClassMap p r o p e r t y ” d2rq : c o n t a i n s D u p l i c a t e s ” True ” ; ” w i l l not h e l p ( IDs d i f f e r ) . map : T e m p o r a l E n t i t i e s a d2rq : ClassMap ; d2rq : d a t a S t o r a g e map : d a t a b a s e ; #Using u r i P a t t e r n s i n s t e a d o f blank nodes (D2RQ Mapping Language s p e c i f i c a t i o n − h t t p : / / d2rq . o r g / d2rq−l a n g u a g e − s a y s t o a v o i d them i f possible ) d2rq : u r i P a t t e r n ” temporal−e n t i t i e s /@@event . ID@@” ; d2rq : c l a s s time : TemporalEntity ; d2rq : c l a s s D e f i n i t i o n L a b e l ” Temporal e n t i t y ”@en ; d2rq : c l a s s D e f i n i t i o n C o m m e n t ”The event , a s d e s c r i b e d i n a matter o f d a t e and time . ” @en ; # o n l y map e v e n t s t h a t a r e not o u t d a t e d ( marked a s DELETED i n t h e d a t a b a s e ) d2rq : c o n d i t i o n ” e v e n t .DELETED = 0 ” ; .

209 210 211 212 # Note : Date and time problems d e t e c t e d i n t h e d a t a b a s e : 213 # * STARTTIME = ENDTIME ( i n about 3/4 o f a l l e v e n t r e c o r d s ) . 214 # * when STARTTIME != ENDTIME, then mostly ENDTIME − STARTTIME != ESTIMATEDTIME (= d u r a t i o n ) 215 # * AVAILABLEFROM != AVAILABLETO ( e x c e p t f o r 1 r e c o r d ) , s o that ’ s good , but : 216 # * AVAILABLETO − AVAILABLEFROM != ESTIMATEDTIME, 217 # So t o a v o i d having a dump f u l l o f e r r o r s , o n l y t h e s t a r t t i m e o f t h e e v e n t i s mapped . 218 219 # NOTE: The c o r r e c t r a n g e o f l o d e : atTime i s time : TemporalEntity . 220 # Date and time w i l l t h e r e f o r e be d e s c r i b e d u s i n g t h e time v o c a b u l a r y . 221 #(h t t p : / /www. w3 . o r g /TR/ owl−time , appendix A) 222 map : e v e n t S t a r t I n s t a n t a d2rq : P r o p e r t y B r i d g e ; 223 d2rq : belongsToClassMap map : T e m p o r a l E n t i t i e s ; 224 d2rq : p r o p e r t y D e f i n i t i o n L a b e l ” e v e n t end i n s t a n t ”@en ; 225 d2rq : p r o p e r t y D e f i n i t i o n C o m m e n t ” R e f e r s t o t h e i n s t a n t on which t h e e v e n t has ended ( o r w i l l end ) . ” @en ;

A.2 Mapping voor de omzetting van de database met D2RQ

97

226 d2rq : p r o p e r t y time : h a s B e g i n n i n g ; 227 d2rq : r e f e r s T o C l a s s M a p map : S t a r t I n s t a n t s ; 228 . 229 map : S t a r t I n s t a n t s a d2rq : ClassMap ; 230 d2rq : d a t a S t o r a g e map : d a t a b a s e ; 231 #Using u r i P a t t e r n s i n s t e a d o f blank nodes (D2RQ Mapping Language s p e c i f i c a t i o n − h t t p : / / d2rq . o r g / d2rq−l a n g u a g e − s a y s t o a v o i d them i f possible ) 232 d2rq : u r i P a t t e r n ” s t a r t −i n s t a n t s /@@event . ID@@” ; 233 d2rq : c l a s s time : I n s t a n t ; 234 d2rq : c l a s s D e f i n i t i o n L a b e l ” e v e n t s t a r t i n s t a n t ”@en ; 235 d2rq : c l a s s D e f i n i t i o n C o m m e n t ”The event ’ s s t a r t i n s t a n t , a s d e s c r i b e d i n a matter o f d a t e and time . ” @en ; 236 # o n l y map e v e n t s t h a t a r e not o u t d a t e d ( marked a s DELETED i n t h e d a t a b a s e ) 237 d2rq : c o n d i t i o n ” e v e n t .DELETED = 0 ” ; 238 . 239 map : eventStartTimeXSD a d2rq : P r o p e r t y B r i d g e ; 240 d2rq : belongsToClassMap map : S t a r t I n s t a n t s ; 241 d2rq : p r o p e r t y time : inXSDDateTime ; 242 d2rq : p r o p e r t y D e f i n i t i o n L a b e l ” Event s t a r t time i n XSD d a t e time ”@en ; 243 #f o r m a t t i n g t h e d a t e t i m e i n XSD format ( ”YYYY−MM−DDThh :mm: s s ” ) : 244 #FROM UNIXTIME: h t t p s : / / dev . mysql . com/ doc / refman / 5 . 5 / en / date−and−time− f u n c t i o n s . html#f u n c t i o n f r o m −u n i x t i m e 245 d2rq : s q l E x p r e s s i o n ”FROM UNIXTIME( e v e n t .STARTTIME / 1 0 0 0 ) ” ; 246 d2rq : d a t a t y p e xsd : dateTime ; 247 . 248 #d e s c r i b i n g t h e event ’ s end u s i n g t h e e s t i m a t e d t i m e column when i t i s not null , 249 #b e c a u s e that ’ s t h e most r e l i a b l e column . The columns endtime and 250 #a v a i l a b l e t o a r e − a s s a i d b e f o r e − mostly i n c o r r e c t . To check t h a t out 251 #f o r y o u r s e l f , run t h i s query : 252 # SELECT id , t i t l e , FROM UNIXTIME( s t a r t t i m e /1000 ) , 253 # FROM UNIXTIME( #endtime /1000 ) , e s t i m a t e d t i m e , 254 # FROM UNIXTIME( a v a i l a b l e f r o m /1000 ) , 255 # FROM UNIXTIME( a v a i l a b l e t o /1000 ) 256 # FROM e v e n t 257 # WHERE s t a r t t i m e != endtime 258 # AND e s t i m a t e d t i m e IS NOT NULL 259 map : e v e n t E n d I n s t a n t a d2rq : P r o p e r t y B r i d g e ; 260 d2rq : belongsToClassMap map : T e m p o r a l E n t i t i e s ; 261 d2rq : p r o p e r t y D e f i n i t i o n L a b e l ” e v e n t end i n s t a n t ”@en ;

A.2 Mapping voor de omzetting van de database met D2RQ 262 263 264 265 266 267 268 269

270 271 272 273 274 275 276 277 278 279 280 281 282 283 284 285 286 287 288 289 290 291 292 293 294 295 296 297 298 299

98

d2rq : p r o p e r t y D e f i n i t i o n C o m m e n t ” R e f e r s t o t h e i n s t a n t on which t h e e v e n t has ended ( o r w i l l end ) . ” @en ; d2rq : p r o p e r t y time : hasEnd ; d2rq : r e f e r s T o C l a s s M a p map : E n d I n s t a n t s ; d2rq : c o n d i t i o n ” e v e n t .DELETED = 0 AND e v e n t . e s t i m a t e d t i m e IS NOT NULL” ; . map : E n d I n s t a n t s a d2rq : ClassMap ; d2rq : d a t a S t o r a g e map : d a t a b a s e ; #Using u r i P a t t e r n s i n s t e a d o f blank nodes (D2RQ Mapping Language s p e c i f i c a t i o n − h t t p : / / d2rq . o r g / d2rq−l a n g u a g e − s a y s t o a v o i d them i f possible ) d2rq : u r i P a t t e r n ”end−i n s t a n t s /@@event . ID@@” ; d2rq : c l a s s time : I n s t a n t ; d2rq : c l a s s D e f i n i t i o n L a b e l ” Event end i n s t a n t ”@en ; d2rq : c l a s s D e f i n i t i o n C o m m e n t ”The event ’ s end i n s t a n t , a s d e s c r i b e d i n a matter o f d a t e and time . ” @en ; # o n l y map e v e n t s t h a t a r e not o u t d a t e d ( marked a s DELETED i n t h e d a t a b a s e ) d2rq : c o n d i t i o n ” e v e n t .DELETED = 0 AND e v e n t . e s t i m a t e d t i m e IS NOT NULL” ; . map : eventEndTimeXSD a d2rq : P r o p e r t y B r i d g e ; d2rq : belongsToClassMap map : E n d I n s t a n t s ; d2rq : p r o p e r t y time : inXSDDateTime ; d2rq : p r o p e r t y D e f i n i t i o n L a b e l ” Event ’ s end i n XSD d a t e time ”@en ; #f o r m a t t i n g t h e d a t e t i m e i n XSD format ( ”YYYY−MM−DDThh :mm: s s ” ) : d2rq : s q l E x p r e s s i o n ”FROM UNIXTIME( s t a r t t i m e /1000 + e s t i m a t e d t i m e * 6 0 ) ” ; d2rq : d a t a t y p e xsd : dateTime ; d2rq : c o n d i t i o n ” e v e n t .DELETED = 0 AND e v e n t . e s t i m a t e d t i m e IS NOT NULL” ; . #Note : Most o f t h e r e s u l t s o f t h e s e d a t e t i m e c a l c u l a t i o n s i n t h e SQL # e x p r e s s i o n s a r e c o r r e c t . Some , however , not − b e c a u s e o f i n c o r r e c t ˜ ©cht n i e t dat de w e k e l i j k s e p i l a t e s l e s s e n # d a t a b a s e data . ( I k denk A #om middernacht doorgaan . ) #Note 2 : d a t e t i m e c o n v e r s i o n s were made i n t h e same t i m e z o n e ( Belgium ) # a s i n t h e one where t h e d a t e t i m e s were e n t e r e d i n t h e d a t a b a s e . # SQL e n t e r s and c o n v e r t s UNIX timestamps a c c o r d i n g t o t h e t i m e z o n e # which t h e u s e r l i v e s in , s o t h e timestamps were c o n v e r t e d c o r r e c t l y . #i n v o l v e d A g e n t i n f o r m a t i o n : #−−−−−−−−−−−−−−−−−−−−−−−−−− #p e r f o r m e r s :

A.2 Mapping voor de omzetting van de database met D2RQ

99

300 301 map : e v e n t P e r f o r m e r a d2rq : P r o p e r t y B r i d g e ; 302 d2rq : belongsToClassMap map : Events ; 303 d2rq : p r o p e r t y l o d e : i n v o l v e d A g e n t ; 304 d2rq : p r o p e r t y D e f i n i t i o n L a b e l ” e v e n t p e r f o r m e r ”@en ; 305 d2rq : r e f e r s T o C l a s s M a p map : P e r f o r m e r s ; 306 d2rq : c o n d i t i o n ” e v e n t .PERFORMERS IS NOT NULL” ; 307 . 308 map : P e r f o r m e r s a d2rq : ClassMap ; 309 d2rq : d a t a S t o r a g e map : d a t a b a s e ; 310 #Using u r i P a t t e r n s i n s t e a d o f blank nodes (D2RQ Mapping Language s p e c i f i c a t i o n − h t t p : / / d2rq . o r g / d2rq−l a n g u a g e − s a y s t o a v o i d them i f possible ) 311 d2rq : u r i P a t t e r n ” p e r f o r m e r s /@@event . ID@@” ; 312 #r a n g e o f l o d e : i n v o l v e d A g e n t i s d u l : Agent . However , s u b c l a s s e s were d e f i n e d t o d i s t i n g u i s h between o r g a n i s e r s , p e r f o r m e r s , r e s e r v a t i o n h a n d l e r s and l o c a t i o n p r o v i d e r s . 313 d2rq : c l a s s vocab : P e r f o r m e r ; 314 d2rq : c l a s s D e f i n i t i o n L a b e l ” I n v o l v e d a g e n t ( p e r f o r m e r ) ”@en ; 315 d2rq : c l a s s D e f i n i t i o n C o m m e n t ”The p e r f o r m e r i n v o l v e d with t h e e v e n t . ” @en ; 316 # o n l y map a g e n t s t h a t a r e not o u t d a t e d ( marked a s DELETED i n t h e d a t a b a s e ) 317 d2rq : c o n d i t i o n ” e v e n t .DELETED = 0 AND e v e n t .PERFORMERS IS NOT NULL” ; 318 . 319 #problem with t h e above c o n s t r u c t i o n : a g a i n t h e r e w i l l be d u p l i c a t e s . . . ( t h e r e w i l l be p e r f o r m e r URIs t h a t r e f e r t o one and t h e same p e r f o r m e r i n fact ) . 320 map : p e r f o r m e r a d2rq : P r o p e r t y B r i d g e ; 321 d2rq : belongsToClassMap map : P e r f o r m e r s ; 322 d2rq : p r o p e r t y f o a f : name ; 323 d2rq : p r o p e r t y D e f i n i t i o n L a b e l ” p e r f o r m e r name”@en ; 324 d2rq : column ” e v e n t .PERFORMERS” ; 325 . 326 #n o t e : t h e p e r f o r m e r ”name” i n t h e d a t a b a s e i s now a c t u a l l y an XML t e x t . 327 # I t s h o u l d be handled by a program t o e x t r a c t t h e r e a l p e r f o r m e r name , 328 # and a c t u a l l y t h e r e ’ s a d e s c r i p t i o n o f t h e p e r f o r m e r i n t h e XML a s w e l l 329 # − i t can be e x t r a c t e d t o o . 330 331 332 #o r g a n i s e r s : 333 334 map : e v e n t O r g a n i s e r a d2rq : P r o p e r t y B r i d g e ; 335 d2rq : belongsToClassMap map : Events ;

A.2 Mapping voor de omzetting van de database met D2RQ 336 337 338 339 340 341 342 343 344

345 346

347 348 349 350 351 352 353

354 355 356 357 358 359 360 361 362 363 364 365 366 367 368

100

d2rq : p r o p e r t y l o d e : i n v o l v e d A g e n t ; d2rq : p r o p e r t y D e f i n i t i o n L a b e l ” e v e n t o r g a n i s e r ”@en ; d2rq : p r o p e r t y D e f i n i t i o n C o m m e n t ” l i n k s t o an e v e n t o r g a n i s e r ”@en ; d2rq : r e f e r s T o C l a s s M a p map : O r g a n i s e r s ; d2rq : c o n d i t i o n ” e v e n t .ORGANISERLABEL IS NOT NULL OR e v e n t . ORGANISERACTOR ID IS NOT NULL” ; . map : O r g a n i s e r s a d2rq : ClassMap ; d2rq : d a t a S t o r a g e map : d a t a b a s e ; #Using u r i P a t t e r n s i n s t e a d o f blank nodes (D2RQ Mapping Language s p e c i f i c a t i o n − h t t p : / / d2rq . o r g / d2rq−l a n g u a g e − s a y s t o a v o i d them i f possible ) d2rq : u r i P a t t e r n ” o r g a n i s e r s /@@event . ID@@” ; #r a n g e o f l o d e : i n v o l v e d A g e n t i s d u l : Agent . However , s u b c l a s s e s were d e f i n e d t o d i s t i n g u i s h between o r g a n i s e r s , p e r f o r m e r s , r e s e r v a t i o n h a n d l e r s and l o c a t i o n p r o v i d e r s . d2rq : c l a s s vocab : O r g a n i s e r ; d2rq : c l a s s D e f i n i t i o n L a b e l ” I n v o l v e d a g e n t ( o r g a n i s e r ) ”@en ; d2rq : c l a s s D e f i n i t i o n C o m m e n t ”The o r g a n i s e r i n v o l v e d with t h e e v e n t . ” @en ; # o n l y map a g e n t s t h a t a r e not o u t d a t e d ( marked a s DELETED i n t h e d a t a b a s e ) d2rq : c o n d i t i o n ” e v e n t .DELETED = 0 ” ; . #problem with t h e above c o n s t r u c t i o n : a g a i n t h e r e w i l l be d u p l i c a t e s . . . ( t h e r e w i l l be o r g a n i s e r URIs t h a t r e f e r t o one and t h e same o r g a n i s e r i n fact ) . #n o t e f o r improvement : d e s c r i b i n g t h i s o r g a n i s e r with t h e o r g v o c a b u l a r y ? ( h t t p : / /www. e p i m o r p h i c s . com/ p u b l i c / v o c a b u l a r y / o r g . html ) map : event ORGANISERACTOR ID a d2rq : P r o p e r t y B r i d g e ; d2rq : belongsToClassMap map : O r g a n i s e r s ; d2rq : p r o p e r t y dcterms : i d e n t i f i e r ; d2rq : p r o p e r t y D e f i n i t i o n L a b e l ” e v e n t o r g a n i s e r ID”@en ; d2rq : column ” e v e n t .ORGANISERACTOR ID” ; d2rq : d a t a t y p e xsd : i n t e g e r ; . map : event ORGANISERLABEL1 a d2rq : P r o p e r t y B r i d g e ; d2rq : belongsToClassMap map : O r g a n i s e r s ; d2rq : p r o p e r t y f o a f : name ; d2rq : p r o p e r t y D e f i n i t i o n L a b e l ” o r g a n i s e r name”@en ; d2rq : column ” e v e n t .ORGANISERLABEL” ; d2rq : c o n d i t i o n ” e v e n t .ORGANISERLABEL IS NOT NULL” ; .

A.2 Mapping voor de omzetting van de database met D2RQ

101

369 #NOTE about t h e comment below : t h i s e x t r a i n f o r m a t i o n i s u n n e c e s s a r y f o r o r g a n i s e r data . 370 #This demo d a t a s e t i s made ready f o r e n r i c h m e n t . The o r g a n i s e r i n f o 371 #p r o v i d e s v e r y d e t a i l e d i n f o , e n r i c h i n g an o r g a n i z e r l i k e ” d e S i n g e l ” 372 #i s not v e r y i n t e r e s t i n g f o r f i r s t demo c a s e s . 373 #E n r i c h i n g p e r f o r m e r i n f o i s more i n t e r e s t i n g , f o r i n s t a n c e . 374 375 #An e x t r a column c o u l d be made i n t h e d a t a b a s e t h a t i s f i l l e d with t h e a c t o r .XML with t h e same a c t o r . ID a s ORGANISERACTOR ID. 376 #In t h a t c a s e , uncomment t h i s p r o p e r t y and p o i n t i t t o t h a t e x t r a column . 377 #map : event ORGANISERLABEL2 a d2rq : P r o p e r t y B r i d g e ; 378 # d2rq : belongsToClassMap map : O r g a n i s e r s ; 379 # d2rq : p r o p e r t y f o a f : name ; 380 # d2rq : p r o p e r t y D e f i n i t i o n L a b e l ” o r g a n i s e r name”@en ; 381 # d2rq : column ” e v e n t .ORGANISERLABEL2” ; 382 # d2rq : c o n d i t i o n ” e v e n t .ORGANISERLABEL IS NULL” ; 383 # . 384 385 #n o t e : t h e o r g a n i s e r ”name” i n t h e d a t a b a s e i s now a c t u a l l y an XML t e x t . 386 # I t s h o u l d be handled by a program t o e x t r a c t t h e r e a l p e r f o r m e r name , 387 # and a c t u a l l y t h e r e ’ s a d e s c r i p t i o n o f t h e p e r f o r m e r i n t h e XML a s w e l l 388 # − i t can be e x t r a c t e d t o o . 389 390 391 #l o c a t i o n p r o v i d e r s : 392 393 map : e v e n t L o c a t i o n P r o v i d e r a d2rq : P r o p e r t y B r i d g e ; 394 d2rq : belongsToClassMap map : Events ; 395 d2rq : p r o p e r t y l o d e : i n v o l v e d A g e n t ; 396 d2rq : p r o p e r t y D e f i n i t i o n L a b e l ” e v e n t l o c a t i o n p r o v i d e r ”@en ; 397 d2rq : r e f e r s T o C l a s s M a p map : L o c a t i o n P r o v i d e r s ; 398 d2rq : c o n d i t i o n ” e v e n t .LOCATIONACTOR ID IS NOT NULL” ; 399 . 400 map : L o c a t i o n P r o v i d e r s a d2rq : ClassMap ; 401 d2rq : d a t a S t o r a g e map : d a t a b a s e ; 402 #Using u r i P a t t e r n s i n s t e a d o f blank nodes (D2RQ Mapping Language s p e c i f i c a t i o n − h t t p : / / d2rq . o r g / d2rq−l a n g u a g e − s a y s t o a v o i d them i f possible ) 403 d2rq : u r i P a t t e r n ” l o c a t i o n −p r o v i d e r /@@event . ID@@” ; 404 #r a n g e o f l o d e : i n v o l v e d A g e n t i s d u l : Agent . However , s u b c l a s s e s were d e f i n e d t o d i s t i n g u i s h between o r g a n i s e r s , p e r f o r m e r s , r e s e r v a t i o n h a n d l e r s and l o c a t i o n p r o v i d e r s . 405 d2rq : c l a s s vocab : L o c a t i o n P r o v i d e r ;

A.2 Mapping voor de omzetting van de database met D2RQ 406 407 408 409 410 411 412 413 414 415 416 417 418

102

d2rq : c l a s s D e f i n i t i o n L a b e l ” Event l o c a t i o n p r o v i d e r ”@en ; d2rq : c l a s s D e f i n i t i o n C o m m e n t ”The l o c a t i o n p r o v i d e r o f an e v e n t . ” @en ; # o n l y map a g e n t s t h a t a r e not o u t d a t e d ( marked a s DELETED i n t h e d a t a b a s e ) d2rq : c o n d i t i o n ” e v e n t .DELETED = 0 AND e v e n t .LOCATIONACTOR ID IS NOT NULL” ; . map : event LOCATIONACTOR ID a d2rq : P r o p e r t y B r i d g e ; d2rq : belongsToClassMap map : L o c a t i o n P r o v i d e r s ; d2rq : p r o p e r t y dcterms : i d e n t i f i e r ; d2rq : p r o p e r t y D e f i n i t i o n L a b e l ” e v e n t LOCATIONACTOR ID” ; d2rq : column ” e v e n t .LOCATIONACTOR ID” ; d2rq : d a t a t y p e xsd : i n t e g e r ; . #An e x t r a column c o u l d be made i n t h e d a t a b a s e t h a t i s f i l l e d with t h e a c t o r .XML with t h e same a c t o r . ID a s LOCATIONACTOR ID. #In t h a t c a s e , uncomment t h i s p r o p e r t y and p o i n t i t t o t h a t e x t r a column . #map : event LOCATIONACTOR NAME a d2rq : P r o p e r t y B r i d g e ; # d2rq : belongsToClassMap map : L o c a t i o n P r o v i d e r s ; # d2rq : p r o p e r t y f o a f : name ; # d2rq : p r o p e r t y D e f i n i t i o n L a b e l ” l o c a t i o n p r o v i d e r name”@en ; # d2rq : column ” e v e n t .LOCATIONACTOR NAME” ; # .

419 420 421 422 423 424 425 426 427 #n o t e : t h e l o c a t i o n p r o v i d e r ”name” i n t h e d a t a b a s e i s now a c t u a l l y an XML text . 428 # I t s h o u l d be handled by a program t o e x t r a c t t h e r e a l p e r f o r m e r name , 429 # and a c t u a l l y t h e r e ’ s a d e s c r i p t i o n o f t h e p e r f o r m e r i n t h e XML a s w e l l 430 # − i t can be e x t r a c t e d t o o . 431 432 #The f o l l o w i n g e v e n t p r o p e r t i e s can be found i n t h e database , 433 #but they a r e not mapped t o t h e r d f dump here , b e c a u s e f o r t h i s 434 #demo c a s e they a r e not v e r y u s e f u l . 435 #They can be v a l u a b l e data on r e a l e v e n t i n f o r m a t i o n a p p l i c a t i o n s , 436 #but t h e p u r p o s e o f t h i s t h e s i s i s t o d e m o n s t r a t e t h a t e n r i c h m e n t s 437 #t o e v e n t data can be made and t h a t t h o s e e n r i c h m e n t s can be 438 #a n n o t a t e d with provenance i n f o r m a t i o n u s i n g t h e PROV−O o n t o l o g y . 439 #For t h i s r e a s o n , o n l y b a s i c e v e n t data and data u s e f u l f o r e n r i c h m e n t 440 #were kept i n t h e mapping . 441 #These e v e n t p r o p e r t i e s a r e l e f t out i n t h i s mapping f i l e : 442 # 443 #LANGUAGES, RESERVATIONLABEL, FACILITIES , ADMITTANCEVAL, PUBLICSCOPEVAL, . . . 444 #(=a c t u a l l y a l l d a t a b a s e columns t h a t a r e not used i n t h i s mapping f i l e . )

A.3 Verrijkingen als resultaat van de uitvoer van Silk v´oo´r softwarewijzigingen

A.3

103

Verrijkingen als resultaat van de uitvoer van Silk v´ o´ or softwarewijzigingen

Het bestand met de geaccepteerde verrijkingen bevat 30898 links. Die kunnen hier uiteraard niet allemaal worden weergegeven. De eerste twintig worden hieronder afgebeeld. 1 . 2 . 3 . 4 . 5 . 6 . 7 . 8 . 9 . 10 . 11 . 12 . 13 . 14 . 15 . 16 . 17 .

A.4 Model voor het beschrijven van provenance over verrijkingen

104

18 . 19 . 20 .

A.4

Model voor het beschrijven van provenance over verrijkingen

Zie volgende pagina.

A.4 Model voor het beschrijven van provenance over verrijkingen

105

Figuur A.2: Het opgestelde model voor beschrijvingen van provenance van verrijkingen.

A.5 Configuratiebestand voor de provenance-uitbreiding van Silk

A.5

106

Configuratiebestand voor de provenance-uitbreiding van Silk

1 2 <EnrProvConfig> 3 < !−− 4 CONFIGURATION OF THE PROVENANCE EXTENSION FOR THE SILK LINK DISCOVERY FRAMEWORK 5 −−> 6 7 < !−− 8 PART MEANT FOR THE USER TO EDIT 9 NOTE: This p a r t can be merged w i t h t h e e n r i c h m e n t c o n f i g u r a t i o n f i l e l a t e r on . 10 −−> 11 <E n r i c h m e n t C o n f i g u r a t o r> 12 Sander Vanden Hautte 13 <e m a i l>s a n d e r . vanden . hautte@gmail . com 14 15 Howest 16 Multimedia Lab 17 18 19 <SourceDatasetProvenanceNamespace>h t t p : // l o c a l h o s t : 2 0 2 0 / r e s o u r c e / enrichment−provenance / 20 <SourceDatasetSparqlEndpointURI>h t t p : // l o c a l h o s t : 8 8 9 0 / s p a r q l / 21 h t t p : // dbpedia . o r g / s p a r q l / 22 23 24 25 < !−− 26 PART RESERVED FOR THE PROGRAM 27 This p a r t c o n t a i n s T u r t l e s t a t e m e n t s used f o r provenance metadata generation . 28 V a r i a b l e s b e t w e e n b r a c k e t s ( e . g . ” { enrichmentLinkURI } ” ) a r e r e p l a c e d with the a c t u a l l y d esired content , 29 during the execution of S i l k . 30 N o t e : do not e d i t t h i s p a r t , u n l e s s you know what you a r e d o i n g . 31 −−> 32

A.5 Configuratiebestand voor de provenance-uitbreiding van Silk 33 34 35 36 37 38 39 40 41 42 43 44

45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70

107

< !−− P r e f i x e s used i n t h i s c o n f i g u r a t i o n : −−>

< !−− I n f o r m a t i o n used f o r v e r s i o n i n g metadata . The c o n t e n t i s ” none ” when t h e r e has not been an e a r l i e r version o f t h i s c o n f i g u r a t i o n . Otherwise , i t c o n t a i n s a timestamp made by t h e l a s t e x e c u t i o n o f t h e S i l k program . −−> 2013−05−11 07 −05−14 < !−− The f o l l o w i n g p a r t o f t h e provenance d e s c r i p t i o n w i l l be w r i t t e n t o o u t p u t f o r EACH and e v e r y e n r i c h m e n t l i n k t h a t was g e n e r a t e d . −−> <EnrichmentLinkProvenance> { enrichmentLinkURI } a p r o v : E n t i t y ; prov:wasGeneratedBy s d : e n r i c h m e n t A c t i v i t y { timestamp } ; prov:qualifiedGeneration [ a prov:Generation ; p r o v : a c t i v i t y s d : e n r i c h m e n t A c t i v i t y { timestamp } ; prov:hadRole sd:createdEnrichmentLink ] ; p r o v : g e n e r a t e d A t Ti m e ”{ l i n k G e n e r a t i o n T i m e }” ˆˆ xsd:dateTime . < !−− The r e s t o f t h e provenance d e s c r i p t i o n b e l o w w i l l be g e n e r a t e d o n l y once , i t describes the e n r i c h m e n t a c t i v i t y and a s s o c i a t e d e n t i t i e s and a g e n t s i n g e n e r a l . −−> < !−− General provenance d e s c r i p t i o n s a b o u t t h e a c t i v i t y o f g e n e r a t i n g e n r i c h m e n t s : −−> <Enr ichme ntPro cess Prove nance> s d : e n r i c h m e n t A c t i v i t y { timestamp } a p r o v : A c t i v i t y ;

A.5 Configuratiebestand voor de provenance-uitbreiding van Silk 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103

108

p r o v : s t a r t e d A t T i m e ”{ e n r i c h m e n t S t a r t T i m e } ” ˆˆ xsd:dateTime ; prov:endedAtTime ” { enrichmentEndTime } ” ˆˆ xsd:dateTime ; prov:wasAssociatedWith s d : s i l k v { silkVersion URI − Friendly } ; prov:qualifiedAssociation [ a prov:Association ; prov:agent s d : s i l k v { s i l k V e r s i o n U R I −F r i e n d l y } ; p r o v : h a d R o l e sd:enrichmentFramework ; p r o v : h a d P l a n s d : e n r i c h m e n t { timestamp } Configuration ] ; prov:wasAssociatedWith s d : { enrichmentConfiguratorName URI−F r i e n d l y } ; prov:qualifiedAssociation [ a prov:Association ; prov:agent s d : { enrichmentConfiguratorName URI− Friendly } ; prov:hadRole sd:enrichmentConfigurator ; p r o v : h a d P l a n s d : e n r i c h m e n t { timestamp } I n s t r u c t i o n s ] ; < !−− The s e c t i o n b e l o w i s w r i t t e n f o r each I n t e r l i n k t h a t was d e s c r i b e d i n t h e e n r i c h m e n t l i n k c o n f i g u r a t i o n . −−> p r o v : u s e d s d : s u b s e t O f { sourceDatasetName } D a t a s e t ; prov:qualifiedUsage [ a prov:Usage ; prov:entity s d : s u b s e t O f { sourceDatasetName } Dataset ; prov:hadRole sd:sourceDataset ] ; p r o v : u s e d s d : s u b s e t O f { targetDatasetName } D a t a s e t ; prov:qualifiedUsage [ a prov:Usage ; prov:entity s d : s u b s e t O f { targetDatasetName } Dataset ; prov:hadRole s d : t a r g e t D a t a s e t ] .

A.5 Configuratiebestand voor de provenance-uitbreiding van Silk 104 105 106 107

108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125

126 127 128 129 130 131 132 133 134 135 136 137 138

109

< !−− Apart from t h e e n r i c h m e n t t r i p l e s g e n e r a t e d by t h e e n r i c h m e n t p r o c e s s , two f i l e s a r e g e n e r a t e d . NOTE: In t u r t l e s y n t a x , a d o t ( . ) i s not a l l o w e d i n t h e s u b j e c t p a r t o f the t r i p l e , a filename ( e . g . ” f i l e p a t h / accepted links 2013 −04−25−20−00.nq” ) i s not a l l o w e d t h e r e . TO DO: e x p r e s s f i l e URIs as an e x t r a t r i p l e t h e n . One f i l e c o n t a i n s a l l a c c e p t e d t r i p l e s : −−> s d : a c c e p t e d l i n k s { timestamp } a p r o v : E n t i t y ; prov:wasGeneratedBy s d : e n r i c h m e n t A c t i v i t y { timestamp } ; prov:qualifiedGeneration [ a prov:Generation ; p r o v : a c t i v i t y s d : e n r i c h m e n t A c t i v i t y { timestamp } ; prov:hadRole s d : a c c e p t e d T r i p l e s ] ; p r o v : g e n e r a t e d A t T i m e ”{ a c c e p t e d L i n k s G e n e r a t i o n T i m e } ” ˆˆ xsd:dateTime . < !−− Another f i l e ( s d : v e r i f y l i n k s 2 . xml) c o n t a i n s t h e t r i p l e s t h a t s h o u l d be manually r e v i s e d − some o f them w i l l be c o r r e c t e nr i c h me n t s , o t h e r s w i l l not be . NOTE: In t u r t l e s y n t a x , a d o t ( . ) i s not a l l o w e d i n t h e s u b j e c t p a r t o f the t r i p l e , a filename ( e . g . ” f i l e p a t h / links to verify 2013 −04−25−20−00.xml” ) i s not a l l o w e d t h e r e . However , t h i s e n t i t y can p o i n t t o t h e e x a c t f i l e l o c a t i o n . −−> s d : v e r i f y l i n k s { timestamp } a prov:Entity ; prov:wasGeneratedBy s d : e n r i c h m e n t A c t i v i t y { timestamp } ; prov:qualifiedGeneration [ a prov:Generation ; p r o v : a c t i v i t y s d : e n r i c h m e n t A c t i v i t y { timestamp } ; prov:hadRole s d : t r i p l e s T o V e r i f y ] ; p r o v : g e n e r a t e d A t T i m e ”{ Lin ksT oVer ifyG ener atio nTim e } ” ˆˆ xsd:dateTime .

A.5 Configuratiebestand voor de provenance-uitbreiding van Silk 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174

110

< !−− D e s c r i p t i o n o f t h e framework i t s e l f t h a t g e n e r a t e d t h e e n r i c h m e n t s : −−> <S i l k P r o v e n a n c e> s d : s i l k { s i l k V e r s i o n U R I −F r i e n d l y } a p r o v : A g e n t ; a prov:SoftwareAgent ; f o a f : g i v e n N a m e ” S i l k { s i l k V e r s i o n N o r m a l F o r m a t }” . < !−− The a u t h o r o f t h e e n r i c h m e n t c o n f i g u r a t i o n i s t h e p e r s o n r e s p o n s i b l e f o r the enrichment process . I t i s an i m p o r t a n t a g e n t t o d e s c r i b e i n t h e provenance metadata . −−> <E n r i c h m e n t C o n f i g u r a t o r P r o v e n a n c e> s d : { enrichmentConfiguratorName URI−F r i e n d l y } a p r o v : A g e n t ; a prov:Person ; foaf:name ” { enrichmentConfiguratorName }” ; foaf:mbox ”{ e n r i c h m e n t C o n f i g u r a t o r E m a i l } ” ; prov:actedOnBehalfOf s d : { organisation0 URI − Friendly } ; prov:actedOnBehalfOf s d : { organisation1 URI − Friendly } . < !−− This s e c t i o n d e s c r i b e s t h e o r g a n i z a t i o n s f o r which t h e a u t h o r has e n r i c h e d d a t a . −−> s d : { o r g a n i s a t i o n 0 U R I −F r i e n d l y } a p r o v : A g e n t ; a prov:Organization ; f o a f : n a m e ”{ o r g a n i s a t i o n 0 } ” . s d : { o r g a n i s a t i o n 1 U R I −F r i e n d l y } a p r o v : A g e n t ; a prov:Organization ; f o a f : n a m e ”{ o r g a n i s a t i o n 1 } ” . < !−− D e s c r i b i n g t h e d a t a s e t t h a t was e n r i c h e d ( ” s o u r c e d a t a s e t ” ) w i t h l i n k s to another d a t a s e t :

A.5 Configuratiebestand voor de provenance-uitbreiding van Silk 175 176 177 178 179 180 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 196 197 198 199 200 201 202 203 204 205 206 207 208 209 210

111

N o t e : v e r s i o n i n g c o u l d be d e s c r i b e d i n t h i s s e c t i o n as w e l l , b u t f o r now i t has been l e f t o u t . −−> <S o u r c e D a t a s e t> s d : s u b s e t O f { sourceDatasetName } D a t a s e t a p r o v : E n t i t y ; prov:wasDerivedFrom s d : { sourceDatasetName } D a t a s e t . s d : { sourceDatasetName } D a t a s e t a p r o v : E n t i t y ; a void:Dataset ; #t h i s d a t a s e t has a s u b s e t : ( t h e p r e v i o u s e n t i t y t h a t has been d e s c r i b e d ) v o i d : s u b s e t s d : s u b s e t O f { sourceDatasetName } D a t a s e t ; v o i d : s p a r q l E n d p o i n t ” { s o u r c e D a t a s e t S p a r q l E n d p o i n t U R I }” . < !−− D e s c r i b i n g t h e d a t a s e t t o which l i n k s a r e s e t − t h e ” t a r g e t d a t a s e t ” . N o t e : v e r s i o n i n g c o u l d be d e s c r i b e d i n t h i s s e c t i o n as w e l l , b u t f o r now i t has been l e f t o u t . −−> s d : s u b s e t O f { targetDatasetName } D a t a s e t a p r o v : E n t i t y ; prov:wasDerivedFrom s d : { targetDatasetName } D a t a s e t . s d : { targetDatasetName } D a t a s e t a prov:Entity ; a void:Dataset ; #t h i s d a t a s e t has a s u b s e t : ( t h e p r e v i o u s e n t i t y t h a t has been d e s c r i b e d ) v o i d : s u b s e t s d : s u b s e t O f { targetDatasetName } D a t a s e t ; v o i d : s p a r q l E n d p o i n t ” { t a r g e t D a t a s e t S p a r q l E n d p o i n t U R I }” . < !−− The e n r i c h m e n t p r o c e s s i s b a s e d on a c o n f i g u r a t i o n f i l e ( t h i s d e s c r i p t i o n can p o i n t t o t h e e x a c t l o c a t i o n o f i t ) . The c o n f i g u r a t i o n R e v i s i o n s e c t i o n i s used t o d e s c r i b e e a r l i e r v e r s i o n s of the enrichment c o n f i g u r a t i o n s ( i f t h e r e are ) . I t l o o k s l i k e t h i s : ” p r o v : w a s R e v i s i o n O f s d : e n r i c h m e n t { previousTimestamp } Configuration ; ” . −−> <E n r i c h m e n t C o n f i g u r a t i o n> s d : e n r i c h m e n t { timestamp } C o n f i g u r a t i o n a p r o v : E n t i t y ; { configurationRevision }

A.6 Uitbreiding van de taken van Silk: GenerateLinksTask 211 212 213 214 215 216

217 218 219 220 221 222 223 224

112

prov:wasAttributedTo s d : { enrichmentConfiguratorName URI−F r i e n d l y } . < !−− The p e r s o n t h a t c o n f i g u r e d t h e e n r i c h m e n t p r o c e s s had a c e r t a i n m i n d s e t or had i n s t r u c t i o n s a b o u t how t o do so . NOTE: more i n f o r m a t i o n a b o u t t h e i n s t r u c t i o n s can be added , i n c l u d i n g t h e i n s t r u c t i o n s i t s e l f , f o r i n s t a n c e by p o i n t i n g t o an i n s t r u c t i o n file . The i n s t r u c t i o n s R e v i s i o n s e c t i o n i s used t o d e s c r i b e e a r l i e r v e r s i o n s o f the enrichment c o n f i g u r a t i o n s ( i f t h e r e are ) . I t l o o k s l i k e t h i s : ” s d : e n r i c h m e n t { timestamp } I n s t r u c t i o n s p r o v : w a s R e v i s i o n O f s d : e n r i c h m e n t { previousTimestamp } I n s t r u c t i o n s . ” . −−> <E n r i c h m e n t I n s t r u c t i o n s> s d : e n r i c h m e n t { timestamp } I n s t r u c t i o n s a p r o v : E n t i t y . { instructionsRevision }

A.6

Uitbreiding van de taken van Silk: GenerateLinksTask

1 /* 2 * L i c e n s e d under t h e Apache L i c e n s e , Version 2 . 0 ( t h e ” L i c e n s e ”) ; 3 * you may not use t h i s f i l e e x c e p t i n c o m p l i a n c e w i t h t h e L i c e n s e . 4 * You may o b t a i n a copy o f t h e L i c e n s e a t 5 * 6 * h t t p : / /www. apache . o r g / l i c e n s e s /LICENSE−2.0 7 * 8 * U n l e s s r e q u i r e d by a p p l i c a b l e law or a g r e e d t o i n w r i t i n g , s o f t w a r e 9 * d i s t r i b u t e d under t h e L i c e n s e i s d i s t r i b u t e d on an ”AS IS ” BASIS , 10 * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, e i t h e r e x p r e s s or i m p l i e d . 11 * See t h e L i c e n s e f o r t h e s p e c i f i c l a n g u a g e g o v e r n i n g p e r m i s s i o n s and 12 * l i m i t a t i o n s under t h e L i c e n s e . 13 * / 14 15 package de . f u b e r l i n . w i w i s s . s i l k . e x e c u t i o n 16

A.6 Uitbreiding van de taken van Silk: GenerateLinksTask 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57

import import import import import import import import import import import import

113

j a v a . u t i l . l o g g i n g . LogRecord de . f u b e r l i n . w i w i s s . s i l k . u t i l . { C o l l e c t L o g s , DPair } de . f u b e r l i n . w i w i s s . s i l k . output . Output de . f u b e r l i n . w i w i s s . s i l k . c o n f i g . L i n k S p e c i f i c a t i o n de . f u b e r l i n . w i w i s s . s i l k . u t i l . t a s k . ValueTask de . f u b e r l i n . w i w i s s . s i l k . d a t a s o u r c e . S o u r c e de . f u b e r l i n . w i w i s s . s i l k . c o n f i g . RuntimeConfig java . io . F i l e de . f u b e r l i n . w i w i s s . s i l k . p l u g i n s . w r i t e r . F i l e W r i t e r de . f u b e r l i n . w i w i s s . s i l k . u t i l . F i l e U t i l s . de . f u b e r l i n . w i w i s s . s i l k . e n t i t y . { Entity , Link } de . f u b e r l i n . w i w i s s . s i l k . c a c h e . { MemoryEntityCache , F i l e E n t i t y C a c h e }

import j a v a . u t i l . Date import com . s a n d e r . provenance . DateFormatting import com . s a n d e r . provenance . ProvGenerator /* * * Main t a s k t o g e n e r a t e l i n k s . */ c l a s s GenerateLinksTask ( s o u r c e s : T r a v e r s a b l e [ S o u r c e ] , linkSpec : LinkSpecification , o u t p u t s : T r a v e r s a b l e [ Output ] = T r a v e r s a b l e . empty , r u n t i m e C o n f i g : RuntimeConfig = RuntimeConfig ( ) ) extends ValueTask [ Seq [ Link ] ] ( Seq . empty ) { statusLogLevel = runtimeConfig . logLevel progressLogLevel = runtimeConfig . logLevel / * * The t a s k used f o r l o a d i n g t h e e n t i t i e s i n t o t h e c ac h e * / @v o l a t i l e private var loadTask : LoadTask = null / * * The t a s k used f o r matching t h e e n t i t i e s * / @v o l a t i l e private var matchTask : MatchTask = null / * * The w a r n i n g s which o c c u r r e d d u r i n g e x e c u t i o n * / @v o l a t i l e private var warningLog : Seq [ LogRecord ] = Seq . empty / * * The e n t i t y d e s c r i p t i o n s which d e f i n e which e n t i t i e s a r e r e t r i e v e d by t h i s t a s k */ def e n t i t y D e s c s = l i n k S p e c . e n t i t y D e s c r i p t i o n s / * * The l i n k s which have been g e n e r a t e d so f a r by t h i s t a s k * /

A.6 Uitbreiding van de taken van Silk: GenerateLinksTask 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97

114

def l i n k s = v a l u e . g e t /* * * A l l w a r n i n g s which have been g e n e r a t e d d u r i n g e x e c u t i n g . */ def w a r n i n g s = warningLog /* * * S t o p s t h e t a s k s and removes a l l g e n e r a t e d l i n k s . */ def c l e a r ( ) { cancel () v a l u e . update ( Seq . empty ) } override protected def e x e c u t e ( ) = { v a l u e . update ( Seq . empty ) warningLog = C o l l e c t L o g s ( ) { // I n i t i a l i z e provenance component val d a t e T i m e S t a r t = new Date ( ) // g e t t i n g t h e c u r r e n t d a t e and time // g e t t i n g t h e l o c a t i o n o f t h e provenance c o n f i g u r a t i o n and r e s u l t s files : var d i r e c t o r y : S t r i n g = ” ” try { f o r ( output <− o u t p u t s ) { val w r i t e r = output . w r i t e r val f i l e W r i t e r : F i l e W r i t e r = w r i t e r match{ case f i l e W r i t e r : F i l e W r i t e r => f i l e W r i t e r case => throw new C l a s s C a s t E x c e p t i o n } val f i l e = f i l e W r i t e r . f i l e d i r e c t o r y = i f (new F i l e ( f i l e ) . i s A b s o l u t e ) f i l e . substring (0 , f i l e . lastIndexOf ( File . separator ) + 1) ; else System . g e t P r o p e r t y ( ” u s e r . home” ) + ” / . s i l k / output /” } } catch {

A.6 Uitbreiding van de taken van Silk: GenerateLinksTask 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137

115

case c c e : C l a s s C a s t E x c e p t i o n => d i r e c t o r y = System . g e t P r o p e r t y ( ” u s e r . home” ) + ” / . s i l k / output / ” } val i n p u t F i l e L o c : S t r i n g = d i r e c t o r y + ” enr−p r o v c o n f i g . xml” val t u r t l e P r o v O u t p u t : S t r i n g = d i r e c t o r y + ” enr−prov−output . t t l ” val n t r i p l e s P r o v O u t p u t : S t r i n g = d i r e c t o r y + ” enr−prov−output . nt ” val p r o v G e n e r a t o r = new ProvGenerator ( i n p u t F i l e L o c , turtleProvOutput , ntriplesProvOutput ) // R e t r i e v e s o u r c e s val s o u r c e P a i r = l i n k S p e c . d a t a s e t s . map( . s o u r c e I d ) . map( i d => s o u r c e s . f i n d ( . i d == i d ) . g e t ) // E n t i t y c a c h e s val c a c h e s = c r e a t e C a c h e s ( ) // Cr e a t e t a s k s loadTask = new LoadTask ( s o u r c e P a i r , c a c h e s ) matchTask = new MatchTask ( l i n k S p e c . r u l e , c a c h e s , r u n t i m e C o n f i g ) // Load e n t i t i e s i f ( runtimeConfig . reloadCache ) { loadTask . s t a t u s L o g L e v e l = s t a t u s L o g L e v e l loadTask . p r o g r e s s L o g L e v e l = p r o g r e s s L o g L e v e l loadTask . runInBackground ( ) } // E x e c u t e matching val l i n k s = executeSubValueTask ( matchTask , 0 . 9 5 ) // F i l t e r l i n k s val f i l t e r T a s k = new F i l t e r T a s k ( l i n k s , l i n k S p e c . f i l t e r ) v a l u e . update ( executeSubTask ( f i l t e r T a s k ) ) // Generate provenance metadata val provTask = new GenerateProvenanceTask ( v a l u e . get , provGenerator , dateTimeStart ) v a l u e . update ( executeSubTask ( provTask ) ) // Output l i n k s

A.6 Uitbreiding van de taken van Silk: GenerateLinksTask 138

val dateTimeOutput = new Date ( ) // g e t d a t e and time o f o u t p u t f i l e c r e a t i o n ( f o r both , t h e i r c r e a t i o n t i m e s w i l l d i f f e r no more than a few s e c o n d s ) val outputTask = new OutputTask ( v a l u e . get , l i n k S p e c . linkType , o u t p u t s ) executeSubTask ( outputTask )

139 140 141 142 143 144

145 146 147 148 149 150 151 152 153

// Write provenance metadata val dateTimeEnd = new Date ( ) // g e t t i n g t h e c u r r e n t d a t e and time p r o v G e n e r a t o r . g e n e r a t e P r o v F o r E n r i c h m e n t P r o c e s s ( dateTimeStart , dateTimeEnd , ” 2 . 5 . 4 ” , s o u r c e P a i r . s o u r c e . id , s o u r c e P a i r . t a r g e t . id , dateTimeOutput ) provGenerator . writeToFile ( ) } // Return g e n e r a t e d l i n k s value . get } private def c r e a t e C a c h e s ( ) = { val i n d e x F u n c t i o n = ( e n t i t y : E n t i t y ) => r u n t i m e C o n f i g . executionMethod . indexEntity ( entity , linkSpec . rule )

154 155 156

i f ( runtimeConfig . useFileCache ) { val c a c h e D i r = new F i l e ( r u n t i m e C o n f i g . homeDir + ” / e n t i t y C a c h e / ” + linkSpec . id )

157 158 159

DPair ( s o u r c e = new F i l e E n t i t y C a c h e ( e n t i t y D e s c s . s o u r c e , cacheDir + ”/ source /” , runtimeConfig ) , t a r g e t = new F i l e E n t i t y C a c h e ( e n t i t y D e s c s . t a r g e t , cacheDir + ”/ t a r g e t /” , runtimeConfig ) ) } else { DPair ( s o u r c e = new MemoryEntityCache ( e n t i t y D e s c s . s o u r c e runtimeConfig ) , t a r g e t = new MemoryEntityCache ( e n t i t y D e s c s . t a r g e t runtimeConfig ) ) }

160 161 162 163 164 165 166 167 168 169 170

116

} override protected def s t o p E x e c u t i o n ( ) {

indexFunction , indexFunction ,

, indexFunction , , indexFunction ,

A.7 ProvGenerator: de kernklasse van de provenance-uitbreiding van Silk

117

171 i f ( loadTask != null ) loadTask . c a n c e l ( ) 172 i f ( matchTask != null ) matchTask . c a n c e l ( ) 173 } 174 } 175 176 object GenerateLinksTask { 177 def empty = new GenerateLinksTask ( T r a v e r s a b l e . empty , L i n k S p e c i f i c a t i o n ( ) ) 178 }

A.7

ProvGenerator: de kernklasse van de provenanceuitbreiding van Silk

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28

/* * C o p y r i g h t 2013 Sander . * * L i c e n s e d under t h e Apache L i c e n s e , Version 2 . 0 ( t h e ” L i c e n s e ”) ; * you may not use t h i s f i l e e x c e p t i n c o m p l i a n c e w i t h t h e L i c e n s e . * You may o b t a i n a copy o f t h e L i c e n s e a t * * h t t p : / /www. apache . o r g / l i c e n s e s /LICENSE−2.0 * * U n l e s s r e q u i r e d by a p p l i c a b l e law or a g r e e d t o i n w r i t i n g , s o f t w a r e * d i s t r i b u t e d under t h e L i c e n s e i s d i s t r i b u t e d on an ”AS IS ” BASIS , * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, e i t h e r e x p r e s s or i m p l i e d . * See t h e L i c e n s e f o r t h e s p e c i f i c l a n g u a g e g o v e r n i n g p e r m i s s i o n s and * l i m i t a t i o n s under t h e L i c e n s e . */ package com . s a n d e r . provenance ; import import import import import import import import import import

de . f u b e r l i n . w i w i s s . s i l k . c o n f i g . P r e f i x e s ; de . f u b e r l i n . w i w i s s . s i l k . u t i l . Uri ; j a v a . i o . FileNotFoundException ; java . io . PrintWriter ; j a v a . u t i l . Date ; j a v a . u t i l . HashMap ; java . u t i l . logging . Level ; j a v a . u t i l . l o g g i n g . Logger ; j a v a x . xml . t r a n s f o r m . T r a n s f o r m e r C o n f i g u r a t i o n E x c e p t i o n ; j a v a x . xml . t r a n s f o r m . T r a n s f o r m e r E x c e p t i o n ;

A.7 ProvGenerator: de kernklasse van de provenance-uitbreiding van Silk

118

29 / * * 30 * 31 * @a u t h o r Sander 32 * / 33 public c l a s s ProvGenerator { 34 35 / * F i l e l o c a t i o n s o f t h e c o n f i g u r a t i o n f i l e , an i n t e r m e d i a t e o u t p u t and 36 * f i n a l output r e s p e c t i v e l y : 37 */ 38 private S t r i n g c o n f i g F i l e L o c , t u r t l e O u t p u t F i l e , n t r i p l e s O u t p u t F i l e , sourceDatasetProvNamespace ; 39 40 / * Put t h e p r o v i d e d p a r a m e t e r s i n a HashMap , so t h a t t h e y can e a s i l y 41 * be w r i t t e n t o t h e v a r i a b l e s i n t h e T u r t l e t e m p l a t e l a t e r on i n t h e 42 * p r o c e s s , t o d e s c r i b e provenance . 43 */ 44 private HashMap<S t r i n g , S t r i n g > c o n f i g P a r a m e t e r s = new HashMap<>() ; 45 46 private XMLConfigFileHandler c o n f i g u r a t i o n H a n d l e r ; 47 private S t r i n g B u i l d e r s B u i l d e r = new S t r i n g B u i l d e r ( ) ; 48 49 public ProvGenerator ( S t r i n g c o n f i g F i l e L o c , 50 String turtleProvOutputFileLoc , 51 String ntriplesProvOutputFileLoc ) { 52 53 this . c o n f i g F i l e L o c = c o n f i g F i l e L o c ; 54 this . turtleOutputFile = turtleProvOutputFileLoc ; 55 this . ntriplesOutputFile = ntriplesProvOutputFileLoc ; 56 57 c o n f i g u r a t i o n H a n d l e r = new XMLConfigFileHandler ( c o n f i g F i l e L o c ) ; 58 59 c o n f i g P a r a m e t e r s = new HashMap<>() ; 60 61 s B u i l d e r = new S t r i n g B u i l d e r ( ) ; 62 63 // p r e f i x e s MUST be i n c l u d e d a t t h e t o p o f t h e provenance o u t p u t f i l e : 64 sourceDatasetProvNamespace 65 = c o n f i g u r a t i o n H a n d l e r . ge tPa ram et er ( ” SourceDatasetProvenanceNamespace ” ) ; 66 g e n e r a t e P r o v P r e f i x e s ( sourceDatasetProvNamespace ) ; 67

A.7 ProvGenerator: de kernklasse van de provenance-uitbreiding van Silk 68

// read t h e p a r a m e t e r s t h a t t h e u s e r s p e c i f i e d i n t h e provenance configuration f i l e . configurationHandler . getConfiguratorParameter ( configParameters , ” name” ) ; configurationHandler . getConfiguratorParameter ( configParameters , ” email ” ) ; configurationHandler . getOrganisationParameters ( configParameters ) ;

69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95

96 97 98

119

c o n f i g P a r a m e t e r s . put ( ”{ previousTimestamp } ” , DateFormatting . makeURIFriendlyDateTimeStamp (new Date ( ) ) ) ; } public S t r i n g getSourceDatasetProvNamespace ( ) { return sourceDatasetProvNamespace ; }

/* * * Generate t h e l i n e s o f t h e provenance f i l e t h a t d e s c r i b e t h e namespace * p r e f i x e s t h a t w i l l be used i n t h e metadata o u t p u t f i l e . */ private void g e n e r a t e P r o v P r e f i x e s ( S t r i n g sourceDatasetNamespace ) { c o n f i g P a r a m e t e r s . put ( ”{ sourceDatasetProvenanceNamespace }” , sourceDatasetNamespace ) ; s B u i l d e r . append ( c o n f i g u r a t i o n H a n d l e r . g e t P r e f i x e s I n T u r t l e ( configParameters ) ) ; } / * * Cr e a t e t h e provenance metadata f o r an e n r i c h m e n t t r i p l e . * The e n r i c h m e n t p r o c e s s t h a t s e t s l i n k s can c a l l t h i s method t o annotate * t h e t r i p l e w i t h provenance metadata a b o u t i t . * This method must be c a l l e d b e f o r e g e n e r a t e P r o v E n r i c h m e n t P r o c e s s ( ) . */ public void g e n e r a t e P r o v F o r L i n k ( Date dateTimeEnrichmentStart , Uri enrichmentTripleURI , P r e f i x e s p r e f i x e s , Date dateTimeLinkGeneration ) { c o n f i g P a r a m e t e r s . put ( ”{ timestamp } ” , DateFormatting . makeURIFriendlyDateTimeStamp ( dateTimeEnrichmentStart ) ) ; c o n f i g P a r a m e t e r s . put ( ”{ enrichmentLinkURI } ” , en r ic hm e nt Tr ip l eU RI . toTurtle ( prefixes ) ) ; c o n f i g P a r a m e t e r s . put ( ”{ l i n k G e n e r a t i o n T i m e }” , DateFormatting . makeXSDDateTimeStamp ( dateTimeLinkGeneration ) ) ;

A.7 ProvGenerator: de kernklasse van de provenance-uitbreiding van Silk 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130

120

s B u i l d e r . append ( c o n f i g u r a t i o n H a n d l e r . g e t C o n f i g S e c t i o n ( ” EnrichmentLinkProvenance ” , configParameters ) ) ; } /* * * Generate provenance metadata a b o u t t h e S i l k e n r i c h m e n t p r o c e s s i t s e l f . * * The metadata c o n t a i n s f o r i n s t a n c e t h e d a t e and time on which t h e * enrichment process s t a r t e d . */ public void g e n e r a t e P r o v F o r E n r i c h m e n t P r o c e s s ( Date dateTimeEnrichmentStart , Date dateTimeEnrichmentStop , String silkVersion , S t r i n g sourceDatasetName , S t r i n g targetDatasetName , Date dateTimeOutput ) throws T r a n s f o r m e r C o n f i g u r a t i o n E x c e p t i o n , TransformerException { // c r e a t i n g provenance s t a t e m e n t s a b o u t t h e e n r i c h m e n t p r o c e s s : c o n f i g P a r a m e t e r s . put ( ”{ e n r i c h m e n t S t a r t T i m e } ” , DateFormatting . makeXSDDateTimeStamp ( dateTimeEnrichmentStart ) ) ; c o n f i g P a r a m e t e r s . put ( ”{ enrichmentEndTime } ” , DateFormatting . makeXSDDateTimeStamp ( dateTimeEnrichmentStop ) ) ; c o n f i g P a r a m e t e r s . put ( ”{ s i l k V e r s i o n N o r m a l F o r m a t }” , s i l k V e r s i o n ) ; c o n f i g P a r a m e t e r s . put ( ”{ s i l k V e r s i o n U R I −F r i e n d l y }” , s i l k V e r s i o n . r e p l a c e ( ” . ” , ”−” ) ) ; // t h e provenance c o n f i g u r a t o r ’ s d e t a i l s were rea d on i n t i a l i s i n g t h i s c l a s s ( see constructor ) . s B u i l d e r . append ( c o n f i g u r a t i o n H a n d l e r . g e t C o n f i g S e c t i o n ( ” GeneralProcessProvenance ” , configParameters ) ) ; // provenance f o r i n t e r l i n k s : c o n f i g P a r a m e t e r s . put ( ”{ sourceDatasetName } ” , sourceDatasetName . r e p l a c e ( ” ” , ”” ) ) ; c o n f i g P a r a m e t e r s . put ( ”{ targetDatasetName } ” , targetDatasetName . r e p l a c e ( ” ” , ”” ) ) ; s B u i l d e r . append ( c o n f i g u r a t i o n H a n d l e r . g e t C o n f i g S e c t i o n ( ” InterlinkProvenance ” , configParameters ) ) ;

A.7 ProvGenerator: de kernklasse van de provenance-uitbreiding van Silk 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158

121

// provenance f o r a c c e p t e d l i n k s : c o n f i g P a r a m e t e r s . put ( ”{ a c c e p t e d L i n k s G e n e r a t i o n T i m e }” , DateFormatting . makeXSDDateTimeStamp ( dateTimeOutput ) ) ; s B u i l d e r . append ( c o n f i g u r a t i o n H a n d l e r . g e t C o n f i g S e c t i o n ( ” AcceptedLinksFileProvenance ” , configParameters ) ) ; // provenance f o r l i n k s t o be v e r i f i e d : c o n f i g P a r a m e t e r s . put ( ”{ Lin ksT oVer ifyG ener atio nTim e }” , DateFormatting . makeXSDDateTimeStamp ( dateTimeOutput ) ) ; s B u i l d e r . append ( c o n f i g u r a t i o n H a n d l e r . g e t C o n f i g S e c t i o n ( ” VerifyLinksFileProvenance ” , configParameters ) ) ; // provenance a b o u t s i l k as e n r i c h m e n t framework : // s i l k v a r i a b l e s a r e a l r e a d y s e t a bo v e i n t h e code ( e n r i c h m e n t process description ) s B u i l d e r . append ( c o n f i g u r a t i o n H a n d l e r . g e t C o n f i g S e c t i o n ( ” SilkProvenance ” , configParameters ) ) ; // p r o v a n c e a b o u t t h e p e r s o n t h a t c o n f i g u r a t e d t h e e n r i c h m e n t p r o c e s s : // c o n f i g u r a t o r v a r i a b l e s a r e a l r e a d y s e t a bo v e i n t h e code ( constructor ) s B u i l d e r . append ( c o n f i g u r a t i o n H a n d l e r . g e t C o n f i g S e c t i o n ( ” EnrichmentConfiguratorProvenance ” , configParameters ) ) ; // metadata a b o u t what r e l a t i o n s h i p s companies t h e c o n f i g u r a t o r worked f o r // o r g a n i s a t i o n v a r i a b l e s a r e a l r e a d y s e t a b ov e i n t h e code ( constructor ) s B u i l d e r . append ( c o n f i g u r a t i o n H a n d l e r . g e t C o n f i g S e c t i o n ( ” ActedOnBehalfOf ” , c o n f i g P a r a m e t e r s ) ) ; // a d d i n g some i n f o r m a t i o n a b o u t t h e two i n t e r l i n k e d d a t a s e t s : S t r i n g sourceDatasetSparqlEndpointURI = c o n f i g u r a t i o n H a n d l e r . ge tPa ram et er ( ” SourceDatasetSparqlEndpointURI ” ) ; c o n f i g P a r a m e t e r s . put ( ”{ s o u r c e D a t a s e t S p a r q l E n d p o i n t U R I } ” , sourceDatasetSparqlEndpointURI ) ; s B u i l d e r . append ( c o n f i g u r a t i o n H a n d l e r . g e t C o n f i g S e c t i o n ( ” S o u r c e D a t a s e t ” , configParameters ) ) ;

A.7 ProvGenerator: de kernklasse van de provenance-uitbreiding van Silk 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 181 182 183 184 185 186 187 188

122

String targetDatasetSparqlEndpointURI = c o n f i g u r a t i o n H a n d l e r . ge tPa ram et er ( ” TargetDatasetSparqlEndpointURI ” ) ; c o n f i g P a r a m e t e r s . put ( ”{ t a r g e t D a t a s e t S p a r q l E n d p o i n t U R I } ” , targetDatasetSparqlEndpointURI ) ; s B u i l d e r . append ( c o n f i g u r a t i o n H a n d l e r . g e t C o n f i g S e c t i o n ( ” T a r g e t D a t a s e t ” , configParameters ) ) ; / * D e s c r i b i n g t h e e n r i c h m e n t c o n f i g u r a t i o n and i t s r e v i s i o n s . * Because e a r l i e r v e r s i o n s o f t h e e n r i c h m e n t c o n f i g u r a t i o n were executed * by s i l k as w e l l , t h e i r provenance d e s c r i p t i o n s do a l r e a d y e x i s t . * That ’ s why we can j u s t s e t a p rov : w a s R ev i s i on O f l i n k t o t h a t d e s c r i p t i o n here . * To make a l l t h i s p o s s i b l e , t h e c u r r e n t e n r i c h m e n t a c t i v i t y timestamp * ( t h e s t a r t i n g time o f t h i s e n r i c h m e n t p r o c e s s ) i s w r i t t e n t o t h e * c o n f i g u r a t i o n f i l e , so t h a t i t can be used a g a i n l a t e r on by t h i s section . */ // g e t t h e p r e v i o u s e n r i c h m e n t p r o c e s s timestamp from t h e XML configuration f i l e S t r i n g previousTimestamp = c o n f i g u r a t i o n H a n d l e r . ge tPa ram et er ( ” PreviousTimestamp ” ) ; //make t h e r e v i s i o n t r i p l e i f ( previousTimestamp . e q u a l s ( ” none ” ) ) { // c h e c k w h e t h e r t h e r e IS an earlier version c o n f i g P a r a m e t e r s . put ( ”{ c o n f i g u r a t i o n R e v i s i o n } ” , ” ” ) ; } else { c o n f i g P a r a m e t e r s . put ( ”{ c o n f i g u r a t i o n R e v i s i o n } ” , ” prov : wasRevisio nOf sd : e n r i c h m e n t ” + previousTimestamp + ” Configuration ; ”) ; } // append t h e s t r i n g b u i l d e r w i t h t h e e n t i r e e n r i c h m e n t c o n f i g u r a t i o n provenance s e c t i o n s B u i l d e r . append ( c o n f i g u r a t i o n H a n d l e r . g e t C o n f i g S e c t i o n ( ” EnrichmentConfiguration ” , configParameters ) ) ; / * Enrichment i n s t r u c t i o n s a r e t h e l a s t s e c t i o n i n t h e metadata description . * V e r s i o n i n g i s a p p l i e d t h e same way as i n t h e code s e c t i o n a bo v e . */

A.7 ProvGenerator: de kernklasse van de provenance-uitbreiding van Silk 189 190 191

// previousTimestamp has been f e t c h e d a l r e a d y ( s e e ab o ve ) //make t h e r e v i s i o n t r i p l e i f ( previousTimestamp . e q u a l s ( ” none ” ) ) { // c h e c k w h e t h e r t h e r e IS an earlier version c o n f i g P a r a m e t e r s . put ( ”{ i n s t r u c t i o n s R e v i s i o n }” , ” ” ) ; } else { c o n f i g P a r a m e t e r s . put ( ”{ i n s t r u c t i o n s R e v i s i o n }” , ” sd : e n r i c h m e n t ” + DateFormatting . makeURIFriendlyDateTimeStamp ( dateTimeEnrichmentStart ) + ” I n s t r u c t i o n s prov : wasRevisionOf sd : enrichment ” + previousTimestamp + ” Instructions . ”) ; } // append t h e s t r i n g b u i l d e r w i t h t h e e n t i r e e n r i c h m e n t i n s t r u c t i o n s provenance s e c t i o n s B u i l d e r . append ( c o n f i g u r a t i o n H a n d l e r . g e t C o n f i g S e c t i o n ( ” EnrichmentInstructions ” , configParameters ) ) ;

192 193 194 195 196 197

198 199 200 201 202 203 204 205

// w r i t e t h e timestamp o f THIS c u r r e n t e n r i c h m e n t p r o c e s s t o t h e config file , // so t h a t i n t h e n e x t run an e a r l i e r v e r s i o n o f t h e c o n f i g f i l e w i l l be found . c o n f i g u r a t i o n H a n d l e r . w r i t e P a r a m e t e r ( DateFormatting . makeURIFriendlyDateTimeStamp ( dateTimeEnrichmentStart ) ) ;

206 207 208 209 210 211 212 213 214 215 216 217 218 219 220

123

} /* * * P r i n t t h e provenance metadata t o a T u r t l e and a N−T r i p l e s f i l e . * * To c a l l t h i s method , make s u r e t h a t a t l e a s t g e n e r a t e P r o v F o r L i n k ( ) * or g e n e r a t e P r o v F o r E n r i c h m e n t P r o c e s s ( ) has been c a l l e d once . * * The T u r t l e o u t p u t f i l e i s c r e a t e d f o r v a l i d a t i o n p u r p o s e s : i t i s more * r e a d a b l e t h e n i n N−T r i p l e s format , when one wants t o c h e c k t h e o u t p u t of * t h i s provenance g e n e r a t o r t h e T u r t l e fo r m a t i s more d e s i r a b l e . * * F i r s t the Turtle output f i l e i s written , then i t i s converted ( using

A.7 ProvGenerator: de kernklasse van de provenance-uitbreiding van Silk 221 222 223 224 225 226 227 228 229 230 231 232 233 234 235 236

* t h e r d f 2 r d f l i b r a r y ) t o N−T r i p l e s f o r m a t . This way , t h a t N−T r i p l e s output * f i l e can be merged w i t h t h e e n r i c h m e n t s f i l e t h a t S i l k g e n e r a t e d as well , * b e c a u s e t h a t i s f o r m a t t e d i n N−Quads . */ public void w r i t e T o F i l e ( ) { // For d e b u g g i n g p u r p o s e s : ( uncomment t o p r i n t metadata t o command window ) // System . o u t . p r i n t l n ( s B u i l d e r ) ; // o u t p u t t i n g t h e metadata i n T u r t l e f o r m a t : P r i n t W r i t e r f i l e W r i t e r = null ; try { f i l e W r i t e r = new P r i n t W r i t e r ( t u r t l e O u t p u t F i l e ) ; fileWriter . write ( sBuilder . toString () ) ; } catch ( FileNotFoundException ex ) { Logger . g e t L o g g e r ( ProvGenerator . c l a s s . getName ( ) ) . l o g ( L e v e l . SEVERE , null , ex ) ; } finally { fileWriter . close () ; // o u t p u t t i n g t h e metadata i n N−T r i p l e s f o r m a t : try { TurtleConvertor . convert ( turtleOutputFile , ntriplesOutputFile ); } catch ( E x c e p t i o n ex ) { Logger . g e t L o g g e r ( ProvGenerator . c l a s s . getName ( ) ) . l o g ( L e v e l . SEVERE, null , ex ) ; } }

237 238 239 240 241 242 243 244 245 246 247 248 }

124

}

BIBLIOGRAFIE

125

Bibliografie [1] Grigoris Antoniou and Frank Van Harmelen. A Semantic Web Primer (Second Edition). The MIT Press, 2008. [2] S¨oren Auer and Jens Lehmann. Creating knowledge out of interlinked data. Semantic Web, 1(1):97–104, 2010. [3] Dave Beckett and Jeen Broekstra. SPARQL Query Results XML Format (Second Edition). Technical report, W3C, 2013. http://www.w3.org/TR/rdf-sparql-XMLres/. [4] Tim Berners-Lee. Cleaning up the User Interface. DesignIssues/UI.html, 1997.

http://www.w3.org/

[5] Tim Berners-Lee and Mark Fischetti. Weaving the Web: The Original Design and Ultimate Destiny of the World Wide Web by its Inventor. HarperInformation, 2000. [6] Tim Berners-Lee, James Hendler, and Ora Lassila. The Semantic Web. Scientific American, 284(5):28–37, 2001. [7] Tim Berners-Lee. Semantic Web Road map. http://www.w3.org/DesignIssues/ Semantic.html, 1998. [8] Tim Berners-Lee. Linked Data — Design Issues. http://www.w3.org/DesignIssues/ LinkedData.html, 2006. [9] Christian Bizer, Tom Heath, and Tim Berners-Lee. Linked Data — The Story So Far. International Journal on Semantic Web and Information Systems (IJSWIS), 5(3):1–22, 2009. [10] Christian Bizer, Jens Lehmann, Georgi Kobilarov, S¨oren Auer, Christian Becker, Richard Cyganiak, and Sebastian Hellmann. DBpedia — A crystallization point for the Web of Data. Web Semantics: Science, Services and Agents on the World Wide Web, 7(3):154–165, 2009.

BIBLIOGRAFIE

126

[11] Christian Bizer and Andy Seaborne. D2RQ — Treating Non-RDF Databases as Virtual RDF Graphs. 2004. [12] Lorna M. Campbell and Sheila MacNeill. The Semantic Web, Linked and Open Data. briefing paper, JISC CETIS, 2010. [13] Gavin Carothers. N-quads — A line-based syntax for RDF datasets. Technical report, W3C, 2013. http://www.w3.org/TR/n-quads/. [14] Kendall Grant Clark, Lee Feigenbaum, and Elias Torres. SPARQL Protocol for RDF. Technical report, W3C, 2008. http://www.w3.org/TR/rdf-sparql-protocol/. [15] Sam Coppens, Erik Mannens, Toon De Pessemier, Kristof Geebelen, Hendrik Dacquin, Davy Van Deursen, and Rik Van de Walle. Unifying and targeting cultural activities via events modelling and profiling. MULTIMEDIA TOOLS AND APPLICATIONS, 57:199–236, 2012. [16] Sam Coppens and Erik Mannens. D3.2 Recommendations on Contextualisation and Enrichment of Contemporary Art. http://www.dca-project.eu/images/uploads/ work_packages/DCA_D32_RecommendationsContextualisationAndEnrichment_ V1.1.pdf, 2013. [17] Sam Coppens, Ruben Verborgh, Miel Vander Sande, Davy Van Deursen, Erik Mannens, and Rik Van de Walle. A truly read-write web for machines as the next generation web? In Proceedings of the SW2012 workshop: What will the Semantic Web look like 10 years from now, 2012. [18] Chris Cornelis, Xuetao Guo, Jie Lu, and Guanquang Zhang. A fuzzy relational approach to event recommendation. In Proceedings of the Indian International Conference on Artificial Intelligence. [19] Orri Erling. Virtuoso, a Hybrid RDBMS/Graph Column Store. Bulletin of the Technical Committee on Data Engineering, 35(1):3–8, 2012. [20] Yolanda Gil, James Cheney, Paul Groth, Olaf Hartig, Simon Miles, Luc Moreau, and Paulo Pinheiro da Silva. Provenance XG Final Report. http://www.w3.org/2005/ Incubator/prov/XGR-prov/, 2010. [21] Jan Grant, Dave Beckett, and Brian McBride. RDF Test Cases. Technical report, W3C, 2004. http://www.w3.org/TR/rdf-testcases/.

BIBLIOGRAFIE

127

[22] Paul Groth and Luc Moreau. PROV-Overview. Technical report, W3C, 2013. http: //www.w3.org/TR/prov-overview/. [23] Dan Brickley, R.V. Guha, and Brian McBride. RDF Vocabulary Description Language 1.0: RDF Schema. Technical report, W3C, 2004. http://www.w3.org/TR/ rdf-schema/. [24] Michael Hausenblas. Data Lifecycle. http://webofdata.wordpress.com/2009/09/ 14/data-lifecycle/, 2009. [25] Michael Hausenblas. Linked Data Lifecycles. http://linked-data-life-cycles. info/, 2011. [26] Tom Heath and Christian Bizer. Linked Data: Evolving the Web into a Global Data Space. Synthesis Lectures on the Semantic Web: Theory and Technology, 1(1):1–136, 2011. [27] Robert Isele. Silk Link Discovery Framework — Wiki. https://www.assembla.com/ spaces/silk/wiki/, 2013. [28] Frank Manola, Eric Miller, and Brian McBride. RDF Primer. Technical report, W3C, 2004. http://www.w3.org/TR/rdf-primer/. [29] Peter Mechant and Kristof Michiels. Het virtuele kunstencentrum van de toekomst: zoektocht naar een innovatief webplatform voor virtuele cultuurbeleving. 2007. [30] Paul Miller. Linked Data Horizon Scan. Joint Information Systems Committee (JISC) report, 2010. http://linkeddata.jiscpress.org. [31] Knud M¨oller. Lifecycle Models of Data-centric Systems and Domains. Semantic Web, 4(1):67–88, 2013. [32] Axel Polleres, Aidan Hogan, Andreas Harth, and Stefan Decker. Can we ever catch up with the Web? Semantic Web, 1(1):45–52, 2010. [33] Eric Prud’Hommeaux and Andy Seaborne. SPARQL Query Language for RDF. Technical report, W3C, 2008. http://www.w3.org/TR/rdf-sparql-query/. [34] Satya Sahoo, Paul Groth, Olaf Hartig, Simon Miles, Sam Coppens, James Myers, Yolanda Gil, Luc Moreau, Jun Zhao, and Michael Panzer. Provenance Vocabulary Mappings. http://www.w3.org/2005/Incubator/prov/wiki/Provenance_Vocabulary_ Mappings, 2010.

BIBLIOGRAFIE

128

[35] Evan Sandhaus. All about rNews. http://www.slideshare.net/sandhaus/ all-about-rnews-evan-sandhaus, 2011. [36] Ryan Shaw, Rapha¨el Troncy, and Lynda Hardman. LODE: Linking Open Descriptions of Events, pages 153–167. Springer Berlin Heidelberg, 2009. [37] Frank van Harmelen. Semantic Web Research anno 2006: main streams, popular fallacies, current status and future challenges. Cooperative Information Agents X, pages 1–7, 2006. [38] Frank van Harmelen. How the Semantic Web will change KR: challenges and opportunities for a new research agenda. The Knowledge Engineering Review, 17(1):93–96, 2002. [39] Julius Volz, Christian Bizer, Martin Gaedke, and Georgi Kobilarov. Silk — A Link Discovery Framework for the Web of Data. In Proceedings of the Linked Data on the Web Workshop (LDOW2009), pages 559–572. Citeseer, 2009. http://ceur-ws.org/ Vol-538/ldow2009_paper13.pdf. [40] Samantha Wong. An intro to the semantic web: Why you need to know about it sooner than later. http://www.webnotwar.ca/ an-intro-to-the-semantic-web-why-you-need-to-know-about-it-sooner-than-later/, 2011. [41] Luc Moreau, Paolo Missier, James Cheney, and Stian Soiland-Reyes. PROV-N: The Provenance Notation. Technical report, W3C, 2012. http://www.w3.org/TR/ prov-n/. [42] Luc Moreau, Paolo Missier, Khalid Belhajjame, Reza B’Far, James Cheney, Sam Coppens, Stephen Cresswell, Yolanda Gil, Paul Groth, Graham Klyne, Timothy Lebo, Jim McCusker, Simon Miles, James Myers, Satya Sahoo, and Curt Tilmes. PROVDM: The PROV Data Model. Technical report, W3C, 2012. http://www.w3.org/ TR/prov-dm/. [43] Timothy Lebo, Satya Sahoo, Deborah McGuinness, Khalid Belhajjame, James Cheney, David Corsar, Daniel Garijo, Stian Soiland-Reyes, Stephan Zednik, and Jun Zhao. PROV-O: The PROV Ontology. Technical report, W3C, 2013. http: //www.w3.org/TR/prov-o/.

BIBLIOGRAFIE

129

[44] Yolanda Gil, Simon Miles, Khalid Belhajjame, Helena Deus, Daniel Garijo, Graham Klyne, Paolo Missier, Stian Soiland-Reyes, and Stephen Zednik. PROV Model Primer. Technical report, W3C, 2012. http://www.w3.org/TR/prov-primer/.

LIJST VAN FIGUREN

130

Lijst van figuren 1.1 1.2

2.1

Collaborative Filtering toegepast in de website van de filmdatabase IMDb . Uit in Vlaanderen, een Vlaamse evenementendatabank, past contentgebaseerde algoritmes toe om aanbevelingen van evenmenten te genereren. . . .

2 3

Web 1.0: weinig mensen publiceerden webpagina’s, verhoudingsgewijs waren er meer lezers. Bemerk dus dat de termen ‘publisher’ en ‘consumer’ in dit geval wijzen op mensen die respectievelijk een webpagina aanmaken of lezen. 7 2.2 Web 2.0: een sociaal platform waarop iedereen content publiceert en consumeert. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 2.3 Werking van een Web 2.0-applicatie . . . . . . . . . . . . . . . . . . . . . . 9 2.4 Web 3.0: semantische technologie laat ook machines (software agents) toe data te consumeren. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 2.5 Werking van een Web 3.0-applicatie . . . . . . . . . . . . . . . . . . . . . . 13 2.6 De technology stack van het Semantisch Web. . . . . . . . . . . . . . . . . 15 2.7 Een graafvoorstelling van meerdere RDF triples. In feite is dit een grafische voorstelling van een fragment uit de data over J.K. Rowling in de dataset van DBpedia (http://dbpedia.org). . . . . . . . . . . . . . . . . . . . . . 17 2.8 De linked data lifecycles van Hausenblas. (Bron: http://linked-data-life-cycles. info) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 2.9 Het levenscyclusmodel van Auer voor linked data. (Bron: http://stack. lod2.org) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 2.10 Recentste versie (2011) van het Linking Open Data Cloud diagram, door Richard Cyganiak en Anja Jentzsch. Bron: http://lod-cloud.net/. . . . 23 2.11 Verrijkingen van steden in twee datasets. . . . . . . . . . . . . . . . . . . . 27 2.12 Een overzicht van de specificaties die samen PROV vormen. Bron: PROVOverview (www.w3.org/TR/prov-overview). . . . . . . . . . . . . . . . . . 31

LIJST VAN FIGUREN 2.13 Een overzicht van de specificaties die samen PROV vormen. Bron: Presentation - An Overview of W3C PROV. . . . . . . . . . . . . . . . . . . . . . 2.14 Web 4.0: een Web waarop mensen en software agents data consumeren en publiceren. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.1 3.2 3.3 3.4 3.5 3.6 3.7 3.8 3.9 3.10 3.11 3.12 3.13 3.14

3.15 3.16 3.17

Algemeen overzicht van de aaneenschakeling van softwarecomponenten tot het beoogde verrijkingsraamwerk. . . . . . . . . . . . . . . . . . . . . . . . Gebruik van het D2RQ-platform voor het omzetten van de evenementendatabase. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Het D2RQ-platform werd gebruikt om de data om te zetten naar RDFformaat, zodat het door een verrijkingsraamwerk kan gebruikt worden. . . Grafische illustratie van het gebruik van Silk. . . . . . . . . . . . . . . . . . Architectuur van Virtuoso Universal Server. Bron: http://virtuoso. openlinksw.com/virtuoso-technical-architecture/. . . . . . . . . . . Beschrijving van de relatie tussen de verrijking en het proces dat deze verrijking aanmaakte. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Modellering van de bronnen die Silk consulteert tijdens het verrijkingsproces. Beschrijven van datasets en revisies van entities. . . . . . . . . . . . . . . . De modellering van de agents die bij het verrijkingsproces betrokken zijn. . Model voor het beschrijven van de outputs van een verrijkingsproces. . . . De projectstructuur van Silk, onderverdeeld in verschillende modules. . . . De projectstructuur van de module Silk Core, met een overzicht van de daarin verwerkte packages. . . . . . . . . . . . . . . . . . . . . . . . . . . . Deel van het model voor het beschrijven van provenance metadata over een verrijking . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Een overzicht van de taken die Silk achtereenvolgens uitvoert om uiteindelijk tot een collectie verrijkingen te komen. Figuur uit de documentatie van Silk, te vinden op https://www.assembla.com/spaces/silk/wiki/Tasks. . . . Uitbreiding van de taken in de routine van Silk . . . . . . . . . . . . . . . Deel van het model voor provenance-beschrijvingen van verrijkingen, specifiek voor het relateren van verrijkingen aan het verrijkingsproces. . . . . . Deel van het model voor provenance metadata over verrijkingen, specifiek bedoeld voor het verschaffen van extra informatie over het verrijkingsproces.

131

32 34

37 40 41 46 54 58 59 60 61 62 65 66 67

70 71 75 76

LIJST VAN FIGUREN 4.1

5.1 5.2

132

De webpagina die D2R Server genereert als de URI van de plaatsnaam in de lokale dataset (http://localhost:2020/resource/location/1332555) wordt opgezocht, blijkt qua plaatsinformatie inderdaad overeen te komen met de resource-informatie op DBpedia (http://dbpedia.org/resource/Bruges): in beide gevallen gaat het over de stad Brugge. . . . . . . . . . . . . . . . .

79

Overzicht van de componenten waamee de uitbreiding van Silk werd bewerkstelligd. Het D2RQ-platform is hier niet op weergegeven. . . . . . . . . . . Berekening van de betrouwbaarheidsscore op basis van een afstandsmetriek.

85 87

A.1 De structuur van de evenementendatabase die werd omgezet. . . . . . . . . 90 A.2 Het opgestelde model voor beschrijvingen van provenance van verrijkingen. 105

LIJST VAN TABELLEN

133

Lijst van tabellen 3.1

Een overzicht van de termen in LODE. . . . . . . . . . . . . . . . . . . . .

43