CATCHPlus gemeenschappelijke diensten Hennie Brugman Technisch coordinator CATCHPlus bijeenkomst - 10 juni 2011 Meertens Instituut
1
Overzicht 1. Introductie en algemeen overzicht (20+10 minuten)
2. Inzoomen op individuele diensten (5 x 10 min)
3. Beschikbaarheid, duurzame exploitatie, hosting (5 min)
4. Discussie (maximaal 30 min) CATCHPlus bijeenkomst - 10 juni 2011 Meertens Instituut
2
CATCHPlus opzet
Erfgoedinstellingen
WP 2: Deelprojecten
WP 1: Gemeenschappelijke diensten
Museumplus Checkers StitchPlus Choralplus Scratch4all Witchcraftplus Multiply Chip API
Projectbureau WP 3: Framework en interoperabiliteit
Projectbureau CATCHPlus bijeenkomst - 10 juni 2011 Meertens Instituut
3
De uitdaging van CATCHPlus • Samenhang tussen heel verschillende tools en diensten realiseren • Toepasbaarheid over grenzen van collecties en instellingen bevorderen • Resultaten gedistribueerd en online op het web beschikbaar maken • Samen ontwikkelen waar dat kan • Bijdragen aan infrastructuur voor het Nederlands digitaal erfgoed • Duurzame exploitatie en hosting CATCHPlus bijeenkomst - 10 juni 2011 Meertens Instituut
4
Benadering • Uniform omgaan met 4 soorten data – – – –
Terminologie (vocabulaires) Annotaties Catalogi (metadata) Digitale objecten
• Duurzame verwijzingen (persistent identifiers) • Breed inzetbare componenten opwaarderen tot gemeenschappelijke diensten
CATCHPlus bijeenkomst - 10 juni 2011 Meertens Instituut
5
• Uniform omgaan met 4 soorten data – – – –
Terminologie (vocabulaires) Vocabulaire en Alignment Annotaties Repository Catalogi (metadata) Digitale objecten “Uniform representeren, publiceren • Duurzame verwijzingen (persistent identifiers) en doorzoekbaar maken • Breed inzetbare componenten opwaarderen totweb van thesauri door middel van gemeenschappelijke diensten services”
CATCHPlus bijeenkomst - 10 juni 2011 Meertens Instituut
6
• Uniform omgaan met 4 soorten data – – – –
Terminologie (vocabulaires) Annotation & Annotaties Recommendation Catalogi (metadata) Digitale objecten “Uniform representeren, opslaan, • Duurzame verwijzingen (persistent identifiers) doorzoekbaar en uitwisselbaar maken van • Breed inzetbare componenten opwaarderen tot uiteenlopende annotaties van gemeenschappelijke diensten (delen van) bronnen op het web”
CATCHPlus bijeenkomst - 10 juni 2011 Meertens Instituut
7
• Uniform omgaan met 4 soorten data – – – –
Terminologie (vocabulaires) Annotaties Catalogi (metadata) Digitale objecten
Standaard toegang dmv OAI data providers
• Duurzame verwijzingen (persistent van identifiers) “Ondersteuning de • Breed inzetbare componenten opwaarderen publicatie van metadata mbvtot OAI-PMH bij deelnemende erfgoedinstellingen” gemeenschappelijke diensten
CATCHPlus bijeenkomst - 10 juni 2011 Meertens Instituut
8
• Uniform omgaan met 4 soorten data – – – –
Terminologie (vocabulaires) Annotaties Diensten voor gebruik en Catalogi (metadata) beheer van persistente identifiers Digitale objecten
• Duurzame verwijzingen (persistent identifiers) “ontkoppelen van object-namen en • Breed inzetbare componenten opwaarderen tot object-locaties ter ondersteuning van gemeenschappelijke diensten duurzame verwijzingen”
CATCHPlus bijeenkomst - 10 juni 2011 Meertens Instituut
9
• Workspaces • User Profile Repository “Persoonlijke, tijdelijke opslag van • Uniform omgaan met 4 soorten data sets.data Tijdelijk verlenen van toegangsrechten tot die data sets” – Terminologie (vocabulaires) – Annotaties “Verzamelen van profiel-informatie – Catalogi (metadata) door en over gebruikers. Tijdelijk – Digitale objecten verlenen van toegang tot die
• Duurzame verwijzingen informatie (persistent aanidentifiers) webdiensten” • Breed inzetbare componenten opwaarderen tot gemeenschappelijke diensten
CATCHPlus bijeenkomst - 10 juni 2011 Meertens Instituut
10
Vocabulaire en Alignment Service WP 1: gemeenschappelijke diensten
Annotation Repository Workspaces User Profile Repository
WP 3: framework en interoperabiliteit
Metadata harvesting met OAI-PMH Persistente Identifiers CATCHPlus bijeenkomst - 10 juni 2011 Meertens Instituut
11
Het “landschap”
CATCHPlus bijeenkomst - 10 juni 2011 Meertens Instituut
12
Uitgangspunten • Open set van samenwerkende bouwstenen (versus monolyten) – componenten ook bestaansrecht op zichzelf of in andere context
• Samenwerking met anderen – hergebruik waar mogelijk bestaande oplossingen – Sluit aan/draag bij aan gerelateerde initiatieven
• Standaardisatie en uniformering • RESTful web services • Liever wat beperkter in scope dan geen draagvlak – eerst interne en externe belanghebbenden op één lijn – draagvlak belangrijk voor duurzame exploitatie CATCHPlus bijeenkomst - 10 juni 2011 Meertens Instituut
13
Verbindingen door gemeenschappelijke diensten: voorbeelden – Intern: tussen individuele deelprojecten – Extern: bijdragen aan infrastructuur digitaal cultureel erfgoed, diensten zijn in potentie breed inzetbaar
CATCHPlus bijeenkomst - 10 juni 2011 Meertens Instituut
14
Workspace toepassingen • Primair toegepast tbv Scratch4All (images) • In tweede instantie voor één of meer CATCHPlus cases (spraak, sets van zoekresultaten) – verbindend tussen CATCHPlus deelprojecten – leidt tot uniforme web services
• Model voor persoonlijke, tijdelijke hosting, met name tbv toegang door web services • potentieel onderdeel van veel (erfgoed-)web applicaties CATCHPlus bijeenkomst - 10 juni 2011 Meertens Instituut
15
OAI en PIDs • BenG: metadata publicatie met OAI-PMH – Neveneffect: toekenning en publicatie van persistente identifiers – “Landingspagina’s” PIDs en OAI vallen samen
• Bijdrage aan Nederlands Erfgoed: Digitaal!, daarna aan NL Aggregator • CATCHPlus diensten op metadata eenvoudig te generaliseren (bv zoeken ihkv MuseumPlus) • bijdrage aan digitale infrastructuur nederlands cultureel erfgoed en Europeana CATCHPlus bijeenkomst - 10 juni 2011 Meertens Instituut
16
Multiply/DSS Metadata OAI-PMH Vocabulaire Repository Advanced search…
Search for Afghanistan
Search results: Immix results Immix title1
Annotations: Immix metadata
Show all
Immix title2 Immix title3
Context results
Show all
AT14nov06-text AT14nov06-website Context document 3
Context documents 1
Options…
Recommendations Show annotations…
2
Context document metadata
Edit
Document type
Text
Creation date
09/23/2006
Primary language
Dutch
Archiving date
11/14/2006
Text Repository
militairen regeringen krijgsgevangenen ministers-presidenten ministers ambtenaren gevangenissen democratisering kampen stemmen missie akkoorden
Add context document…
Show graph…
Annotatie Repository Annotatie Services
Recommendation Ranking services
Video Repository
CATCHPlus bijeenkomst - 10 juni 2011 Meertens Instituut
17
Stand van zaken • Een aantal al gerealiseerde diensten is toenemend succesvol – Breed gedragen wensen tav tweede versies
• Vertragingen hebben wel geleid tot – Duidelijke plannen en specificaties – Meer draagvlak onder mogelijke stakeholders
• Frequente contacten en afstemming met gerelateerde projecten • Nu is de tijd van implementatie CATCHPlus bijeenkomst - 10 juni 2011 Meertens Instituut
18
stakeholders RCE Naturalis
MUSEUM+ GM
OAI-PMH
STITCH+
CHECKERS Trezorix Uni. Tilburg
Scratch4all Choral+ Multiply
Annotation Repository
Clarin/Clavas Europeana KB GAR BenG NA Fotomuseum
KB Werkgroep Erfgoedthesauri RKD DEN OCLC RCE
Vocabulairebank
Open Annotation Consortium
NA Scratch4all GAR Choralplus BenG Multiply MI Witchcraft+ GM Museumplus
ZieOok
CHIP+
Adlib Pictura Trezorix
Deventit TMS Radio Rijnland Uni. Twente
CHORAL+
WORKSPACES SARA
RMA /AM
CLARIN SURF
BIGGRID TARGET
RMA AM BenG RCE
User Profile Repository GridLine ZieOok
OCLC
BenG DEN RCE Kennisnet NA MI Surf
GAR X-MI
NA BenG
MI Clarin-NL NED! NL Aggregators Europeana
Standaardisatie OAI Seecr
Persistent Identifiers SARA EPIC CLARIN Europeana
RDE
MULTIPLY BenG
NA
Target RUG
SCRATCH4ALL NA
TIN MCN
CATCHPlus bijeenkomst - 10 juni 2011 WITCHCRAFT+ Meertens Instituut
MI
UU
Gelders archief Groninger archieven Stadsarchief Leuven
19
Vragen en discussie
• Onze vragen – Deugen ambities, aanpak en benaderingswijze? – Ontbreken er diensten, of zijn er overbodige? – Zijn er (betere) bestaande oplossingen? – Zijn er nieuwe toepassingen denkbaar?
CATCHPlus bijeenkomst - 10 juni 2011 Meertens Instituut
20
CATCHPlus bijeenkomst - 10 juni 2011 Meertens Instituut
21
Vocabulaire en Alignment Service WP 1: gemeenschappelijke diensten
Annotation Repository Workspaces User Profile Repository
WP 3: framework en interoperabiliteit
Metadata harvesting met OAI-PMH Persistente Identifiers CATCHPlus bijeenkomst - 10 juni 2011 Meertens Instituut
22
Vocabulary and Alignment Service (“VocabulaireBank”)
CATCHPlus bijeenkomst - 10 juni 2011 Meertens Instituut
23
Visie • CATCHPlus – Tools en diensten bouwen met één uniforme, externe dienst voor terminologie-gebruik – Eenvoudig gebruik van elkaars thesauri
• Breder – “Linked Data++” – Laagdrempelig (her)publiceren van thesauri – (her)gebruiken van thesauri zonder tussenkomst van toolbouwers – Eenvoudig gebruik van gepubliceerde thesauri vanuit tools en diensten CATCHPlus bijeenkomst - 10 juni 2011 Meertens Instituut
24
VAS doelen • Standaard formaat en access methoden – SKOS, SKOS gebaseerde REST API
• Web publicatie van vocabulaires
– Als Linked Open Data – Als doorzoekbare en browse-bare dataset REST API – Te gebruiken voor duurzame referenties naar concepten persistente identifiers – Te harvesten door middel van OAI-PMH
• Bevorderen semantische interoperabiliteit door het ondersteunen van ‘alignments’ • Stimuleren van Open licenties CATCHPlus bijeenkomst - 10 juni 2011 Meertens Instituut
25
SKOS Term: Economic cooperation Used For: Economic co-operation Broader terms: Economic policy Narrower terms: Economic integration, European economic cooperation, European industrial cooperation, Industrial cooperation Related terms: Interdependence Scope Note: Includes cooperative measures in banking, trade, industry etc., between and among countries.
CATCHPlus bijeenkomst - 10 juni 2011 Meertens Instituut
26
VAS doelen • Standaard formaat en access methoden – SKOS, SKOS gebaseerde REST API
• Web publicatie van vocabulaires
– Als Linked Open Data – Als doorzoekbare en browse-bare dataset REST API – Te gebruiken voor duurzame referenties naar concepten persistente identifiers – Te harvesten door middel van OAI-PMH
• Bevorderen semantische interoperabiliteit door het ondersteunen van ‘alignments’ • Stimuleren van Open licenties CATCHPlus bijeenkomst - 10 juni 2011 Meertens Instituut
27
Linked Open Data •
Een methode om data te tonen, delen en verbinden via ‘dereferencable URIs’ op het Web.
CATCHPlus bijeenkomst - 10 juni 2011 Meertens Instituut
28
VAS doelen • Standaard formaat en access methoden – SKOS, SKOS gebaseerde REST API
• Web publicatie van vocabulaires
– Als Linked Open Data – Als doorzoekbare en browse-bare dataset REST API – Te gebruiken voor duurzame referenties naar concepten persistente identifiers – Te harvesten door middel van OAI-PMH
• Bevorderen semantische interoperabiliteit door het ondersteunen van ‘alignments’ • Stimuleren van Open licenties CATCHPlus bijeenkomst - 10 juni 2011 Meertens Instituut
29
Use cases (t.a.v. REST API) • Use cases uit CATCHPlus en Cultureel Erfgoed – Publiceer je thesaurus: importeer een SKOS vocabulaire, dan krijg je er REST toegang, tool support en Linked Data gratis bij – Selecteer het juiste concept om een object te beschrijven • autocompletion
– Gebruik voor browsen en zoeken (naar terminologie en/of collectie-data) • VAS repository als een “topic map” voor erfgoedcollecties – Thesaurus-onderhouds-taken door online gemeenschappen – Vertalen, verfijnen, generaliseren van zoekvragen CATCHPlus bijeenkomst - 10 juni 2011 Meertens Instituut
30
Wat is inmiddels gebouwd? • Repository voor SKOS data (inclusief alignment data) – RDF store (Virtuoso)
• REST API (search, autocomplete, upload, download), gebaseerd op het SKOS data model • De repository bevat 12 verschillende thesauri (niet vrij toegankelijk, niet meer up-to-date m.u.v. GTAA)
CATCHPlus bijeenkomst - 10 juni 2011 Meertens Instituut
31
Client tools en diensten • CATCHPlus cases (semantische annotatie, ranking, art recommender, …) • CLARIN(-NL) CLAVAS project • Pictura gebruikt de API voor toegang tot de Beeld en Geluid GTAA thesaurus (Memorix) • Generieke browse- en zoek- web applicatie (gebruikt REST API) – Q42 CATCHPlus bijeenkomst - 10 juni 2011 Meertens Instituut
32
CATCHPlus bijeenkomst - 10 juni 2011 Meertens Instituut
33
VAS, versie 2 •
- performance, schaalbaarheid - gedistribueerd Gedurende half jaar intensief overlegd door - nieuwe functies - mooier RESTful CATCHPlus, RCE, Adlib, Pictura, Trezorix - authenticatie en authorisatie – Op initiatief van RCE - betere manieren om content te beheren
– Mede naar aanleiding van VAS, versie 1
• Doel: tools en omgevingen op elkaar aansluiten mbt vocabulaires/kennisstructuren • VAS versie 2 conform de uitkomsten van dit overleg CATCHPlus bijeenkomst - 10 juni 2011 Meertens Instituut
34
Gezamenlijke visie
CATCHPlus bijeenkomst - 10 juni 2011 Meertens Instituut
35
REST specificatie • Concept resolve API – URI, bv http://id.loc.gov/authorities/sh95000541
• Find API – – – – – –
/find/concepts /find/conceptschemecollections /find/conceptschemes /map/concept /map/object /concept CATCHPlus bijeenkomst - 10 juni 2011 Meertens Instituut
36
Toekomst • Online zetten en promoten gezamenlijke API specs • Implementatie Repository service, versie 2 – Nieuwe API – Harvesting dmv OAI-PMH – Upload van SKOS bestanden
• Linken met nieuwe “DEN inventarisatie van erfgoedthesauri” • Actualiseren en uitbreiden van de inhoud • Stimuleren van open licenties (ODbL) • Duurzame hosting op één of meer plaatsen CATCHPlus bijeenkomst - 10 juni 2011 Meertens Instituut
37
stakeholders
Clarin/Clavas Europeana KB GAR BenG NA Fotomuseum
Werkgroep Erfgoedthesauri RKD DEN
RCE
Vocabulairebank Adlib Pictura Trezorix
CATCHPlus bijeenkomst - 10 juni 2011 Meertens Instituut
Deventit TMS
38
CATCHPlus bijeenkomst - 10 juni 2011 Meertens Instituut
39
Workspaces
CATCHPlus bijeenkomst - 10 juni 2011 Meertens Instituut
40
Visie • CATCHPlus – Gebruikspatroon {inloggen, documenten uploaden/verzamelen en organiseren, tool daarop laten werken} maar één keer bouwen • Spaart werk • Biedt gedeelde oplossing voor inloggen, ….
– Legt vast hoe tools en diensten verbonden kunnen worden
• Breder – Nieuw model voor flexibele hosting – Virtuele collecties – Bouwsteen binnen web service gebaseerde infrastructuren CATCHPlus bijeenkomst - 10 juni 2011 Meertens Instituut
41
Potentieel • Legt vast hoe web services veilig op data kunnen werken – tijdelijk delegeren van toegangsrechten • Goede plek om ‘Single Sign On’ mee te verbinden • Goede ‘home base’ voor geïntegreerde applicatieomgevingen (b.v. Virtual Research Environments) • Cloud hosting aspect: tijdelijke, persoonlijke, veilige opslag op het web, met flexibele toegankelijkheid • voorportaal voor digitale archiving – data curatie – toekenning persistente identifiers
• Ontwikkeld door partijen, die over veel opslagcapaciteit en bandbreedte beschikken CATCHPlus bijeenkomst - 10 juni 2011 Meertens Instituut
42
Deliverables • Workspace repository (Target Holding) • RESTful API (Target Holding) • Webapps voor workspace beheer en workspace repository beheer (Target Holding) • Authenticatie en Autorisatie oplossing (BigGrid?) • 2-4 toepassingen binnen CATCHPlus
CATCHPlus bijeenkomst - 10 juni 2011 Meertens Instituut
43
Implementatie ikhv Scratch4All
CATCHPlus bijeenkomst - 10 juni 2011 Meertens Instituut
44
Status • Implementatie Workspaces en aansluiting op Scratch4All is gestart – Afronding: december 2011
• Gesprekken over Authenticatie en Autorisatie module zijn gaande • Waarschijnlijk ook toegepast ihkv CLARIN, ten behoeve van data uitwisseling tussen web services CATCHPlus bijeenkomst - 10 juni 2011 Meertens Instituut
45
stakeholders
NA Scratch4all GAR Choralplus BenG Multiply MI Witchcraft+ GM Museumplus
WORKSPACES SARA BIGGRID TARGET
CATCHPlus bijeenkomst - 10 juni 2011 Meertens Instituut
CLARIN
46
CATCHPlus bijeenkomst - 10 juni 2011 Meertens Instituut
47
Metadata harvesting
CATCHPlus bijeenkomst - 10 juni 2011 Meertens Instituut
48
Wat? – Publiceren van metadata volgens standaard formaten (Dublin Core, qualified Dublin Core, bredere standaard formaten, proprietaire formaten)
– Publiceren op standaard manier (OAI-PMH)
CATCHPlus bijeenkomst - 10 juni 2011 Meertens Instituut
49
Status • Implementatie bij B en G afgerond • Een aantal deelnemers heeft inmiddels zelf OAI-PMH • NED!, NL Aggregators en Europeana • Beheer van persistente identifiers kan worden gekoppeld aan publicatie van metadata
CATCHPlus bijeenkomst - 10 juni 2011 Meertens Instituut
50
stakeholders
MI Clarin-NL NED! NL Aggregators Europeana
Standaardisatie OAI CQ2
CATCHPlus bijeenkomst - 10 juni 2011 Meertens Instituut
51
Annotation Repository
CATCHPlus bijeenkomst - 10 juni 2011 Meertens Instituut
52
Visie • CATCHPlus – Uitwisselen en doorzoekbaar maken van uiteenlopende annotaties van (delen van) bronnen op het web – Stap voor stap verrijken van data
• Breder – Annotatie repository als collectie- en instellingoverstijgende index CATCHPlus bijeenkomst - 10 juni 2011 Meertens Instituut
53
Requirements • Annotatie van onderdelen van teksten, xml/xhtml, pdf, audio, video, melodie, images (komen allemaal in CATCHPlus projecten voor)
• Annotatie van annotaties en waarden van annotaties (“gelaagde annotatie”) • Semantische waarden • Web gebaseerd en uitbreidbaar data model • Opslaan en doorzoeken in repository met REST API CATCHPlus bijeenkomst - 10 juni 2011 Meertens Instituut
54
Voorbeeld: gelaagde annotaties Voorbeeld workflow:
Document scan [automatische line strip detectie service] [repository] [document transcriptie tool] [entity recognition service] [repository] CATCHPlus bijeenkomst - 10 juni 2011 Meertens Instituut
55
Deliverables • Annotatie uitwissel-formaat • Annotatie Repository • REST API voor opslaan en doorzoeken
CATCHPlus bijeenkomst - 10 juni 2011 Meertens Instituut
56
Open Annotation model/formaat • Generiek model uit CATCH: AMM (Annotation Meta Model) • Grote overlap in requirements en uitwerking met Open Annotations (www.openannotion.org) • Voorstel: pas OAC model toe (en draag daar eventueel aan bij) •Annotation is web document met URI •Body annoteert een Target •Verschillende auteurs/eigenaren •Body en Target kan alles zijn •Iedere resource kan target van andere annotatie zijn •Voorzieningen voor onderdelen van documenten CATCHPlus bijeenkomst - 10 juni 2011 Meertens Instituut
57
Status • “Annotation model en formaat” aanbeveling binnenkort beschikbaar, inclusief toets aan CATCHPlus cases • Implementatie-proces moet nog beginnen • Toepassing in eerste instantie waarschijnlijk gekoppeld aan workspaces
CATCHPlus bijeenkomst - 10 juni 2011 Meertens Instituut
58
stakeholders
ZieOok
Annotation Repository Open Annotation Consortium
CATCHPlus bijeenkomst - 10 juni 2011 Meertens Instituut
59
CATCHPlus bijeenkomst - 10 juni 2011 Meertens Instituut
60
User Profile Repository
CATCHPlus bijeenkomst - 10 juni 2011 Meertens Instituut
61
Visie • CATCHPlus – Verzamelen van profiel-informatie door en over gebruikers. Tijdelijk verlenen van toegang tot die informatie aan webdiensten – Primair ten dienste van Art Recommender. Apart ontwikkeld met oog op bredere toepasbaarheid
• Breder – Gebruikers ‘single-sign-on’ bieden, en baas maken van hun eigen profieldata – Collectie aanbieders beschikken over brede profielinformatie, zonder dat zelf bij te hoeven houden CATCHPlus bijeenkomst - 10 juni 2011 Meertens Instituut
62
Wat is het? • Profielen bevatten personalia, voorkeursobjecten en – concepten, ratings, gebruiks-statistieken e.d. • Repository met RESTful API voor – Beheer van profielen – Tijdelijke toegang voor toevoegen objecten en gebruiksstatistieken – Opvragen van profiel informatie door collectie-aanbieders
• Web applicatie voor profielbeheer • Widgets voor website-bouwers – Login – Rating CATCHPlus bijeenkomst - 10 juni 2011 Meertens Instituut
63
Toepassing • CHIP API deelproject – Bestond oorspronkelijk uit een recommendation engine (Art Recommender), een Rating tool en een User Profile Repository – UPR is gepromoveerd tot gemeenschappelijke dienst – Art Recommender wordt gerealiseerd op basis van de ZieOok recommendation engine
• Amsterdam Museum sinds kort de uitvoerder/collectie-aanbieder • Toepassen op andere collecties is relatief eenvoudig CATCHPlus bijeenkomst - 10 juni 2011 Meertens Instituut
64
Relatie met ZieOok • ZieOok – Is een generieke recommendation engine voor erfgoedcollecties – Gebouwd door Beeld en Geluid – Werkt op basis van statistiek – Collecties te importeren mbv OAI-PMH – Heeft (nog) geen generieke oplossing om met gebruikersen gebruiksinformatie om te gaan
• Art Recommender is voor ZieOok een extra toepassing, UPR een generieke bouwsteen • ZieOok biedt zicht op brede toepassing van CATCHPlus UPR CATCHPlus bijeenkomst - 10 juni 2011 Meertens Instituut
65
Users User profiles Favorite objects & concepts Ratings Usage statistics
User Profile Repository
Profile Editor
“store profile” “store statistics”
REST API
“profile info”
Dashboard
“store profile”
login widget
rating widget
“modify profile” “store profile” “grant access”
“recommend”
Recommender widget
webapp webapp webapp
REST API
“collection info”
“collection info”
Art Recommender
“harvest”
CATCHPlus bijeenkomst - 10 juni 2011 Meertens Instituut
ED!T collection
OAI
OAI
“harvest”
ZieOok/
Collection
Collection
RMA Collection
66
Status • Begin juli kickoff • Streven: implementatie eind 2011 afgerond • Implementator (o.v.): Gridline
CATCHPlus bijeenkomst - 10 juni 2011 Meertens Instituut
67
Stakeholders
RMA AM RCE
UserProfile ProfileRepository Repository User GridLine ZieOok
CATCHPlus bijeenkomst - 10 juni 2011 Meertens Instituut
68
CATCHPlus bijeenkomst - 10 juni 2011 Meertens Instituut
69
Persistente Identifiers
CATCHPlus bijeenkomst - 10 juni 2011 Meertens Instituut
70
Visie • Oorspronkelijke opdracht OCW: biedt een zo breed mogelijke oplossing voor persistente identifiers aan. • Vertaald naar de volgende taken: – Kies robuuste, duurzame technologie – Laagdrempelig toekennen en beheren van PIDs – Duurzaam, betaalbaar en betrouwbaar model voor hosting en exploitatie CATCHPlus bijeenkomst - 10 juni 2011 Meertens Instituut
71
Probleem en basisoplossing • Steeds meer digitale objecten, met steeds meer identifiers – In web context: identifier = URL • Steeds vaker extern aangeboden (web) • Steeds meer verwijzingen naar objecten – Contextualisering – Samenwerkingsverbanden – Virtuele collecties en tentoonstellingen • Identifiers zijn vaak niet uniek • Identifiers zijn vaak niet persistent • Verwijzingen worden gemakkelijk ongeldig (broken links)
Probleem object_1 http://.../object_1
new_object_1
Basisoplossing • Ontkoppel naam/identifier en locatie(s) • Registreer combinaties van identifiers met locaties in een tabel • Externe referenties gebruiken de identifier
Basisoplossing id1 id1
http://.../object_1 object_1
new_object_1
Basisoplossing (resolver) id1
http://.../new_object_1
id1
new_object_1
Requirements (1) Software support • •
Goede resolving service beschikbaar Bewezen technologie, stabiel en100% betrouwbaar Schaalbaar Globaal werkende oplossing gedistribueerde hosting en dienstverlening mogelijk Identificatie van onderdelen van objecten Mogelijkheid om metadata met een identifier te associëren “Actionable”: identifiers kunnen worden ge-resolved met behulp van een http URI
CATCHPlus bijeenkomst - 10 juni 2011 Meertens Instituut
77
CATCHPlus keuze: Handles als basis •
• •
Handle technologie • Voldoet (verreweg) het best aan onze eisen • http://handle.net/ Eén Local Handle System en Handle prefix per deelnemende ‘Naming Authority’ Hosting van Local Handle Systems door SARA, gemirrored door internationale partners (EPIC)
CATCHPlus bijeenkomst - 10 juni 2011 Meertens Instituut
78
CATCHPlus bijeenkomst - 10 juni 2011 Meertens Instituut
79
Requirements (2) Identifier beheer
Identifier beheer moet onafhankelijk zijn van – System management – Web server management – Hosting van resolution services
• Moet kunnen worden gedaan vanuit de context van een collectie-beheer-systeem – Typisch door de verantwoordelijke collectie beheerder
Is efficient, krachtig en eenvoudig Is veilig CATCHPlus bijeenkomst - 10 juni 2011 Meertens Instituut
80
CATCHPlus oplossing: identifier beheer REST web service • Voor zoeken, creëren en beheren van Handles (behorend bij je eigen Naming Authority) over internet • ook ondersteuning voor batch operaties (“verplaats collectie”) • SARA heeft eerste versie voor CATCHPlus gebouwd • Wordt in de praktijk door een aantal instellingen gebruikt CATCHPlus bijeenkomst - 10 juni 2011 Meertens Instituut
81
Methoden voor identifier beheer • •
Neveneffect van collectie beheer • Actie in collectie-beheer-systeem triggert een PID beheer REST call Neveneffect van collectie publicatie • Update van je gepubliceerde data set (bv OAI data provider’s interne database) triggert een PID beheer REST call
CATCHPlus bijeenkomst - 10 juni 2011 Meertens Instituut
82
Requirements (3) Organisatie en beleid
• Welke keuzen zijn gemaakt door je partner instituten? (hoe minder smaken, hoe beter)
• Betrouwbaarheid en duurzaamheid van de service providers • Quality of Service: redundantie, 24/7 beschikbaarheid, performantie, vermogen op te schalen • Beperkte en beheersbare kosten • Vrijheid om te wisselen van service provider • Invloed van gebruikersgemeenschap
CATCHPlus bijeenkomst - 10 juni 2011 Meertens Instituut
83
CATCHPlus oplossing: organisatie •
•
EPIC (European Persistent Identifier Consortium) • SARA (Nederland), CSC (Finland), GWDG (MPG, Duitsland) • Redundante en betrouwbare PID services voor eScience en eCulture in Europa • Contracten mbt Europese mirror van Global Handle Repository • Directe samenwerking met CNRI Stakeholders overleg met erfgoedpartijen en SARA • Samen met DEN • Business cases, business model en contractvormen
CATCHPlus bijeenkomst - 10 juni 2011 Meertens Instituut
84
Toekomstperspectief • EPIC brede REST API – Verbeteringen en toevoegingen aan huidige API – Uitbreidbaar, policies afdwingbaar – Specificatie is klaar – Implementatie (o.v.) door SARA, met bijdrage GWDG
• Introductie-trajecten bij erfgoedinstellingen • Businessmodel en contracten CATCHPlus bijeenkomst - 10 juni 2011 Meertens Instituut
85
stakeholders
BenG RCE NA MI
DEN Kennisnet Surf
Persistent Identifiers SARA EPIC CLARIN Europeana
CATCHPlus bijeenkomst - 10 juni 2011 Meertens Instituut
86
CATCHPlus bijeenkomst - 10 juni 2011 Meertens Instituut
87
Beschikbaarheid, exploitatie en hosting: enkele opmerkingen
CATCHPlus bijeenkomst - 10 juni 2011 Meertens Instituut
88
Beschikbaarheid • Broncode komt onder Open source licentie en online beschikbaar (GitHub) • We promoten Open Database licenties en Creative Commons • We promoten vrij gebruik van services, of tegen kostprijs CATCHPlus bijeenkomst - 10 juni 2011 Meertens Instituut
89
Hosting en exploitatie • Regelen duurzame hosting, onderhoud en doorontwikkeling valt binnen scope van CATCHPlus • Business modellen middagprogramma • Ook techniek kan misschien kostenbesparend werken – Workspaces – Dynamisch deployment van web services CATCHPlus bijeenkomst - 10 juni 2011 Meertens Instituut
90
Vragen, opmerkingen, kritiek, suggesties?
CATCHPlus bijeenkomst - 10 juni 2011 Meertens Instituut
91
Vragen van onze kant • Ontbreekt er iets in het CATCHPlus dienstenpakket? • Nut en noodzaak van de gemeenschappelijke diensten? • Zijn er op- of aanmerkingen in technologische zin? – B.v., we zijn begonnen met REST (+mash ups). Is er een reden SOAP (+ service bus) te ondersteunen? • Visie op onderhoud en doorontwikkeling van tools, diensten en data op langere termijn? • Inschatting kansen op overleven na CATCHPlus? • Wie zouden de aanbieders van die diensten uiteindelijk moeten zijn? • Ondersteunen deze diensten de CATCHPlus deelprojecten voldoende? • Realistisch of te ambitieus? • … CATCHPlus bijeenkomst - 10 juni 2011 Meertens Instituut
92