Digitaal Archief Vlaanderen

www.pwc.com

Digitaal Archief Vlaanderen September 2013

Generieke blauwdruk

Agenda

•

Inleiding generieke blauwdruk

•

Blauwdruk 1. Dienstenmodel 2. Data architectuur 3. Applicatie architectuur 4. Technologische architectuur

Digitaal Archief Vlaanderen PwC

Sept 2013 Slide 2


Landschap voor archivering Het Archiefdecreet bevat vijf strategische doelstellingen:

Regelgeving • Decreet van 9 juli 2010 betreffende de bestuurlijk-administratieve archiefwerking (Archiefdecreet van 9 juli 2010);

• Verhogen van de kwaliteit van het archiefbeheer; • Beter ontsluiten van archiefdocumenten voor de recht- en informatiezoekende burger; • Openbaar maken van de meeste archiefdocumenten na 30 jaar; • Stimuleren van efficiënte waardering en selectie van archiefdocumenten; • Toelaten van wetenschappelijk onderzoek.

Normen en standaarden • OAIS (ISO 14721) • Audit and Certiﬁcation of Trustworthy Digital Repositories (ISO 16363) • ISAD(G) (General International Standard Archival Description) • ISAAR (International Standard Archival Authority Record) • …


eDepot

Sept 2013 Slide 3


Landschap voor archivering Kadering in het grotere geheel van actoren en diensten:


Sept 2013 Slide 4


Insteek voor de generieke blauwdruk Generiek model op hoog niveau als basis voor de analyse • OAIS als een geheel van diensten • Open Architectuur - Standaarden - Duurzaamheid - Schaalbaarheid - Moduleerbaarheid - Virtuele integratiemogelijkheden

Blauwdruk omvat het gehele archiveringsproces maar heeft

modulariteit van diensten als objectief. Afhankelijk van de klantenbehoefte moeten de gewenste module(s) kunnen afgenomen worden.

• Betrouwbaarheid - Authenticiteit - Integriteit - Risico beheersing Digitaal Archief Vlaanderen PwC

Sept 2013 Slide 5


Informatiemodel – Hoofdproces voor archivering

Verwerking

maak AIP

Valide

ok

Archivering Einde Not ok

Stuur mail naar de aanvrager

Interface

Preservation description Information

Producers Prodcuers

Archivering

maak SIP

Ontvang aanvraag

Maak aanvraag


Validatie

ingang

Ontvang archiveringsbevestiging Einde

Content information

Sept 2013 Slide 6


Samenstelling van de generieke blauwdruk

• Business architectuur: diensten die beschikbaar zijn voor de producers en de consumers • Gegevensarchitectuur: beheren van metadata, mogelijkheden om archiefstukken op te vragen op basis van metadata, gegevens uitwisseling tussen diensten en actoren • Applicatie architectuur: bepalen van de samenhang van de software, niveau van automatisatie binnen het archief • Technologische architectuur: technische eigenschappen van de oplossing zoals lager-niveau implementatievereisten en ondersteuning voor infrastructuur.


Slide 7

1. Dienstenmodel

Laag 1: dienstenmodel (business architectuur)


Sept 2013 Slide 8

1. Dienstenmodel

Diensten model

Preservation Planning Producer interfaces

Instap

Web Portal

Application

Opvolging

Ingest Systeem beheer

Requests

Workflow

Archive

Storage

BCP DRP Risk man

Temporary storage

Catalog

Access Proces en policy beheer

Search

Dissemination

Audit

Consumer interfaces Web Portal Digitaal Archief Vlaanderen PwC

Application Sept 2013 Slide 9

1. Dienstenmodel

Instap & opvolging Voorafgaand aan operationeel proces voor archivering Wat? • Afspraken maken en begeleiding van verschillende types organisaties - Type 1: bewustwording voorzien voor besturen die nog niet met archivering bezig zijn - Type 2: instap faciliteren voor nieuwe klanten en begeleiden bij verdere evolutie - Type 3: instap faciliteren en verder bouwen op expertise - Samenwerking met alle gebruikers gericht op standaardisatie, integratie en optimalisatie


Sept 2013 Slide 10

1. Dienstenmodel

Instap & opvolging Duale benadering: begeleiding bieden / expertise samenbrengen Concreet afspraken maken en opvolging omtrent verschillende thema’s •

Pre-Ingest afspraken (hoe een archiefwaardig maken van data) zoals dubbels verwijderen, naamgeving en structuur bepalen, …

•

Afbakening dynamisch, semi-statisch en statisch archief en de consequenties naar digitale archief oplossingen

•

Beheren van de levenscyclus (van selectie naar ontsluiting en vernietiging)

•

Afspraken mbt toetsing van digitale tov papieren documenten bij hybride dossiervorming

•

Metadata

•

Formaten -

Aanvaarde formaten

-

Strategie: mee archiveren of transformatie bij oproepen

-

Preservation planning

•

Thesaurus: gemeenschappelijke woordenschat

•

Kwaliteitscontrole

•

Gebruikte tools en technologie via trend/technology watch

•

Security maatregelen (toegangsrechten, privacy regulering)

•

Opleidingen

PwC

Sept 2013 Slide 11

1. Dienstenmodel

Proces – Opladen data Dienst: Interfaces voor producer

Verwerking

maak AIP

Valide

ok



Interface


Producers Prodcuers

Archivering

maak SIP

Ontvang aanvraag

Maak aanvraag


Validatie

ingang


Content information

Sept 2013 Slide 12

1. Dienstenmodel

Interfaces voor producer Verschillende opties voor interactie met gebruikers* Web interface

FTP upload / download

Applicaties

Formulier om metadata gegevens toe te voegen

Opladen van document met Gebruikmaken van een metadata gegevens op een Webservice of API locatie

Manueel laden van data

Databestanden in batchvorm

Ritme bepaald door de applicatie en infrastructuur

Generieke oplossing voor producers die geen archiveringsfunctionaliteiten hebben

• Oplossing voor producers met reeds bestaande applicaties • Kan gebruikt worden als initiële import

Oplossing voor producers met reeds bestaande applicaties, voor extraheren van digitale objecten *Zie ook applicatie architectuur


Sept 2013 Slide 13

1. Dienstenmodel

Proces - Vervolmaken SIP Dienst: Ingest

Verwerking

maak AIP

Valide

ok



Interface


Producers Prodcuers

Archivering

maak SIP

Ontvang aanvraag

Maak aanvraag


Validatie

ingang


Content information

Sept 2013 Slide 14

1. Dienstenmodel

Ingest

Wat? • SIP wordt ontvangen • Tijdelijk opslaan SIP en controle van de kwaliteit • Vervolledigen van de PDI (Preservation Description Information) met adequate informatie om de inhoud op lange termijn op te slaan


Sept 2013 Slide 15

1. Dienstenmodel

Proces – Vervolmaken AIP Dienst: Archive

Verwerking

maak AIP

Valide

ok



Interface


Producers Prodcuers

Archivering

maak SIP

Ontvang aanvraag

Maak aanvraag


Validatie

ingang


Content information

Sept 2013 Slide 16

1. Dienstenmodel

Archive

Wat? • Rendition: verhogen van de duur van de leesbaarheid door transformatie van documenten naar een beperkt set van formaten • Opslaan op lange termijn van de AIP door toevoegen van systeeminformatie • Bevestiging naar aanvrager en communicatie van referentie • Opbouw inventaris: - Stockeren meta data voor opzoekingen - Selectie overeengekomen tijdens de instapdienst


Sept 2013 Slide 17

1. Dienstenmodel

Archive

• Algemene afspraken gemaakt bij instap en opvolging • Eigen inventaris of instappen in centrale inventaris? • Specifieke vereisten mbt: Toevoegen

Aanpassen

Verwijderen

Aanvraag tot archivering

• Op basis van een SIP de AIP aanpassen. • Context van de aanpassing wordt meegegeven

• Communicatie mbt verwijderen na verloop bewaartermijn naar eigenaar OF aanvraag tot verwijdering via webservice • Context van de verwijdering bewaren • Communicatie met rijksarchief


Sept 2013 Slide 18

1. Dienstenmodel

Consumer

Interface

Verwerking

Proces – Opzoeken van data Dienst: Search


Sept 2013 Slide 19

1. Dienstenmodel

Search

Wat? • Indexatie op metadata • Query mogelijkheden op de geselecteerde metadata en indien mogelijk fulltext • Resultaten weergaven naar browser of via Web service (voor eigen ontsluitingsplatform of integratie met bestaande applicaties) • Zoekresultaten onderhevig aan de beveiliging (cfr. afspraken instapdienst)


Sept 2013 Slide 20

1. Dienstenmodel

Federated search

• Oplossing voor meerdere systemen:


Sept 2013 Slide 21

1. Dienstenmodel

Consumer

Interface

Verwerking

Proces – Weergeven van data Dienst: Dissemination


Sept 2013 Slide 22

1. Dienstenmodel

Dissemination

Wat? • Opmaken van de DIP op basis van AIP • Data weergeven op overeengekomen manier • Ontsluiting naar burgers toe?


Sept 2013 Slide 23

1. Dienstenmodel

Consumer

Interface

Verwerking

Proces – Presenteren van data Dienst: Interfaces voor consumer


Sept 2013 Slide 24

1. Dienstenmodel

Interfaces voor consumer Verschillende opties voor interactie met gebruikers* Web interface

FTP upload / download

Applicaties

Formulier om documenten uit inventaris op te zoeken

Downloaden van opgezochte bestanden

Gebruikmaken van een Webservice of API

Manueel downloaden van data

Databestanden in batchvorm

Ritme bepaald door de applicatie en de infrastructuur

Generieke oplossing voor consumenten

• Oplossing voor Oplossing voor consumers consumers met reeds met reeds bestaande bestaande applicaties applicaties • Kan gebruikt worden voor export van grote datasets *Zie ook applicatie architectuur


Sept 2013 Slide 25

1. Dienstenmodel

Additioneel: Beheer van het depot Producer interfaces

Instap

Web Portal

Application

Opvolging

Systeem beheer

BCP DRP Risk man

Proces en policy beheer

•

Ingest

Beveiliging Workflow

•

Volgen van privacy wetgeving

•

Toegangsrechten

•

Garanderen van continuïteit en risico beheersing

•

Documenteren van procedures

Archive

Temp

Access

Search

Dissemination

Consumer interfaces Web Portal Digitaal Archief Vlaanderen PwC

Application Sept 2013 Slide 26

2. Data architectuur

Laag 2: data architectuur


Sept 2013 Slide 27


Overzicht AIP Packaging Information Representation

Descriptive Information

Original

Information Object Data Object Representation Information

PDI Reference Provenance

Migration(s)

Context


Information Object Data Object

Fixity Access Rights

Representation Information

Sept 2013 Slide 28


Datamodel Behoefte aan twee types

A. Overeenkomen over de inhoud AIP

SIP


B. Enkel een archiveringsfunctie AIP

SIP=AIP producer

Sept 2013 Slide 29


Type A: ondersteuning bij de SIP creatie SIP

AIP

Packaging Information Representation


Original



Migration(s)

Context




Sept 2013 Slide 30


Type B: de SIP wordt afgewerkt aangeleverd SIP

AIP

Packaging Information Representation


Original



Migration(s)

Context




Sept 2013 Slide 31


Voorbeeld invulling standaarden voor het datamodel METS METS

PDI

TBD*

Original

Information Object .docx, RAW, … PREMIS, CEDARS, MIX, …

EAD EAD, OSLO

Migration(s)

EAD, OSLO

Information Object

PREMIS

XML, PDF/A, TIFF, … PREMIS PREMIS, CEDARS, MIX, …

TBD: To Be Defined – afhankelijk van de database die wordt gekozen Digitaal Archief Vlaanderen PwC

Sept 2013 Slide 32

3. Applicatie architectuur

Laag 3: applicatie architectuur


Sept 2013 Slide 33


Applicatie landschap Client side

Server side

Server side

Browser

Portal

Rendition

Application

Web Service of API

Archive

sFTP client

sFTP service

Search

Access

Temporary storage


Sept 2013 Slide 34


A. Browser

Als producer • Formulier voor metadata • Mogelijk om het bestand op te laden via formulier Als consumer: • Ophalen DIP • Zoekfuncties  Zie ‘Search’ en ‘Dessimination’


Sept 2013 Slide 35


B. Web service implementatie Eén web service voor zowel browser als externe applicaties

Browser

Portaal

Web service

Applicatie


Sept 2013 Slide 36


B. Web service implementatie

• WSDL bestand voor de beschrijving van de functionaliteiten • Getters & setters om toe te voegen, aangepast aan het OAIS model en de overeengekomen regels • Het opstellen van een DIP aan de hand van een “consumer” kan enkel als het e-Depot controle heeft over de SIP. In het andere geval wordt het volledig object geleverd. • Aanduiden welke metadata gebruikt wordt voor de search (instapdienst) - sFTP: leveren van een extra bestand (XML) - Web Service: voorzien in de functie - Portaal : aanduiden via web formulier


AIP Search Metadata

Sept 2013 Slide 37


C. Zoekomgeving

AIP referentie

Search Metadata

Metadata

Archivering


Indien leverbaar

Fulltext

Search

Sept 2013 Slide 38


D. Archivering

Wat? Applicatie ter ondersteuning van • Ingest: Beheerssysteem voor bestuurlijke informatie met bijbehorende workflow • Archiving: Beheerssysteem voor opslag management • Perifere diensten: - Kwaliteitsbeheer - Rapportering - …


Sept 2013 Slide 39

4. Technologische architectuur

Laag 4: technologische architectuur


Sept 2013 Slide 40

4. Technologische architectuur

Van diensten tot infrastructuur

Producer Workflow

Portal AIP SIP RKMS

Reporting

Search

Rendition

Meta data

DMZ LAN

Consumer Temporary storage

Reporting Digitaal Archief Vlaanderen PwC

Sept 2013 Slide 41

© 2013 PricewaterhouseCoopers. All rights reserved. “PricewaterhouseCoopers” refers to the network of member firms of PricewaterhouseCoopers International Limited, each of which is a separate and independent legal entity.

Appendix


Sept 2013 Slide 43

Appendix

Lijst van acroniemen

AIP

Archival Information Package

DIP

Dissemination Information Package

ISO

International Organization for Standardization

OAIS

Open Archival Information System

PDI

Preservation Description Information

SIP

Submission Information Package

XML

Extensible Markup Language


Sept 2013 Slide 44

Digitaal Archief Vlaanderen

Recommend Documents