Digital Dark Age
KNVI Jaarcongres 2015 12 november Marcel Ras, Programmamanager Na6onale Coali6e Digitale Duurzaamheid
Mijn digitale zolder
3
De Digital Dark Age volgens Vint Cerf The forgo?en century Digitalmaterial including key historical documents could be lost forever because programs to view them will become defunct • We doen ons uiterste best om alle informa=e te digitaliseren en beschikbaar te stellen • ZeAen alle online • Snel beschikbaar • 24/7 Maar soGware, hardware, besturingssystemen, informa=edragers werken niet mee!
Waar hebben we het over? • • • • • • • • • • • • • • •
Boeken, kranten, =jdschriGen Televisieprogramma’s Film Onderzoeksdata Websites Foto’s Architectuur Digitale kunst Games Social media als Facebook, twiAer, etc Apps Basisregisters Overheidsdocumenten SoGware ……..
Collec6e Nederland 25 PT AV materiaal bij Beeld en Geluid 1.5 PT Eye Filmmuseum 1.200.000 wetenschappelijke publica=es 147.000 datasets 15.000 (200 TB) digitale kunst (Time Based art) =enduizenden websites Maar is dat alles?
8
De uitdaging
010101010001111011010111010100 101010010110100101010110110011 011010101010101010001111100011 111001111001110011010101001101 011010100110101100110010101010 101010110101001010101010101010 101010110100101010100010101010 101010001111011010111101010101 010101010101010001010110011011 010101010101010001111100011111
9
Digitale informa6e is kwetsbaar informa6e representa6e
Geinterpreteerd door gebruiker
Gerenderd via scherm
informa6e
Omgezet in 01010101000111101101011101010010101001011 01001010101101100110110101010101010100011
(elektronische) informa6e
binaire data
Verwerkt door soGware
10
Opslagmedium gaat stuk
Het opslagmedium raakt in onbruik Floppy disk: 3-‐5 jaar 8”, 5.25” en 3.5” disks, Zip en Jazz disks. Flash media: 1-‐10 jaar USB flash drives, SD/SDHC cards solid-‐Hard drive: 2-‐8 jaar CD/DVD/Blu-‐ray op6cal disk: 2-‐10 jaar Magne6c tape: 10-‐30 jaar
SoXware raakt in onbruik
En hardware raakt in onbruik
En bestandsformaten A,AAM,AAS,ABF,ABK,ACE,ACL,ACM,ACP,ACR,ACT,ACV,AD,ADA,ADB(2),ADD,ADF,ADI,ADM,ADP(2),ADR,ADS,AFM,AF2,AF3,AI,AIF;AIFF,AIFC,AIFF, AIM,AIS(2),AKW,ALAW,ALB,ALL,AMS(2),ANC,ANI,ANS,ANT,API,APR,APS,ARC,ARI,ARJ,ART(5),ASA,ASC(2),ASD,ASE,ASF,ASM,ASO,ASP(3), AST(2),ASV,ASX(3),ATT,AU(2),AVB,AVI,AVR,AVS,AWD,AWR,AXX,A3M,A4M,A4P,A3W,A4W,A5W,BAK,BAS,BAT,BDF,BFC,BG,BGL,BI,BIF,BIFF,BIN,BK; BK$,BKS,BMK,BMP,BM1,BOOK,BOX,BPL,BQY,BRX,BSC,BSP,BS1,BS_,BTM,BUD,BUN,BW,BYU,B4,C,C01,CAB,CAD,CAL(2),CAM,CAP,CAS,CAT,CB, CBI,CCA,CCB,CCF,CCH,CCM,CCO,CCT,CDA,CDF,CDI,CDR(2),CDT,CDX(2),CEL,CER,CFB,CFG,CFM,CGI,CGM,CH,CHK,CHM,CHR,CHP,CHT(2), CIL,CIM,CIN,CK1,CK2,CK3,CK4,CK5,CK6,CLASS,CLL,CLP,CLS,CMD(3),CMF,CMP(2),CMV,CMX,CNF,CNM,CNQ,CNT,COB,COD,COM,CPD(2),CPE, CPI,CPL(2),CPO,CPP,CPR,CPT,CPX,CRD,CRP,CRT,CSC,CSP,CSS,CST,CSV,CT(2),CTL,CUE,CUR,CUT,CV(2),CWK,CWS,CXT,CXX,DAT(3),DB,DBC, DBF,DBX(2),DCM,DCR,DCS,DCT,DCU,DCX(3),DC5,DDF,DDIF,DEF(2),DEFI,DEM,DER,DEWF,DGN,DIB,DIC,DIF,DIG(2),DIR,DIZ,DLG,DLS,DLL,DMF, DOC(5),DOT,DPL,DPR,DRAW,DRV,DRW,DSF,DSG,DSM,DSP,DSQ,DST,DSW,DTD,DTED,DTM,DTF,DUN,DV,DWD,DWG(2),DXF(2),DXR,EDA,EDE, EDD,EDK,EDQ,EDS,EDV,EFA,EFE,EFK,EFQ,EFS,EFV,EMD,EMF,EML,ENC,ENFF,EPHTML,EPS,ER1,ERR,ERX,ESPF,ESPS,EUI,EVY,EWL,EXC,EXE, F,F2R,F3R,F77,F90,FAR,FAV,FAX,FBK,FCD,FDB,FDF,FEM,FFA,FFF,FFL,FFO,FFT,FFX,FH3,FIF,FIG,FITS,FITS,FLA,FLC,FLF(3),FLI,FLT(3),FM,FMB, FML,FMT(2),FMX,FND,FNG,FNK,FOG,FON,FOR,FOT,FP,FP1,FP3,FPT(2),FPX,FRM(6),FRX(2),FRT,FSF,FSL(2),FSM,FT,FTG,FTS,FW2,FW3,FW4,FXP, FZB,FZF,FZV,G721,G723,GAL,GCD,GCP,GDB,GDM,GED(2),GEM,GEN,GetRight,GFC,GFI,GFX,GID,GIF,GIM,GIX,GKH,GKS,GL,GNA,GNT,GNX,GRA, GRD,GRF,GRP,GSM(4),GTK,GT2,GWX,GWZ,GZ,H,HCOM,HDF,HED,HEL,HEX,HGL,HH,HLP(2),HOG,HPJ,HPP,HQX,HST,HT,HTM,HTML,HTT,HTX, HXM,ICA,ICB,ICC,ICL,ICM,ICO,IDB,IDD,IDF,IDQ,IDX(3),IFF,IGES,IGF,IIF,ILBM,IMA,IMG,INC,INF,INI(3),INP,INRS,INS(4),INT,IOF,IQY,ISO,ISP,IST,ISU,IT, ITI,ITS(2),IV,IW,J62,JAR,JAVA,JBF,JFF,JIF,JFIF,JMP,JN1,JPE,JPEG,JPG,JS,JSP,JTF,K25,KAR,KDC,KEY,KFX,KIZ,KKW,KMP,KQP,KR1,KRZ,KSF,KYE, LBM,LBT,LBX,LDB,LDL,LEG,LES,LFT,LHA,LIB,LIN,LIS,LLX,LNK,LOG,LPD,LRC,LSL,LSP,LST,LU,LVL,LWLO,LWOB,LWP,LWSC,LYR,LZH,LZS,M1V,M3D, M3U,MAT,MAC,MAD,MAF,MAG,MAGIC,MAK,MAM,MAN,MAP(2),MAQ,MAR,MAS,MAT,MAUD,MAX(3),MAZ(2),MB1,MBOX,MBX,MCC(2),MCR,MCW, MDA(2),MDB,MDE,MDL(2),MDN,MDW,MDZ,MED,MER,MET,MGF,MHTM,MHTML,MI,MIC,MID,MIF,MIFF,MIM,MIME,MLI,MME,MMF(2),MMM,MMP,MN2, MND;MNI,MNG,MNT,MNX,MOD(3),MOV,MP2,MP3,MPA,MPE,MPEG,MPG,MPP(2),MPR,MP2,MP3,MRI,MSA,MSDL,MSG,MSN(2),MSP,MTM,MUL, MUS,MUS10,MVB,MWP,NAN,NAP,netCDF,NCB,NCD,NCF(2),NDO,NFF,NIL,NIST,NLB,NLM,NLU,NSF,NS2,NST,NTF,NWC,NWS,O01,OBD(2),OBJ,OBZ, OCX,ODS,OFF,OFN,OFT,OKT,OLB,OLE,OOGL,OPL,OPO,OPT,OPX,ORC,ORG,OR2,OR3,ORA,OSS,OST,OTL,P10,P65,P7C,PAB,PAC,PAK,PAL,PAS, PAT(3),PBD,PBF,PBK,PBL,PBM,PBR,PCD(2),PCE,PCL,PCM(2),PCP,PCS,PCT,PCX,PDF(2),PDB,PDQ,PF,PFA,PFB,PFC,PFM,PGL,PGM,PGP,PH, PHTML,PIC(3),PICT,PIF(2),PIG,PIN(2),PIX,PJ,PJX,PJT,PKG,PKR,PL,PLG,PLI,PLM,PLS(2),PLT(3),PM5,PM6,PNG(2),PNT,PNTG,POG,POT,POV,PP4, PPA,PPF,PPM,PPP(2),PPS(2),PPT,PRC,PRE,PRF(2),PRG(2),PRJ,PRN(2),PRS,PRT,PRV,PRZ,PS,PSB,PSD,PSI,PSM(2),PST,PTM,PUB(2),PWD,PWL, PWP,PWZ,PXL,PY,QAD,QBW,QDT,QD3D,QFL,QIC,QIF(2),QLB,QM,QRY,QST,QT,QTI,QTIF,QTM,QTP,QTS(2),QTX,QW,QXD,R,RA,RAM,RAR,RAS, RAW(3),RBH,RDF,RDL,REC(2),REG,RES,RGB;SGI,RFT,RLE,RL2,RM,RMD,RMF,RMI,ROV,RPM,RPT,RRS,RSL,RTF,RTM,RTK,RTS(2),RUL,RVP,RXX, S,S3I,S3M,SAM(2),SAV,SB,SBK,SBL,SC2(2),SCC,SCD(2),SCF,SCH,SCI,SCN,SCP,SCR(2),SCT(3),SCT01,SCV,SCX,SD,SD2(2),......................
En soms gaat het wel eens mis ….
16
Informa6e verdwijnt (1) Laatste kans: download vandaag nog je Hyves-‐gegevens November 2013
Informa6e verdwijnt (2) • 1086: Willem de Veroveraar • 1986: gegevens over Britse bevolking verzameld en bewaard op “ state-‐of-‐the-‐art” laser disks • Na 20 jaar zowel drager als hardware onbruikbaar
18
19
Informa6e verdwijnt (4) Link-‐rot • 1 op de 5 wetenschappelijke ar=kelen heeG last van reference-‐rot – – – –
URI waarnaar gerefereerd is er niet meer (link-‐rot) De content is gewijzigd (content driG) Na 1 jaar: 10-‐15% van de links zijn dood Na 5 jaar is dat 40%
• Wetenschappelijke =jdschriGen wetgeving – 70% van de links werkten niet meer in 2014 – Uitspraken hooggerechtshof VS: 50% werkten de links niet meer
• Webadressen veranderen – www.gahetna.nl – www.na=onaalarchief.nl
Hoe erg is dat? -‐ Toegankelijkheid van informa=e is in gevaar -‐ Cultureel erfgoed gaat verloren -‐ Bedreiging voor wetenschappelijk onderzoek -‐ Valida=e en reproduc=e van onderzoeksresultaten is niet meer mogelijk -‐ Authen=citeit van informa=e valt niet meer vast te stellen -‐ Controle op de overheid wordt moeilijker -‐ Financiële consequen=es -‐ Vertrouwen
“Perhaps the biggest challenge in sharing data is trust: how do you create a system robust enough for scien6sts to trust that, if they share, their data won’t be lost, garbled, stolen or misused?”
We moeten dus iets doen
23
We werken hier al een 6jdje aan In 1995 begon men voor het eerst na te denken over de lange termijn toegang tot digitale informa=e. In het begin vooral in technische oplossingen Anno nu • We hebben veel kennis opgedaan in de afgelopen jaren • En ervaring • We hebben systemen en tools • We ontwikkelen door
En ook -‐ Digitale duurzaamheid is duur -‐ Vraagt om specialis=sche kennis -‐ En om de juiste organisa=e en afspraken
Duurzaam toegankelijk houden van ….
25
Wat we hebben Organisa6es met digitale collec6es (n = 141)
Organisa6es verzamelen born digital erfgoed(n = 98)
Nee 12% Ja 47%
Ja 88% (European average: 87%)
Nee 53%
(European average: 53%)
Wat we (nog) niet hebben … Is er beleid voor duurzame toegang? (n = 101)
Betrokken in een infrastructuur voor duurzame toegang (n = 96)
ja 36%
nee 64%
(Europees gemiddelde: 26%)
ja 27%
nee 73%
(Europees gemiddelde: 30%)
Wat zijn de oplossingsrich6ngen? • • • • • • •
Migra=e Emula=e Veilig een redundant opslaan (LOCKSS) Repareren Digitale archeologie Digital forensics uitprinten
Overal valt wel iets tegen in te brengen …. • Het is te duur en we hebben geen structurele middelen hiervoor • We worden al gekort op ons budget • Het is technisch te ingewikkeld • We hebben onvoldoende kennis in huis • We hebben er de infrastructuur niet voor • Het is niet nodig want we hebben géén digitale spulletjes • Dat doen anderen toch al …..
Het vak ontwikkelt snel
Technische oplossingen
Incrementele oplossingen
• Bewaren van originele hardware en soGware • Vernieuwen opslagmedia
• Migra=e • Emula=e
Analy6sche oplossingen • Digitale archeologie • Digital forensics
Digitaal duurzame objecten
Gemeenschappelijke taal
32
Samenwerking is noodzakelijk
Domeinen
33
Na6onale Coali6e Digitale Duurzaamheid Samen bouwen aan de toekomst van ons digitale geheugen
Zorgen voor een stabiele organisatorische en technische infrastructuur die het behoud en de duurzame toegankelijkheid garandeert van digitale informa6e die van cruciaal belang is voor wetenschap, cultuur en samenleving.
Over de NCDD Opgericht in 2008 als ini=a=ef om samenwerking op gebied van duurzame toegang te bevorderen Leden • Data Archiving and Networked Services -‐ DANS • Koninklijke Bibliotheek -‐ KB • Na=onaal Archief -‐ NA • Nederlands Ins=tuut voor Beeld & Geluid -‐ NIBG • Culturele Coali=e Digitale Duurzaamheid -‐ CCDD 2009: Na6onale verkenning • Welke digitale collec=es hebben we? • Wat wordt goed beheerd, wat loopt risico’s? • Hoe zouden we de risico’s kunnen verminderen? • Waar wordt samengewerkt?
Een aantal conclusies • Er wordt veel verzameld (maar ook nog veel niet) • Nog maar een klein deel daarvan wordt duurzaam beheerd • Er zijn nog nauwelijks voorzieningen of diensten voor digitale duurzame toegang • Men is zich te weinig bewust van de risico’s • Er is een tekort aan kennis en exper=se • Verantwoordelijkheden zijn niet goed afgebakend Nodig is • Een gezamenlijk gedragen infrastructuur • Diensten waarvan gebruik gemaakt kan worden • Meer kennis en ervaring • Delen van bestaande kennis en ervaringen
Een strategische agenda voor Nederland Rollen en verantwoordelijkhe Transparante den in kostenstructuur collec6evorming
Schaalbare en bruikbare voorzieningen
Kennisuitwisseling
De rollen van de NCDD
Plagorm • Bewustwording • Kennisuitwisseling • Kennisontwikkeling • Opleiding & training
Aanjager • Ini=ëren en coördineren • Na=onale infrastructuur • Bouwstenen
Brug • Ontwikkelingen • Samenwerking • Europese agenda
Kri6sche denkkracht • Beleidsvorming
Gezamenlijk wat kan, individueel wat moet Samen • Efficiency (bijv. bij ontwikkeling preserveringsaanpak) • Betere kennisdeling • Betere benu{ng resultaten en investeringen • Betere aanslui=ng op grote digitale ontwikkelingen Domein • De aard en ontslui=ng van het digitale materiaal • De herkomst van het materiaal • Verantwoordelijkheden (weAelijk ingekaderd) • Specifieke (B2B) dienstverlening • Veel par=jen / grote versnippering binnen domeinen • Financieringsstromen
Samenwerking op kernthema’s
Bouwstenen voor landelijke infrastructuur
41
De oogst van een jaar samenwerken h?p://ncdd.nl/ar6kel/?id=231
De oogst als zaaigoed de volgende stappen
44
Netwerk Digitaal Erfgoed Koninklijke Bibliotheek Kleine organisa=es
DEN
Rijksdienst Cultureel Erfgoed
Na=onaal Archief
KNAW
Beeld en Geluid
NCDD 45
Na6onale Strategie Digitaal Erfgoed
Na6onale Strategie Digitaal Erfgoed • Ontwikkelen van een na=onale, domeinovers=jgende infrastructuur voor digitaal erfgoed • Focus op de gebruiker: – Toegankelijkheid van collec=es – Iden=fica=e van gebruikers en gebruikersvragen • Focus op de organisa6es: – Gemeenschappelijke aanpak – Geleid door voortrekkers binnen domeinen – Afstemming van rollen en verantwoordelijkheden – Samenbindend effect 47
Wat verwachten we • Beter gebruik en zichtbaarheid van digitale collec=es • Economies of scale • Hergebruik van voorzieningen • Domeinovers=jgende samenwerking • Horizontale en ver=cale samenwerking • Geen 1.000 bloeiende bloemen meer …
48
49
Wat gaan we doen? Digitaal Erfgoed Houdbaar
Schaalbare en bruikbare voorzieningen
A.1 Gedistribueerde voorzieningen
Transparante kostenstructuur
B.1 Inzicht in kosten
Rollen en verantwoordelijkheden
C.1 Use cases collec6evorming
A.2 Persistent Iden6fiers
C.2 Duurzaamheidsbeleid
A.3 SoXware Repository
C.3 Cer6ficering C.4 Preserva6on netwerk
Doel Door domeinovers=jgende samenwerking gezamenlijke voorzieningen tot stand brengen waarin duurzame toegang tot digitale informa=e gegarandeerd is. •
Uitgangspunt hierbij is dat samenwerking leidt tot het verhogen van de effec6viteit en tot een grotere efficiën6e en kostenreduc6e.
•
Rekening houdend met verschil in verantwoordelijkheden, rollen, snelheden, aanwezige kennis en beschikbare middelen.
54
Tot slot • Digitale informa=e heeG waarde, maar is kwetsbaar • Wat we nodig hebben: • Bewustwording • Kennis (uitwisseling) • Techniek: Systemen, tools • Visie en Beleid • Structurele middelen • En organisa=e/afspraken • Samenwerking is noodzakelijk Digitale duurzaamheid gaat over mensen, oplossingen en samenwerking 55
Maar dark is het zeker niet!
57
Meer weten? Marcel Ras Programmamanager NCDD
[email protected] 06 1477 76 71 www.ncdd.nl LinkedIn: hAp://www.linkedin.com/pub/marcel-‐ras/6/78/b23 NCDD projecten: h?p://ncdd.nl/ncddprojecten/ Schrijf je in voor de nieuwsbrief Digitale Duurzaamheid in Nederland hAp://ncdd.nl/nieuwsbrief/ 58
