Hoe selecteer je preserveringstools? Sara van Bussel Koninklijke Bibliotheek
Hoe selecteer je preserveringstools? Het probleem van digitale duurzaamheid Types digitale preservering Preserveringstools in Planets Planets Core Registry
Het probleem van digitale duurzaamheid
Verval van het opslag medium
Veroudering van het opslag medium
Veroudering van de hardware
Veroudering van bestandsformaten A,AAM,AAS,ABF,ABK,ACE,ACL,ACM,ACP,ACR,ACT,ACV,AD,ADA,ADB(2),ADD,ADF,ADI,ADM,ADP(2),ADR,ADS,AFM,AF2,AF3,AI,AIF;AIFF,AIFC,AIFF, AIM,AIS(2),AKW,ALAW,ALB,ALL,AMS(2),ANC,ANI,ANS,ANT,API,APR,APS,ARC,ARI,ARJ,ART(5),ASA,ASC(2),ASD,ASE,ASF,ASM,ASO,ASP(3), AST(2),ASV,ASX(3),ATT,AU(2),AVB,AVI,AVR,AVS,AWD,AWR,AXX,A3M,A4M,A4P,A3W,A4W,A5W,BAK,BAS,BAT,BDF,BFC,BG,BGL,BI,BIF,BIFF,BIN,BK; BK$,BKS,BMK,BMP,BM1,BOOK,BOX,BPL,BQY,BRX,BSC,BSP,BS1,BS_,BTM,BUD,BUN,BW,BYU,B4,C,C01,CAB,CAD,CAL(2),CAM,CAP,CAS,CAT,CB, CBI,CCA,CCB,CCF,CCH,CCM,CCO,CCT,CDA,CDF,CDI,CDR(2),CDT,CDX(2),CEL,CER,CFB,CFG,CFM,CGI,CGM,CH,CHK,CHM,CHR,CHP,CHT(2), CIL,CIM,CIN,CK1,CK2,CK3,CK4,CK5,CK6,CLASS,CLL,CLP,CLS,CMD(3),CMF,CMP(2),CMV,CMX,CNF,CNM,CNQ,CNT,COB,COD,COM,CPD(2),CPE, CPI,CPL(2),CPO,CPP,CPR,CPT,CPX,CRD,CRP,CRT,CSC,CSP,CSS,CST,CSV,CT(2),CTL,CUE,CUR,CUT,CV(2),CWK,CWS,CXT,CXX,DAT(3),DB,DBC, DBF,DBX(2),DCM,DCR,DCS,DCT,DCU,DCX(3),DC5,DDF,DDIF,DEF(2),DEFI,DEM,DER,DEWF,DGN,DIB,DIC,DIF,DIG(2),DIR,DIZ,DLG,DLS,DLL,DMF, DOC(5),DOT,DPL,DPR,DRAW,DRV,DRW,DSF,DSG,DSM,DSP,DSQ,DST,DSW,DTD,DTED,DTM,DTF,DUN,DV,DWD,DWG(2),DXF(2),DXR,EDA,EDE, EDD,EDK,EDQ,EDS,EDV,EFA,EFE,EFK,EFQ,EFS,EFV,EMD,EMF,EML,ENC,ENFF,EPHTML,EPS,ER1,ERR,ERX,ESPF,ESPS,EUI,EVY,EWL,EXC,EXE, F,F2R,F3R,F77,F90,FAR,FAV,FAX,FBK,FCD,FDB,FDF,FEM,FFA,FFF,FFL,FFO,FFT,FFX,FH3,FIF,FIG,FITS,FITS,FLA,FLC,FLF(3),FLI,FLT(3),FM,FMB, FML,FMT(2),FMX,FND,FNG,FNK,FOG,FON,FOR,FOT,FP,FP1,FP3,FPT(2),FPX,FRM(6),FRX(2),FRT,FSF,FSL(2),FSM,FT,FTG,FTS,FW2,FW3,FW4,FXP, FZB,FZF,FZV,G721,G723,GAL,GCD,GCP,GDB,GDM,GED(2),GEM,GEN,GetRight,GFC,GFI,GFX,GID,GIF,GIM,GIX,GKH,GKS,GL,GNA,GNT,GNX,GRA, GRD,GRF,GRP,GSM(4),GTK,GT2,GWX,GWZ,GZ,H,HCOM,HDF,HED,HEL,HEX,HGL,HH,HLP(2),HOG,HPJ,HPP,HQX,HST,HT,HTM,HTML,HTT,HTX, HXM,ICA,ICB,ICC,ICL,ICM,ICO,IDB,IDD,IDF,IDQ,IDX(3),IFF,IGES,IGF,IIF,ILBM,IMA,IMG,INC,INF,INI(3),INP,INRS,INS(4),INT,IOF,IQY,ISO,ISP,IST,ISU,IT, ITI,ITS(2),IV,IW,J62,JAR,JAVA,JBF,JFF,JIF,JFIF,JMP,JN1,JPE,JPEG,JPG,JS,JSP,JTF,K25,KAR,KDC,KEY,KFX,KIZ,KKW,KMP,KQP,KR1,KRZ,KSF,KYE, LBM,LBT,LBX,LDB,LDL,LEG,LES,LFT,LHA,LIB,LIN,LIS,LLX,LNK,LOG,LPD,LRC,LSL,LSP,LST,LU,LVL,LWLO,LWOB,LWP,LWSC,LYR,LZH,LZS,M1V,M3D, M3U,MAT,MAC,MAD,MAF,MAG,MAGIC,MAK,MAM,MAN,MAP(2),MAQ,MAR,MAS,MAT,MAUD,MAX(3),MAZ(2),MB1,MBOX,MBX,MCC(2),MCR,MCW, MDA(2),MDB,MDE,MDL(2),MDN,MDW,MDZ,MED,MER,MET,MGF,MHTM,MHTML,MI,MIC,MID,MIF,MIFF,MIM,MIME,MLI,MME,MMF(2),MMM,MMP,MN2, MND;MNI,MNG,MNT,MNX,MOD(3),MOV,MP2,MP3,MPA,MPE,MPEG,MPG,MPP(2),MPR,MP2,MP3,MRI,MSA,MSDL,MSG,MSN(2),MSP,MTM,MUL, MUS,MUS10,MVB,MWP,NAN,NAP,netCDF,NCB,NCD,NCF(2),NDO,NFF,NIL,NIST,NLB,NLM,NLU,NSF,NS2,NST,NTF,NWC,NWS,O01,OBD(2),OBJ,OBZ, OCX,ODS,OFF,OFN,OFT,OKT,OLB,OLE,OOGL,OPL,OPO,OPT,OPX,ORC,ORG,OR2,OR3,ORA,OSS,OST,OTL,P10,P65,P7C,PAB,PAC,PAK,PAL,PAS, PAT(3),PBD,PBF,PBK,PBL,PBM,PBR,PCD(2),PCE,PCL,PCM(2),PCP,PCS,PCT,PCX,PDF(2),PDB,PDQ,PF,PFA,PFB,PFC,PFM,PGL,PGM,PGP,PH, PHTML,PIC(3),PICT,PIF(2),PIG,PIN(2),PIX,PJ,PJX,PJT,PKG,PKR,PL,PLG,PLI,PLM,PLS(2),PLT(3),PM5,PM6,PNG(2),PNT,PNTG,POG,POT,POV,PP4, PPA,PPF,PPM,PPP(2),PPS(2),PPT,PRC,PRE,PRF(2),PRG(2),PRJ,PRN(2),PRS,PRT,PRV,PRZ,PS,PSB,PSD,PSI,PSM(2),PST,PTM,PUB(2),PWD,PWL, PWP,PWZ,PXL,PY,QAD,QBW,QDT,QD3D,QFL,QIC,QIF(2),QLB,QM,QRY,QST,QT,QTI,QTIF,QTM,QTP,QTS(2),QTX,QW,QXD,R,RA,RAM,RAR,RAS, RAW(3),RBH,RDF,RDL,REC(2),REG,RES,RGB;SGI,RFT,RLE,RL2,RM,RMD,RMF,RMI,ROV,RPM,RPT,RRS,RSL,RTF,RTM,RTK,RTS(2),RUL,RVP,RXX, S,S3I,S3M,SAM(2),SAV,SB,SBK,SBL,SC2(2),SCC,SCD(2),SCF,SCH,SCI,SCN,SCP,SCR(2),SCT(3),SCT01,SCV,SCX,SD,SD2(2),......................
Veroudering van software
Veroudering van besturingssystemen
OS/2 Warp 4.0 (1996)
Types digitale preservering
Digitale duurzaamheid in Planets
Logische preservering: aanpak van het probleem van de toegang tot bit streams, die voor hun interpretatie afhankelijk zijn van op verouderde besturingssytemen, software of bestandsformaten
Preservering door middel van: Migration Emulation
Migratie
Relatie tussen verschillende activiteiten
Migratie Migratie Software Software GAP GAP Analyse Analyse Emulatie Emulatie Software Software
Planets Planets Core Core Registry Registry
Migratie Migratie = Het object veranderen Het object is beschikbaar in de huidige omgeving Het is eenvoudig om de informatie te hergebruiken
Tijd Risico’s: • Migratie acties kunnen fouten opleveren met betrekking tot: • Inhoud • Functionaliteit • Kwaliteit
WP5.1 -> Word 95 -> Word 97 -> Word XP -> …
Migratie en digitale archivering
Migratie Migratiebij bij toegang toegang
Migratie Migratie
Normalisatie Normalisatie
Ingest Ingest
Archival ArchivalStorage Storage
Access Access
Emulatie
Relatie tussen verschillende activiteiten
Migratie Migratie Software Software GAP GAP Analyse Analyse Emulatie Emulatie Software Software
Planets Planets Core Core Registry Registry
Emulatie – Windows 2000 in Windows XP
Emulatie Emulatie = het veranderen van de omgeving Authentieke omgeving (en dus ook functionaliteit) Geen veranderingen van het object nodig.
Tijd Risico’s: • Technisch ingewikkeld • Gebruiker moet originele omgeving kunnen gebruiken
Emulatie
Een emulator emuleert een hardware omgeving Het originele besturingssysteem en de originele software zijn nog steeds nodig om de objecten te kunnen openen Digitale Digitaleobjecten objecten Originele Originelesoftware software Emulator Emulator Computer Computer
Emulatie voor digitale duurzaamheid kent specifieke eisen.
Emulation for digital preservation
Emulatie – Gebruik
Weergave oude websites Gebruik emulatie om websites uit een webarchief weer te geven
Openen oude bestanden WordPerfect bestanden Bestanden met geografische data Databases
Uitvoeren oude programma’s
Spelletjes, die steeds meer onderdeel zijn van collecties Wetenschappelijke applicaties Multimedia applicaties Digitale kunst
Spellen met behulp van emulatie toegankelijk
Migratie door middel van emulatie
Ook migratie software zal verouderen Een emulator kan een combinatie van hardware, besturingssysteem en software draaien om verouderde migratie software te laten werken.
Emulatie en digitale archivering Normalizatie Normalizatie d.m.v. d.m.v. Emulatie Emulatie
Migratie Migratie d.m.v. d.m.v. Emulatie Emulatie
Migratie Migratie d.m.v. d.m.v. Emulatie Emulatie
Ingest Ingest
Archival ArchivalStorage Storage
Access Access
Emulatie Emulatie
Preserveringstools in Planets Gap analyse
Relatie tussen verschillende activiteiten
Migratie Migratie Software Software GAP GAP Analyse Analyse Emulatie Emulatie Software Software
Planets Planets Core Core Registry Registry
Analyse van beschikbare tools
Inventarisatie van bestandsformaten in bestaande collecties, archieven en data archieven Inzicht in de vraag naar preserveringstools 137 verschillende bestandsformaten, 76 instituten Bestandsformaten die het meeste voorkomen bij drie soorten instituten Archieven
Bibliotheken
Musea
TIFF
29%
23%
29%
JPG
23%
26%
29%
PDF
17%
20%
17%
XML
17%
14%
DOC
14%
MP3 HTML
17%
13% 13%
File format
( JP v er G sio n ( PD v ers no io t s F XM (ve n n pec L rsio ot s i fied (S pe ) ub n n ci o f ty D pe t sp ied ) O no ec i C (M t s fi e S pe d) W ci fie or d, d) G v er M IF sio P ( 3 Ve n M n P W o r EG sio ts A (v n n pe V H TM er ot ci f sp ied L s io n ) (v no eci f er i si on t s p ed) no eci t s fie pe d ) ci fi e d) TX T AV M I P EG (2 ) PN G XL S M D B PP T BM P PD F/ A
TI FF
Number of occurences
Analyse van beschikbare tools Number of institutions that store each file format
60
50
40
30
20
10
0
Wat betekent dit?
Slechts 22% van alle bestandsformaten is gearchiveerd in vier of meer instituten. De meeste preserveringstools zijn voor de “grote” bestandsformaten, maar: DAISY: Audioboeken voor blinden en slechtzienden Gearchiveerd door enkele instituten maar met een grote internationale gebruikersgroep Problemen door het uitbrengen van een nieuwe versie van het formaat worden door het consortium zelf opgelost Bladmuziek: Veel verschillende formaten Veel commerciële bedrijven met eigen formaten Door fragmentatie van de markt geen centrale oplossing FITS: Astronomische data Ontwikkeld en gebruikt door wetenschappelijke organisaties Problemen met betrekking tot digitale duurzaamheid worden door de gebruikers zelf opgelost
Analyse – conclusies en aanbevelingen
57 migratie tools bekend bij en gebruikt door Planets Partners Voor negen file formaten uit de top tien is er een migratie tool beschikbaar Voor XML is geen tool beschikbaar, maar XML is vaak het output file format
Missen er tools? Nee, want sommige tools zijn extreem flexibel doordat zij gebruik maken van wrapping, printen of emulatie Ja, want het kan zijn dat specifieke eisen van een organisatie niet kunnen worden ingewilligd door de beschikbare tools
Deze analyse zou periodiek opnieuw moeten worden gedaan in verband met nieuwe informatie en ontwikkelingen
Preserveringstools in Planets Services
Preserveringstools en Planets
De lijst met preserveringstools wordt geprioriteerd op basis van de eerder besproken analyse
De preserveringstool wordt getest
De preserveringstool wordt geschikt gemaakt als service
De service wordt getest
De service wordt geïntegreerd in de Planets omgeving
Migratie – Tools die geschikt zijn gemaakt voor de Planets omgeving
AbiWord AviDemux Dia Extractor (XcdlMigrate) ffMpeg FloppyImageHelper Ghostscript Gimp GraphicsMagickMigrate ImageMagick Im4JavaImageMagischMigrate InkScape Jasper 19 Java-SE
JJ2000 Jtidy Mdb2Siard MsgText NetPBM OpenJpeg Pdf2PdfAMayComputer Pdf2Ps PdfBox Ps2Pdf SanseIanMigrate SoX Xena
Emulatie – Tools die geschikt zijn gemaakt voor de Planets omgeving
Migratie door middel van emulatie ARJ (archief formaat) met behulp van Dioscuri (emulator) PNM naar PNG met behulp van Dioscuri GIF met behulp van Universal Virtual Computer
Emulatie CreateView met behulp van GRATE
Planets Core Registry
Relatie tussen verschillende activiteiten
Migratie Migratie Software Software GAP GAP Analyse Analyse Emulatie Emulatie Software Software
Planets Planets Core Core Registry Registry
Planets Core Registry
Gebasseerd op Pronom Bestaande bestandsformaten database ontwikkeld en beheerd door The National Archives van Engeland
Gecombineerde database voor preserveringstools en bestandsformaten Bevat informatie over:
Bestandsformaten Software Hardware Opslag media
Relaties van de Planets Core Registry Test resultaten van het Testbed kunnen worden opgeslagen in de registry. Testbed Testbed
Plato kan informatie over bestandsformaten en preserveringstools opvragen uit de registry. Plato Plato
PCR PCR
Algemeen Algemeen gebruiker gebruiker Een algemene gebruiker kan via de website zoeken naar informatie uit de registry.
Systeem Systeem gebruiker gebruiker Applicaties kunnen Web services gebruiken om toegang te krijgen tot de informatie in de registry.
Planets Core Registry
De data in de Core Registry wordt gecontroleerd en geverifieerd Het kompleet en up to date houden van de data zal een taak zijn van de hele community De hele community heeft hier profijt van
Bedankt voor uw aandacht
Vragen?
[email protected]