TECHNOLOGICKÝ LIST čís. 73 poloprovozu ověřené technologie prototypu uplatněné metodiky funkčního vzorku autorizovaného software* Název: Plnění datového úložiště historických varhan OrgDb vzdáleným přístupem Title: Filling data repository of historical organs OrgDb with remote access Původce (-i): Zdeněk Otčenášek, Stanislav Toula, Vladimír Šmilauer Vlastník (-ci): Akademie múzických umění v Praze, Hudební fakulta, Výzkumné centrum MARC Lokalizace: 118 00 Praha 1, Malostranské nám 13 Abstrakt: Plnění datového úložiště historických varhan OrgDb vzdáleným přístupem bylo prováděno v poloprovozním režimu. V poloprovozu byla ověřována dlouhodobá úplnost přenášených a následně archivovaných údajů, bezchybnost jednotlivých záznamů na odpovídajících místech databáze a správnost údajů čtených v jednotlivých oknech v aplikaci pro prohlížení databáze OrgDbonline. Testovány byly i přístupy z jednotlivých web prohlížečů a průměrné doby odezvy při zobrazování v aplikaci. Poloprovoz úspěšně ověřil bezchybnost funkčnosti aplikace ve všech sledovaných kritériích. Abstract: The data repository of historical organs OrgDb was filled using remote access in a pilot plan scheme. In the pilot plan, the aim was to verify a long-term completeness of transmitted and subsequently archived data, correctness of individual entries at the appropriate places of database and accuracy of the data read in the individual windows of the application allowing viewing database OrgDbonline. The access from various web browsers and average response times needed to view data in the application were also tested. The pilot plan successfully verified the correctness of application in all tested criteria. Popis: Viz Příloha k TL č. 73 Inovační aspekty: V poloprovozu bylo ověřeno, že aplikace OrgDb úspěšně dovoluje plnění datového úložiště daty a následnou práci s archivovanými údaji z různých míst vzdáleným způsobem přes webové rozhraní OrgDbon-line. Údaje z dokumentací historických varhan „in situ“ (ty spočívají v uskutečnění detailního průzkumu varhanního stroje, varhanní skříně a píšťalového fondu, 1
s ohledem na zvukovou podobu varhan, dále v objektivní akustické dokumentaci zvuku všech píšťal a v dokumentaci akustických vlastností prostoru s varhanami) je možné úspěšně využívat v praxi. Přínosy: Úspěšně bylo v poloprovozním režimu ověřeno plnění a používání datového úložiště OrgDbon-line údaji z celoúzemních komplexních dokumentací historických varhan prováděných podle jednotných pravidel. Ověřená web aplikace je tak připravena jako účinná pomůcka pro používání v efektivní správní a ochranné péči, pro badatelskou činnost jak hudební a umělecko historickou, tak i technickou a pro plánování a provádění oprav či restaurování historických varhan. Databázová evidence a archivace stavu a historie varhan přístupná přes webové rozhraní je v tomto rozsahu unikátní. V péči o historické varhany se jedná o zásadní inovaci. Licence: Využití výsledků jiným subjektem je v některých případech možné bez nabytí licence (kód P). Souhlas k používání uděluje NPÚ a MARC HAMU. Pro instalaci OrgDb je vyžadován souhlas MARC HAMU Praha. Licenční poplatek: Poskytovatel licence OrgDb nepožaduje v některých případech licenční poplatek. Nabytí licence k datům je nutné v některých případech. Obor: Umění, architektura, kulturní dědictví – AL Projekt: NAKI DF12P01OVV012 Identifikační číslo RIV: Poznámky: *nehodící se škrtněte
2
Příloha k TL č. 73 Plnění datového úložiště historických varhan OrgDb vzdáleným přístupem Abstrakt: Plnění datového úložiště historických varhan OrgDb vzdáleným přístupem bylo prováděno v poloprovozním režimu. V poloprovozu byla ověřována dlouhodobá úplnost přenášených a následně archivovaných údajů, bezchybnost jednotlivých záznamů na odpovídajících místech databáze a správnost údajů čtených v jednotlivých oknech v aplikaci pro prohlížení databáze OrgDbonline. Testovány byly i přístupy z jednotlivých web prohlížečů a průměrné doby odezvy při zobrazování v aplikaci. Poloprovoz úspěšně ověřil bezchybnost funkčnosti aplikace ve všech sledovaných kritériích.
Údaje pro RIV: Umístění: http://zvuk.hamu.cz/vyzkum/publikacni.php Bližší upřesnění výsledku: poloprovoz Interní kód produktu: poloprovoz OrgDb on-line Číselná identifikace: TL 73 Technické parametry výsledku: Technické parametry viz. TECHNOLOGICKÝ LIST č. 73 (vydán r. 2015 Výzkumným centrem MARC, HAMU v Praze). Smlouva MARC HAMU a NPU o používání software na serveru NPU Telč uzavřena. Ekonomické parametry výsledku: Poloprovozem úspěšně ověřeno, že plnění databáze OrgDb dovoluje práci s archivovanými daty z různých míst vzdáleným způsobem přes webové rozhraní OrgDbon-line. IĆ: 61384984
Stát: CZ
Vlastník: Akademie múzických umění v Praze a Národní památkový ústav v Praze Povinnost licence: P/Z – povinné někdy Povinnost odvést licenční poplatek: A – povinné někdy
-1-
ÚVOD Plnění datového úložiště historických varhan OrgDb vzdáleným přístupem bylo prováděno v poloprovozním režimu v období leden až duben 2015. V poloprovozu bylo ověřováno vkládání a vybavování dat získaných z 5 dokumentovaných varhan. K přenosu dat mezi OrgDboff-line aplikacemi dokumentátora a centrálou bylo využito FTP protokolu. Ke vkládání na úložiště v Telči bylo využito přístupu přes aplikaci TeamViewer10. Přístup byl zřízen administrátorem. V průběhu listopadu byl testován variantní přenos většího množství akustických dat (30 varhan) nahráním zvukových adresářů na přenosný pevný disk, jeho přepravou do Telče a tam přehrání souborů administrátorem přímo na server. Všechny varianty se ukázaly být plně funkční. Jejich vhodnost a volba závisí na konkrétních podmínkách a objemech přenášených dat. Před nahráním zvuků bylo třeba v souladu s postupem pro OrgDboff-line provést normalizaci obsahu adresářů a jmen souborů, aby byly eliminovány případné formální chyby. Ty mohou vzniknout jednak při přenosu dat z prostředí MS Windows, kde běží OrgDboff-line aplikace, do webového prostředí, ve kterém systém souborů rozlišuje velká a malá písmena. A jednok nelze s ohledem na rozdílné chování prohlížečů od různých výrobců používat v názvech adresářů a souborů některé znaky, které mohou být použity v názvech adresářů a souborů z prostředí Windows. Normalizace zajistí vypuštění nebo náhradu takových znaků znaky obecně přijatelnými a normalizuje formát názvů a velikost písmen v názvech souborů akustických měření. Typickými problémy v pojmenovávání souborů měření bylo použití uvozovek a lomítek jako znaků pro vyjádření stopové délky, např.: 1 a 1/3“ nebo jména píšťaly jako G#. V průběhu poloprovozního režimu byla upřesněna pravidla pro pojmenovávání a aplikace již některé znaky umí sama nahradit v automatickém a nebo poloautomatickém režimu. Například vypouští uvozovky pro označení stopové délky, nahrazuje malá písmena v názvech souborů za velká, klávesy s křížkem (G#) rozepíše (GIS). I organologická data jsou před exportem podrobena kontrole obsahu, protože kriteria pro zajištění úspěšného importu dat do webové OrgDbon-line aplikace jsou přísnější, než kritéria aplikovaná na data v OrgDboff-line aplikace, která ma charakter aplikace pracovní. Jelikož se jednotlivé webové prohlížeče liší ve svém zobrazování, byly po naplnění daty testovány i přístupy k OrgDbonline a k uloženým souborům akustickýxh měření v nejrozšířenějších webových prohlížečích. Testovány byly prohlížeče Mozzila FireFox, Google Chrome, MS Internet explorer verze 9, 10 a 11.
1 Dlouhodobá úplnost přenášených dat Plnění organologickými daty V off-line verzi programu OrgDb byl dle postupu uvedeném v „TL 68 Metodika plnění komplexního datového úložiště OrgDbonline“ vydaném MARC HAMU v Praze v r. 2014 proveden export dat. Export proběhl funkcí „Export do centra“ v definované struktuře do předem nastavených adresářů. Z nich byla data přenesena pomocí FTP protokolu správci dat v centrále kde byla importována do jeho OrgDboff-line aplikace. Tam se předpokládá, že budou data shromnažďována. Následně byl proveden „export pro web“, Než je export proveden, program provede kontrolu konzistence dat a zobrazí problémová pole a hodnoty, která by mohly být příčinou neúspěchu importu dat na straně OrgDbonline. Schema přenosů představuje Obr. 1. -2-
Obr. 1 Schema způsobu přenosů OrgDboff-line organologických dat (zde od Dokumentátora 1 až N) a akustických dat (zde od pořizovatele akustické dokumentace HAMU) do OrgDboff-line v centru a jejich plnění do komplexního datového úložiště OrgDbon-line na webovém serveru.
Program zkomprimoval veškerá data a přílohy, dokumenty a fotky, k vybraným varhanám a vytvořil z nich pro každé jednotlivé varhany jeden archivní soubor s příponou „.arc“ (měl v názvu 4 místné ID varhan (např. sv. Jiří dostal ID 0001, název souboru s exportovanými daty byl 0001.arc).
Soubory v poloprovozu byly zkušebně přenášeny jednak pomocí FTP protokolu, jednak aplikací TeamViewer. Data dosahovala i několik set MB, hlavně v závislosti na počtu a kvalitě pořízených fotografií). Rychlost a spolehlivost úspěšného dokončení přenosu byla zcela závislá na kvalitě místního připojení a na velikosti dat, takže nemá smysl uvádět čísla. Při velkém počtu fotografií a pomalém připojení jsou přenosové časy i v řádu hodin. Ukázalo se, že pro velké objemy dat při špatné kvalitě připojení je vhodnější velké soubory rozdělit do několika menších. Pokud by přenos jednoho velkého zabaleného souboru selhal („spadnul“), bylo by nutné jej celý přenášet znova od začátku. Pokud spadne spojení v polovině přenosu dávky, kdy jsou data rozdělena na -3-
menší soubory, stačí již přenést jen nepřenesenou část souborů (ve většině případů však přenos probáhal bez výpadků). Soubory s příponou „.arc“ byly umístěny do adresáře „Import“ v adresáři počítače v centrále, s aplikací OrgDboff-line.
Po výběru funkce Import a odpovídajícího souboru .arc došlo stisknutím tlačítka „otevřít“ k OrgDboff-line vložení do databáze. Po zkontrolování ID a názvu varhan, že se jedná skutečně o import požadovaných varhan, byl proveden jejich převod do OrgDbon-line (šlo o ochranu databáze, aby nebyly nenávratně přehrány data jiných varhan daty varhan s omylem zadaným identickým ID). V aplokaci OrgDboff-line na centále jsou data od jednotlivých dokumentátorů shromažďována, kontrolována a pak exportováno do OrgDbon-line aplikace, která zajišťuje zobrazení na web Zkontrolovaná data byla exportována funkcí „Export pro web“ z OrgDboff-line adresářů do adresářů sdílených s on-line verzí (sdílení adresářů bylo nastaveno v konfiguračním (ini) souboru aplikace OrgDboff-line). Data tak byla přenesena do datového adresáře ve formátu „SQL“, textové a obrazové přílohy byly přeneseny jako soubory ve svém přirozeném formátu, tedy „txt“, „bmp“ či „jpg“ a ve stejné jmenné konvenci jako v off-line verzi OrgDboff-line (výjimku tvořily soubory formátu „rtf“, které aplikace konvertuje do formátu „html“). Při exportu sestavuje program hlášení o problematických položkách, které by mohli zamezit úspěšnému impotu do webové databáze. Výsledkem je soubor FinalList, který generuje šest kategorií hlášení: 1) Soubory v adresáři "Prilohy", bez odkazu v databázi : Seznam souborů příloh (fotografií, textů, nákterů), které byly k varhanům připraveny, ale nebyly korektně připojeny k databázi. Takové soubory se nepřenesou do Online verze. 2) Soubory v adresáři "Prilohy", s vícenásobnými odkazy v databázi: Seznam souborů příloh, které jsou registrovány ve více než jedné kategorii příloh. Je to jen varování na možný nestandardní stav. Soubory budu přeneseny do Online. 3) Databázové záznamy k nimž neexistují soubory v adresáři Příloh. Seznam odkazů na přílohy, které jsou registrované v databázi, ale jejich soubor nebyl nalezen. Může se jednat například o omylem smazané, přemístěné či přejmenované soubory. Protože nejsou nalezeny, nemohou být ani přeneseny. -4-
4) Databázové odkazy s nestandardním formátem: Buď je soubor v databázi špatně zaregistrován a nebo je typu, který neumí OnLine verze zpracovat. 5) Opravené odkazy na přílohy s chybným ID varhan: Může se jednat o výsledek nekorektní změny identifikačního čísla varhan, třeba následné přejmenování. Je to jen varovné hlášení, že se ID varhan k němuž se příloha vztahuje změnilo. 6) Záznamy s chybně zadanými číselnými hodnotami: Pokud je v poli ve kterém je očekávána číselná hodnota uveden text a nebo je formát čísla nestandardní (oddělovač desetinných míst, délka,…). Taková hlášení je třeba před importem do vyřešit OrgDbon-line. Pokud nebude Online verze schopná číslo načíst, zpravidla odmítne importovat celý řádek příslušné tabulky. Export z OrgDboff-line lze považovat za úspěšný, pokud není nahlášena žádná chyba. Rozhodně nemá smysl se pokoušet o následný import do OnLine, pokud se objeví chybové hlášení. Není-li export úspěšný, je třeba opravit chyby na které program upozornil a zkusit jej znovu. Po úspěšném a bezchybném exportu je možné přistoupit k importu dat do aplikace OrgDbon-line. Po přihlásení se s administrátorskými přístupovými právy na stránky aplikace OrgDbon-line (zadáno bylo jméno a heslo správce on-line verze) a přejití na stránku (záložku) administrace a dále na stránku Import dat byla data následně importována ze sdílených adresářů do databáze MySQL a do registrace příloh k varhanám.
Po stisku ikony diskety se do on-line aplikace OrgDbon-line převzaly všechny organologické soubory, které byly exportovány z OrgDboff-line, a tyto údaje byly tímto okamžikem k dispozici k prohlížení přes webové rozhraní aplikace OrgDbon-line. Plnění akustickými daty Správnou formu a strukturu akustických dat zajišťuje automaticky měřicí systém Inton a používání metodik (Metodika akustické dokumentace s analyzačním zařízením a software, viz Technologický list č. 58 [2], Metodika měření akustiky prostoru pomocí zvuku varhan, viz Technologický list č. 56 [3]).
-5-
Pro přenesení získaných akustických dat na datové úložiště byly přeneseny všechny adresáře, které systém Inton u jedněch varhan zapsal do svého adresáři nazvaném jménem varhan (např. „Blansko_sv.Jiří“). Tento adresář byl vždy podadresářem složky „varhan.out“ na pevném disku počítače klient systému Inton. Celková velikost všech souborů z akustických měření pro jedny varhany dosahovala i několika GB. Následně byl proveden Import jednotlivých varhan v samostatných adresářích do OrgDboff-line do adresáře „Zvuk“ (podadresář aplikační složky „OrgDB“). V adresáři „Zvuk“ tak každé varhany měly svoji vlastní adresářovou strukturu a ID číslo Z důvodů kontroly a normalizace jmen souborů a adresářů probíhalo umístění akustických souborů ze systému Inton do adresáře „Zvuk“ poloautomatickým způsobem. Kontrola jmen souborů, aby byly v souladu s organologickými názvy rejstříků příslušných varhan se prováděla v OrgDboff-line na záložce „Zvuky“. Proces byl vyvolán tlačítkem „Správa zvuků“. Pro každý adresář operátor v poloprovozu potvrdil příslušnost rejstříku měření k rejstříku z organologické databáze, případně upravil jméno. Příklad přiřazení : Copula maior 8'=2=Copula maior 8 Mixtura 4x 1'=8=Mixtura_1_4x Octava 4'=4=Octava 4 Principal 8'=1=Principal 8 Quinta 2_2%3'=5=Quinta 2a2/3 Rauschquinta 1_1%3'=7=Rauschquinta 1a1-3 Salicional 8'=3=Salicional 8 Superoctava 2'=6=Superoctava 2
Stiskem tlačítka „Přenes Data“ došlo jednak k automatickému připsání vazebního čísla ID do názvu souborů akustických měření, dále je provedena kontrola obsahu adresářů a kontrola formátu názvů. Program provedl normalizaci názvů. Pokud se vyskytnul problém, byl vytvořen a zobrazen soubor s chybovým hlášením a obsluha problém odstranila. Příklad chybových hlášení : V adresáři J:\NAKI\2012\Kaplice-Blansko\1\Manual 1\Quint 1-1%3\ je neočekávaný podadresář Wrong short octave V adresáři J:\NAKI\2014\0031_Citov_SvLinhart\1\Manual 1\Quinta 2-2%3\ je soubor .goutputstream-Q4497X, který neodpovídá jmenné konvenci.
-6-
Po odstranění všech problémů byly do začátku názvů přenášených souborů a adresářů připsány číselné indexy příslušnosti k varhanám, klaviaturám, rejstříkům i jednotlivým tónům tak, aby každý soubor nesl jednoznačný identifikátor příslušnosti ke konkrétní organologické databázové položce. Byla-li zkontrolována a normalizována celá adresářová struktura měření, tedy všechny klaviatury a jejich rejstříky, byl celý adresář měření nahrán na přenosné medium (nebo s využitím dostupného datového přenosu přímo nakopírován) a následně do příslušného adresáře na serveru. Jak bylo uvedeno výše, testovali jsme jak přenos pěti varhan přes internet, tak přenos 30 varhan pomocí přenosného pevného disku.
Export z OrgDboff-line a import do OrgDbon-line spočíval v tom, že se zcela stejná adresářová struktura, která se vytvořila v OrgDboff-line po importu akustických dat (viz předchozí odstavec), využije beze změny i v on-line verzí. Kopírovány byly celé složky zvolených varhan (všechno z adresáře s odpovídajícím číslem ID přenášených varhan z adresáře „Zvuk“ v off-line verzi) do stejnojmenné složky na serveru v aplikaci OrgDbon-line. Velikost adresářové struktury jednoho měření u bohatších varhan představovala i několik GB. To představovalo značnou časovou zátěž zejména pro testy přenosů. Proto byla pro testy exportů a importů většího počtu nástrojů v listopadu zvolena metoda ukládání dat na přenosný disk. I tak si jen uvolňování volného prostoru na disku obyčejným mazáním souborů před dalším opakováním testu vybíralo čas v řádu desítek minut. Pro většinu souborů se test prováděl 1x, pro vybrané soubory 5x. Postup byl opakován celkem více než 40x aniž by došlo k výpadku nebo poškození obsahu souboru s výjimkou případu, kdy jsme neohlídali dostatek volného prostoru na disku. Což však program správně nahlásil jako chybu. Zdrojové a cílové soubory byly porovnávány elektronicky.
-7-
2 Dlouhodobá úplnost archivovaných údajů, Dlouhodobá úplnost je určena ochranou dat serveru. Data na discích serveru jsou zálohována. Nezávisle jsou archivována zdrojová akustická i organologická data jimiž lze server znovu naplnit, pokud by selhalo obnovení dat ze záloh. U dodavatele aplikace jsou zálohovány zdrojové soubory Offline i Online verze aplikace Orgdb.
3 Bezchybnost jednotlivých záznamů na odpovídajících místech databáze Přenášení datové soubory byly porovnávány se zdrojovými a nebyly nalezeny žádné rozdíly.
4 Správnost údajů čtených v jednotlivých oknech v aplikaci pro prohlížení databáze OrgDbonline Přístup do aplikace byl možný až po přihlášení se. Jelikož aplikace rozlišuje uživatele „host“, „uživatel“ a administrátor“. Pro testování byly použity všechny varianty (při přihlašování bylo nutné rozlišovat malá a velká písmena).
Po úspěšném přihlášení bylo možné vybírat ze všech menu programu na všech jeho záložkách a samostatných oknech. Hlavním ovládacím prvkem, který bylo možné v celé aplikaci používat byly interaktivní ikonky se symboly akcí, které se provedly po kliknutím levým tlačítkem myší. Pravé tlačítko není propojeno s aplikací, ale s prohlížečem. Kontextová nabídka tedy byla závislá na konkrétní instalaci internetového prohlížeče. Pokud ikonka nebyla barevná, ale šedivá, znamenalo to, že požadovanou funkci nelze vykonat:
-8-
Všechny funkčnosti tak, jak jsou popsány v „TL 67 Komplexní databázové úložiště se vzdáleným přístupem OrgDbon-line“ vydaném MARC HAMU v Praze v r. 2014 bylo možné obsluhovat a kontrolovat obsahy uložených dat v jednotlivých polích. Pro varhany v kostele sv. Jiří v Blansku byla provedena úplná kontrola všech zobrazených údajů při webové prohlížení OrgDbon-line. U žádných varhan nebyly nalezeny chyby ve zobrazení ani ve zobrazovaných údajích.
Obr. 26 Ukázka webové prohlížení OrgDbon-line na záložce Rejstříky pro varhany v kostele sv. Jiří v Blansku.
-9-
4.1 Mozilla FireFox Při testech byl použit prohlížeč FireFox verze 43.0 a 43.0.1. Při práci nebyly shledány žádné problémy se zobrazením organologických dat, ani se zpřístupněním a přehráváním akustických dat.
4.2 Internet Explorer Testy proběhly na operačních systémech: Windows 7 Home Premium SP1 v kombinaci s prohlížečem IE 10 Windows Vista SP2 v kombinaci s prohlížečem IE 9 Windows 10 Home verze 1511 v kombinaci s prohlížečem IE 11 Při práci nebyly shledány žádné problémy se zobrazením organologických dat. Objevily se však problémy s přehráváním akustických dat, konkrétně souborů *.wav. Kombinace Windows 7 s IE 10 stahovala i přehrávala data bez problémů. Kombinace Windows Vista s IE 9 data ani nestahovala, ani nepřehrávala (pro obdobné problémy i v jiných aplikacích uživatelé od tohoto sytému ustoupili a nahradili jej novějšími verzemi, viz též následující odstavec). Studiem problému na internetu bylo zjištěno, že o tomto problému Microsoft ví. Je způsoben chybou v knihovně ieframe.dll, která nespolupracuje s knihovnou Dwmapi.dll. V takovém případě doporučujeme vyhledat na internetu podle klíčových slow „ieframe.dll download“ odkaz na stránky firmy Microsoft a dále postupovat podle jejích pokynů. Po stažení správného souboru však zřejmě narazíte na problém o kterém Microsoft mlčí a to že starý soubor ze systému Windows Vista nedokážete vyměnit ani s právy administrátora počítače. K výměně souboru ieframe.dll za nový jsou požadována práva „TrustedInstaller“. Nastavení takových práv bude pro většinu běžných uživatelů počítače zřejmě velká překážka. Proto doporučujeme v případě, že se vyskytne takový problém spíše použít prohlížeč od jiné společnosti. Kombinace Windows 10 s IE 11 soubory bez problémů stahovala, ale v některých případech nepřehrávala. Vzhledem k tomu, že problematika Windows 10 je zatím nová, nepodařilo se nám odhalit přesnou příčinu. Řešením se zdá být rozšíření OrgDbon-line o funkci DownLoad, která umožní akustický soubor stáhnout a následně přehrát na počítači libovolným lokálně dostupným přehrávačem, například MediaPlayer. Je také možné, že firma Microsoft problém v dohledné době vyřeší.
4.3 Chrome Při testech byl použit prohlížeč Chrome verze 47.0. Při práci nebyly shledány žádné problémy se zobrazením organologických dat, ani se zpřístupněním a přehráváním akustických dat.
5 Závěr Poloprovoz úspěšně prokázal plnou připravenost postupů OrgDb a dlouhodobou bezzávadovou funkčnost aplikace. Problematika komptabilit systému Windows a web prohlížečů je obecného charakteru. Poloprovozem bylo ověřeno, že při použití osvědčených prohlížečů je celý systém bez jakýchkoli komplikací, je vhodný pro praxi a može být tímto způsobem využíván v plném provozním nasazení.
- 10 -
