1 Úvod Co je PDT Historické pozadí projektu Vývoj projektu Roviny anotace Morfologická rovina

Pruvodce ˚ PDT 2.0 Jan Hajiˇc, Eva Hajiˇcová, Jaroslava Hlavácˇ ová, ˇ epánek, Václav Klimeˇs, Jiˇr´ı M´ırovsky, ´ Petr Pajas, Jan Stˇ ˇ Barbora Vidová Hladká, and Zdenˇek Zabokrtsk y´ 20. cˇ ervna 2006

Obsah ´ 1 Uvod 1.1 Co je PDT 2.0 . . . . . . . 1.2 Historické pozad´ı projektu 1.3 Vyvoj projektu . . . . . . . ´ 1.4 O cˇ eˇstinˇe . . . . . . . . . . 1.5 Adresárˇ ová struktura . . . 2

3

4

5

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

5 5 6 6 8 8

Roviny anotace 2.1 Morfologická rovina . . . . . . . . 2.1.1 Logická struktura . . . . . . 2.1.2 Fyzická realizace . . . . . . 2.1.3 Proces anotace . . . . . . . 2.2 Analytická rovina . . . . . . . . . . 2.2.1 Logická struktura . . . . . . 2.2.2 Fyzická realizace . . . . . . 2.2.3 Proces anotace . . . . . . . 2.3 Tektogramatická rovina . . . . . . 2.3.1 Logická struktura . . . . . . 2.3.2 Fyzická realizace . . . . . . 2.3.3 Proces anotace . . . . . . . 2.4 Ukázka anotace na tˇrech rovinách

. . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

11 12 12 12 12 12 12 12 13 13 13 13 14 15

Data 3.1 Zdroje textu˚ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.2 Rozdˇelen´ı dat podle pokryt´ı anotacemi na jednotlivych ´ rovinách 3.3 Rozdˇelen´ı dat na trénovac´ı a testovac´ı . . . . . . . . . . . . . . . . 3.4 Formáty dat . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.4.1 PML . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.4.2 Perl Storable Format . . . . . . . . . . . . . . . . . . . . . . 3.4.3 FS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.4.4 CSTS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.5 Konvence pojmenován´ı souboru˚ . . . . . . . . . . . . . . . . . . . 3.6 Plná data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.7 Ukázková data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.8 PDT-VALLEX . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.9 Aktualizace PDT 1.0 . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

17 17 17 18 19 19 20 21 21 21 21 23 24 24

. . . . . . . . .

27 27 28 30 31 31 31 31 32 32

. . . . .

. . . . .

. . . . .

. . . . .

Nástroje 4.1 Vyhledáván´ı v korpusu: Netgraph . . . . . . . . . . . . . . . . . . . . ˚ TrEd . . . . . . . . . . . . . . . . . . . . . . . . . . 4.2 Prohl´ızˇ en´ı stromu: ˚ btred/ntred . . . . . . . . . . . . 4.3 Automatické zpracován´ı stromu: ˚ ymi 4.4 Konverze mezi ruzn formáty dat . . . . . . . . . . . . . . . . . . . ´ 4.4.1 Konverze mezi formáty PDT . . . . . . . . . . . . . . . . . . . 4.4.2 Konverze z formátu˚ jinych ´ korpusu˚ . . . . . . . . . . . . . . . ˚ typu PDT 4.5 Parsing cˇ eˇstiny: od prostého textu k závislostn´ım stromum 4.6 Vytvoˇren´ı dat pro vyvoj parseru . . . . . . . . . . . . . . . . . . . . . . ´ 4.7 Makra pro detekce chyb . . . . . . . . . . . . . . . . . . . . . . . . . . Dokumentace

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

33 3

OBSAH 6

Publikace 6.1 Teoretické pozad´ı PDT . . . . . . . . . . . 6.2 PDT 2.0 . . . . . . . . . . . . . . . . . . . . 6.2.1 Obecné informace . . . . . . . . . 6.2.2 Morfologická rovina . . . . . . . . 6.2.3 Analytická rovina . . . . . . . . . . 6.2.4 Tektogramatická rovina . . . . . . 6.3 Nástroje . . . . . . . . . . . . . . . . . . . 6.3.1 Netgraph . . . . . . . . . . . . . . 6.3.2 Morfologická analyza ´ a tagging . . 6.3.3 Parsing . . . . . . . . . . . . . . . . 6.3.4 Automatické pˇriˇrazován´ı funktoru˚

. . . . . . . . . . .

35 35 36 36 37 37 37 40 40 40 40 41

7

Distribuce a licence 7.1 Licenˇcn´ı ujednán´ı . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

43 43

8

Instalace

47

9

Zásluhy

49

10 Podˇekován´ı

53

. . . . . . . . . . .

4

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

. . . . . . . . . . .

Kapitola 1

´ Uvod ˚ ˚ Tento pruvodce pˇredstavuje Praˇzsky´ závislostn´ı korpus, verzi 2.0 (PDT 2.0). Smyslem pruvodce je sezná˚ mit zájemce v krátkosti s obsahem a základn´ımi myˇslenkami PDT 2.0. Poskytuje pˇrehled dat a nástroju, vˇcetnˇe odkazu˚ na podrobnˇejˇs´ı dokumentaci, tutoriály, formáln´ı specifikace a dalˇs´ı reference. K dispozici je ve dvou formátech: HTML a PDF. ˚ zete navˇst´ıvit Webovou stránku PDT 2.0 najdete na . Muˇ také stránku , kde v budoucnu najdete pˇr´ıpadné opravy dat, nové verze nástroju˚ apod.

1.1

Co je PDT 2.0

Praˇzsky´ závislostn´ı korpus (PDT) je prob´ıhaj´ıc´ı projekt pro ruˇcn´ı anotaci velkého mnoˇzstv´ı cˇ eskych ´ textu˚ bohatou lingvistickou informac´ı, sahaj´ıc´ı od morfologie pˇres syntax aˇz po sémantiku/pragmatiku a jeˇstˇe dále. PDT verze 2.0 je následn´ık verze 1.0. PDT verze 1.0 obsahovala ruˇcn´ı anotaci morfologie a povrchové syntaxe (viz nebo webové stránky Linguistic Data Consortium (LDC), , katalogové cˇ ´ıslo LDC2001T10). Verze 2.0 pˇridává hloubkovou syntax a sémantiku, aktuáln´ı cˇ lenˇen´ı, koreferenci a lexikáln´ı sémantiku zaloˇzenou na va˚ lenˇcn´ım slovn´ıku. Verze 2.0 pˇrinásˇ´ı nav´ıc aktualizaci verze 1.0, a to v puvodn´ ım formátu dat pro pouˇzit´ı tˇemi, kdo se starou verz´ı pracuj´ı. ´ slov) s provázanymi ´ PDT 2.0 obsahuje velké mnoˇzstv´ı cˇ eskych anotacemi na urovni ´ textu˚ (2 miliony ´ ´ slov), povrchové syntaxe (1,5 mil. slov) a hloubkové syntaxe a sémantiky (0,8 mil. morfologie (2 miliony slov). Korpus vyuˇz´ıvá nejnovˇejˇs´ı anotaˇcn´ı techniky (oddˇelené anotace s pouˇzit´ım XML, RelaxNG, viz sekce 3.4 a celá kapitola 3). PDT 2.0 vycház´ı z dlouhodobé praˇzské lingvistické tradice a je vhodny´ pro souˇcasné potˇreby vyzku´ mu v oblasti poˇc´ıtaˇcové lingvistiky (viz také sekce 1.2). Obsahuje rovnˇezˇ softwarové nástroje pro prohledáván´ı korpusu, anotaci dat a jazykovou analyzu. K dispozici je i rozsáhlá dokumentace. ´ ´ Tato verze PDT zavrˇsuje desetileté obdob´ı vyzkumu a vyvoje v Ustavu formáln´ı a aplikované lingvis´ ´ ´ tiky (UFAL) a jeho Centra poˇc´ıtaˇcové lingvistiky (viz sekce 1.3). V nedávné dobˇe byl projekt doplnˇen vydán´ım Praˇzského arabského závislostn´ıho korpusu, , katalogové cˇ ´ıslo LDC2004T23, a paraleln´ıho Praˇzského cˇ esko-anglického závislostn´ıho korpusu, , katalogové cˇ ´ıslo LDC2004T25. Prvn´ı z doplnuj´ ˚ fikace mohou byt pro typologicky odliˇsny´ jazyk, druhy´ projekt stav´ı na ruˇcn´ı anotaci ko´ uzpusobeny rpusu Penn Treebank a je urˇcen pro experimenty se strojovym ´ pˇrekladem mezi dvˇema jazyky, hlavnˇe mezi cˇ eˇstinou a angliˇctinou. ˚ PDT 2.0 slouˇz´ı pˇredevˇs´ım tˇemto dvˇema c´ılum: • aplikovat teoretické vysledky Praˇzské lingvistické sˇ koly na velké mnoˇzstv´ı skuteˇcnych ´ ´ jazykovych ´ ˚ a t´ım explicitnˇe ovˇerˇ it a zachovat teorii závislostnˇe zaloˇzeného funkˇcnˇe generativn´ıho ,,pˇr´ıkladu”, popisu (FGD) (viz také sekce 1.2), • umoˇznit pouˇzit´ı metod strojového uˇcen´ı pro vytvoˇren´ı rozumnˇe spolehlivych ´ nástroju˚ automatické analyzy ´ a generován´ı jazykovych ´ dat. Zat´ımco pro dosaˇzen´ı prvn´ıho c´ıle by moˇzná staˇcilo vybrat pouze nˇekolik pˇr´ıkladu˚ pro kaˇzdy´ lingvisticky´ jev, druhy´ c´ıl nepochybnˇe vyˇzaduje zpracován´ı velkého mnoˇzstv´ı pˇrirozenˇe se vyskytuj´ıc´ıch 5

´ KAPITOLA 1. UVOD

1.2. HISTORICKE´ POZADI´ PROJEKTU

posloupnost´ı vˇet. Statistiky, z´ıskané z takovych pouˇzity zpˇetnˇe pro ´ dat, mohou byt ´ ovˇsem s vyhodou ´ lingvisticky´ vyzkum. ´ Budoucnost PDT nen´ı zat´ım pˇresnˇe urˇcena. Zvaˇzováno je nˇekolik moˇznych budouc´ıch zamˇerˇ en´ı ´ (samozˇrejmˇe, pokud finanˇcn´ı zdroje dovol´ı): pˇridán´ı mluvenych ´ dat; pˇridán´ı hlubˇs´ı a sˇ irˇs´ı anotace obzvlásˇ tˇe pro koreferenci, informaˇcn´ı strukturu a diskurz; anotace jiného (hodnˇe odliˇsného) jazyka; ruˇcn´ı anotace cˇ eˇstiny/angliˇctiny na dalˇs´ıch paraleln´ıch textech s pouˇzit´ım stejné (tektogramatické) reprezentace; a pˇridán´ı dalˇs´ıch vrstev anotace (reprezentace znalost´ı zaloˇzená na obsahu vypovˇ edi). ´

1.2

Historické pozad´ı projektu

Praˇzská sˇ kola funkˇcn´ı a strukturn´ı lingvistiky se narozd´ıl od ostatn´ıch evropskych ´ sˇ kol lingvistického ˚ a myˇslenkám. Historie Praˇzstrukturalizmu vyznaˇcuje (kromˇe jiného) svou otevˇrenost´ı novym ´ trendum ské sˇ koly se formálnˇe datuje od roku 1926, kdy tak vynikaj´ıc´ı lingvisté jako Vilém Mathesius, Roman Jakobson a Bohumil Trnka zaloˇzili Praˇzsky´ lingvisticky´ krouˇzek. Vyzkum razil cestu v nˇekolika smˇerech. ´ Nejprve ve fonologii, která byla moˇzná prvn´ı mezinárodnˇe vysoce uznávanou oblast´ı. Brzy se zde objevily také (s kladnym ´ mezinárodn´ım ohlasem) origináln´ı pˇr´ıspˇevky k jazykové typologii, tvoˇren´ı slov, funkˇcn´ımu rozvrstven´ı jazyka, k obecnym ´ lingvistickym ´ otázkám jako je rozliˇsen´ı centra a periferie v jazykovém systému a v neposledn´ı rˇ adˇe také pokusy o systematicky´ popis informaˇcn´ı struktury vˇety (funkˇcn´ı vˇetná perspektiva, aktuáln´ı cˇ lenˇen´ı). ˇ Cinnost Praˇzského lingvistického krouˇzku nebyla omezena geograficky. K zásadám Krouˇzku se otevˇrenˇe hlásila rˇ ada lingvistu˚ ze zahraniˇc´ı. Jedn´ım z nich byl Lucien Tesnière, francouzsky´ lingvista, ˚ pˇr´ıstup nalezl vysoce kladné kterého je moˇzno oprávnˇenˇe nazyvat ,,otcem závislostn´ı syntaxe“. Tesnièruv ´ ˇ pˇrijet´ı i mimo Krouˇzek, obzvlásˇ tˇe v práci cˇ eského syntaktika Vladim´ıra Smilauera, jehoˇz Novoˇceská skladba je neopominutelnym ´ zdrojem informac´ı pro vˇsechny, kdo cˇ eskou syntax studuj´ı. Inspirace Praˇzské sˇ koly nalezla své pokraˇcován´ı také v novém lingvistickém paradigmatu explicitn´ıho popisu jazyka, jmenovitˇe ve funkˇcnˇe generativn´ım popisu (FGD), navrˇzeném Petrem Sgallem v sˇ edesátych letech dvacátého stolet´ı a následnˇe rozpracovaném j´ım samym ´ ´ a jeho spolupracovn´ıky (rozsáhlé pojednán´ı na toto téma nab´ız´ı kniha The Meaning of the Sentence in Its Semantic and Pragmatic Aspects, 1986). Systém FGD se vyznaˇcuje tˇremi typickymi vlastnostmi: ´ • pouˇzit´ım závislostn´ı syntaxe, • zahrnut´ım hloubkové syntaktické roviny (tektogramatiky) do lingvistického popisu, • specifikac´ı formáln´ıho popisu informaˇcn´ı struktury vˇety (aktuáln´ıho cˇ lenˇen´ı) a jeho zaˇclenˇen´ım do popisu jazyka.

1.3

Vyvoj projektu ´

Projekt vlastnˇe vznikl ve foyer malého hotelu v Dublinu v Irsku na konci bˇrezna roku 1995, bˇehem 7. roˇcn´ıku konference evropské poboˇcky ACL. Malá skupina nás se tam tehdy rozhodla usilovat o vytvoˇren´ı podobného projektu, jakym ´ byl tehdy nedávno vydany´ anglicky´ Penn Treebank, ale zaloˇzené´ ho na praˇzské závislostn´ı tradici, s uplnou morfologickou analyzou a s vyhl´ıdkou postupného rozˇsiˇro´ ván´ı anotace (v´ıce historickych ´ souvislost´ı viz sekce 1.2). ´ Prvn´ım ukolem bylo finanˇcn´ı zajiˇstˇen´ı projektu. Mˇeli jsme sˇ tˇest´ı a z´ıskali jsme souˇcasnˇe dva granty ˇ od Grantové agentury Cesk´ e republiky a jeden projekt Ministerstva sˇ kolstv´ı, vˇsechny zaˇc´ınaj´ıc´ı v roce 1996: jeden maly´ grant pro sepsán´ı specifikace korpusu, jeden meziinstitucionáln´ı projekt na podporu ˇ ˚ a nakonec projekt nazvany´ ,,LaboCesk´ eho národn´ıho korpusu (naˇseho zdroje nezpracovanych ´ textu) ratoˇr jazykovych ´ dat“ pro vlastn´ı provádˇen´ı anotace. ´ ˇ e pojet´ı anotace, s morfologickou, analytickou a tektogramatickou roviTeorie vyˇzadovala tˇr´ıurov nov´ nou. Kromˇe morfologické roviny, jej´ızˇ návrh vyuˇz´ıval jiˇz existuj´ıc´ı systém tagu˚ pro cˇ eˇstinu, byly pokyny pro anotaci jen kusé a bylo jasné, zˇ e jejich dopracován´ı bude muset prob´ıhat souˇcasnˇe s anotac´ı tak, jak se budou nacházet nové jevy a problémy. Nicménˇe jiˇz od poˇca´ tku jsme pˇrijali nˇekolik ,,neporuˇsitelnych“ ´ ˚ principu: • morfologická anotace bude provádˇena na jednotlivych ´ slovech; nebudeme se pokouˇset analyzovat napˇr. sloˇzené slovesné tvary, 6

´ KAPITOLA 1. UVOD

´ 1.3. VYVOJ PROJEKTU

• pro anotaci bude pˇr´ımo pouˇzit systém tagu˚ existuj´ıc´ıho morfologického slovn´ıku pro cˇ eˇstinu, vyv´ inutého na UFALu, ˚ ci • jednotkou anotace povrchové syntaxe (analytické roviny) bude rovnˇezˇ slovo, se vztahem 1:1 vuˇ jednotkám morfologické roviny; souˇca´ st´ı anotace nebudou ,,stopy“, náhrady elips ani nic podobného, • závislostn´ı anotace bude pouˇzita nejen pro rovinu hloubkové syntaxe (tektogramatickou rovinu), ale rovnˇezˇ pro rovinu analytickou, • tektogramatická rovina bude obsahovat vˇsechno, co teorie nab´ız´ı, tedy aktuáln´ı cˇ lenˇen´ı, koreferenci a dalˇs´ı podrobnou anotaci; v souladu s teori´ı a c´ıli hloubkové reprezentace bude umoˇznˇeno ,,vkládán´ı“ a ,,mazán´ı“ uzlu˚ (ve vztahu k niˇzsˇ´ım rovinám), • funkce cˇ lenu˚ závislych ´ na slovese (pˇr´ıpadnˇe i na podstatném cˇ i pˇr´ıdavném jménˇe) bude urˇcována na základˇe valence. ˇ Formát pro anotovaná data byl vytvoˇren jakoˇzto rozˇs´ırˇ en´ı SGML formátu pouˇz´ıvaného v Cesk´ em národn´ım korpusu, pojmenovaného CSTS. Dalˇs´ım krokem bylo urˇcen´ı organizace anotace. Zaˇcali jsme souˇcasnou anotac´ı dvou niˇzsˇ´ıch rovin (morfologie a analytické syntaxe). Anotace tektogramatické roviny musela byt ´ odloˇzena aˇz do dokonˇcen´ı dvou niˇzsˇ´ıch rovin. Souˇcasnˇe byly vytvárˇ eny nástroje pro anotaci. ˚ pouˇz´ıvaj´ıc´ı násˇ vlastn´ı formát dat (nazyvan Jedn´ım z prvn´ıch byl Graph, graficky´ editor stromu, y´ FS), ´ ´ ktery´ nen´ı zaloˇzeny´ na SGML, ale je znaˇcnˇe obecny´ a prostorovˇe usporn y. ´ Anotace morfologické a analytické roviny byla provádˇena pˇredevˇs´ım pracovn´ıky s lingvistickym ´ ´ ˚ vzdˇelán´ım. Jelikoˇz nebyly k dispozici upln´ e anotaˇcn´ı pokyny, konaly se kaˇzdy´ tyden schuzky tymu ´ ´ ˚ ˚ kde byly prob´ırány vzniklé problémy a s okamˇzitou platnost´ı pˇrij´ımána rozhodnut´ı o zpusobu anotátoru, dalˇs´ı anotace. Pozdˇeji byl z rˇ ad anotátoru˚ vybrán jeden koordinátor a dalˇs´ı dva anotátoˇri museli byt ´ vyˇclenˇeni pro rˇ eˇsen´ı technickych ´ otázek celého procesu. Morfologická anotace kaˇzdého textu byla provádˇena dvˇema anotátory, tedy dvakrát. Vysledky pak ´ byly porovnávány a slévány do koneˇcné anotace. Aby byla zajiˇstˇena co nejvyˇssˇ´ı konzistence, celé sléván´ı ˚ nab´ızenych provádˇel jeden anotátor. Anotátoˇri vyb´ırali z moˇznych ´ lemmat a tagu, ´ cˇ eskym ´ morfolog˚ Na morfologické rovinˇe tak byly ickym ´ slovn´ıkem bez jakéhokoliv pˇredzpracován´ı cˇ i preference tagu. ´ slov. ruˇcnˇe anotovány témˇerˇ dva miliony Anotace analytické roviny byla provedena jen jednou, ale s pouˇzit´ım velkého poˇctu automatickych ´ testu˚ konzistence, vˇcetnˇe testu˚ pˇrekraˇcuj´ıc´ıch hranice rovin. Zpoˇca´ tku jsme nepouˇz´ıvali zˇ a´ dné auto˚ Pozdˇeji byly závislostn´ı funkce pˇredbˇezˇ nˇe pˇriˇrazovány ruˇcnˇe psanymi matické pˇredzpracován´ı textu. ´ skripty. V roce 1998 byla pro letn´ı JHU Language Engineering Workshop v Baltimoru sestavena testovac´ı verze korpusu, nazvaná PDT 0.5 (obsahovala pˇribliˇznˇe 380 tis´ıc anotovanych ´ slovn´ıch jednotek). Na ˚ workshopu byl vytvoˇren prvn´ı cˇ esky´ parser (data byla zkonvertována pro m´ırnˇe upraveny´ Collinsuv parser lexikalizované angliˇctiny). Od roku 1999 byla data urˇcená pro anotaci nejprve pˇredzpracována t´ımto parserem a anotátoˇri provádˇeli pouze opravy jeho vystupu, coˇz pˇrineslo pˇribliˇznˇe 30% zrychlen´ı ´ anotace. Na analytické rovinˇe tak bylo ruˇcnˇe anotováno pˇres 1,5 mil. slovn´ıch jednotek, cˇ ´ımˇz se dosáhlo velikosti Penn Treebanku. Spojen´ı morfologické a analytické roviny byl sloˇzity´ proces a trval déle neˇz rok. Zahrnoval i rozsáhlé ´ kontroly konzistence dat, závˇereˇcné upravy anotaˇcn´ıch návodu˚ (a jejich pˇreklad do angliˇctiny), jakoˇz i koneˇcnou pˇr´ıpravu CD-ROM k publikaci v roce 2001 pod názvem Praˇzsky´ závislostn´ı korpus, verze 1.0. Bˇehem tohoto obdob´ı byl také vytvoˇren TrEd, novy´ nástroj pro editaci korpusu, nezávisly´ na platformˇe. Anotace tektogramatické roviny (jiˇz s pouˇzit´ım TrEdu) zaˇcala v roce 2000, souˇcasnˇe se zaloˇzen´ım ˚ Centra komputaˇcn´ı lingvistiky, v dobˇe, kdy puvodn´ ı finanˇcn´ı zdroje byly vyˇcerpány. Zpoˇca´ tku se zdálo pˇr´ıliˇs nároˇcné plnˇe pokryt ´ celá plánovaná data (ˇca´ st dat PDT 1.0, cca 50 tis. vˇet). Anotace byla rozdˇelena do cˇ tyˇr oblast´ı: • závislostn´ı struktura ve formˇe závislostn´ıho stromu, vˇcetnˇe sémantického oznaˇckován´ı a anotace valence, • aktuáln´ı cˇ lenˇen´ı, • koreference (gramatická a cˇ a´ st textové), • gramatické atributy uzlu˚ ve stromˇe (neobsaˇzené v pˇredchoz´ıch bodech). 7

ˇ STIN ˇ 1.4. O CE Eˇ

´ KAPITOLA 1. UVOD

´ ı byla zamˇerˇ ena na prvn´ı oblast, nebot’ ostatn´ı oblasti mˇely byt Vˇetˇsina usil´ ´ anotovány jen na malé ukázkové cˇ a´ sti dat. Pomoc´ı ruˇcnˇe psanych ´ pravidel byly stromy analytické roviny pˇredanotovány do té m´ıry, pokud se vztah mezi analytickym ´ a tektogramatickym ´ stromem zdál byt ´ jasny. ´ Byl vytvoˇren základ valenˇcn´ıho slovn´ıku (zat´ım na pap´ırˇ e), aby byla zajiˇstˇena konzistence alesponˇ u nejfrekventovanˇejˇs´ıch sloves. Pozdˇeji byla vypracována XML verze valenˇcn´ıho slovn´ıku, PDT-VALLEX, která byla rovnˇezˇ propojena s editorem TrEd, aby mohli uˇzivatelé pracovat se slovn´ıkem pˇr´ımo bˇehem editace; ˚ slov v korpusu. Mezit´ım pokroˇcila to také umoˇznilo pˇriˇrazovat správny´ valenˇcn´ı rámec k vyskyt um ´ práce na anotaˇcn´ıch pravidlech a na testovac´ı anotaci koreference a aktuáln´ıho cˇ lenˇen´ı a nakonec bylo rozhodnuto provést tyto anotace na celych datech. Jeˇstˇe pozdˇeji, v roce 2004, byla i cˇ tvrtá anotaˇcn´ı ´ oblast (pˇriˇrazen´ı dalˇs´ıch gramatickych ´ informac´ı, zahrnuj´ıc´ıch dalˇs´ıch 16 atributu˚ u kaˇzdého tektogramatického uzlu) poloautomaticky rozˇs´ırˇ ena na celá tektogramaticky anotovaná data, tedy 50 tis´ıc vˇet. Narozd´ıl od anotován´ı analytické roviny, v pˇr´ıpadˇe roviny tektogramatické byl anotaˇcn´ı tym ´ rozdˇelen na malé skupiny, které mˇely na starost jednotlivé oblasti anotace. To pˇrinásˇ elo i jisté obt´ızˇ e - infor˚ zité. Po celou dobu pracovalo na projektu aˇz mace se nˇekdy nedostaly ke vˇsem, pro koho byly duleˇ ´ 30 lid´ı souˇcasnˇe. Vˇse bylo anotováno jen jednou, kromˇe uvodn´ ıch testu˚ mezianotátorské shody. Na data byly aplikovány podobné testy konzistence jako pro analytickou rovinu, s pouˇzit´ım sloˇzitych ´ mezirovi˚ novych ´ testu. Po dokonˇcen´ı anotaˇcn´ıho procesu v roce 2004 zaˇcala závˇereˇcná fáze, která trvala rovnˇezˇ déle neˇz rok. ´ Pro distribuci dat byl vytvoˇren uplnˇ e novy´ XML formát. Valenˇcn´ı lexikon PDT-VALLEX byl cely´ ruˇcnˇe zkontrolován a upraven pro slovesa a nˇekteré kategorie podstatnych ´ jmen (v obou pˇr´ıpadech jedn´ım cˇ lovˇekem, aby byla zajiˇstˇena co nejvˇetˇs´ı konzistence). Bylo vytvoˇreno velké mnoˇzstv´ı mezirovinovych ´ testu˚ pro vyhledáván´ı anotaˇcn´ıch nekonzistenc´ı, vˇsechny nalezené pˇr´ıpady byly ruˇcnˇe opraveny. Byl ´ zvolen redaktor manuálu pro tektogramatické znaˇckován´ı, jehoˇz ukolem bylo pˇrepsat jednotlivé sekce pokynu˚ (celkem pˇres 800 stran) jasnou formou s jednotnou terminologi´ı tak, aby byl manuál v souladu s koneˇcnou anotac´ı dat. Manuál byl rovnˇezˇ pˇreloˇzen do angliˇctiny. V roce 2006 bylo CD-ROM dokonˇceno a posláno k publikaci do LDC.

1.4

O cˇ eˇstinˇe

ˇ stina - jazyk textu˚ zpracovanych Ceˇ ´ v Praˇzském závislostn´ım korpusu - patˇr´ı do západn´ı skupiny sloˇ ˇ ˚ Cesky ´ redn´ım jazykem. vanskych se mluv´ı pˇredevˇs´ım v Cesk´ e republice, kde je cˇ eˇstina jedinym ´ jazyku. ´ uˇ ˇ st´ı rodil´ı mluvˇc´ı zˇ ij´ı rovnˇezˇ v dalˇs´ıch evropskych Ceˇ ´ zem´ıch, zvlásˇ tˇe na Slovensku, a des´ıtky tis´ıc cˇ eskych ´ ´ u˚ mluvˇc´ıch. mluvˇc´ıch zˇ ij´ı v USA, Kanadˇe a Austrálii. Celkem má cˇ eˇstina pˇres 10 milion ˇ stina je, podobnˇe jako dalˇs´ı slovanské jazyky, vysoce flexivn´ı. Má sedm pádu˚ a cˇ tyˇri rody (jen pro Ceˇ ˇ an´ı podstatnych ˚ a má volny´ slovosled (z cˇ istˇe syntaktického sklonov´ ´ jmen existuje 16 hlavn´ıch vzoru) ˚ ˇ pohledu): slova ve vˇetˇe mohou byt Slovosled vˇsak ovlivnuje vyznam ´ obvykle rˇ azena nˇekolika zpusoby. ´ vˇety. ˇ Psaná cˇ eˇstina pouˇz´ıvá latinskou abecedu rozˇs´ırˇ enou o nˇekolik p´ısmen s diakritikou. Cesk´ a abeceda ´ (celkem 82 znaky) je obsaˇzena ve standardu Unicode; bˇezˇ nˇe pouˇz´ıvána jsou i kodov´ an´ı ISO 8859-2 ´ (Latin 2), standardn´ı 8-bitové kodov´ an´ı pro jazyky stˇredn´ı Evropy, a CP1250, jeho protˇejˇsek z MS Windows. V´ıce informac´ı o cˇ eˇstinˇe najdete na .

1.5

Adresárˇová struktura

´ Tato sekce obsahuje struˇcny´ popis adresárˇ ové struktury distribuce PDT 2.0, a to aˇz do druhé urovnˇ e zanoˇren´ı. • data/ – viz kapitola 3 – binary/ – kompletn´ı anotovaná data (pouze na distribuˇcn´ım CD-ROM; viz sekce 3.6) ve formátu Perl Storable Format (viz sekce 3.4.2) – filelists/ – nˇekolik pˇredgenerovanych ´ seznamu˚ datovych ´ souboru˚ (pouze na distribuˇcn´ım CD-ROM), viz sekce 3.6 – full/ – kompletn´ı anotovaná data (pouze na distribuˇcn´ım CD-ROM; viz sekce 3.6) ve formátu PML (viz sekce 3.4.1) – pdt-vallex/ – PDT-VALLEX, valenˇcn´ı slovn´ık, viz sekce 3.8 8

´ KAPITOLA 1. UVOD

´ ROV ˇ ´ STRUKTURA 1.5. ADRESA A

– pdt1.0-update/ – aktualizace dat z CD-ROM PDT 1.0 (pouze na distribuˇcn´ım CD-ROM), viz sekce 3.9 – sample/ – malá ukázka anotovanych ´ dat, viz sekce 3.7 – schemas/ – PML a RelaxNG schémata dat • doc/ – viz kapitola 5 – data-formats/ – dokumentace dat, viz sekce 3.4 – manuals/ – manuály (pokyny) pro anotátory, viz kapitola 2 ˚ – pdt-guide/ – tento pruvodce PDT ˚ – styles/ – kaskádové styly pro manuály a pruvodce PDT ˚ viz kapitola 4 – tools/ – dokumentace nástroju, • publications/ – publikace tykaj´ ´ ıc´ı se PDT 2.0, viz kapitola 6 • tools/ – viz kapitola 4 – checks/ – makra pro hledán´ı chyb v datech, viz sekce 4.7 ˚ ymi – format-conversions/ – nástroje pro konverzi mezi ruzn formáty dat, viz sekce 4.4 ´ – machine-annotation/ – nástroje pro vytvoˇren´ı syntaktickych ´ stromu˚ z prostého cˇ eského textu, viz sekce 4.5 – netgraph/ – Netgraph, nástroj pro vyhledáván´ı v datech, viz sekce 4.1 – pml/ – Relax NG definice schématu PML a XSLT styl pro konverzi schématu PML do RelaxNG, viz sekce Nástroje ve Specifikaci PML. – tred/ – TrEd a btred/ntred, nástroje pro prohl´ızˇ en´ı a zpracován´ı dat, viz sekce 4.2, 4.3 • visual-data/ – pdt-vallex/ – PDT-VALLEX, valenˇcn´ı slovn´ık ve formˇe webovskych ´ stránek, viz sekce 3.8 – sample/ – ukázková data ve formˇe webovskych ´ stránek, viz sekce 3.7

9

Kapitola 2

Roviny anotace Data v PDT 2.0 jsou anotována na tˇrech rovinách: na morfologické rovinˇe (2.1), analytické rovinˇe (2.2) a tektogramatické rovinˇe (2.3). Ve skuteˇcnosti existuje jeˇstˇe jedna, neanotaˇcn´ı rovina, reprezentuj´ıc´ı ,,surovy´ ˚ Jsou tu rozliˇseny text“. Na této rovinˇe, zvané slovn´ı rovina, je text rozdˇelen do dokumentu˚ a odstavcu. slovn´ı jednotky (slova, cˇ ´ısla, interpunkce) a jsou opatˇreny jednoznaˇcnymi identifikátory. ´ Slovn´ı rovina je nazyv´ ´ ana také w-rovina, morfologická m-rovina, analytická a-rovina a tektogramatická t-rovina. Podobnˇe je uzel stromu reprezentuj´ıc´ıho analytickou anotaci vˇety nazyv´ ´ an a-uzel atd. ˇ Obrázek 2.1 znázornuje vztah mezi sousedn´ımi rovinami, jak jsou anotovány a reprezentovány ˇ ˚ v datech. Zobrazená cˇ eská vˇeta Byl by sˇel dolesa. obsahuje minuly´ cˇ as podminovac´ ıho zpusobu slovesa j´ıt a tiskovou chybu.

Obrázek 2.1: Propojen´ı rovin

11

´ ROVINA 2.1. MORFOLOGICKA

KAPITOLA 2. ROVINY ANOTACE

2.1

Morfologická rovina

Tato sekce struˇcnˇe popisuje morfologickou rovinu. V´ıce informac´ı najdete v Manuálu k morfologické anotaci.

2.1.1

Logická struktura

Na morfologické rovinˇe je posloupnost slovn´ıch jednotek w-roviny rozdˇelena do vˇet. Anotace na této ˚ zitˇejˇs´ı jsou rovinˇe spoˇc´ıvá v pˇriˇrazen´ı nˇekolika atributu˚ slovn´ım jednotkám w-roviny, z nichˇz nejduleˇ morfologické lemma a tag.

2.1.2

Fyzická realizace

Atribut lemma obsahuje lemma dané slovn´ı jednotky. Reprezentuje jeho základn´ı tvar a odpov´ıdá jednoznaˇcnému kl´ıcˇ i pˇr´ısluˇsného záznamu v morfologickém slovn´ıku. Atribut tag obsahuje morfologickou znaˇcku, která má 15 pozic a vyjadˇruje slovn´ı druh a hodnoty ostatn´ıch morfologickych ´ kategori´ı dané slovn´ı jednotky. Atribut id obsahuje (v rámci PDT 2.0 jednoznaˇcny) ´ identifikátor této jednotky m-roviny, pozdˇeji pouˇz´ıvany´ pro zpˇetnou referenci z analytické roviny (pro celkovy´ pˇrehled o propojen´ı rovin, viz 2.1), a referenˇcn´ı atribut w.rf odkazuje zpˇet do w-roviny. Nˇekolik dalˇs´ıch atributu˚ slouˇz´ı ˚ zitˇejˇs´ı z nich k moˇznym opravám a/nebo normalizac´ım tykaj´ ´ (ale vzácnym) ´ ´ ıc´ım se w-roviny; nejduleˇ ˚ ze liˇsit od texje atribut form, ktery´ obsahuje správnou textovou podobu slovn´ı jednotky (která se muˇ ˚ ˚ tové podoby vyskytuj´ıc´ı se v puvodn´ ım textu z duvodu tiskovych chyb, nespr´ a vnˇ e rozdˇ elenych ´ ´ nebo ˚ spojenych ´ slov, sˇ patného znaku pro desetinnou cˇ a´ rku v cˇ ´ıslech nebo dalˇs´ıch technickych ´ problému). Pˇr´ıklad vˇety najdete v tabulce 2.2

2.1.3

Proces anotace

˚ Anotace postupovala ve dvou Morfologická rovina PDT byla anotována skupinou sedmi anotátoru. oddˇelenych ´ fáz´ıch. Bˇehem prvn´ı fáze byl kaˇzdy´ text nejprve pˇredzpracován automatickym ´ morfologickym pak dva anotátoˇri nezávisle na sobˇe vybrali správné lemma a ´ analyzátorem. Z jeho vystupu ´ morfologicky´ tag. Ve druhé, rozhodovac´ı fázi byly vˇsechny neshody tˇechto dvou anotátoru˚ vyˇreˇseny tˇret´ım anotátorem - rozhodˇc´ım. Po oddˇelenych ´ kontrolách morfologické a syntakticko-analytické roviny byla provedena jejich spoleˇcná revize. Soustˇredila se na vztah mezi analytickymi funkcemi a morfologickymi tagy, vztah mezi ´ ´ pˇredloˇzkami a pády závislych ´ uzlu˚ a nakonec na shodu v pádˇe, rodu a cˇ ´ısle mezi závislymi ´ a nadˇr´ızeny´ mi uzly.

2.2

Analytická rovina

Tato sekce struˇcnˇe popisuje analytickou rovinu. V´ıce informac´ı najdete v textu Anotace na analytické rovinˇe.

2.2.1

Logická struktura

Na analytické rovinˇe je vˇeta reprezentována orientovanym ´ stromem s koˇrenem, s ohodnocenymi ´ hranami a uzly. Kaˇzdy´ prvek morfologické roviny (viz sekce 2.1) odpov´ıdá právˇe jednomu uzlu stromu a závislostn´ı vztah mezi dvˇema slovn´ımi jednotkami je vyjádˇren hranou mezi pˇr´ısluˇsnymi dvˇema uzly. Typ vz´ tahu je dán funkˇcn´ım ohodnocen´ım hrany. Vˇetˇsina hran reprezentuje závislostn´ı vztah, ostatn´ı odrázˇ ej´ı ˚ e dalˇs´ı lingvistické cˇ i technické jevy, napˇr. koordinaci, apozici, interpunkci apod. Zaznamenáno ruzn´ ˚ odpov´ıdaj´ıc´ı poˇrad´ı slovn´ıch jednotek ve vˇetˇe, coˇz umoˇznuje ˇ je i lineárn´ı uspoˇra´ dán´ı uzlu, ,,správné“ grafické zobrazen´ı stromu.

2.2.2

Fyzická realizace

Kaˇzdému uzlu je pˇriˇrazeno sˇ est atributu˚ (kromˇe technického koˇrene stromu, ktery´ jich má ménˇe). Atribut id obsahuje identifikátor uzlu, jednoznaˇcny´ v rámci PDT 2.0, na ktery´ se zpˇetnˇe odkazuje z tektogramatické roviny (viz obrázek 2.1). Lineárn´ı uspoˇra´ dán´ı uzlu˚ zachycuje atribut ord, obsahuj´ıc´ı pozici ˚ pˇr´ısluˇsné slovn´ı jednotky ve vˇetˇe. Z technickych u˚ je analytická funkce hrany vyjádˇrena v atributu ´ duvod afun u uzlu na závislém konci hrany. Atributy is member a is parenthesis root napomáhaj´ı 12

´ ROVINA 2.3. TEKTOGRAMATICKA


správné interpretaci koordinace, apozice a závorek. A koneˇcnˇe atribut m.rf spojuje uzel s odpov´ıdaj´ıc´ım prvkem na morfologické rovinˇe. Pˇr´ıklad stromu najdete na obrázku 2.3

2.2.3

Proces anotace

˚ Zpoˇca´ tku museli anotátoˇri ruˇcnˇe Vˇsechna analytická data byla anotována ruˇcnˇe tymem sˇ esti anotátoru. ´ vytvárˇ et cely´ strom a rovnˇezˇ ruˇcnˇe pˇriˇrazovat vˇsechny analytické funkce. Pozdˇeji byly vˇety nejprve pˇredzpracovány parserem a pˇredbˇezˇ né analytické funkce byly pˇriˇrazeny pravidlovˇe zaloˇzenou automatickou procedurou. Anotátoˇri vˇsak museli zkontrolovat a opravit vystup obou tˇechto automatickych ´ ´ procedur, ktery´ byl cˇ asto chybny. ´ Po skonˇcen´ı anotace byly na datech provedeny kontroln´ı testy. Pˇr´ıkladem takového testu je ovˇerˇ en´ı platnosti tvrzen´ı, zˇ e slovesny´ jmenny´ predikát (indikovany´ analytickou funkc´ı Pnom) mus´ı vˇzdy pˇr´ımo záviset na slovese být. Vˇsechna poruˇsen´ı tˇechto pravidel/testu˚ byla ruˇcnˇe provˇerˇ ena a opravena.

2.3

Tektogramatická rovina

Tato sekce struˇcnˇe popisuje tektogramatickou rovinu. V´ıce informac´ı najdete v textu Tektogramatická anotace PDT: Pokyny pro anotátory.

2.3.1

Logická struktura

Tektogramatická reprezentace vˇety zachycuje informace z následuj´ıc´ıch oblast´ı: • Tektogramatická struktura a funktory. Kaˇzdá vˇeta je reprezentována jako orientovany´ strom s korˇ enem, s ohodnocenymi hranami a uzly. Strom zachycuje hloubkovou strukturu vˇety. Uzly zas´ tupuj´ı pouze plnovyznamov´ a slova (s nˇekolika vyjimkami technické povahy). Narozd´ıl od analyt´ ´ ické roviny, ne vˇsechny morfologické prvky jsou na tektogramatické rovinˇe reprezentovány jako uzly (napˇr. tu chybˇej´ı pˇredloˇzky) a nˇekteré tektogramatické uzly neodpov´ıdaj´ı zˇ a´ dnému morfologickému prvku (napˇr. struktura obsahuje uzel reprezentuj´ıc´ı vynechany´ subjekt v konstrukc´ıch ˚ jsou pˇripojeny gramatémy s nevyjádˇrenym ´ podmˇetem (pro-drop constructions). K nˇekterym ´ uzlum poskytuj´ıc´ı o uzlu informaci, kterou nelze odvodit ze struktury, funktoru cˇ i jinych ´ atributu˚ (napˇr. cˇ ´ıslo u podstatnych ´ jmen, modalitu a cˇ as u sloves apod.). Hrany stromu reprezentuj´ı vztah mezi uzly, které spojuj´ı; typ vztahu je, podobnˇe jako u analytické roviny, vyjádˇren ohodnocen´ım hrany. Ke kaˇzdému uzlu reprezentuj´ıc´ımu sloveso nebo jisty´ typ podstatného jména je pˇriˇrazen valenˇcn´ı rámec (ve smyslu odkazu na prvek valenˇcn´ıho slovn´ıku, viz sekce 3.8). • Aktuáln´ı cˇ lenˇen´ı (TFA, Topic–focus articulation). Kaˇzdému uzlu je na základˇe jeho kontextového ˚ ze byt zapojen´ı pˇriˇrazena jedna ze tˇr´ı hodnot: uzel muˇ ´ kontextovˇe zapojeny, ´ kontrastivnˇe kontextovˇe zapojeny´ nebo kontextovˇe nezapojeny. ´ Uzly v základové (topic) cˇ a´ sti vˇety jsou nav´ıc seˇrazeny podle pˇredpokládané vypovˇ edn´ı dynamiˇcnosti. ´ • Koreference. V souˇcasné verzi anotace jsou zachyceny nˇekteré druhy koreferenˇcn´ıch vztahu˚ mezi ˇ uzly, s rozliˇsen´ım, o jaky´ druh vztahu se jedná (textovy, ´ gramaticky´ nebo ,,druhá závislost“ doplnku).

2.3.2

Fyzická realizace

˚ v závislosti na typu Kaˇzdému nekoˇrenovému uzlu tektogramatického stromu je pˇriˇrazeno 39 atributu; ˇ uzlu (urˇceného atributem nodetype) je vˇsak vyplnˇena jen urˇcitá jejich podmnoˇzina. Rada atributu˚ je typu seznam nebo mnoˇzina a obsahuj´ı v´ıce hodnot. • Tektogramatická struktura a funktory. Podobnˇe jako na analytické rovinˇe, ke kaˇzdému uzlu patˇr´ı ˚ na tektogramatické rovinˇe je jich vˇsak mnohem v´ıce. Atribut id obsahuje v rámci skupina atributu; PDT 2.0 jednoznaˇcny´ identifikátor uzlu, atribut functor popisuje typ hrany vedouc´ı od uzlu ˚ ˚ ze reprezentovat jak závislostn´ı vztah, tak i dalˇs´ı technické jevy). k jeho pˇredchudci (hrana muˇ Atribut t lemma obsahuje tektogramatické lemma uzlu. Gramatémy jsou vyjádˇreny skupinou 16 ˚ oznaˇcenych atributu, ´ ,,pˇredponou“ gram (napˇr. gram/verbmod pro slovesnou modalitu). Dalˇs´ı atributy slouˇz´ı k zpˇetnému odkazován´ı do analytické roviny (viz obrázek 2.1), jiné pro koordinaci a apozici, závorky, pˇr´ımou rˇ eˇc, citace apod. 13

´ ˇ 2.4. UKAZKA ANOTACE NA TRECH ...


• Aktuáln´ı cˇ lenˇen´ı. Rozdˇelen´ı uzlu˚ na kontextovˇe zapojené, kontrastivnˇe kontextovˇe zapojené a ˇ ıselny´ atribut deepord je kontextovˇe nezapojené je reprezentováno hodnotami atributu tfa. C´ ˚ zaloˇzené na vypovˇ pouˇzit pro hloubkové poˇrad´ı uzlu, edn´ı dynamiˇcnosti. ´ • Koreference. Atributy coref text.rf, coref gram.rf a compl.rf obsahuj´ı id koreferenˇcn´ıch ˚ Atribut coref special nese informaci o zvlásˇ tn´ıch pˇr´ıpadech koreferuzlu˚ pˇr´ısluˇsnych ´ typu. ence. Pˇr´ıklad stromu najdete na obrázku 2.4.

2.3.3

Proces anotace

Jelikoˇz je tektogramatická struktura rovnˇezˇ zaloˇzená na závislostn´ıch relac´ıch, byly pouˇzity automatické postupy ke konverzi závislostn´ıch analytickych ´ stromu˚ do provizorn´ıch stromu˚ tektogramatického typu. Vˇsechny vytvoˇrené provizorn´ı stromy pak byly zpracovány anotátory, kteˇr´ı doplnili velké mnoˇzstv´ı chybˇej´ıc´ıch informac´ı a opravili chyby. Koreference, aktuáln´ı cˇ lenˇen´ı a nˇekteré gramatémy byly anotovány oddˇelenˇe. Vˇsechna data pak byla zkontrolována mnoˇzstv´ım poanotaˇcn´ıch testu˚ (viz sekce 4.7).

˚ ehu prac´ı na datech a anotac´ıch Obrázek 2.2: Schéma prubˇ ˚ ehu prac´ı na datech a anotac´ıch je zobrazeno na obrázku 2.2. Silné sˇ ipky znamenaj´ı Schéma prubˇ opakované operace, dvojité sˇ ipky znaˇc´ı procedury spojován´ı, které byly pouˇzity, kdykoliv byla jedna data anotována na v´ıce podrovinách souˇcasnˇe. 14



Tabulka 2.1: Ukázková vˇeta Nˇekteré

2.4

kontury

problému

se

vˇsak

po

oˇziven´ım

Havlovým

projevem

zdaj´ı

být

jasnˇejˇs´ı

Ukázka anotace na tˇrech rovinách

Ukázkovou vˇetu vid´ıte v tabulce 2.1. Anotace této vˇety na morfologické rovinˇe je zachycena v tabulce 2.2. Vˇsimnˇete si, zˇ e sedmy´ pád ˚ slova oˇziven´ı byl zmˇenˇen na sˇ esty´ pád. Duvodem (jak je naznaˇceno elementem form change) je tisková chyba. Tabulka 2.2: Morfologická analyza ´ ukázkové vˇety slovn´ı forma Nˇekteré kontury problému se vˇsak po oˇziven´ı Havlovým projevem zdaj´ı být jasnˇejˇs´ı .

lemma nˇekterý kontura problém se ˆ(zvr. zájmeno/ˇca´ stice) vˇsak po-1 oˇziven´ı ˆ(*3it) Havluv ˚ ;S ˆ(*3el) projev zdát být jasný .

morfologicky´ tag PZFP1---------NNFP1-----A---NNIS2-----A---P7-X4---------Jˆ------------RR--6---------NNNS6-----A---AUIS7M--------NNIS7-----A---VB-P---3P-AA--Vf--------A---AAFP1----2A---Z:-------------

Anotaci ukázkové vˇety na analytické rovinˇe vid´ıte na obrázku 2.3. Vˇsimnˇete si, zˇ e slovo zdaj´ı je ˚ oznaˇceno jako jediny´ cˇ len koordinace. T´ımto zpusobem je na analytické rovinˇe anotována koordinace s pˇredchoz´ı vˇetou. Anotaci ukázkové vˇety na tektogramatické rovinˇe vid´ıte na obrázku 2.4. Vˇsimnˇete si, zˇ e slovo vˇsak uˇz nen´ı koordinaˇcn´ım uzlem. Funktorem PREC je oznaˇceno jako slovo spojuj´ıc´ı tuto vˇetu s vˇetou pˇredchoz´ı. Dále si vˇsimnˇete, zˇ e slovo se se stalo cˇ a´ st´ı sloˇzené slovesné formy zdát se, zˇ e zmizela pˇredloˇzka po (je vˇsak na ni odkazováno ze slova oˇziven´ı a je základem hodnot funktoru a podfunktoru tohoto slova), zˇ e zájmeno nˇekterý má t lemma který a jeho neurˇcitost je vyjádˇrena v hodnotách gramatému˚ gram/sempos a gram/indeftype, apod. V´ıce pˇr´ıkladu˚ najdete v sekci 3.7.

15

.



Obrázek 2.3: Analyticky´ strom ukázkové vˇety Nˇekteré kontury problému se vˇsak po oˇziven´ı Havlovým projevem zdaj´ı být jasnˇejˇs´ı.

Obrázek 2.4: Tektogramaticky´ strom ukázkové vˇety Nˇekteré kontury problému se vˇsak po oˇziven´ı Havlovým projevem zdaj´ı být jasnˇejˇs´ı. (podrobné zobrazen´ı)

16

Kapitola 3

Data Vlastn´ı data jsou jedinou cˇ a´ st´ı PDT 2.0, kterou nelze stáhnout z webovskych stránek PDT, . Ke staˇzen´ı je k dispozici jen cˇ a´ st dat (ukázková data, viz sekce 3.7) a PDT-VALLEX (viz sekce 3.8). Chcete-li z´ıskat plná data (viz sekce 3.6), vˇcetnˇe aktualizace PDT 1.0 (viz 3.9), mus´ıte si opatˇrit distribuˇcn´ı CD-ROM. Kapitola 7 popisuje, jak na to. Data jsou um´ıstˇena v adresárˇ i data.

3.1

Zdroje textu˚

˚ Data v Praˇzském závislostn´ım korpusu jsou anotované nezkrácené cˇ lánky z tˇechto novin a cˇ asopisu: • Lidové noviny1 (den´ık), ISSN 1213-1385, 1991, 1994, 1995 • Mladá fronta Dnes2 (den´ık), 1992 ˇ • Ceskomoravsk y´ Profit3 (ekonomicky´ tyden´ ık), 1994 ´ • Vesm´ır4 (populárnˇe vˇedecky´ mˇes´ıcˇ n´ık), ISSN 1214-4029, Vesm´ır, s.r.o., 1992, 1993 Pˇrehled mnoˇzstv´ı dat z jednotlivych ´ zdroju˚ najdete na obrázku 3.1. ˇ ´ ˚ Texty v elektronické podobˇe poskytl Ustav Cesk´ eho národn´ıho korpusu.5 Z puvodn´ ıch zdroju˚ pˇrichá˚ ych zely texty v ruzn podobách. Origináln´ı formátován´ı bylo zachováno jen v nˇekterych pˇr´ıpadech, ´ ´ ˚ a odstavcu. ˚ obecnˇe bylo pˇrevzato jen rozdˇelen´ı do dokumentu˚ (ˇclánku) ˚ ych ˚ Origináln´ı data obsahovala z ruzn u˚ duplicity (vˇetˇsinou sˇ lo o chybu). Pokud se opako´ duvod valy v´ıce neˇz tˇri vˇety, byly odstranˇeny. Dále byla odstranˇena témˇerˇ vˇsechna vysoce cˇ etná neslovn´ı data, jako pˇrepisy sˇ achovych parti´ı, tabulky vysledk u˚ sportovn´ıch utkán´ı apod. Nˇekolik z nich jsme vˇsak ´ ´ zachovali, aby nám pˇripom´ınaly svou existenci a abychom na nich pˇredvedli navrhovany´ (ponˇekud ˚ technicky) jejich anotace. ´ zpusob

3.2

Rozdˇelen´ı dat podle pokryt´ı anotacemi na jednotlivych ´ rovinách

ˇ ım vyˇssˇ´ı rovina, t´ım ménˇe dat na n´ı bylo Anotace jednotlivych rovin nepokryvaj´ ´ ´ ı celá data stejnˇe. C´ ˚ anotováno. Duvod je zˇrejmy, ´ anotace sloˇzitˇejˇs´ı roviny vyˇzaduje v´ıce lidské práce, a tedy v´ıce cˇ asu a ˚ ˚ penˇez. Existuj´ı jeˇstˇe dalˇs´ı technologické duvody: pˇri urˇcitém zpusobu vyvoje nástroju˚ pro vyˇssˇ´ı roviny ´ ˚ ze mus´ı pro potˇreby trénován´ı existovat v´ıce dat na niˇzsˇ´ı rovinˇe, jej´ızˇ anotace na vyˇssˇ´ı rovinˇe stejnˇe nemuˇ byt ´ pouˇzita. Plat´ı, zˇ e kaˇzdy´ soubor, anotovany´ na nˇekteré rovinˇe, je anotován rovnˇezˇ na vˇsech rovinách niˇzsˇ´ıch. Situaci ilustruje obrázek 3.2. ˚ odrázˇ ej´ıc´ı Dalˇs´ı informace o rovinách najdete v kapitole 2. Informace o jmenné konvenci souboru, roviny anotace, najdete v sekci 3.5. Podrobné informace o mnoˇzstv´ı dat najdete v sekci 3.6. 1 2 3 4 5

17

ˇ ´ 3.3. ROZDELEN I´ DAT NA TRENOVAC I´ A . . .

KAPITOLA 3. DATA

Obrázek 3.1: Poˇcet slovn´ıch jednotek (slov, cˇ ´ısel, interpunkce) z jednotlivych ´ zdroju˚

3.3

Rozdˇelen´ı dat na trénovac´ı a testovac´ı

Data jsou rozdˇelena, jak je obvyklé, do tˇr´ı skupin: trénovac´ı data (train), vyvojov´ a testovac´ı data (dtest) ´ a evaluaˇcn´ı testovac´ı data (etest). Trénovac´ı data tvoˇr´ı pˇribliˇznˇe 80% celkového mnoˇzstv´ı dat, vyvojov´ a ´ 10% a evaluaˇcn´ı rovnˇezˇ 10% (tento pomˇer plat´ı na vˇsech rovinách anotace). Uˇzivatelé mohou libovolnˇe vyuˇz´ıvat trénovac´ı data a provˇerˇ ovat své hypotézy nebo nástroje na vyvojov ych testovac´ıch datech. Na evaluaˇcn´ı testovac´ı data by se nemˇeli d´ıvat nikdy, ta jsou urˇcena ´ ´ výhradnˇe pro evaluace. I tak by evaluaˇcn´ı data mˇela byt ´ pouˇz´ıvána s rozvahou a co nejménˇe, nebot’ po˚ zorován´ı z´ıskaná opakovanymi testy by mohla vést ke zmˇenˇe puvodn´ ı hypotézy cˇ i nástroje, a tak by ´ evaluaˇcn´ı data zaˇcala slouˇzit jako vyvojov´ a testovac´ı data. ´ ˚ ych ˚ Pomˇer train/dtest/etest je pˇribliˇznˇe stejny´ jako v PDT 1.0 (8:1:1), ale z ruzn u˚ nebylo za´ duvod ˚ chováno staré rozdˇelen´ı dat. Data v PDT 2.0 byla rozdˇelena následuj´ıc´ım zpusobem: dokumenty morfologické roviny byly brány postupnˇe a cyklicky rozdˇelovány, prvn´ı byl vloˇzen do mnoˇziny train-1, druhy´ do train-2, a tak dále aˇz po train-8, deváty´ byl vloˇzen do dtest a desáty´ do etest. Jedenácty´ dokument pˇripadl opˇet do train-1 atd. (Rozdˇelen´ı trénovac´ı mnoˇziny do osmi podmnoˇzin bylo provedeno ˚ ze nav´ıc proto, aby se zmenˇsil poˇcet souboru˚ v adresárˇ´ıch; existence deseti stejnˇe velkych ´ mnoˇzin dat muˇ slouˇzit pro experimenty s kˇr´ızˇ ovou validac´ı.) Dokumenty anotované na ostatn´ıch rovinách pˇripadly do stejnych ´ mnoˇzin jako jejich morfologicky anotované verze. D´ıky sekvenˇcn´ımu vybˇ ´ eru dokumentu˚ pro ˚ anotaci tento algoritmus zaruˇcuje, zˇ e pomˇer rozdˇelenych i na vyˇssˇ´ıch rovinách témˇerˇ stejny´ ´ dat zustane ˚ ˚ (8:1:1), s malou odchylkou zpusobenou rozd´ılem ve velikosti souboru. Obrázek 3.3 ukazuje rozdˇelen´ı dat. Algoritmus pouˇzity´ k rozdˇelen´ı zaruˇcuje, zˇ e kaˇzdy´ soubor patˇr´ı do stejné mnoˇziny (train, dtest, etest) na vˇsech rovinách, na kterych ´ je anotován. (Podrobné informace o mnoˇzstv´ı dat najdete v sekci 3.6.) Poznamenejme, zˇ e uˇzivatel, ktery´ provád´ı experiment napˇr. na datech a-roviny a tento experiment se ´ netyk´ zda jsou daná data anotována ´ a t-roviny, by mˇel pouˇz´ıt takové rozdˇelen´ı dat, které nebere v uvahu, na t-rovinˇe cˇ i ne. D´ıky tomu je napˇr. mnoˇzina etest na a-rovinˇe ve skuteˇcnosti sloˇzena ze dvou cˇ a´ st´ı, jak je vidˇet na obrázku 3.3 (dvˇe svisle sˇ rafované oblasti ve stˇredn´ım sloupci). Podobnˇe je mnoˇzina train-1 m-roviny sloˇzena ze tˇr´ı cˇ a´ st´ı. O tˇechto rozdˇelen´ıch pojednává rovnˇezˇ sekce 3.6. 18

´ 3.4. FORMATY DAT

KAPITOLA 3. DATA

Obrázek 3.2: Rozdˇelen´ı dat do rovin

3.4

Formáty dat

Hlavn´ım formátem dat v PDT 2.0 je formát nazvany´ PML, ktery´ je zaloˇzeny´ na XML6 . Bˇehem vyvoje ´ PDT vznikly a byly pouˇz´ıvány jeˇstˇe dva dalˇs´ı formáty dat. Formát FS byl vytvoˇren pro vyhledávac´ı ˚ program Netgraph (pˇr´ısnˇe vzato vlastnˇe pro jeho pˇredchudce, editor Graph). Formát zvany´ CSTS, zaloˇzeny´ na SGML, byl hlavn´ım formátem dat v PDT 1.0. Nyn´ı je pouˇz´ıván jen jako pˇrechodny´ formát pro kompatibilitu se starˇs´ımi nástroji pro zpracovnán´ı jazyka (taggery, parsery, ...). Informace o konverz´ıch mezi tˇemito formáty najdete v sekci 4.4.1.

3.4.1

PML

PML (,,Prague Markup Language“) je formát dat zaloˇzeny´ na XML, navrˇzeny´ pro reprezentaci bo˚ jako jsou morfologické znaˇckován´ı, závislotn´ı stromy apod. PML je haté lingvistické anotace textu, prob´ıhaj´ıc´ı projekt ve své rané fázi. Pˇresto je jiˇz dostateˇcnˇe pokroˇcily, ´ aby umoˇznil pˇrimˇerˇ enou a snadnou reprezentaci dat v PDT 2.0. Následuj´ıc´ı text obsahuje struˇcny´ pˇrehled hlavn´ıch vlastnost´ı PML. Podrobné informace o tomto formátu najdete v dokumentaci PML. Informace o tom, jak jsou data PDT 2.0 reprezentována v PML, najdete v pˇr´ıruˇcce anotaˇcn´ıch znaˇcek PDT 2.0. V PML se mohou jednotlivé oddˇelené roviny anotace pˇrekryvat a mohou byt ´ ´ konzistentnˇe propojeny jak mezi sebou, tak i s dalˇs´ımi zdroji dat. Kaˇzdá rovina anotace je popsána v souboru PML schéma, ktery´ je jakousi formalizac´ı abstraktn´ıho anotaˇcn´ıho schématu pro tu konkrétn´ı rovinu anotace. PML schéma 6

19

´ 3.4. FORMATY DAT

KAPITOLA 3. DATA

Obrázek 3.3: Rozdˇelen´ı dat na trénovac´ı a testovac´ı mnoˇziny

popisuje, které elementy se na dané rovinˇe vyskytuj´ı, jak jsou spojovány, vnoˇrovány a strukturovány, hodnoty jakého typu se v nich mohou vyskytovat a jakou roli hraj´ı v anotaˇcn´ım schématu (tato infor˚ ze byt ˚ mace o PML-roli muˇ zobrazen´ı PML dat ´ vyuˇz´ıvána i aplikacemi ke správnému urˇcen´ı zpusobu uˇzivateli). Z PML schématu mohou byt ´ automaticky generována dalˇs´ı schémata, jako je Relax NG7 , d´ıky ˚ ze byt cˇ emuˇz muˇ ´ konzistence dat ovˇerˇ ena pomoc´ı bˇezˇ nych ´ nástroju˚ pro XML (XSLT styl pro konverzi PML schématu do Relax NG je k dispozici v tools/pml/pml2rng.xsl). Kaˇzdy´ PML soubor zaˇc´ıná hlaviˇckou, odkazuj´ıc´ı na PML schéma souboru. V hlaviˇcce jsou uvedeny vˇsechny extern´ı zdroje, na které je z tohoto souboru odkazováno, spolu s nˇekolika dalˇs´ımi informacemi, ˚ Zbytek souboru obsahuje vlastn´ı anotaci. potˇrebnymi pro správné vyhodnocen´ı odkazu. ´ ˚ pojmenovanych Anotace je vyjádˇrena pomoc´ı XML elementu˚ a atributu, a pouˇzitych v souladu ´ ´ s pˇr´ısluˇsnym ´ PML schématem. XML elementy vˇsech souboru˚ patˇr´ı do vyhrazeného jmenného prostoru http://ufal.mff.cuni.cz/pdt/pml/. Formát PML poskytuje jednotnou reprezentaci vˇetˇsiny bˇezˇ nych ´ anotaˇcn´ıch konstrukc´ı, jako jsou struktury atribut-hodnota, seznam alternativn´ıch hodnot urˇcité˚ ymi ho typu (atomického nebo dále strukturovaného), odkazy v rámci PML souboru, odkazy mezi ruzn ´ ˚ mezi rovinami) nebo do dalˇs´ıch extern´ıch zdroju˚ typu PML soubory (v PDT 2.0 pouˇzité k odkazum XML. V souˇcasné verzi nab´ız´ı PML i omezenou podporu XML elementu˚ se sm´ısˇ enym ´ obsahem. Abychom se vyhnuli moˇzné zámˇenˇe s atributy XML, nazyv´ ´ ame obvykle atributy sktruktury atribut-hodnota prvky. Anotace PDT 2.0 je rozdˇelena do cˇ tyˇr rovin, naskládanych ´ jedna na druhou, a to roviny slovn´ı, morfologické, analytické a tektogramatické (viz kapitola 2). Kaˇzdá z tˇechto rovin má vlastn´ı PML schéma. ˚ Tektogramatické a analytické stromy jsou v PML reprezentovány bˇezˇ nym jako vnoˇrené ´ zpusobem struktury atribut-hodnota. Uzel stromu je reprezentován strukturou atribut-hodnota s PML-rol´ı #NODE. Kaˇzdy´ uzel má prvek s PML-rol´ı #CHILDNODES, ktery´ obsahuje seznam pˇr´ımych ´ potomku˚ daného uzlu. ´ celum, ˚ Technicky´ koˇren závislostn´ıch stromu˚ v PDT 2.0 slouˇz´ı zvlásˇ tn´ım pomocnym a proto je jeho ´ uˇ struktura odliˇsná od ostatn´ıch uzlu˚ (má jiné prvky). Obsáhlé informace o reprezentaci cˇ tyˇr anotaˇcn´ıch rovin v PML najdete v Pˇr´ıruˇcce anotaˇcn´ıch znaˇcek PDT 2.0. PML a Relax NG schémata pro cˇ tyˇri anotaˇcn´ı roviny najdete v adresárˇ i data/schemas.

3.4.2

Perl Storable Format

Formát PML, zaloˇzeny´ na XML, je primárn´ım formátem dat v PDT 2.0. Pˇri práci s n´ım vˇsak nástroje TrEd a btred, zaloˇzené na Perlu, spotˇrebuj´ı mnoho cˇ asu naˇc´ıtán´ım dat a jejich pˇrevodem do vnitˇrn´ı pamˇet’ové reprezentace. Této cˇ asovˇe nároˇcné transformaci se lze vyhnout vyuˇzit´ım formátu pls.gz (Perl Storable Format). Jde o binárn´ı datovy´ formát, ktery´ pˇr´ımo odrázˇ ´ı vnitˇrn´ı pamˇet’ovou reprezentaci dat v Perlu. Jeho ukládán´ı a zpˇetné naˇc´ıtán´ı je tedy mnohem rychlejˇs´ı. Nen´ı ale zaloˇzen na XML, a nelze jej tedy snadno pouˇz´ıt jinymi nástroji. ´ 7

20

´ I´ SOUBORU ˚ 3.5. KONVENCE POJMENOVAN

KAPITOLA 3. DATA

3.4.3

FS

˚ jejichˇz uzly jsou sktrukFormát FS (,,feature structure“) je formát souboru˚ pro reprezentaci stromu, ˚ ze byt tury atribut-hodnota. Muˇ ´ chápán jako ,,meta formát“, podobnˇe jako SGML nebo XML. Konkrétn´ı pouˇzit´ı tohoto formátu je plnˇe specifikováno deklarac´ı atributu˚ v hlaviˇcce FS souboru (hlaviˇcka FS souboru tak hraje podobnou roli jako DTD u SGML souboru). ˚ Kaˇzdá rˇ a´ dka deklarace sestává ze znaku @, vlastnosti atributu, FS soubor zaˇc´ıná deklarac´ı atributu. mezery a jména atributu. Napˇr. vlastnost O, ,,obligatory“, oznaˇcuje povinny´ atribut, tedy atribut, jehoˇz hodnota mus´ı byt ´ u kaˇzdého uzlu neprázdná. Vlastnost L, ,,list“, oznaˇcuje vyˇ ´ ctovy´ atribut, tedy atribut, jehoˇz hodnota u kaˇzdého uzlu (pokud je neprázdná) mus´ı byt ´ jednou z hodnot uvedenych ´ v seznamu ´ následuj´ıc´ım za jménem atributu v hlaviˇcce. Upln y´ popis najdete ve specifikaci FS formátu. Deklaraˇcn´ı hlaviˇcka konˇc´ı prázdnym ´ rˇ a´ dkem, po nˇemˇz následuj´ı popisy stromu˚ anotace. Kaˇzdy´ strom zaˇc´ıná na novém rˇ a´ dku. Stromy jsou popsány v obvyklé závorkové notaci, tj. po popisu uzlu ˚ uzavˇreny´ v závorkách. Jednotliv´ı potomci jsou oddˇeleni následuje seznam jeho pˇr´ımych potomku, ´ cˇ a´ rkou. Popis kaˇzdého uzlu je uzavˇren v hranatych ´ závorkách a sestává ze seznamu dvojic ˚ ze atribut=hodnota, oddˇelenych ´ cˇ a´ rkou. Pokud je atribut v hlaviˇcce deklarován jako poziˇcn´ı (P), muˇ byt ´ u uzlu urˇcen jen svou hodnotou a jeho jméno je odvozeno z pˇredchoz´ıch známych ´ atributu˚ a z poˇrad´ı atributu˚ v hlaviˇcce.

3.4.4

CSTS

CSTS (,,Czech sentence tree structure“), formát zaloˇzeny´ na SGML, byl hlavn´ım formátem dat v PDT 1.0. ˚ ze reprezenAˇckoliv byl v PDT 2.0 nahrazen PML, nˇekteré nástroje jej stále vyhradnˇ e pouˇz´ıvaj´ı. CSTS muˇ ´ tovat jen morfologickou a analytickou anotaci (abychom byli pˇresn´ı, jeho definice obsahuje i nˇekolik elementu˚ vztahuj´ıc´ıch se k tektogramatické anotaci, ale nen´ı schopen plného popisu t-roviny). Velmi doporuˇcujeme pouˇz´ıvat m´ısto nˇej PML (viz sekce 3.4.1), kdykoliv je to moˇzné. To se tyk´ ´ a zejména novych ´ ˚ V´ıce informac´ı najdete v upln´ ´ nástroju. em popisu CSTS a jeho DTD souboru.

3.5

Konvence pojmenován´ı souboru˚

Data v PDT 2.0 jsou distribuována ve formátu PML (viz popis PML v sekci 3.4.1). Kaˇzdy´ datovy´ soubor odpov´ıdá jednomu anotovanému dokumentu. Základem jeho jména je identifikátor dokumentu (indikuje také zdroj dokumentu, viz sekce 3.1: ln* oznaˇcuje Lidové noviny, mf* oznaˇcuje Mladou frontu ˇ Dnes, vesm* oznaˇcuje Vesm´ır a cmpr* oznaˇcuje Ceskomoravsk y´ profit). Pˇr´ıpona souboru vyjadˇruje rovinu anotace dokumentu (.w oznaˇcuje w-rovinu, .m oznaˇcuje m-rovinu, .a oznaˇcuje a-rovinu a .t oznaˇcuje t-rovinu). (Popis rovin najdete v kapitole 2.) ˚ Kaˇzdy´ soubor obsahuj´ıc´ı anotaci dokumentu na nˇejaké rovinˇe odpov´ıdá jedna ku jedné souborum ˚ Z tohoto obsahuj´ıc´ım anotace niˇzsˇ´ıch rovin téhoˇz dokumentu a obsahuje reference do tˇechto souboru. ˚ duvodu by soubory nemˇely byt ´ pˇrejmenovány. Z niˇzsˇ´ıch rovin anotace do vyˇssˇ´ıch rovin odkazy nevedou. Pˇrehled propojen´ı rovin najdete na obrázku 2.1. Pˇr´ıklad: cmpr9406 001.a.gz oznaˇcuje soubor (zkomprimovany´ gzip-em) obsahuj´ıc´ı a-rovinu anˇ otace dokumentu cmpr9406 001 (pocházej´ıc´ıho z Ceskomoravsk´ eho profitu). Ze souboru vedou odkazy ´ u˚ vˇsak nelze odvodit existenci do souboru˚ cmpr9406 001.m.gz a cmpr9406 001.w.gz; z tˇechto udaj souboru cmpr9406 001.t.gz. Podle jména souboru se nepozná, zda soubor patˇr´ı do trénovac´ı nebo testovac´ı mnoˇziny. To je dáno um´ıstˇen´ım souboru v adresárˇ ové struktuˇre, viz sekce 3.3. Ze jmen souboru˚ jsou odvozena také jména identifikátoru˚ vˇet a prvku˚ vˇet, obsaˇzenych v tˇechto ´ souborech. Kaˇzdy´ identifikátor je jedineˇcny´ v rámci celého korpusu.

3.6

Plná data

˚ kteˇr´ı CD-ROM PDT 2.0 z´ıskali z LinguisPlná verze dat PDT 2.0 je k dispozici oprávnˇenym ´ uˇzivetelum, ˚ ze byt tic Data Consortium (viz kapitola 7). Malá ukázka dat muˇ ´ volnˇe staˇzena z internetu (viz sekce 3.7). ˚ obsahuj´ıc´ıch Plná verze dat PDT 2.0 sestává ze 7 110 ruˇcnˇe anotovanych textovych dokumentu, ´ ´ celkem 115 844 vˇet s 1 957 247 slovn´ımi jednotkami (slovy, cˇ ´ısly, interpunkc´ı). Vˇsechny tyto dokumenty ˚ jsou anotovány na m-rovinˇe. 75% dat m-roviny je anotováno rovnˇezˇ na a-rovinˇe (5 330 dokumentu, 21

´ DATA 3.6. PLNA

KAPITOLA 3. DATA

87 913 vˇet, 1 503 739 slovn´ıch jednotek). 59% dat a-roviny je anotováno také na t-rovinˇe (tj. 45% dat ˚ 49 431 vˇet, 833 195 slovn´ıch jednotek). m-roviny; 3 165 dokumentu, Plná data ve formátu PML jsou uloˇzena v adresárˇ i data/full na CD-ROM PDT 2.0. (Pro rychlejˇs´ı zpracován´ı nástroji zaloˇzenymi na TrEdu jsou plná data, anotovaná alesponˇ na a-rovinˇe, pˇrevedena ´ rovnˇezˇ do formátu Perl Storable Format; tato data jsou uloˇzena v adresárˇ´ıch data/binary/amw a ˇ e hierarchie: data/binary/tamw.) Datové soubory jsou rozdˇeleny podle této dvoustupnov´ • Prvn´ı vˇetven´ı odpov´ıdá nejvyˇssˇ´ı vrstvˇe anotace (viz kapitola 2) dostupné pro dany´ dokument: – data/full/tamw/ – dokumenty anotované na vˇsech rovinách, – data/full/amw/ – dokumenty anotované pouze na m-rovinˇe a a-rovinˇe, – data/full/mw/ – dokumenty anotované pouze na m-rovinˇe. • Obsah kaˇzdého z tˇechto tˇr´ı adresárˇ u˚ je dále rozdˇelen do deseti pˇribliˇznˇe stejnˇe velkych ´ cˇ a´ st´ı (viz ´ cely (train-1/ aˇz train-8/), jedna pro vyvojov´ sekce 3.3). Osm z nich slouˇz´ı pro trénovac´ı uˇ e ´ testy (dtest/) a jedna pro evaluaˇcn´ı testy (etest/). ˚ zust´ ˚ avá mnoˇzstv´ı souboru˚ v jednotlivych Pˇrestoˇze jsou data takto rozdˇelena do tˇriceti adresárˇ u, ´ ˚ adresárˇ´ıch stále znaˇcné. To je zpusobeno cˇ a´ steˇcnˇe t´ım, zˇ e poˇcet fyzickych ´ souboru˚ (v porovnán´ı s poˇctem ˚ ˚ je v pˇr´ıpadˇe tamw dat násoben cˇ tyˇrmi (pro kaˇzdy´ dokument jsou puvodn´ ıch textovych dokumentu) ´ v adresárˇ i cˇ tyˇri soubory, obsahuj´ıc´ı jeho anotaci na jednotlivych ´ rovinách, viz sekce 3.5), tˇremi v pˇr´ıpadˇe amw dat a dvˇema u mw dat. Tak se celkovy´ poˇcet datovych ´ souboru˚ rovná 4 x 3 165 + 3 x 2 165 + 2 x 1 780 ˚ = 22 715. Napˇr´ıklad adresárˇ data/full/tamw/train-3/ obsahuje 4 x 317 = 1 268 datovych ´ souboru. Poznamenejme, zˇ e se zˇ a´ dny´ datovy´ soubor nevyskytuje v adresárˇ i data/full/ dvakrát (napˇr. soubory *.m z data/full/amw/ se jiˇz neobjev´ı v data/full/mw/). Vˇsech tˇricet podadresárˇ u˚ má ˚ ych ˚ vzájemnˇe se nepˇrekryvaj´ ´ ıc´ı obsah, soubory v tˇechto adresárˇ´ıch obsahuj´ı anotace ruzn ´ textu. Podrobny´ rozpis mnoˇzstv´ı dat v jednotlivych ´ adresárˇ´ıch, rozdˇelenych ´ podle vyˇ ´ se uvedenych ´ zásad, najdete v tabulkách 3.1, 3.2 a 3.3. Tabulka 3.1: Data anotovaná na vˇsech vrstvách (tamw). tamw Um´ıstˇen´ı na CD-ROM v data/full/ # dokumentu˚ # vˇet # slovn´ıch jednotek

train tamw/train-1/ ... tamw/train-8/ 2 533 (80,0%) 38 727 (78,3%) 652 544 (78,3%)

dtest tamw/ dtest/ 316 (10,0%) 5 228 (10,6%) 87 988 (10,6%)

etest tamw/ etest/ 316 (10,0%) 5 476 (11,1%) 92 663 (11,1%)

celkem tamw/*/ 3 165 (100,0%) 49 431 (100,0%) 833 195 (100,0%)

Tabulka 3.2: Data anotovaná pouze na m-rovinˇe a a-rovinˇe (amw). amw Um´ıstˇen´ı na CD-ROM v data/full/ # dokumentu˚ # vˇet # slovn´ıch jednotek

train amw/train-1/ ... amw/train-8/ 1 731 (80,0%) 29 768 (77,4%) 518 647 (77,3%)

dtest amw/ dtest/ 217 (10,0%) 4 042 (10,5%) 70 974 (10,6%)

etest amw/ etest/ 217 (10,0%) 4 672 (12,1%) 80 923 (12,1%)

celkem amw/*/ 2 165 (100,0%) 38 482 (100,0%) 670 544 (100,0%)

Ti, kdo chtˇej´ı pracovat pouze s daty m-roviny nebo a-roviny bez ohledu na to, zda jsou dané dokumenty anotovány také na vyˇssˇ´ıch rovinách, by mˇeli pouˇz´ıt jiné rozdˇelen´ı. Napˇr´ıklad pˇri experimentech se vˇsemi daty m-roviny by mˇela trénovac´ı data sestávat ze vˇsech souboru˚ data/full/{tamw,amw,mw}/ train-[1-8]/*m.gz. 22

´ ´ DATA 3.7. UKAZKOV A

KAPITOLA 3. DATA Tabulka 3.3: Data anotovaná pouze na m-rovinˇe (mw). mw Um´ıstˇen´ı na CD-ROM v data/full/ # dokumentu˚ # vˇet # slovn´ıch jednotek

train mw/train-1/ ... mw/train-8/ 1 422 (79,9%) 22 333 (80,0%) 364 640 (80,4%)

dtest mw/ dtest/ 179 (10,1%) 2 610 (9,3%) 42 689 (9,4%)

etest mw/ etest/ 179 (10,1%) 2 988 (10,7%) 46 179 (10,2%)

celkem mw/*/ 1 780 (100,0%) 27 931 (100,0%) 453 508 (100,0%)

Poˇcty vˇsech dokumentu˚ anotovanych ´ na m-rovinˇe (bez ohledu na to, zda existuj´ı jejich anotace na a-rovinˇe a t-rovinˇe) jsou seˇcteny v tabulce 3.4. Vˇsechny dokumenty anotované na a-rovinˇe (bez ohledu na to, zda existuje jejich anotace na t-rovinˇe) jsou posˇc´ıtány v tabulce 3.5. Tabulka 3.4: Alternativn´ı rozdˇelen´ı: Vˇsechny dokumenty anotované na m-rovinˇe (sjednocen´ı tamw, amw a mw). all m Um´ıstˇen´ı na CD-ROM v data/full/ # dokumentu˚ # vˇet # slovn´ıch jednotek

train */train-1/ ... */train-8/ 5 686 (80,0%) 90 828 (78,4%) 1 535 831 (78,5%)

dtest */dtest/

etest */etest/

celkem */*/

712 (10,0%) 11 880 (10,3%) 201 651 (10,3%)

712 (10,0%) 13 136 (11,3%) 219 765 (11,2%)

7 110 (100,0%) 115 844 (100,0%) 1 957 247 (100,0%)

Tabulka 3.5: Alternativn´ı rozdˇelen´ı: Vˇsechna data anotovaná na a-rovinˇe (sjednocen´ı tamw a amw). all a Um´ıstˇen´ı na CD-ROM v data/full/ # dokumentu˚ # vˇet # slovn´ıch jednotek

train *a*/train-1/ ... *a*/train-8/ 4 264 (80,0%) 68 495 (77,9%) 1 171 191 (77,9%)

dtest *a*/ dtest/ 533 (10,0%) 9 270 (10,5%) 158 962 (10,6%)

etest *a*/ etest/ 533 (10,0%) 10 148 (11,5%) 173 586 (11,5%)

celkem *a*/*/ 5 330 (100,0%) 87 913 (100,0%) 1 503 739 (100,0%)

Nen´ı jistˇe tˇreba dodávat, zˇ e kaˇzdy´ zveˇrejnˇeny´ experiment provedeny´ na datech PDT 2.0 by mˇel ´ cel v experimentu pouˇzita. obsahovat informaci o tom, jaká cˇ a´ st dat byla pro jaky´ uˇ ˚ Práci s velkym souboru˚ pomohou usnadnit pˇredgenerované seznamy souboru, ´ poˇctem datovych ´ um´ıstˇené jako samostatné soubory v adresárˇ i data/filelists/; jsou uˇziteˇcné nejen pˇri práci s programy tred/btred/ntred, ale i na pˇr´ıkazové rˇ a´ dce, kde odstran´ı problém s pˇr´ıliˇs velkym ´ poˇctem ˚ Pˇripraveno je pouze nˇekolik základn´ıch seznamu˚ souboru, ˚ uˇzivatel má moˇznost snadno si argumentu. ˚ odpov´ıdaj´ıc´ı libovolné podmnoˇzinˇe vˇsech dat vytvoˇrit jakykoliv jemu vyhovuj´ıc´ı dalˇs´ı seznam souboru, ´ (viz tézˇ tutoriál k btred/ntredu).

3.7

Ukázková data

ˇ Malá cˇ a´ st plnych dat je k dispozici ke staˇzen´ı na internetu (pˇripomenme, zˇ e postup k z´ıskán´ı plné ´ verze dat najdete v kapitole 7). Data jsou rozdˇelena do deseti skupin (sample0 aˇz sample9) pˇribliˇznˇe 23

KAPITOLA 3. DATA

3.8. PDT-VALLEX

po 50 vˇetách. Kaˇzdá skupina sestává ze cˇ tyˇr souboru˚ (sampleX.w.gz, sampleX.m.gz, sampleX.a. gz a sampleX.t.gz); pˇr´ıpona souboru vyjadˇruje rovinu anotace (viz sekce 3.5). Ukázková data jsou ´ tvoˇrena useky vybranymi náhodnˇe z plnych ´ ´ dat (viz sekce 3.6). Ukázková data jsou um´ıstˇena v adresárˇ i data/sample. Ve stejném adresárˇ i najdete i arch´ıv vˇsech ˚ Pokud si nemuˇ ˚ zete nebo nechcete nainstalovat nástroje pro práci s daty ve formátu ukázkovych ´ souboru. ˚ zete si ukázková data snadno prohlédnout v podobˇe webovskych PML (viz kapitola 4), muˇ ´ stránek.

3.8

PDT-VALLEX

PDT 2.0 obsahuje také omezenou lexikálnˇe-sémantickou anotaci, která novˇe provazuje hloubkovou a povrchovou syntax a morfologii pomoc´ı valenˇcn´ıho slovn´ıku, zvaného PDT-VALLEX. Valenˇcn´ı slovn´ık ˚ zete prohlédnout najdete v adresárˇ i data/pdt-vallex ve formátu XML (viz jeho popis) nebo si ho muˇ v podobˇe webovskych ´ stránek— viz zobrazen´ı jedné jeho poloˇzky na obrázku 3.4.

Obrázek 3.4: Ukázka poloˇzky PDT-VALLEXu ve formátu pro zobrazen´ı Poloˇzky PDT-VALLEXu obsahuj´ı jednotlivé významy sloves a nˇekterych ´ slovesnych ´ podstatnych ´ a pˇr´ıdavnych obsahuje valenˇcn´ı rámec se sémantickou, ´ jmen, které se vyskytuj´ı v korpusu. Kaˇzdy´ vyznam ´ syntaktickou a morfologickou informac´ı o jeho sémanticky povinnych a/nebo volitelnych závislych ´ ´ ´ cˇ lenech. Kaˇzdy´ valenˇcn´ı rámec obsahuje nula nebo v´ıce valenˇcn´ıch pozic. Kaˇzdá pozice má syntaktickou nebo sémantickou znaˇcku (napˇr. ACT, PAT, ADDR, LOC, AIM, CRIT, BEN atd.; v´ıce obecnych ´ informac´ı o tektogramatickém anotován´ı najdete v textu Tektogramatická anotace PDT: pokyny pro anotátory), a je oznaˇcena bud’ jako povinná (obligatorn´ı) nebo jako volitelná (fakultativn´ı). Pozice nav´ıc obsahuj´ı povrchovˇe syntaktickou a morfologickou informaci o své povrchové realizaci (vyrazu), jako je morfologicky´ ´ ˚ cely´ pád, pˇredloˇzka, která má byt ´ pouˇzita s pˇr´ısluˇsnou lexikáln´ı jednotkou, nebo (v pˇr´ıpadˇe frázému) syntakticky´ podstrom, ktery´ frazém na povrchu vytvárˇ´ı. ˚ zitˇejˇs´ı vlastnost´ı PDT-VALLEXu vˇsak je, zˇ e kaˇzdy´ vyskyt Nejduleˇ slovesa cˇ i slovesného podstatného ´ jména v PDT 2.0 je provázán (s pouˇzit´ım zvlásˇ n´ıho referenˇcn´ıho atributu) z korpusu na poloˇzku slovn´ıku, cˇ ´ımˇz je vlastnˇe provedena anotace vyznam u˚ tˇechto slov (word sense annotation). Poloˇzky slovn´ıku, je´ jich znaˇcky, obligatornost/fakultativnost a povrchové morfologické formy byly zkontrolovány, aby plnˇe souhlasily se vˇsemi daty korpusu na vˇsech rovinách anotace. ˇ ı spojen´ı mezi korpusem a slovn´ıkem vyuˇz´ıt (umoˇznuj´ ˇ ı K dispozici jsou i nástroje, které umoˇznuj´ ˚ ezˇ né prohl´ızˇ en´ı, vyhledáván´ı a editaci v editoru TrEd, viz obrázek 3.5). prubˇ

3.9

Aktualizace PDT 1.0

Hlavn´ı rozd´ıl mezi PDT 1.0 a PDT 2.0 spoˇc´ıvá v pˇr´ıtomnosti anotace na tektogramatické rovinˇe (viz sekce 2.3). Mnoha zmˇen vˇsak doznaly i niˇzsˇ´ı roviny. Pro uˇzivatele PDT 1.0 jsme pˇripravili aktualizaci dat, ˚ pˇridává vˇsechny zmˇeny a nové informace. Aktualizace je um´ıstˇena v adresárˇ i která k origináln´ım datum data/pdt1.0-update. Aktualizaˇcn´ı bal´ık je urˇcen pouze pro formát CSTS, staré FS soubory j´ım nemohou byt ´ aktualizovány. Zmˇeny zahrnuj´ı: ˚ ych • opravy ruzn ´ chyb na morfologické a analytické rovinˇe, 24

KAPITOLA 3. DATA

3.9. AKTUALIZACE PDT 1.0

Obrázek 3.5: PDT-VALLEX v editoru TrEd ˚ • opravy pˇreklepu, • pˇridán´ı ruˇcn´ı morfologické anotace ve vˇsech souborech. Poˇzadavky pro aplikaci aktualizaˇcn´ıho bal´ıku. Pro aktualizaci dat potˇrebujete dva GNU nástroje, gunzip a patch. V linuxových distribuc´ıch byvaj´ ´ ı tyto nástroje obvykle jiˇz instalovány. Pouˇz´ıváte-li MS Windows, stáhnˇete si z internetu GNU patch8 (jiné verze by nemusely fungovat). gunzip pro Windows ˚ zete pouˇz´ıt jak ve verzi z distribuce Cygwin9 , tak i ze stránek GNU10 . Na CD-ROM PDT 2.0 najdete muˇ kopii nástroje gunzip.exe z distribuce Cygwin v adresárˇ i tools/tred/bin/. Aplikován´ı aktualizaˇcn´ıho bal´ıku na vˇsechny datové adresárˇe. PDT 1.0 CD-ROM obsahuje nˇekolik ˚ podmnoˇzin dat v podadresárˇ´ıch adresárˇ e PDT 1.0 pˇrekryvaj´ odkazu) ´ ıc´ıch se (ve smyslu pevnych ´ CD-ROM/Corpora/PDT 1.0/Data/. Aktualizovány musej´ı byt ´ vˇsechny kromˇe fs/ a fs-am/. Pro souˇcasnou aktualizaci vˇsech tˇechto podadresárˇ u˚ na Linuxu pouˇzijte skript data/pdt1.0-update/ ˚ zelinux-apply-patch.sh. Skript spust’te a pokraˇcujte podle instrukc´ı. V pˇr´ıpadˇe MS Windows nemuˇ ˚ me poskytnout zaruˇceny´ zpusob, jak aktualizaci automaticky aplikovat na vˇsechny datové adresárˇ e. Postupujte podle instrukc´ı n´ızˇ e uvedenych ´ a aktualizujte jednotlivé adresárˇ e postupnˇe. Aplikován´ı aktualizaˇcn´ıho bal´ıku na jeden datovy´ adresárˇ. 1. Zkop´ırujte soubory z vybraného podadresárˇ e Corpora/PDT 1.0/Data/ (kromˇe podadresárˇ u˚ fs/ a fs-am/) na disku PDT 1.0 do nˇejakého nového pracovn´ıho adresárˇ e. ˇ 2. Pˇrejdˇete do tohoto adresárˇ e: cd pracovn´ ı adres´ ar 3. Rozbalte vˇsechny soubory: gunzip *.gz 4. Aplikujte aktualizaˇcn´ı bal´ık: gunzip -c PDT 2.0 CD-ROM/data/pdt1.0-update/pdtpatch.gz | patch -p1 -t ´ ˚ tedy napˇr. adresárˇ u, ˚ které Pˇrep´ınaˇc -t je vyˇzadován v pˇr´ıpadˇe aktualizace neupln ych ´ adresárˇ u, neobsahuj´ı vˇsechny datové soubory PDT 1.0. Tento pˇrep´ınaˇc rˇ´ıká nástroji patch, zˇ e má pˇreskoˇcit vˇsechny neexistuj´ıc´ı soubory bez dotazován´ı se uˇzivatele. V MS Windows pˇridejte k pˇr´ıkazu patch pˇrep´ınaˇc --binary, jinak by aktualizace mohla selhat. 8 9 10

25

Kapitola 4

Nástroje ˚ velké mnoˇzstv´ı skuteˇcnˇe reálnych Jedn´ım z hlavn´ıch c´ılu˚ PDT 2.0 (viz sekce 1.1) je poskytnout lingvistum ´ ˇ pˇr´ıkladu˚ (nejen) jevu˚ dˇr´ıve popsanych v r adˇ e teoretick ych prac´ ı zab yvaj´ ´ ´ ´ ıc´ıch se závislost´ı, tektogramatickym ´ popisem a pˇr´ıstupem funkˇcnˇe-generativn´ıho popisu obecnˇe. Vyuˇzit´ı takového korpusu by vˇsak bylo jen omezené, kdyby nebyl doplnˇen pohodlnym ´ nástrojem pro prohledáván´ı. ˇ ˚ ˚ ˇ Existuje pˇrirozenˇe rada zpusobu, jak korpus prohledávat. Velmi pokroˇcilé vyhledáván´ı umoˇznuje napˇr´ıklad nástroj btred/ntred, vyˇzaduje vˇsak jistou programátorskou dovednost (konkrétnˇe znalost jazyka Perl a rozhran´ı btred/ntredu). Vˇetˇsinˇe ,,bˇezˇ nych“ uˇzivatelu˚ doporuˇcujeme Netgraph, nástroj ´ navrˇzeny´ a vytvoˇreny´ právˇe pro snadné prohledáván´ı PDT 1.0 a PDT 2.0.

4.1

Vyhledáván´ı v korpusu: Netgraph

ˇ Netgraph je aplikace typu klient-server, která umoˇznuje prohledávat PDT 2.0 souˇcasnˇe nˇekolika uˇzivateli, pˇripojenymi pˇres internet. Netgraph je navrˇzeny´ tak, aby prohledáván´ı bylo co nejjednoduˇssˇ´ı a in´ tuitivn´ı, pˇri zachován´ı vysoké s´ıly dotazovac´ıho jazyka. Komunikace mezi dvˇema cˇ a´ stmi Netgraphu, klientem a serverem, prob´ıhá pˇres internet. Server prohledává korpus, ktery´ je um´ıstˇen na stejném poˇc´ıtaˇci cˇ i lokáln´ı s´ıti jako server. Klient slouˇz´ı jako ˚ ze byt grafické rozhran´ı pro uˇzivatele a muˇ ´ um´ıstˇen kdekoliv na internetu. Pos´ılá serveru dotazy a pˇrij´ımá zpátky vysledky. Server a klient mohou byt ´ ´ samozˇrejmˇe um´ıstˇeny i na jednom poˇc´ıtaˇci. Netgraph server je napsán v C a C++ a bˇezˇ ´ı v operaˇcn´ım systému Linux, dalˇs´ıch systémech unixoˇ vého typu a na Apple Mac OS. Existuje i experimentáln´ı verze pro MS Windows. Umoˇznuje nastavit ˚ ymi uˇzivatelská konta s ruzn pˇr´ıstupovymi právy. Korpus, urˇceny´ k prohledáván´ı Netgraphem, mus´ı ´ ´ ´ byt an´ı UTF-8. ´ ve formátu FS a v kodov´ Netgraph klient je napsán v Javˇe a je nezávisly´ na platformˇe. Existuje ve dvou formách. Prvn´ı formou je samostatná javovská aplikace. V této podobˇe jsou dostupné vˇsechny funkce klienta; mus´ı vˇsak byt ´ nejprve nainstalován, spolu s Java 2 Runtime Environment. Druhou formou je javovsky´ aplet. Ten, aˇc ochuzen o nˇekteré funkce, poskytuje plnou vyhledávac´ı s´ılu a bˇezˇ ´ı ve webovském prohl´ızˇ eˇci bez pˇredchoz´ı instalace; vyˇzaduje ovˇsem, abyste mˇeli ve svém prohl´ızˇ eˇci nainstalovany´ Java 2 plug-in. Dotaz v Netgraphu je jeden uzel nebo strom s uˇzivatelem definovanymi vlastnostmi, ktery´ má ´ byt ´ vyhledán v korpusu. Prohledán´ı korpusu pak znamená hledat vˇety (samozˇrejmˇe ve formˇe anoto˚ které obsahuj´ı dotaz jako svuj ˚ podstrom. Uˇzivatel má moˇznost zadat dotazy nejruznˇ ˚ ejˇs´ı vanych ´ stromu), sloˇzitosti, od tˇech nejjednoduˇssˇ´ıch (jako je hledán´ı vˇsech stromu˚ korpusu, které obsahuj´ı dané slovo), po velmi pokroˇcilé (jako napˇr. hledán´ı vˇsech vˇet, obsahuj´ıc´ıch sloveso rozvinuté adresátem, ktery´ nen´ı ve tˇret´ım pádˇe, a nejménˇe jedn´ım pˇr´ıslovcem udávaj´ıc´ım smˇer, atd.). Dotazy mohou byt ´ dále rozˇs´ırˇ eny ˇ ı vyhledávat jeˇstˇe sloˇzitˇejˇs´ı konstrukce. Meta atributy umoˇznuj´ ˇ ı nastzv. meta atributy, které umoˇznuj´ ˚ urˇcen´ı pozice dotazu v nalezenych taven´ı tranzitivn´ıch hran, volitelnych ´ uzlu, ´ stromech, omezen´ı ve˚ nastaven´ı poˇrad´ı uzlu, ˚ urˇcen´ı vztahu˚ mezi hodnotami atributu˚ u ruzn ˚ ych likosti nalezenych ´ stromu, ´ uzlu˚ v nalezenych ´ stromech, negaci a mnoho dalˇs´ıch podm´ınek. Dotazy se v Netgraphu vytvárˇ ej´ı v uˇzivatelsky pˇr´ıvˇetivém grafickém prostˇred´ı. Pˇr´ıkladem je dotaz na obrázku 4.1. V tomto jednoduchém dotazu hledáme vˇsechny stromy, které obsahuj´ı uzel oznaˇceny´ jako predikát, rozvity´ nejménˇe tˇremi uzly, oznaˇcenymi jako aktor, efekt a adresát. Poˇrad´ı tˇechto uzlu˚ ´ v nalezenych ´ stromech nen´ı v dotazu nijak omezeno. ˚ zaslanych ˚ ze byt Jedn´ım z vysledk u, ´ ´ zpˇet serverem, muˇ ´ strom z obrázku 4.2. ˚ dotazu, jsou zvyraznˇ Uzly vysledn´ eho stromu, které odpov´ıdaj´ı uzlum eny zˇ lutou a zelenou barvou. ´ ´ ˚ neˇz jsme urˇcili v dotazu. To je v souladu Vˇsimnˇete si, zˇ e predikát ve vysledn´ em stromˇe má v´ıce synu, ´ 27

´ KAPITOLA 4. NASTROJE

ˇ ˚ TRED 4.2. PROHLI´ZEN I´ STROMU:

Obrázek 4.1: Vytvárˇ en´ı dotazu v Netgraphu

s definic´ı vyhledáván´ı v Netgraphu - staˇc´ı, zˇ e strom dotazu je v nalezeném stromˇe obsaˇzen jako podˇ ı strom. Vˇsimnˇete si dále, zˇ e poˇrad´ı uzlu˚ v dotazu a ve vysledku jsou odliˇsná. Meta atributy umoˇznuj´ ´ ˚ pokud si tak omezit jak skuteˇcny´ poˇcet synu˚ uzlu ve vysledn´ em stromˇe, tak i vysledn´ e poˇrad´ı uzlu, ´ ´ uˇzivatel pˇreje. ˚ Informace o zpusobu instalace Netgraphu najdete v instrukc´ıch k rychlé instalaci Netgraph klienta ˚ zité informace najdete tézˇ v Manuálu k Netgraph a v instrukc´ıch k rychlé instalaci Netgraph serveru. Duleˇ klientu a v Manuálu k instalaci Netgraph serveru. Poznamenejme, zˇ e instalovat Netgraph server potˇrebujete pouze v pˇr´ıpadˇe, zˇ e chcete prohledávat ´ ˚ vlastn´ı korpus. Pro prohledáván´ı PDT 2.0 poskytuje Ustav svuj formáln´ı a aplikované lingvistiky1 vykon´ ny´ server na adrese quest.ms.mff.cuni.cz a portu 2200. Je pˇr´ıstupny´ pˇres internet pro anonymn´ıho ˚ zete pomoc´ı Netgraph klienta (viz instrukce k rychlé inuˇzivatele anonymous a pˇripojit se k nˇemu muˇ stalaci Netgraph klienta). V´ıce informac´ı o Netgraphu najdete v Manuálu k Netgraph klientu. Máte-li zájem o plny´ neanonymn´ı pˇr´ıstup k serveru cˇ i máte-li zájem o dalˇs´ı informace, aktualizace a novinky, navˇstivte domovskou stránku Netgraphu2 .

4.2

Prohl´ızˇ en´ı stromu: ˚ TrEd

Nejpˇrehlednˇejˇs´ı a nejpohodlnˇejˇs´ı zobrazen´ı dat PDT 2.0 poskytuje TrEd. Prvotnˇe slouˇzil jako hlavn´ı ˚ ze byt anotaˇcn´ı nástroj, ale muˇ ´ pouˇzit i k prohl´ızˇ en´ı dat a obsahuje také nˇekolik druhu˚ vyhledávac´ıch funkc´ı. Instrukce k instalaci TrEdu najdete v dokumentaci k TrEdu. Pro otevˇren´ı souboru˚ v TrEdu zvolte menu File a kliknˇete na poloˇzku Open. Vyberte jakykoliv ´ soubor *.t.gz (tj. soubor s tektogramatickou anotac´ı nˇejakého dokumentu), TrEd jej otevˇre a ihned zobraz´ı strom pro prvn´ı vˇetu daného souboru. Typicky´ vzhled TrEdu vid´ıte na obrázku 4.3; jde o vˇetu Kde jsou auta, tam je kˇseft. 1 2

28


ˇ ˚ TRED 4.2. PROHLI´ZEN I´ STROMU:

Obrázek 4.2: Nalezeny´ strom v Netgraphu

1. Na tomto m´ıstˇe vid´ıte jedno cˇ i v´ıce oken. Kaˇzdé okno zobrazuje jeden strom. 2. V tomto poli vid´ıte prostou textovou formu vˇety zobrazené v právˇe vybraném oknˇe. ˚ e informace v závislosti na aktuáln´ım kontextu. 3. Stavová rˇ a´ dka. Zobrazuje ruzn´ ˚ zete zmˇenit kliknut´ım na jméno aktuáln´ıho kontextu a následnym 4. Aktuáln´ı kontext. Kontext muˇ ´ vybˇ ´ erem nového kontextu ze zobrazeného seznamu (napˇr. PML T Edit). ˚ ze byt ˚ 5. Aktuáln´ı zobrazovac´ı styl. Muˇ jako kontext. ´ zmˇenˇen podobnym ´ zpusobem 6. Sem kliknˇete pro editaci zobrazovac´ıho stylu. 7. Kliknut´ım sem zobraz´ıte seznam vˇsech vˇet aktuáln´ıho souboru. Nad tlaˇc´ıtkem je zobrazeno poˇrad´ı aktuáln´ıho stromu v aktuáln´ım souboru. 8. Tlaˇc´ıtka pro otevˇren´ı, uloˇzen´ı a opˇetovné otevˇren´ı souboru. Ikony znamenaj´ı Undo, Redo, Previous a Next File, Print, Find, Find Next, Find Previous. 9. Tlaˇc´ıtka pro pˇresunut´ı na pˇredchoz´ı/následuj´ıc´ı strom v aktuáln´ım souboru a pro správu oken. Implicitnˇe jsou tektogramatické soubory PDT 2.0 v PML formátu otevˇreny v kontextu PML T View, ˇ ktery´ neumoˇznuje jejich editaci. Pokud si pˇrejete soubory mˇenit, pˇrepnˇete se do kontextu PML T Edit. V obou kontextech jsou k dispozici dva zobrazovac´ı styly. Implicitn´ı je PML T Compact, pro zobrazen´ı ˚ zete pouˇz´ıt PML T Full. Informace o kontextech a zobrazovac´ıch stylech najdete v´ıce podrobnost´ı muˇ ˚ v TrEdu. v dokumentaci k makrum ˚ zete zobrazit seznam vˇsech maker definovanych V libovolném kontextu muˇ v daném kontextu a ´ jejich klávesové zkratky, a to vybrán´ım menu View → List of Named Macros. 29


´ I´ . . . 4.3. AUTOMATICKE´ ZPRACOVAN

Obrázek 4.3: Tektogramaticky´ strom v TrEdu

4.3

Automatické zpracován´ı stromu: ˚ btred/ntred

ˇ ˚ snadno a pohodlnˇe vyhledávat stromy Netgraph (popsany´ v sekci 4.1) umoˇznuje i neprogramátorum ˇ v PDT. Editor TrEd (popsany´ v sekci 4.2) umoˇznuje rychlé, pohodlné a flexibiln´ı procházen´ı, prohl´ızˇ en´ı ´ ˚ Vyvoj´ a upravu jednotlivych stromu. ´ ´ arˇ i nástroju˚ a programátoˇri obecnˇe vˇsak potˇrebuj´ı plny´ pˇr´ıstup ˚ Muˇ ˚ zete samozˇrejmˇe data zpracovávat pˇr´ımo (koneckoncu, ˚ jsou v XML), my ale doporuˇcujeme k datum. ˚ pˇristupovat pomoc´ı perlovského rozhran´ı btred/ntred, uˇsitého datum ˚ PDT 2.0 na m´ıru. k datum ˇ btred je perlovsky´ program, ktery´ umoˇznuje aplikaci jiného perlovského programu (zvaného makro btredu) na data uloˇzená v jednom z formátu˚ PDT. ntred je btred ve verzi klient-server a je vhodny´ pro paraleln´ı zpracován´ı dat na v´ıce stroj´ıch. (Mnemotechnika pro btred/ntred: ,,b“ znamená ,,batch processing“, dávkové zpracován´ı, ,,n“ znamená ,,networked processing“, zpracován´ı po s´ıti.) Budete-li postupovat podle uvedeného doporuˇcen´ı, z´ıskáte nˇekolik vyhod: ´ ˚ pouˇzitá v prostˇred´ı btred/ntredu, nab´ız´ı velké • Objektovˇe orientovaná reprezentace stromu, mnoˇzstv´ı základn´ıch funkc´ı pro procházen´ı stromu˚ a pro mnoho dalˇs´ıch základn´ıch operac´ı na stromech; k dispozici je i nˇekolik znaˇcnˇe pokroˇcilych ´ funkc´ı, vhodnych ´ pro lingvisticky motivo´ vané procházen´ı stromu˚ (funkce, které berou v uvahu napˇr´ıklad vzájemné propojen´ı mezi relacemi závislosti a koordinace). • Technologie btred/ntredu byla sˇ iroce pouˇz´ıvána nˇekolika programátory bˇehem vyvoje PDT 2.0; ´ tato dlouhodobá zkuˇsenost vedla k mnoha vylepˇsen´ım, d´ıky nimˇz jsou tyto nástroje a pˇridruˇzené knihovny rozumnˇe stabiln´ı. ˚ muˇ ˚ zete pouˇz´ıt ntred a zpracovávat data paralelnˇe, coˇz vypoˇ • Máte-li k dispozici v´ıce poˇc´ıtaˇcu, ´ cet ˚ ze byt ˚ vyraznˇ e zrychluje. V závislosti na konkrétn´ı situaci muˇ celym ´ ´ pruchod ´ PDT 2.0 zkrácen na pouhych pro distribuovany´ bˇeh ´ nˇekolik sekund (s pouze pˇribliˇznˇe 10 procesory pˇr´ıstupnymi ´ btredu). • Programátoˇri mohou btred/ntred (v kombinaci s TrEdem) pouˇz´ıt jako mocny´ a rychly´ vyhledávac´ı stroj. Nap´ısˇ ete makro, které v korpusu vyhledá pozice, o které se zaj´ımáte, spust´ıte ho v ntredu a z´ıskané pozice si jednoduˇse prohlédnete v TrEdu. • K tomu, abyste si osvojili psan´ı maker pro btred/ntred, potˇrebujete jen znát základy syntaxe jazyka Perl a zapamatovat si jména nˇekolika promˇennych ´ a funkc´ı, pˇreddefinovanych ´ v prostˇred´ı btred/ntredu. 30


˚ ´ ´ 4.4. KONVERZE MEZI RUZN YMI FORMATY ...

• Jakmile si na práci s btred/ntredem zvyknete, budete moci vˇsech jeho vyhod vyuˇz´ıt i pˇri zpra´ cován´ı dat dalˇs´ıch korpusu˚ (at’ uˇz závislostn´ıch, nebo i bezprostˇrednˇe sloˇzkovych). ´ ´ Pro uvodn´ ı seznámen´ı si pˇreˇctˇete tutoriál k btred/ntredu. Pod´ıvejte se také na manuálové stránky btredu a ntredu.

4.4

Konverze mezi ruzn ˚ ymi formáty dat ´

4.4.1

Konverze mezi formáty PDT

´ Konverze mezi datovymi formáty je velice obt´ızˇ ny´ ukol, pokud vˇsechny formáty nemohou nést pˇresnˇe ´ ˚ které vznikly bˇehem roku˚ vyvoje stejné mnoˇzstv´ı informac´ı. Naneˇstˇest´ı to je právˇe pˇr´ıpad formátu, ´ ˚ ˚ které usnadnuj´ ˇ ı alesponˇ nˇekteré z konverz´ı. Mohou PDT. Z toho duvodu poskytujeme nˇekolik nástroju, ´ ´ poslouˇzit i jako pˇr´ıklady sloˇzitˇejˇs´ıch transformac´ı, které mohou byt Upln y´ ´ potˇrebné pro nˇekteré ukoly. ˚ popis najdete v textu PDT 2.0: nástroje pro konverzi intern´ıch formátu. V distribuci jsou skripty uloˇzeny v adresárˇ i tools/format-conversions/pdt formats. Vˇetˇsina tˇechto skriptu˚ potˇrebuje ke své cˇ innosti btred, nástroj z bal´ıku TrEd. Podporovány jsou následuj´ıc´ı typy konverz´ı: • konverze analytické anotace typu PDT 1.0 do PML, • konverze a-dat PML do CSTS, • konverze m-dat PML do CSTS, • konverze dat PDT 2.0 do FS pro Netgraph, • konverze dat PDT 2.0 do vnitˇrn´ıho binárn´ıho formátu Perlu (pro urychlen´ı).

4.4.2

Konverze z formátu˚ jinych ´ korpusu˚

K dispozici jsou také skripty pro konverzi formátu˚ Penn Treebanku a korpusu Negra do formátu FS. Konverzn´ı skripty jsou um´ıstˇeny v adresárˇ i tools/format-conversions/from negra+ptb. Jejich popis najdete v struˇcné dokumentaci. Poznamenejme, zˇ e skripty neprovádˇej´ı zˇ a´ dnou konverzi anotaˇcn´ıch schémat. Jinymi slovy, sloˇzkové ´ ˚ stromy zustanou sloˇzkovymi stromy, závislostn´ı struktura nen´ı automaticky vytvárˇ ena. ´

4.5

Parsing cˇ eˇstiny: od prostého textu k závislostn´ım stromum ˚ typu PDT

Spoleˇcnˇe s daty poskytujeme také nástroje, které provádˇej´ı automatickou anotaci. Ze surovych ´ cˇ eskych ´ vˇet vytvárˇ ej´ı závislostn´ı stromy na analytické rovinˇe. Nástroje jsou uloˇzeny v adresárˇ i tools/machineannotation. Provádˇej´ı postupnˇe tyto cˇ innosti: • rozpoznán´ı slovn´ıch jednotek ve vstupn´ım surovém textu a rozdˇelen´ı textu na vˇety, • morfologickou analyzu ´ a tagging (morfologickou disambiguaci), • závislostn´ı parsing, ˚ zparsovaného stromu. • pˇriˇrazen´ı analytickych ´ (závislostn´ıch) funkc´ı vˇsem uzlum Nástroje pro následny´ parsing na tektogramatickou rovinu zat´ım neexistuj´ı. Pros´ıme, sledujte webovské stránky obsahuj´ıc´ı aktualizace PDT 2.0 a nové nástroje. ˚ V´ıce informac´ı najdete v podrobném popisu nástroju. 31


4.6

ˇ ´ 4.6. VYTVOREN I´ DAT PRO VYVOJ PARSERU

Vytvoˇren´ı dat pro vyvoj parseru ´

˚ zité testovat jeho uspˇ ´ esˇ nost nejen na ruˇcnˇe anotovanych Bˇehem vyvoje nového parseru je duleˇ ´ ´ souborech m-roviny, ale také na souborech anotovanych ´ automaticky. Pro nedostatek m´ısta nebylo moˇzné automaticky anotovaná data m-roviny um´ıstit na CD-ROM. K dispozici je vˇsak nástroj pro generován´ı dat vhodnych parseru a jeho testován´ı. ´ pro vyvoj ´ Tento nástroj je um´ıstˇen v adresárˇ i tools/machine-annotation/for parser devel/. Spouˇst´ı se pˇr´ıkazem ˇ v´ ˇ run for parser devel vstupn´ ı adres´ ar ystupn´ ı adres´ ar Vstupn´ı adresárˇ mus´ı m´ıt stejnou strukturu jako adresárˇ data/full/, ktery´ bude typicky prvn´ım argumentem nástroje. Nástroj kop´ıruje celou adresárˇ ovou strukturu vstupn´ıho adresárˇ e do vystupn´ ıho ´ adresárˇ e. Kop´ıruje rovnˇezˇ vˇsechny datové soubory kromˇe souboru˚ m-roviny, které jsou nahrazeny soubory novˇe vytvoˇrenymi. Nové soubory m-roviny obsahuj´ı automaticky pˇriˇrazená lemmata a tagy. ´ ˇ Upozornujeme, zˇ e tyto nové soubory nejsou totoˇzné s tˇemi, které by byly vytvoˇreny automatickou anotac´ı pouˇzitou pˇr´ımo na prosty´ text. Zachovávaj´ı totiˇz hranice vˇet a slovn´ıch jednotek a také identifikátory jednotek m-roviny obsaˇzené v ruˇcnˇe anotovanych ´ datech.

4.7

Makra pro detekce chyb

˚ Pˇrestoˇze anotátoˇri vidˇeli kaˇzdy´ uzel kaˇzdého stromu (a to cˇ asto v´ıce neˇz jednou), zustaly v datech nˇejaké ˚ chyby. Nˇekteré byly zpusobeny pˇrehlédnut´ım, jiné t´ım, zˇ e se pravidla anotace bˇehem anotaˇcn´ıho pro˚ cesu vyv´ıjela a mˇenila, ale data nebyla pˇreanotována pˇri kaˇzdé zmˇenˇe. Z toho duvodu bylo bˇehem anotaˇcn´ı a kontroln´ı fáze vytvoˇreno mnoho programu˚ (maker pro TrEd/btred/ntred, viz sekce 4.2), které v datech hledaly poruˇsen´ı nˇejakého pravidla cˇ i invariantu nebo podezˇrelou anotaci a na kaˇzdé ˇ takové m´ısto upozornovaly. Data pak byla ruˇcnˇe cˇ i automaticky opravena, v pˇr´ıpadˇe potˇreby bylo makro dále upraveno.

´ P OZN AMKA Jako pomucka pˇri psan´ı maker pro TrEd slouˇz´ı dokumentace TrEdu. ˚

Makra byla rozdˇelena do tˇr´ı skupin: find, fix a check. Makra ze skupiny find pouze vyhledávala podezˇrelá m´ısta v datech. Makra ze skupiny fix byla pouˇz´ıvána pro automatickou opravu dat, pokud byla moˇzná (jako napˇr. kdyˇz uprostˇred anotaˇcn´ıho procesu doˇslo k jasné a jednoznaˇcné zmˇenˇe anotaˇcn´ıho pravidla). Posledn´ı skupina (check) obsahovala makra podobná tˇem ve skupinˇe find, ale zahrnovala seznam vyjimek z obecného pravidla. (A existovala vlastnˇe jeˇstˇe dalˇs´ı skupina, nazvaná misc, ob´ ˚ ejˇs´ıch dalˇs´ıch maker a skriptu.) ˚ sahuj´ıc´ı smˇes nejruznˇ Makra byla dále rozdˇelena do skupin podle toho, pro kterou rovinu anotace byla urˇcena (viz kapitola 2 pro dalˇs´ı informace o rovinách). Makra ze skupiny check jsou uloˇzena v adresárˇ i tools/checks.

´ Í VAROV AN ´ dat se zmenil, ˇ Tato makra jiˇz nejsou urˇcena k pouˇzit´ı na datech, protoˇze format ˇ s´ı pˇredstavy, jake´ druhy kontrol byly na ale mohou poslouˇzit k vytvoˇren´ı jasnejˇ ´ a jaka´ makra pro praci ´ se stromy je moˇzno psat. ´ data v PDT 2.0 aplikovany

32

Kapitola 5

Dokumentace ˚ ˚ dat Toto je pˇrehledny´ a strukturovany´ seznam vˇsech odkazu˚ na dokumentace k nástrojum, formátum ˚ apod., vyskytuj´ıc´ıch se v celém tomto pruvodci PDT. ˚ • Pruvodce PDT (to, co právˇe cˇ tete) – verze HTML: doc/pdt-guide/cz/html/index.html – verze PDF: doc/pdt-guide/cz/pdf/pdt-guide.pdf • Anotaˇcn´ı manuály (viz tézˇ 2) – Manuál k morfologické anotaci ∗ v angliˇctinˇe · verze HTML: doc/manuals/en/m-layer/html/index.html · verze PDF: doc/manuals/en/m-layer/pdf/m-man-en.pdf – Manuál k analytické anotaci ∗ v angliˇctinˇe · verze HTML: doc/manuals/en/a-layer/html/index.html · verze PDF: doc/manuals/en/a-layer/pdf/a-man-en.pdf ∗ v cˇ eˇstinˇe · verze HTML: doc/manuals/cz/a-layer/html/index.html · verze PDF: doc/manuals/cz/a-layer/pdf/a-man-cz.pdf – Manuál k tektogramatické anotaci ∗ v angliˇctinˇe · verze HTML: doc/manuals/en/t-layer/html/index.html · verze PDF: doc/manuals/en/t-layer/pdf/t-man-en.pdf ∗ v cˇ eˇstinˇe · verze HTML: doc/manuals/cz/t-layer/html/index.html · verze PDF: doc/manuals/cz/t-layer/pdf/t-man-cz.pdf • Data (viz tézˇ sekce 3.4) – CSTS ´ ∗ upln y´ popis: doc/data-formats/csts/html/DTD-HOME.html ∗ DTD: doc/data-formats/csts/csts.dtd – FS - specifikace formátu: doc/data-formats/fs/index.html – PML ´ ∗ upln y´ popis: · verze HTML: doc/data-formats/pml/index.html 33

KAPITOLA 5. DOKUMENTACE · verze PDF: doc/data-formats/pml/pml doc.pdf ∗ schémata: data/schemas ˚ doc/data-formats/pml-markup/index. – systém znaˇcek PML (vˇcetnˇe popisu atributu˚ uzlu): html – PDT-VALLEX - fyzická struktura: doc/data-formats/pdt-vallex/pdt-vallex-struct. html • Nástroje (viz tézˇ kapitola 4) – TrEd, btred/ntred ∗ ∗ ∗ ∗ ∗

TrEd - manuál: doc/tools/tred/index.html btred - manuálová stránka: doc/tools/tred/btred.html ntred - manuálová stránka: doc/tools/tred/ntred.html btred/ntred - tutoriál: doc/tools/tred/bn-tutorial.html Makra TrEdu: doc/tools/tred/PML mak.html

– Netgraph: ∗ Rychlá instalace Netgraph klienta: doc/tools/netgraph/README QUICK INSTALL CLIENT ∗ Manuál k Netgraph klientu: doc/tools/netgraph/netgraph manual.html ∗ Rychlá instalace Netgraph serveru: doc/tools/netgraph/README QUICK INSTALL SERVER ∗ Manuál k instalaci Netgraph serveru: doc/tools/netgraph/netgraph server install. html – Konverzn´ı skripty: ∗ Z formátu˚ Penn Treebanku a Negry: doc/tools/format-conversions/from negra+ ptb/readme.txt ∗ Mezi formáty PDT: doc/tools/format-conversions/pdt formats/index.html – Automatická anotace (rozpoznán´ı slov, morfologie, parsing): doc/tools/machine-annotation/ index.html • Publikace (viz tézˇ kapitola 6) – záznamy BibTeXu: publications/pdt.bib

34

Kapitola 6

Publikace Zde najdete seznam publikac´ı, zabyvaj´ ´ ıc´ıch se následuj´ıc´ımi tématy: • vyzkum provedeny´ pˇredevˇs´ım pˇred zaˇca´ tkem projektu PDT a ktery´ byl kl´ıcˇ ovy´ pro vytvoˇren´ı ´ anotaˇcn´ı strategie (sekce 6.1), ´ • upln y´ seznam publikac´ı o vytvárˇ en´ı PDT 2.0 (sekce 6.2), • nástroje pro editaci, vyhledávac´ı systémy, nástroje pro zpracován´ı pˇrirozeného jazyka (sekce 6.3). Obecné publikace v sekci 6.2 jsou uspoˇra´ dány podle data zveˇrejnˇen´ı. D´ıky tomu lze z´ıskat pˇrehled o ˚ postupu prac´ı na PDT. Publikace v ostatn´ıch sekc´ıch jsou seˇrazeny obvyklym tj. v abecedn´ım ´ zpusobem, poˇrad´ı podle pˇr´ıjmen´ı prvn´ıho autora. Vˇetˇsina publikac´ı je k dispozici v elektronické podobˇe (v souborech PDF i Postscript), jak je u kaˇzdé ˚ poskytnuté na osobn´ı zˇ a´ dost, a jako takové publikace naznaˇceno. Elektronické verze jsou kopie autoru, jsou urˇcené pouze pro osobn´ı uˇzit´ı. Ke vˇsem zde uvedenym ´ publikac´ım jsou k dispozici i záznamy BibTeX.

6.1

Teoretické pozad´ı PDT

• Eva Hajiˇcová: Issues of Sentence Structure and Discourse Patterns. Charles University, Prague, Czech Republic, 1993. K dispozici: BibTeX • Eva Hajiˇcová, Jarmila Panevová: Valency (case) frames. V: P. Sgall (ed.): Contributions to Functional Syntax, Semantics and Language Comprehension, Prague:Academia, 1984, pp. 147–188. K dispozici: BibTeX • Eva Hajiˇcová, Barbara H. Partee, Petr Sgall: Topic-focus articulation, tripartite structures, and semantic content. Amsterdam:Kluwer, 1998. K dispozici: BibTeX • Jarmila Panevová: On verbal frames in Functional generative description I. V: Prague Bulletin of Mathematical Linguistics, 22, MFF UK, Prague, Czech Republic, 1974, pp. 3–40. K dispozici: PDF, PS, BibTeX • Jarmila Panevová: On verbal frames in functional generative description II. V: Prague Bulletin of Mathematical Linguistics, 23, MFF UK, Prague, Czech Republic, 1975, pp. 17–52. K dispozici: PDF, PS, BibTeX • Jarmila Panevová: Formy a funkce ve stavbˇe cˇ eské vˇety. Prague:Academia, 1980. K dispozici: BibTeX • Vladim´ır Petkeviˇc: A new dependency based specification of underlying representations of sentences. V: Theoretical Linguistics, 14, 1987, pp. 143–172. K dispozici: BibTeX • Vladimir Petkeviˇc: A New Formal Specification of Underlying Representations. V: Theoretical Linguistics, 21, 1995, pp. 7–61. K dispozici: BibTeX • Petr Sgall: Generativn´ı popis jazyka a cˇ eská deklinace. Prague:Academia, 1967. K dispozici: BibTeX • Petr Sgall: Contributions to Functional Syntax, Semantics and Language Comprehension. Prague:Academia, 1984. K dispozici: BibTeX 35

KAPITOLA 6. PUBLIKACE

6.2. PDT 2.0

• Petr Sgall: Underlying Structure of Sentence and its Relation to Semantics. V: T. Reuther (ed.): Wiener Slawisticher Almanach. Sonderband 33, 1992, pp. 273–282. K dispozici: BibTeX • Petr Sgall: Valency and Underlying Structure. An alternative view on dependency. V: L. Wanner (ed.): Recent Trends in meaning-text theory, Amsterdam/Philadelphia: Benjamins, 1997, pp. 149–166. K dispozici: BibTeX • Petr Sgall, Eva Hajiˇcová, Jarmila Panevová: The Meaning of the Sentence in Its Semantic and Pragmatic Aspects. Dordrecht:Reidel Publishing Company and Prague:Academia, 1986. K dispozici: BibTeX ˇ • Vladim´ır Smilauer: Novoˇceská skladba. Státn´ı pedagogické nakladatelstv´ı, Prague, Czech Republic, 1969. K dispozici: BibTeX

6.2 6.2.1

PDT 2.0 Obecné informace

Motivace k vytvoˇren´ı PDT • Jan Hajiˇc, Eva Hajiˇcová, Alexander Rosen: Formal Representation of Language Structures. V: TELRI Newsletter, 3, 1996, pp. 12–19. K dispozici: PDF, PS, BibTeX 2000 ¨ • Jan Hajiˇc, Alena Bohmov´ a, Eva Hajiˇcová, Barbora Vidová Hladká: The Prague Dependency Treebank: A Three-Level Annotation Scenario. V: A. Abeillé (ed.): Treebanks: Building and Using Parsed Corpora, Amsterdam:Kluwer, 2000, pp. 103–127. K dispozici: PDF, PS, BibTeX • Jarmila Panevová: Building an electronic language database nowadays: The Prague Dependency Treebank. 2000. K dispozici: PDF, PS, BibTeX 2001 • Jan Hajiˇc, Eva Hajiˇcová, Petr Pajas, Jarmila Panevová, Petr Sgall, Barbora Vidová Hladká: Prague Dependency Treebank 1.0 (Final Production Label). V: CD-ROM, CAT: LDC2001T10, ISBN 1-58563-2120, Linguistic Data Consortium, 2001. K dispozici: BibTeX • Jan Hajiˇc, Petr Pajas, Barbora Vidová Hladká: The Prague Dependency Treebank: Annotation Structure and Support. V: Proceedings of the IRCS Workshop on Linguistic Databases, University of Pennsylvania, Philadelphia, USA, 2001, pp. 105–114. K dispozici: PDF, PS, BibTeX ˇ • Eva Hajiˇcová, Jan Hajiˇc, Martin Holub, Petr Pajas, Veronika Kolárˇ ová-Rezn´ ıcˇ ková, Petr Sgall, Barbora Vidová Hladká: The Current Status of the Prague Dependency Treebank V: V. Matouˇsek, P. Mautner, R. Mouˇcek, K. Tauˇser (eds.): Proceedings of the 5th International Conference on Text, Speech and ˇ ca´ k, Czech Republic, Springer-Verlag Berlin Heidelberg New York, ˇ Dialogue, Zelezn´ a Ruda - Spiˇ 2001, pp. 11–20. K dispozici: PDF, PS, BibTeX • Eva Hajiˇcová, Petr Sgall: A reusable corpus needs syntactic annotations: Prague Dependency Treebank. V: A rainbow of corpora–corpus linguistics and the languages of the world, Munich: Licom-Europa, 2001, pp. 37–48. K dispozici: PDF, PS, BibTeX 2002 • Eva Hajiˇcová: Theoretical description of language as a basis of corpus annotation: The case of Prague Dependency Treebank. V: E. Hajiˇcová, P. Sgall, J. Hana, T. Hoskovec (eds.): Prague Linguistic Circle Papers, (4), Amsterdam/Philadelphia:John Benjamins, 2002, pp. 111–127. K dispozici: BibTeX • Jarmila Panevová, Eva Hajiˇcová, Petr Sgall: K nové urovni ´ bohemistické práce: Vyuˇzit´ı anotovaného ˇ ast 1. V: Slovo a slovesnost, 63, Czech Academy of Science, Prague, 2002, pp. 161–177. korpusu. C´ K dispozici: PDF, PS, BibTeX • Jarmila Panevová, Eva Hajiˇcová, Petr Sgall: K nové urovni ´ bohemistické práce: Vyuˇzit´ı anotovaného ˇ ast 2. V: Slovo a slovesnost, 63, Czech Academy of Science, Prague, 2002, pp. 241–262. korpusu. C´ K dispozici: PDF, PS, BibTeX 36


6.2. PDT 2.0

• Barbora Vidová Hladká: Praˇzský závislostn´ı korpus aneb Co tady pˇred padesáti lety nebylo. V: Pokroky ˚ 2002, pp. 298–306. matematiky, fyziky a astronomie, 47, (4), Jednota cˇ eskych ´ matematiku˚ a fyziku, K dispozici: PDF, PS, BibTeX 2003 ¨ • Alena Bohmov´ a, Eva Hajiˇcová: Large Language Data and the Degrees of Automation. V: E. Hajiˇcová, A. Kotˇesˇ ovcová, J. M´ırovsky´ (eds.): Proceedings of XVII International Congress of Linguists, CDROM, Matfyzpress, MFF UK, Prague, Czech Republic, 2003. K dispozici: PDF, PS, BibTeX 2004 ˇ ura, ´ ´ • Jan Hajiˇc: Complex Corpus Annotation: The Prague Dependency Treebank. Jazykovedny´ ustav L’. St SAV, Bratislava, Slovakia, 2004. K dispozici: PDF, PS, BibTeX 2005 ˇ epánek: A Generic XML-Based Format for Structured Linguistic Annotation and Its • Petr Pajas, Jan Stˇ Application to Prague Dependency Treebank 2.0. V: UFAL Technical Report, 29, MFF UK, Prague, Czech Republic, 2005. K dispozici: PDF, PS, BibTeX

6.2.2

Morfologická rovina

• Jan Hajiˇc: Disambiguation of Rich Inflection (Computational Morphology of Czech). Karolinum, Charles University Press, Prague, Czech Republic, 2004. K dispozici: BibTeX • Dan Zeman, Jiˇr´ı Hana, Hana Hanová, Jan Hajiˇc, Emil Jeˇra´ bek, Barbora Vidová Hladká: A Manual ´ for Morphological Annotation, 2nd edition (html). V: UFAL Technical Report, 27, MFF UK, Prague, Czech Republic, 2005. K dispozici: PDF, PS, BibTeX

6.2.3

Analytická rovina

• Jan Hajiˇc: Building a Syntactically Annotated Corpus: The Prague Dependency Treebank. V: E. Hajiˇcová (ed.): Issues of Valency and Meaning. Studies in Honour of Jarmila Panevová, Karolinum, Charles University Press, Prague, Czech Republic, 1998, pp. 106–132. K dispozici: PDF, PS, BibTeX • Jan Hajiˇc, Eva Hajiˇcová: Syntactic tagging in the Prague Dependency Treebank. V: R. Marcinkeviciene, N. Volz (eds.): Proceedings of the Second European Seminar ”Language Applications for a Multilingual Europe”, TELRI, Kaunas, Lithuania, 1997, pp. 55–68. K dispozici: PDF, PS, BibTeX ˇ em národn´ım korpusu. V: Slovo • Jan Hajiˇc, Eva Hajiˇcová, Jarmila Panevová, Petr Sgall: Syntax v Cesk´ a slovesnost, Czech Academy of Science, Prague, 1998, pp. 168–177. K dispozici: BibTeX ˇ a, Zdenka ˇ • Jan Hajiˇc, Jarmila Panevová, Eva Buránov´ Ureˇsová, Alla Bémová: Anotace Praˇzského závislostn´ıho korpusu na analytické rovinˇe: pokyny pro anotátory (html). 1999. K dispozici: PDF, PS, BibTeX • Eva Hajiˇcová, Zdenˇek Kirschner, Petr Sgall: “A Manual for Analytical Layer Annotation of the Prague Dependency Treebank (English translation) (html). 1999. K dispozici: PDF, PS, BibTeX ” ˇ epánek: An Exploitation of the Prague Dependency Tree• Roman Ondruˇska, Jarmila Panevová, Jan Stˇ bank: A Valency Case. V: K. Simov, P. Osenova (eds.): Proceedings of the Workshop on Shallow Processing of Large Corpora, UCREL, Lancaster University, Lancaster, Great Britain, 2003, pp. 69–77. K dispozici: PDF, PS, BibTeX

6.2.4

Tektogramatická rovina

Struktura anotace ¨ • Alena Bohmov´ a: Automatic Procedures in Tectogrammatical Tagging. V: Prague Bulletin of Mathematical Linguistics, 76, MFF UK, Prague, Czech Republic, 2001, pp. 23–34. K dispozici: PDF, PS, BibTeX 37


6.2. PDT 2.0

¨ • Alena Bohmov´ a, Silvie Cinková, Eva Hajiˇcová: A Manual for Tectogrammatical Layer Annotation of the Prague Dependency Treebank (English translation) (html). 2005. K dispozici: PDF, PS, BibTeX ¨ • Alena Bohmov´ a, Petr Sgall: “Automatic procedures in tectogrammatical tagging.” V: Proceedings of the Workshop on Linguistically Interpreted Corpora, 18th International Conference on Compu¨ tational Linguistics, Saarbrucken, Germany, 2000, pp. 65–70. K dispozici: PDF, PS, BibTeX • Eva Hajiˇcová: Prague Dependency Treebank: From analytic to tectogrammatical annotations. V: P. Sojka, V. Matouˇsek, K. Pala, I. Kopeˇcek (eds.): Proceedings of the 2nd International Conference on Text, Speech and Dialogue, Brno, Czech Republic, Springer-Verlag Berlin Heidelberg New York, 1998, pp. 45–50. K dispozici: PDF, PS, BibTeX • Eva Hajiˇcová, Jiˇr´ı Havelka, Petr Sgall, Kateˇrina Veselá, Daniel Zeman: Issues of Projectivity in the Prague Dependency Treebank. V: Prague Bulletin of Mathematical Linguistics, 81, MFF UK, Prague, Czech Republic, Prague, 2004, pp. 5–22. K dispozici: PDF, PS, BibTeX • Eva Hajiˇcová, Petr Pajas: Evaluation of Tectogrammatical Annotation of PDT. V: P. Sojka, I. Kopeˇcek, K. Pala (eds.): Proceedings of the 3rd International Conference on Text, Speech and Dialogue, Brno, Czech Republic, Springer-Verlag Berlin Heidelberg New York, 2000, pp. 75–80. K dispozici: BibTeX • Eva Hajiˇcová, Petr Pajas, Kateˇrina Veselá: Corpus Annotation on the Tectogrammatical Layer: Summarizing the First Stages of Evaluations. V: Prague Bulletin of Mathematical Linguistics, 77, MFF UK, Prague, Czech Republic, Prague, 2002, pp. 5–18. K dispozici: PDF, PS, BibTeX • Marie Mikulová, Alevtina Bémová, Jan Hajiˇc, Eva Hajiˇcová, Jiˇr´ı Havelka, Veronika Kolárˇ ováˇ Rezn´ ıcˇ ková, Lucie Kuˇcová, Markéta Lopatková, Petr Pajas, Jarmila Panevová, Magda Raz´ımová, ˇ epánek, Zdenka ˇ ˇ Ureˇsová, Kateˇrina Veselá, Zdenˇek Zabokrtsk Petr Sgall, Jan Stˇ y: ´ Anotace Praˇzského závislostn´ıho korpusu na tektogramatické rovinˇe: pokyny pro anotátory (html). 2005. K dispozici: PDF, PS, BibTeX ¨ • Jarmila Panevová, Alena Bohmov´ a, Petr Sgall: “Syntactic Tagging: Procedure for the Transition from the Analytic to the Tectogrammatical Tree Structure.” V: V. Matouˇsek, P. Mautner, J. Ocel´ıková, P. Sojka (eds.): Proceedings of the 2nd International Conference on Text, Speech and Dialogue, ˇ Czech Republic, Springer-Verlag Berlin Heidelberg New York, 1999, pp. 34–38. K dispozici: Plzen, PDF, PS, BibTeX • Jarmila Panevová, Eva Hajiˇcová, Petr Sgall: Tectogrammatics in corpus tagging. V: I. Kenesei, R. M. Harnish (eds.): Perspectives on Semantics, Pragmatics, and Discourse; A Festschrift for Ferenc Kiefer (Pragmatics and Beyond new Series), (90), Amsterdam/Philadelphia:John Benjamins, 2001, pp. 294–299. K dispozici: PDF, PS, BibTeX ˇ ˇ Ureˇsová: The Theory of Control Applied • Jarmila Panevová, Veronika Kolárˇ ová-Rezn´ ıcˇ ková, Zdenka to the Prague Dependency Treebank (PDT). V: R. Frank (ed.): Proceedings of the 6th International Workshop on Tree Adjoining Grammars and Related Frameworks (TAG+6), Universita di Venezia, Venezia, Italy, 2002, pp. 175–180. K dispozici: PDF, PS, BibTeX ˇ • Veronika Kolárˇ ová-Rezn´ ıcˇ ková: PDT: Two Steps in Tectogrammatical Annotation with respect to some Issues of Deletion. V: Prague Bulletin of Mathematical Linguistics, 78, MFF UK, Prague, Czech Republic, Prague, 2002, pp. 37–52. K dispozici: PDF, PS, BibTeX • Petr Sgall, Jarmila Panevová, Eva Hajiˇcová: Deep Syntactic Annotation: Tectogrammatical Representation and Beyond. V: A. Meyers (ed.): Proceedings of the HLT-NAACL 2004 Workshop: Frontiers in Corpus Annotation, Association for Computational Linguistics, Boston, Massachusetts, USA, 2004, pp. 32–38. K dispozici: PDF, PS, BibTeX Aktuáln´ı cˇ lenˇen´ı • Eva Hajiˇcová: The Prague Dependency Treebank: Crossing the Sentence Boundary. V: V. Matouˇsek, P. Mautner, J. Ocel´ıková, P. Sojka (eds.): Proceedings of the 2nd International Conference on Text, ˇ Czech Republic, Springer-Verlag Berlin Heidelberg New York, 1999, Speech and Dialogue, Plzen, pp. 20–27. K dispozici: PDF, PS, BibTeX • Eva Hajiˇcová: Dependency-Based Underlying-Structure Tagging of a Very Large Czech Corpus. V: S. Kahane (ed.): Special issue of TAL journal, Grammaires de Dépendence / Dependency Grammars, Paris:Hermes, 2000, pp. 57–78. K dispozici: PDF, PS, BibTeX 38


6.2. PDT 2.0

• Eva Hajiˇcová, Petr Sgall: Degrees of Contrast and the Topic-Focus Articulation. (1), Berlin:Walter de Gruyter, 2004, pp. 1–13. K dispozici: PDF, PS, BibTeX ˇ a: Topic-Focus Articulation and degrees of salience in the Prague • Eva Hajiˇcová, Petr Sgall, Eva Buránov´ Dependency Treebank. V: A. Carnie, H. Harley, M. Willie (eds.): Formal Approaches to Function in Grammar. In honor of Eloise Jelinek, Arizona, Amsterdam/Philadelphia:John Benjamins, Amsterdam/Philadelphia, 2003, pp. 165–177. K dispozici: PDF, PS, BibTeX ˇ a: Tagging of very large corpora: Topic-Focus Articulation. V: • Eva Hajiˇcová, Petr Sgall, Eva Buránov´ ¨ Proceedings of the 18th International Conference on Computational Linguistics, Saarbrucken, Germany, 2000, pp. 139–144. K dispozici: PDF, PS, BibTeX • Lucie Kuˇcová, Eva Hajiˇcová, Kateˇrina Veselá, Jiˇr´ı Havelka: Topic-focus articulation and anaphoric relations: A corpus based probe. V: (ed.): Prague Bulletin of Mathematical Linguistics, 84, MFF UK, Prague, Czech Republic, 2005, pp. 5–12. K dispozici: PDF, PS, BibTeX • Petr Sgall: Topic-Focus Articulation in Corpus Annotation. V: W. Menzel, C. Vertan (eds.): Natural language processing between linguistic inquiry and system engineering, Editura Universitatii Alexandru Ioan Cuza, Iasi, 2003, pp. 95–101. K dispozici: PDF, PS, BibTeX • Kateˇrina Veselá, Jiˇr´ı Havelka: Anotován´ı aktuáln´ıho cˇ lenˇen´ı vˇety v Praˇzském závislostn´ım korpusu. V: ´ UFAL Technical Report, 20, MFF UK, Prague, Czech Republic, 2003. K dispozici: PDF, PS, BibTeX • Kateˇrina Veselá, Jiˇr´ı Havelka, Eva Hajiˇcová: Annotators’ Agreement: The Case of Topic-Focus Articulation. V: Proceedings of the 4th International Conference on Language Resources and Evaluation, European Language Resources Association, Lisboa, Portugal, 2004, pp. 2191–2194. K dispozici: PDF, PS, BibTeX Koreference • Lucie Kuˇcová, Eva Hajiˇcová: Coreferential Relations in the Prague Dependency Treebank. V: (ed.): Proceedings of the 5th International Conference on Discourse Anaphora and Anaphor Resolution 2004, San Miguel, Azores, Sept. 23-24, 2004, 2005, pp. 94–102. K dispozici: PDF, PS, BibTeX ˇ ˇ ˇ • Lucie Kuˇcová, Veronika Kolárˇ ová-Rezn´ ıcˇ ková, Zdenˇek Zabokrtsk y, An´ Petr Pajas, Oliver Culo: ´ otován´ı koreference v Praˇzském závislostn´ım korpusu. V: UFAL Technical Report, 19, MFF UK, Prague, Czech Republic, 2003. K dispozici: PDF, PS, BibTeX • Jarmila Panevová, Eva Hajiˇcová, Petr Sgall: Coreference in Annotating a Large Corpus. V: M. Gavrilidou, G. Carayannis, S. Markantonatou, S. Piperidis, G. Stainhaouer (eds.): Proceedings of the 2nd International Conference on Language Resources, (I), European Language Resources Association, Athens, Greece, 2000, pp. 497–500. K dispozici: PDF, PS, BibTeX PDT-VALLEX ˇ • Silvie Cinková, Veronika Kolárˇ ová-Rezn´ ıcˇ ková: Nouns as Components of Support Verb Constructions in the Prague Dependency Treebank. V: Korpusy a korpusová lingvistika v zahraniˇc´ı a na Slovensku, 2004. K dispozici: PDF, PS, BibTeX • Jan Hajiˇc, Václav Honetschläger: Annotation Lexicons: Using the Valency Lexicon for Tectogrammatical Annotation. V: Prague Bulletin of Mathematical Linguistics, 79–80, MFF UK, Prague, Czech Republic, 2003, pp. 61–86. K dispozici: PDF, PS, BibTeX ˇ ˇ Ureˇsová, Alevtina Bémová, Veronika Kolárˇ ová-Rezn´ • Jan Hajiˇc, Jarmila Panevová, Zdenka ıcˇ ková, Petr Pajas: PDT-VALLEX: Creating a Large-coverage Valency Lexicon for Treebank Annotation. V: J. Nivre, E. Hinrichs (eds.): Proceedings of The Second Workshop on Treebanks and Linguistic Theories, Vaxjo University Press, Vaxjo, Sweden, 2003, pp. 57–68. K dispozici: PDF, PS, BibTeX ˇ Ureˇsová: Linguistic Annotation: from Links to Cross-Layer Lexicons. V: J. Nivre, E. • Jan Hajiˇc, Zdenka Hinrichs (eds.): Proceedings of The Second Workshop on Treebanks and Linguistic Theories, Vaxjo University Press, Vaxjo, Sweden, 2003, pp. 69–80. K dispozici: PDF, PS, BibTeX 39

´ 6.3. NASTROJE


• Václav Honetschläger: Using a Czech Valency Lexicon for Annotation Support. V: V. Matouˇsek, P. Mautner (eds.): Proceedings of the 6th International Conference on Text, Speech and Dialogue, ˇ Cesk´ e Budˇejovice, Czech Republic, Springer-Verlag Berlin Heidelberg New York, 2003, pp. 120–126. K dispozici: PDF, PS, BibTeX • Markéta Lopatková, Jarmila Panevová: Recent developments of the theory of valency in the light of the ˇ Prague Dependency Treebank. V: Mária Simkov´ a (ed.):, Veda Bratislava, Slovakia, 2005. K dispozici: PDF, PS, BibTeX ˇ Ureˇsová: The Verbal Valency in the Prague Dependency Treebank from the Annotator’s Point of • Zdenka ˇ ura, ´ ´ View. Jazykovedny´ ustav L’. St SAV, Bratislava, Slovakia, 2004. K dispozici: PDF, PS, BibTeX ˇ • Zdenˇek Zabokrtsk y: ´ Valency Lexicon of Czech Verbs (PhD thesis). UFAL MFF UK, Prague, Czech Republic, 2005. K dispozici: PDF, PS, BibTeX

6.3

Nástroje

6.3.1

Netgraph

• Jiˇr´ı M´ırovsky, ´ Roman Ondruˇska: NetGraph System: Searching through the Prague Dependency Treebank. V: Prague Bulletin of Mathematical Linguistics, 77, MFF UK, Prague, Czech Republic, Prague, 2002, pp. 101–104. K dispozici: PDF, PS, BibTeX ˚ sa: Searching through Prague Dependency Treebank-Conce• Roman Ondruˇska, Jiˇr´ı M´ırovsky, ´ Daniel Pruˇ ption and Architecture. V: Proceedings of The First Workshop on Treebanks and Linguistic Theories, LML, Bulgarian Academy of Sciences and SfS, Tuebingen University, Sofia, Bulgaria and Tuebingen, Germany, 2002, pp. 114–122. K dispozici: PDF, PS, BibTeX

6.3.2

Morfologická analyza ´ a tagging

• Jan Hajiˇc: Disambiguation of Rich Inflection (Computational Morphology of Czech). Karolinum, Charles Univeristy Press, Prague, Czech Republic, 2004. K dispozici: BibTeX • Jan Hajiˇc: Morphological Tagging: Data vs. Dictionaries. V: Proceedings of the 6th Applied Natural Language Processing and the 1st NAACL Conference, Seattle, Washington, USA, 2000, pp. 94–101. K dispozici: PDF, PS, BibTeX • Jan Hajiˇc, Barbora Vidová Hladká: Tagging Inflective Languages: Prediction of Morphological Categories for a Rich, Structured Tagset. V: Proceedings of the COLING–ACL Conference, Montreal, Canada, 1998, pp. 483–490. K dispozici: PDF, PS, BibTeX ´ • Barbora Vidová-Hladká: Czech Language Tagging. PhD thesis, UFAL MFF UK, Prague, Czech Republic, 2000. K dispozici: PDF, PS, BibTeX

6.3.3

Parsing

• Jan Hajiˇc, Barbora Hladká, Daniel Zeman, Michael Collins, Lance Ramshaw, Christoph Tillmann, Eric Brill, Douglas Jones, Cynthia Kuo, Ozren Schwartz: Core Natural Language Processing Technology Applicable to Multiple Languages. Center for Language and Speech Processing, Johns Hopkins University, Baltimore, USA, 1998. K dispozici: PDF, PS, BibTeX ´ ˇ Problems of Robust Parsing of Czech. PhD thesis, UFAL • Vladislav Kubon: MFF UK, 2001. K dispozici: PDF, PS, BibTeX • Ryan McDonald, Fernando Pereira, Kiril Ribarov, Jan Hajiˇc: Non-Projective Dependency Parsing using Spanning Tree Algorithms. V: (ed.): Proceedings of Human Langauge Technology Conference and Conference on Empirical Methods in Natural Language Processing (HTL/EMNLP), Vancouver, BC, Canada, Oct. 6-8, 2005, pp. 523–530. K dispozici: PDF, PS, BibTeX • Kiril Ribarov: Automatic Building of a Dependency Tree–The Rule-Based Approach and Beyond. PhD ´ thesis, UFAL MFF UK, Prague, Czech Republic, 2004. K dispozici: PDF, PS, BibTeX 40

´ 6.3. NASTROJE


´ • Daniel Zeman: Parsing with a Statistical Dependency Model. PhD thesis, UFAL MFF UK, Prague, Czech Republic, 2005. K dispozici: PDF, PS, BibTeX

6.3.4

Automatické pˇriˇrazován´ı funktoru˚

ˇ • Petr Sgall, Zdenˇek Zabokrtsk y, ´ Saˇso Dˇzeroski: A Machine Learning Approach to Automatic Functor Assignment in the Prague Dependency Treebank. V: R. M. Rodr´ıguez, C. Paz Suárez Araujo (eds.): Proceedings of the 3rd International Conference on Language Resources and Evaluation, Las Palmas, Canary Islands, Spain, (5), European Language Resources Association, 2002, pp. 1513–1520. K dispozici: PDF, PS, BibTeX ˇ • Zdenˇek Zabokrtsk y: ´ Automatic Functor Assignment in the Prague Dependency Treebank. V: P. Sojka, I. Kopeˇcek, K. Pala (eds.): Proceedings of the 3rd International Conference on Text, Speech and Dialogue, Brno, Czech Republic, Springer-Verlag Berlin Heidelberg New York, 2000, pp. 45–50. K dispozici: PDF, PS, BibTeX ˇ ´ • Zdenˇek Zabokrtsk y: ´ Automatic Functor Assignment in the Prague Dependency Treebank. V: UFAL Technical Report, 10, MFF UK, Prague, Czech Republic, 2001. K dispozici: PDF, PS, BibTeX

41

Kapitola 7

Distribuce a licence Abyste mohli pouˇz´ıvat PDT 2.0, mus´ıte vyplnit licenˇcn´ı formulárˇ a elektronicky ho podepsat (vyjimka ´ viz n´ızˇ e). Text licence najdete v sekci 7.1. Jsou dvˇe moˇznosti, jak z´ıskat PDT 2.0. Standardn´ı cestou je objednat si plnou distribuci PDT 2.0 z Linguistic Data Consortium (); bˇehem objednáván´ı budete pˇresmˇerováni na formulárˇ ovou licenˇcn´ı stránku, kterou mus´ıte vyplnit, aby mohla byt ´ objednávka dokonˇcena. Druhou moˇznost´ı je stáhnout si cˇ a´ st PDT 2.0 pˇr´ımo z naˇsich webovskych ´ stránek (); jde o pˇresnou kopii distribuce poskytované LDC, obsahuje vˇsak jen malou ukázku anotovanych ´ dat. Registraˇcn´ı licenˇcn´ı formulárˇ (http://quest.mff.cuni.cz/pdt-lic/pdt20-reg.html1 ) ˚ zete vyplnit pˇredem nebo i potom, ale pouˇz´ıt cokoliv ze staˇzenych ˚ ukázkovych muˇ ´ nástroju, ´ dat apod. sm´ıte aˇz po jeho vyplnˇen´ı. Jinymi slovy, tato licence je platná aˇz po vyplnˇen´ı formulárˇe. ´ Nˇekteré cˇ a´ sti distribuce mohou byt ´ kryty licenc´ı GPL (GNU Public License). U tˇechto nástroju˚ a dat ˚ napˇr. z osobn´ıch stránek autoru˚ je to vˇzdy explicitnˇe uvedeno (obvykle jsou dostupny i z jinych ´ zdroju, cˇ i ze standardn´ıch arch´ıvu˚ Open Source a GNU softwaru, jako je sourceforge.net). V tom pˇr´ıpadˇe má GPL pˇrednost pˇred touto licenc´ı. Pokud vˇsechny cˇ a´ sti PDT, které jste si stáhli cˇ i se kterymi pracujete, ´ podléhaj´ı licenci GPL, nemus´ıte se registrovat pod touto licenc´ı. Byli bychom ovˇsem rádi, kdybyste tak pˇresto uˇcinili (aˇc se vás pravidla a podm´ınky urˇcené licenc´ı v takovém pˇr´ıpadˇe netykaj´ ´ ı). M´ıt co nejv´ıce ˚ ze z´ıskat dalˇs´ı finanˇcn´ı zdroje. registrovanych ´ uˇzivatelu˚ nám v budoucnu pomuˇ

7.1

Licenˇcn´ı ujednán´ı

Licenˇcn´ı ujednán´ı pro vyzkumn´ e uˇzit´ı Praˇzského závislostn´ıho korpusu, verze 2.0 ´ mezi

Institutem form´ aln´ ı a aplikovan´ e lingvistiky Matematicko-fyzik´ aln´ ı fakulta Univerzita Karlova v˜Praze Malostransk´ e n´ amˇ est´ ı 25 118 00 Praha 1 ˇ Cesk´ a republika [email protected] http://ufal.mff.cuni.cz

(Vlastn´ık) a

Jm´ eno: Instituce: Adresa (ulice, mˇ esto, PSˇ C): Zemˇ e: Telefon(y): 1

43

ˇ I´ UJEDNAN ´ I´ 7.1. LICENCN

KAPITOLA 7. DISTRIBUCE A LICENCE Fax(y): E-mail: (Uˇzivatel) kde

A Praˇzsky´ závislostn´ı korpus verze 2.0 (PDT 2.0) je kolekce textovych ´ dat a dokumentace, obsahuj´ıc´ı lingvistické anotace a softwarové nástroje pro zpracován´ı tˇechto dat, jak je v dokumentaci popsáno, ˇ ˚ Ministerstvo sˇ kolstv´ı Cesk´ vytvoˇrená Vlastn´ıkem v rámci následuj´ıc´ıch projektu: e republiky, proˇ jekty cˇ . VS96151, LN00A063, 1P05ME752, MSM0021620838 a LC536, Grantová agentura Cesk´ e republiky, granty cˇ . 405/96/0198, 405/96/K214 a 405/03/0913, vyzkumn´ e fondy Matematicko-fyzikáln´ı ´ ˇ fakulty Univerzity Karlovy v Praze, Grantová agentura Akademie vˇed Cesk´ e republiky, granty cˇ . 1ET101120503 a 1ET101120413, Grantová agentura Univerzity Karlovy v Praze, granty cˇ . 489/04, 350/05, 352/05 a 375/05 a U.S. NSF Grant #IIS9732388. B Vlastn´ık je drˇzitelem autorskych ´ práv PDT 2.0 a je oprávnˇen udˇelit licenci Uˇzivateli. C Uˇzivatel je akademická, vzdˇelávac´ı cˇ i vyzkumn´ a instituce nebo jiná organizace cˇ i fyzická osoba, která ´ ´ cely. si pˇreje pouˇz´ıvat PDT 2.0 pro vyzkumn´ e a/nebo vzdˇelávac´ı uˇ ´ Smluvn´ı strany se dohodly na následuj´ıc´ım: 1. Tato dohoda je uzavˇrena dnem odeslán´ı a vstupuje v platnost okamˇzitˇe. ˇ an´ı, zvˇetˇsován´ı cˇ i obohacován´ı PDT 2.0 2. Uˇzivatel z´ıskává nevyhradn´ ı právo k pouˇz´ıván´ı, pozmˇenov´ ´ ´ celem pˇr´ıméno nebo nepˇr´ımého z´ıskán´ı informac´ı v jakékoliv formˇe a mnoˇzstv´ı, za podm´ınky, za uˇ zˇ e PDT 2.0 samotny´ cˇ i jakykoliv z nˇeho odvozeny´ produkt je pouˇzit pouze Uˇzivatelem nebo jeho ´ pˇr´ımymi spolupracovn´ıky, zamˇestnanci, manaˇzery a/nebo jeho studenty z té samé instituce, a to ´ ´ cely, a za podm´ınky, zˇ e tento soustavnˇe dodrˇzuje vˇsechna ujednán´ı a vyhradnˇ e pro vyzkumn´ e uˇ ´ ´ podm´ınky obsaˇzené v této dohodˇe. Pokud jakákoliv cˇ a´ st PDT 2.0 obsahuje svoji vlastn´ı licenci cˇ i dalˇs´ı omezen´ı, plat´ı v´ıce omezuj´ıc´ı verze licence, nen´ı-li v té které cˇ a´ sti specifikováno jinak. Vˇsechna dokumentace, která je k dispozici v nˇekterém z formátu˚ RTF, PDF nebo PostScript, mus´ı byt s nimi mus´ı byt ´ povaˇzována za osobn´ı kopie pˇr´ısluˇsnych ´ autoru˚ a jako s takovymi ´ ´ zacházeno. 3. Uˇzivatel nepouˇzije PDT 2.0 samotny´ cˇ i jakykoliv odvozeny´ produkt (coˇz zahrnuje mimo jiné i ´ ˚ ze pˇr´ıspˇevek PDT 2.0 k takovému odvozenéz´ıskané statistiky) na nˇem zaloˇzeny´ (jakkoliv maly´ muˇ ˚ ´ cely, ani jako souˇca´ st jakékoliv mu produktu byt) pro jakékoliv komerˇcn´ı uˇ ´ zˇ a´ dnym ´ zpusobem bˇezˇ nˇe pouˇz´ıvané aplikace, bez ohledu na to, zda je komerˇcn´ıho druhu. ˚ bez 4. Uˇzivatel vloˇz´ı následuj´ıc´ı poznámku do vˇsech publikac´ı cˇ i veˇrejnˇe pˇr´ıstupnych materiálu, ´ ohledu na jejich formu (tiˇstˇenych, elektronickych nebo jinych), popisuj´ıc´ıch práci, ve které byl ´ ´ ´ ´ pouˇzit PDT 2.0: ,,Praˇzsky´ závislostn´ı korpus, verze 2.0 byl vytvoˇren Ustavem formáln´ı a apliko˚ jako jsou cˇ lánky, pˇr´ıspˇevvané lingvistiky, http://ufal.mff.cuni.cz.“ Do tiˇstˇenych ´ materiálu, ky v cˇ asopisech apod., by mˇela byt ´ vloˇzena jedna publikace ze seznamu dokumentace PDT 2.0, nejvhodnˇejˇs´ı pro odkaz tykaj´ ´ ıc´ı se práce Uˇzivatele. Do elektronickych ´ publikac´ı um´ıstˇenych ´ na inter˚ závazkum ˚ netu by mˇel byt ´ vloˇzen webovsky´ odkaz na vyˇ ´ se uvedenou webovskou stránku. Kvuli ˚ ci drˇzitelum ˚ autorskych Vlastn´ıka vuˇ práv textu˚ jsou textové pˇr´ıklady cˇ i citace z PDT 2.0 nebo ´ jakéhokoliv odvozeného produktu (bez ohledu, zda obsahuj´ı nˇejaké anotace) omezeny na maximálnˇe 200 slov na publikaci cˇ i sérii publikac´ı na stejné téma (at’ uˇz tiˇstˇenych, elektronickych ´ ´ cˇ i v jakékoliv jiné formˇe). 5. Uˇzivatel souhlas´ı s t´ım, zˇ e nebude dále sˇ´ırˇ it ani jakkoliv cˇ init veˇrejnˇe pˇr´ıstupnym ´ ani PDT 2.0, ani jakékoliv odvozené produkty na nˇem zaloˇzené, jak je popsáno v odstavci 3, tˇret´ım stranám bez pˇredchoz´ıho p´ısemného svolen´ı Uˇzivatele, s vyjimkou pˇr´ıkladu˚ a citac´ı, jak je uvedeno v odstavci 4. ´ 6. Uˇzivatel je zodpovˇedny´ za to, zˇ e pˇrijme vˇsechna bezpeˇcnostn´ı opatˇren´ı potˇrebná k ochranˇe autorskych ´ práv Vlastn´ıka na PDT 2.0 a zavazuje se podniknout vˇsechny rozumné kroky k zajiˇstˇen´ı, zˇ e nedojde k neoprávnˇenému pouˇzit´ı PDT 2.0 a jeho kopi´ı, odvozenych ´ produktu˚ ani jejich cˇ a´ st´ı. 7. Jakékoliv pouˇzit´ı PDT 2.0, které by se neˇr´ıdilo specifikacemi uvedenymi ´ ve 3. odstavci této dohody (jako je napˇr. komerˇcn´ı pouˇzit´ı PDT 2.0), je pˇredmˇetem samostatnych ´ jednán´ı a p´ısemnych ´ smluv mezi Uˇzivatelem a Vlastn´ıkem a/nebo dalˇs´ıch stran. Vlastn´ık nen´ı obecnˇe povinen pˇristoupit na taková jednán´ı. 44

ˇ I´ UJEDNAN ´ I´ 7.1. LICENCN

KAPITOLA 7. DISTRIBUCE A LICENCE

8. PDT 2.0 je poskytován bez jakychkoliv záruk. Vlastn´ık nezaruˇcuje pouˇzitelnost PDT 2.0 pro zˇ a´ dny´ ´ ´ cel, bez ohledu na formulace, které se mohou vyskytovat na nˇekterych uˇ ´ m´ıstech v doprovodné ´ cel a pouˇzit´ı PDT 2.0. dokumentaci, vyjadˇruj´ıc´ı zamyˇ ´ sleny´ uˇ 9. Nahlás´ı-li Uˇzivatel Vlastn´ıkovi objevené chyby, nekonzistence nebo návrhy na opravy cˇ i vylepˇsen´ı ´ cely PDT 2.0, Vlastn´ık se zavazuje: (a) zachovat tyto komentárˇ e v tajnosti a pouˇz´ıt je jen pro uˇ ´ zby PDT 2.0, (b) nepˇredat tyto komentárˇ e nikomu kromˇe duvˇ ˚ erzdokonalen´ı, opraven´ı a/nebo udrˇ ˚ kteˇr´ı je potˇrebuj´ı znát pro vyˇ nˇe tˇem ze svych ´ zamˇestnancu˚ nebo vedouc´ıch pracovn´ıku, ´ se uvedené ´ cely. uˇ 10. Pokud Uˇzivatel sám cˇ i kdokoliv, kdo jedná v jeho jménu, poruˇs´ı nˇekterou z podm´ınek této dohody (a nemá k tomu p´ısemné svolen´ı Vlastn´ıka), tato dohoda okamˇzitˇe pozbyv´ ´ a platnosti a Uˇzivatel bezodkladnˇe odstran´ı PDT 2.0, vˇsechny jeho kopie a na na nˇem zaloˇzené odvozené produkty ze ˚ které má pod kontrolou. Toto ukonˇcen´ı dohody nemá zˇ a´ dny´ vliv na svych ´ zdroju˚ a vˇsech zdroju, ˚ nároky Vlasn´ıka tykaj´ ych ´ ıc´ı se finanˇcn´ıch dluhu˚ a/nebo zpusoben ´ sˇ kod a/nebo dalˇs´ı nároky. ˚ ze 11. Opominut´ı cˇ i nezdar Vlastn´ıka vykonat nebo uplatnit práva vyplyvaj´ ´ ıc´ı z této dohody nemuˇ ˚ ze zabránit vykonán´ı cˇ i uplatnˇen´ı tˇechto práv byt ´ povaˇzováno za zˇreknut´ı se tˇechto práv a nemuˇ kdykoliv v budoucnu. 12. Tato dohoda konˇc´ı, pokud (a) Uˇzivatel odstran´ı vˇsechny kopie PDT 2.0 a vˇsech z nˇej odvozenych ´ ˚ (b) Uˇzivatel cˇ i jeho instituce pˇrestane existovat a nedoˇslo k pˇrenesen´ı vˇsech jeho závazku˚ produktu, na novy´ subjekt, ktery´ je v takovém pˇr´ıpadˇe povaˇzován za vázaného touto dohodou. Uˇzivatel cˇ i jeho následn´ık informuje Vlastn´ıka o kaˇzdém takovém pˇrenesen´ı závazku˚ cˇ i následnictv´ı; pokud tak neuˇcin´ı, tato dohoda konˇc´ı jeden mˇes´ıc po takovém pˇrenesen´ı závazku˚ cˇ i následnictv´ı. (c) Vlastn´ık pˇrestane existovat bez oficiáln´ıho následn´ıka. 13. Vlastn´ık bude povaˇzovat veˇskeré informace poskytnuté Uˇzivatelem v rámci odeslán´ı této dohody ˚ erné a neodhal´ı je dalˇs´ım stranám, s vyjimkou za duvˇ ve formˇe souhrnnych ´ ´ informac´ı, ze kterych ´ ˚ ze Vlastn´ıka oprávnit nebude moˇzno identifikovat jednotlivé uˇzivatele. Ke svému zveˇrejnˇen´ı muˇ pouze Uˇzivatel p´ısemnym ´ prohlásˇ en´ım. ˇ ˚ Cesk´ 14. Tato dohoda podléhá zákonum e republiky a veˇskeré spory tykaj´ ´ ıc´ı se této dohody budou rˇ eˇseny jej´ım právn´ım systémem.

45

Kapitola 8

Instalace Pro usnadnˇen´ı instalace PDT jsme pˇripravili instalaˇcn´ı programy pro operaˇcn´ı systémy Linux a MS Windows. Poznamenejme vˇsak, zˇ e vˇetˇsinu cˇ a´ st´ı PDT 2.0 lze pouˇz´ıvat pˇr´ımo z distribuˇcn´ıho CD-ROM nebo z jeho kopie; nˇekteré cˇ a´ sti mohou byt ´ instalovány samostatnˇe pomoc´ı svych ´ vlastn´ıch instalaˇcn´ıch ˚ programu. Instalace na Linuxu. V koˇrenovém adresárˇ i distribuce spust’te program ./Install-Linux.pl. Budete vyzváni k vybˇ ´ eru komponent, které si pˇrejete nainstalovat, a k urˇcen´ı c´ılového adresárˇ e na vaˇsem systému; zvolené komponenty budou zkop´ırovány (a v nˇekterych pˇr´ıpadech i rozbaleny). Na závˇer ´ zobraz´ı instalaˇcn´ı program informaci o tom, jak provést instalaci editoru stromu˚ TrEd. Instalace na MS Windows. Instalaˇcn´ı program spust’te poklepem na ikonu Install-Windows v koˇrenovém adresárˇ i distribuce. Instalaˇcn´ı program nejprve ovˇerˇ´ı, zda je na vaˇsem systému nainstalován Active State Perl ve správné verzi (nutny´ pro práci editoru stromu˚ TrEd). Pokud nen´ı, bude zobrazena informace, odkud je moˇzno tento Perl stáhnout a nainstalovat. Instalaˇcn´ı program vám pak umoˇzn´ı vybrat komponenty PDT 2.0, které si pˇrejete nainstalovat, a urˇcit c´ılovy´ adresárˇ . Tyto komponenty jsou ˇ pak do zvoleného adresárˇ e na vaˇsem systému zkop´ırovány. (Upozornujeme, zˇ e instalaˇcn´ı program pro ˚ tyto nástroje jsou k dispozici MS Windows nenab´ız´ı instalaci nástroju˚ pro automatickou anotaci textu; jen pro Linux.) Na závˇer je spuˇstˇen samostatny´ instalaˇcn´ı program editoru stromu˚ TrEd. Pˇripravené instalaˇcn´ı programy pro Linux a MS Windows nezahrnuj´ı instalaci Netgraphu, nástroje ˚ pro vyhledáván´ı v korpusu. Pokud si pˇrejete Netgraph nainstalovat, postupujte podle tˇechto návodu: • Rychlá instalace Netgraph klienta: doc/tools/netgraph/README QUICK INSTALL CLIENT • Rychlá instalace Netgraph serveru: doc/tools/netgraph/README QUICK INSTALL SERVER • Manuál k Netgraph klientu: doc/tools/netgraph/netgraph manual.html • Instalaˇcn´ı manuál Netgraph serveru: doc/tools/netgraph/netgraph server install.html

47

Kapitola 9

Zásluhy ˚ Následuj´ıc´ı lidé t´ım cˇ i on´ım zpusobem pˇrispˇeli k vytvoˇren´ı a vyvoji Praˇzského závislostn´ıho korpusu, ´ verze 2.0. Uvedeni jsou v abecedn´ım poˇrad´ı (podle pˇr´ıjmen´ı), s vyjimkou publikac´ı (jako jsou Pokyny ´ ˚ pro anotátory), u kterych ´ je zachováno publikované poˇrad´ı autoru. • PDT 2.0 – Morfologická rovina ∗ Koordinátor: Barbora Hladká ∗ Odborný garant: Jan Hajiˇc ∗ Anotaˇcn´ı manuál · Anglická verze: Daniel Zeman, Jan Hajiˇc, Jiˇr´ı Hana, Hana Hanová, Barbora Hladká, Emil Jeˇra´ bek ∗ Anotátoˇri: Martin Buben, Jiˇr´ı Hana, Hana Hanová, Emil Jeˇra´ bek, Lenka Kebortová, Kristyna ´ ˇ Jiˇr´ı M´ırovsky, Kupková, Pavel Kvˇeton, ´ Andrea Pfimpfrová ∗ Poanotaˇcn´ı kontrola: Jiˇr´ı Hana, Hana Hanová, Barbora Hladká, Emil Jeˇra´ bek ˇ epánek, Daniel ˇ Petr Pajas, Pavel Pecina, Jan Stˇ ∗ Kontrola po vydán´ı PDT 1.0: Pavel Kvˇeton, ˇ Zeman, Zdenˇek Zabokrtsky´ ∗ Software a technická podpora: Jan Hajiˇc, Jiˇr´ı Hana, Karel Skoupy´ – Syntakticko-analytická rovina ∗ Koordinátor: Jan Hajiˇc ∗ Odborný garant: Jarmila Panevová ∗ Anotaˇcn´ı manuál ˇ a verze: Alla Bémová, Eva Buránov´ ˇ a, Jan Hajiˇc, Jiˇr´ı Kárn´ık, Petr Pajas, Jarmila · Cesk´ ˇ epánek ˇ Ureˇsová, Jan Stˇ Panevová, Zdenka · Pˇreklad do angliˇctiny: Eva Hajiˇcová, Zdenˇek Kirschner, Petr Sgall ˇ epánek, Zdenka ˇ a, Jiˇr´ı Kárn´ık, Petr Pajas, Jan Stˇ ˇ ∗ Anotátoˇri: Alla Bémová, Eva Buránov´ Ureˇsová ˇ epánek ˇ a, Jakub Dotlaˇcil, Petr Pajas, Jan Stˇ ∗ Poanotaˇcn´ı kontrola: Eva Buránov´ ˇ ˇ ∗ Kontrola po vydán´ı PDT 1.0: Petr Pajas, Jan Stˇepánek, Zdenˇek Zabokrtsky´ ˇ epánek, ∗ Software a technická podpora: Jan Hajiˇc, Jiˇr´ı Havelka, Michal Kˇren, Petr Pajas, Jan Stˇ Daniel Zeman – Tektogramatická rovina ∗ Koordinátor: Jan Hajiˇc ∗ Odborný garant: Eva Hajiˇcová, Jarmila Panevová, Petr Sgall ∗ Anotaˇcn´ı manuál ˇ a verze: Marie Mikulová, Alla Bémová, Jan Hajiˇc, Eva Hajiˇcová, Jiˇr´ı Havelka, · Cesk´ ˇ Veronika Kolárˇ ová-Rezn´ ıcˇ ková, Lucie Kuˇcová, Markéta Lopatková, Petr Pajas, Jarmila ˇ epánek, Zdenka ˇ Panevová, Magda Raz´ımová, Petr Sgall, Jan Stˇ Ureˇsová, Kateˇrina ˇ Veselá, Zdenˇek Zabokrtsky´ ¨ ˇ ak · Pˇreklad do angliˇctiny: Alena Bohmov´ a, Silvie Cinková, Eva Hajiˇcová, Pavel Stran´ 49

´ KAPITOLA 9. ZASLUHY ˇ ∗ Výcvik anotátoru: ˚ Veronika Kolárˇ ová-Rezn´ ıcˇ ková, Ivona Kuˇcerová ∗ Struktura tektogramatické anotace, pˇriˇrazován´ı funktoru˚ a valenˇcn´ıch rámcu˚ · Koordinátor: Jan Hajiˇc ˇ a, Jakub Dotlaˇcil, Marie Mikulová, Magda Raz´ımová, · Anotátoˇri: Alla Bémová, Eva Buránov´ ˇ Ureˇsová, Jana Vejvodová Kateˇrina Souˇcková, Zdenka · Poanotaˇcn´ı kontrola: Václava Beneˇsová, Ondˇrej Bojar, Jan Hajiˇc, Markéta Lopatková, ˇ epánek, Zdenka ˇ arka Zikánová-Leˇsnerová, ˇ Ureˇsová, Jana Vejvodová, S´ Petr Pajas, Jan Stˇ ˇ Zdenˇek Zabokrtsky´ ˇ epánek, Zdenˇek Zabokrtsk ˇ ¨ · Software a technická podpora: Alena Bohmov´ a, Petr Pajas, Jan Stˇ y´ ∗ Aktuáln´ı cˇ lenˇen´ı · Koordinátor: Jiˇr´ı Havelka · Pokyny pro anotátory: Kateˇrina Veselá ˇ arka ˇ a, Anna Dostálová, Barbora Smrˇcková, Kateˇrina Veselá, S´ · Anotátoˇri: Eva Buránov´ Zikánová-Leˇsnerová · Poanotaˇcn´ı kontrola: Jakub Dotlaˇcil, Jiˇr´ı Havelka, Barbora Smrˇcková, Kateˇrina Souˇcková, ˇ arka Zikánová-Leˇsnerová Kateˇrina Veselá, S´ · Software a technická podpora: Jiˇr´ı Havelka ∗ Koreference ˇ · Koordinátor: Zdenˇek Zabokrtsk y´ ˇ · Pokyny pro anotátory: Veronika Kolárˇ ová-Rezn´ ıcˇ ková, Lucie Kuˇcová ˇ · Anotátoˇri: Kateˇrina Cerná, Lucie Kuˇcová, Jana Vejvodová · Poanotaˇcn´ı kontrola: Lucie Kuˇcová, Petr Pajas, Magda Raz´ımová, Jiˇr´ı Semecky, ´ Jan ˇStˇepánek, Zdenˇek Zabokrtsk ˇ y´ ˇ ˇ · Software a technická podpora: Oliver Culo, Petr Pajas, Zdenˇek Zabokrtsk y´ ∗ Gramatémy ˇ · Koordinátor: Zdenˇek Zabokrtsk y´ · Pokyny pro anotátory: Magda Raz´ımová · Anotátoˇri: Kateˇrina Marková, Kamila Pacovská, Magda Raz´ımová · Software a technická podpora: Daniel Zeman ∗ PDT Vallex · Koordinátor: Petr Pajas ˇ ˇ · Anotátoˇri: Alla Bémová, Veronika Kolárˇ ová-Rezn´ ıcˇ ková, Markéta Lopatková, Zdenka Ureˇsová ˇ · Poanotaˇcn´ı kontrola: Alla Bémová, Jan Hajiˇc, Veronika Kolárˇ ová-Rezn´ ıcˇ ková, Markéta ˇ Ureˇsová Lopatková, Petr Pajas, Zdenka ˇ · Software a technická podpora: Petr Pajas, Zdenˇek Zabokrtsk y´ ´ • NASTROJE – TrEd Petr Pajas ˇ – NTrEd Petr Pajas, Zdenˇek Zabokrtsk y´ – Netgraph Jiˇr´ı M´ırovsky, ´ Roman Ondruˇska – Segmentace a tokenizace cˇ eskych ´ textu˚ Jan Hajiˇc, Michal Kˇren – Morfologicky´ analyzátor cˇ eˇstiny Jan Hajiˇc, Jaroslava Hlavácˇ ová – Tagger Jan Hajiˇc – Parser Michael Collins, Václav Honetschläger ˇ – Pˇriˇrazován´ı analytickych y´ ´ znaˇcek PDT Petr Pajas, Zdenˇek Zabokrtsk • PUBLIKACE – Sbˇer, formátován´ı: Barbora Hladká, Petr Homola, Jiˇr´ı Semecky´ • CD-ROM, webovské stránky 50

´ KAPITOLA 9. ZASLUHY ˇ – Adresárˇová struktura: Václav Honetschläger, Zdenˇek Zabokrtsk y´ – Instalaˇcn´ı skript: Ondˇrej Bojar – Validace: Petr Podvesky´ ˇ – Editoˇri Pruvodce ˚ PDT: Václav Honetschläger, Zdenˇek Zabokrtsk y´ ¨ – Obal: Alena Bohmov´ a – Webovské stránky: Václav Honetschläger

51

Kapitola 10

Podˇekován´ı Vyvoj Praˇzského závislostn´ıho korpusu, verze 2.0 byl podporován tˇemito organizacemi, projekty a ´ sponzory: ˇ • Ministerstvo sˇ kolstv´ı a mládeˇze Cesk´ e republiky1 , projekty cˇ . VS96151, LN00A063, 1P05ME752, MSM0021620838 a LC536, ˇ • Grantová agentura Cesk´ e republiky2 , granty cˇ . 405/96/0198, 405/96/K214 a 405/03/0913, • vyzkumn´ e fondy Matematicko-fyzikáln´ı fakulty3 , ´ ˇ • Univerzita Karlova v Praze4 , Cesk´ a republika, ˇ ˇ • Grantová agentura Akademie vˇed Cesk´ e republiky, Praha, Cesk´ a republika5 , projekty cˇ . 1ET101120503, 1ET101120413 a 1ET201120505, • Grantová agentura Univerzity Karlovy v Praze6 , granty cˇ . 489/04, 350/05, 352/05 a 375/05, • a U.S. NSF7 Grant #IIS9732388. ˇ ´ ˚ v uvedenych Dˇekujeme naˇsim partnerum projektech, jmenovitˇe Ustavu Cesk´ eho národn´ıho kor´ ´ pusu8 a Ustavu teoretické a komputaˇcn´ı lingvistiky9 Filozofické fakulty Univerzity Karlovy v Praze, ˚ prvn´ımu z nich za poskytnut´ı puvodn´ ıch surovych dat a obˇema za vhled do problematiky bˇehem ´ diskus´ı v dev´ıtiletém obdob´ı, které vyvrcholilo zveˇrejnˇen´ım PDT 2.0. Jsme vdˇecˇ n´ı také poskytova˚ textu, ˚ jedná se o Lidové Noviny Publishers, Mladou Frontu Dnes, puvodn´ ˚ telum ı vydavatele cˇ asopisu ˇ Ceskomoravsk y´ Profit a Vesm´ır s.r.o., za svolen´ı k vloˇzen´ı jejich textu˚ do distribuce PDT. Rádi bychom podˇekovali také mnoha dalˇs´ım, jejichˇz práce byla vyuˇzita bˇehem vytvárˇ en´ı PDT 2.0, zvlásˇ tˇe au˚ obrovského mnoˇzstv´ı uˇ ´ zasnych ˚ torum nám ´ nástroju˚ dostupnych ´ pod licenc´ı GPL nebo jinym ´ zpusobem pˇr´ıstupnych, od Linuxu pˇres Perl po vˇsechny drobné, ale cˇ as sˇ etˇr´ıc´ı programátorské klenoty. ´

1 2 3 4 5 6 7 8 9

53

1 Úvod Co je PDT Historické pozadí projektu Vývoj projektu Roviny anotace Morfologická rovina

Recommend Documents