Úvod do kvantitativní lingvistiky. Radek Čech

Úvod do kvantitativní lingvistiky Radek Čech

Historie KL • • • •

G. K. Zipf (1902-1950) PLK – B. Trnka (problematika těsnopisu) M. Těšitelová a kol. G. Altmann, R. Köhler, L. Hřebíček

Místo KL v lingvistice • cíle lingvistiky (obecně) • metody lingvistiky (obecně) • předmět lingvistiky (obecně)

Základní rysy KL • cílem nikoliv popis (klasifikace) jednotek jazykového systému, ale vytvoření modelu, jehož vlastnosti jsou založeny na empiricky testovatelných hypotézách • lingvistika jako experimentální věda

KL (teorie) ↓ verbální formulace hypotézy + operacionalizace ↓ matematická formalizace ↓ experiment ↓ matematické vyhodnocení experimentu ↓ lingvistická explanace

Kvantitativní lingvistika • • • •

Co je teorie? Jak poznat, která teorie je lepší než jiná? Plyne něco z teorie? Lingvistické teorie?


Kvantitativní lingvistika • Co je hypotéza? • Formální vlastnosti hypotézy? • Lingvistické hypotézy…

„Hypotéza“ v lingvistice •

•

• •

•

„V hláskosloví ani v jiných rovinách vodňanského herbáře nejsou prokazatelné další nářeční jevy z oblasti, kde nedošlo ke vzniku vibranty ř (východomoravské území), dáváme proto přednost hypotéze, že se jedná o nedbalý zápis“ (Černá 2005, s. 76); „V nich se překlad Františka Vrby jeví jako silně zatížený mužským genderovým úhlem pohledu a estetikou vnímání; potvrzuje se tak původní hypotéza, že se spíše „staví na stranu“ mužského hrdiny, resp. autorského tvůrce a erotické líčení prezentuje spíše z jeho perspektivy…“ (Širokovská 2004, s. 23); „Proč není samo slovo plémě ve staročeských textech doloženo v očekávaném významu, o tom lze vznášet různé hypotézy.“ (Šimandl 2007, s. 238); „Hypotéza 2.1: Co-text je věrným zrcadlem (situačního) kontextu v tom smyslu, že všechny pro danou komunikační situaci relevantní kontextové vlastnosti jsou cotextem explicitně reflektovány, a mají tedy nějaký textový korelát. (…) Hypotéza 2.2: (Textový) kontext věrně reflektuje všechny vlastnosti jazykových jevů relevantní pro jejich užití. (Cvrček 2013, s. 24)“; „Vycházeje z toho, že teorie valence i přes zjevná slabá místa představuje dobrý konstrukt lingvistické teorie, pokusím se nyní představit hypotézu modifikované valenční teorie (MVT) a formulovat základní principy této teorie.“ (Karlík 2001, s. 171n).

Od popisu k hypotéze • předpokládaný vztah mezi dvěma vlastnostmi = působení mechanismu • zaměříme-li na vztahy mezi vlastnostmi, překračujeme hranice popisu jednotek směrem k odhalování toho, proč jsou sledované vlastnosti oněch jednotek takové, jaké jsou • nástrojem analýzy tohoto typu je empiricky testovatelná hypotéza

Hypotéza • hypotéza (Greis 2009, s. 11) – tvrzení, které se týká více než jednoho jevu či případu; – má alespoň implicitně strukturu podmínkového souvětí, tj. „jestliže…, pak…“, případně „čím…, tím…“ (např. čím je slovo frekventovanější, tím je kratší); – je falzifikovatelné (tj. vyvratitelné) prostřednictvím experimentu, který dovoluje rozhodnout, zda predikce formulovaná prostřednictvím hypotézy je vyvrácena, či ne (vyhodnocení se většinou experimentu pomocí statistických testů).

Hypotéza • která tvrzení jsou/nejsou testovatelnými hypotézami? 1. 2. 3. 4. 5. 6. 7. 8. 9.

hodně mužů má pleš pokud se v knize vyskytují biblický příběh, je to apokryf jestli se zavedou řidičáky „na zkoušku“, může se snížit nehodovost mladých řidičů a řidiček muži mají častěji pleš než ženy jestliže se je sloveso dokonavé, častěji se na něj váže přímý akuzativní předmět než na sloveso nedokonavé ženy jsou citlivé čím je slovo frekventovanější, tím je větší jeho polysémie jestli se zavedou řidičáky „na zkoušku“, sníží se nehodovost mladých řidičů a řidiček nářečí často ovlivňují podobu mluveného jazyka obyvatel dané nářeční oblasti


Operacionalizace vs. klasifikace • Způsoby klasifikace jevů – V(A) = V(B), nebo V(A) ≠ V(B)

– V(A) > V(B), nebo V(A) = V(B), nebo V(A) < V(B)

– V(A) – V(B) = d

Operacionalizace vs. klasifikace • Způsoby klasifikace jevů – V(A) = V(B), nebo V(A) ≠ V(B) • V = substantivum: dům = stůl; dům ≠ spát

– V(A) > V(B), nebo V(A) = V(B), nebo V(A) < V(B)

– V(A) – V(B) = d


– V(A) > V(B), nebo V(A) = V(B), nebo V(A) < V(B) • V = synt. objekt: Vidím Marii > Myslím na Marii > Dívám se na Marii > > Zabil Marii sekyrou

– V(A) – V(B) = d


– V(A) > V(B), nebo V(A) = V(B), nebo V(A) < V(B) • V = synt. objekt: Vidím Marii > Myslím na Marii > Dívám se na Marii > > Zabil Marii sekyrou

– V(A) – V(B) = d • V = délka slova (ve slabikách): Trojanovice vs. Ostrava: 5–3=2 Trojanovice vs. Praha: 5–2=3 Trojanovice vs. Malenovice: 5 – 5 = 0

Operacionalizace vs. klasifikace • už „pouhá“ kvantifikace klasifikace přináší hlubší pohled na dané jevy • srov. korpusová lingvistika

Operacionalizace • je třeba jasně a jednoznačně definovat proměnné, mezi kterými se předpokládá závislost • H: čím je slovo frekventovanější, tím je polysémnější – v čem může být problém?

Operacionalizace • je třeba jasně a jednoznačně definovat proměnné, mezi kterými se předpokládá závislost • H: čím je slovo frekventovanější, tím je polysémnější – frekvence: je třeba jasně uvést • co se myslí slovem • jak se budou počítat frekvence

– polysémie: je třeba uvést • jak se bude polysémie kvantifikovat

Operacionalizace • H: ženy mají větší pasivní slovní zásobu než muži – problém?

Operacionalizace • H: ženy mají větší pasivní slovní zásobu než muži – jak definovat „pasivní slovní zásobu“?

Operacionalizace • špatná operacionalizace znehodnocuje celou analýzu • H: subjekt je v češtině v průměru delší než objekt Muž v triku veze naše dopisy – pokuste se formulovat některé problémy s určováním délky

Operacionalizace • špatná operacionalizace znehodnocuje celou analýzu • H: subjekt je v češtině v průměru delší než objekt

Muž v triku veze naše dopisy – některé problémy s určováním délky: • • • • •

rozvitý vs. nerozvitý subjekt/objekt? počet slov? počet slabik? počet morfémů? je neslabičná předložka samostatným slovem?

• způsob měření ovlivňuje podobu výsledku!!!


Kvantitativní lingvistika • Matematická formalizace – vyjádření sledovaných vlastností čísly – např. frekvenční distribuce, vztah mezi dvěma vlastnostmi atp.

Matematická formalizace • hypotéza – čím více morfo-fonetických změn se v daném tvaru slova projevuje (vzhledem k nominativu), tím nižší je jeho frekvence

Matematická formalizace • zdůvodnění – Minimisation of producing, encoding, memory effort (speaker) – Minimisation of decoding, (hearer) – the conserving effect of token frequency

Matematická formalizace počet změn 0 1 2 3 4

f 11847 6356 2616 447 25


Experiment • Co je experiment?

Experimentální přístup • výhody – replikovatelnost – pokud testujeme stejnou hypotézu na různých jazycích můžeme dospět k jazykovému zákonu – vyvrácení hypotézy nemusí vždy znamenat neplatnost celé hypotézy, ale jen odhalení tzv. hraničních podmínek – intersubjektivita

• nevýhody – redukcionismus – specifické nároky (technické prostředky, aplikace statistiky atp.), se kterými se „běžně“ školený lingvista musí vyrovnat


Kvantitativní lingvistika • Matematické vyhodnocení experimentu • náhoda vs. mechanismus • statistický test

Statistické testy významnosti • testuje se pravděpodobnost toho, zda je pozorovaná závislost způsobena náhodou, či ne • hod mincí (100x) – pokud padne 50x panna a 50x orel, nepředpokládá se, že by někdo podváděl – pokud padne 52x panna a 48x orel, nepředpokládá se, že by někdo podváděl – padne-li však 98x panna, dá se předpokládat, že někdo podvádí – a co když padne panna 59x nebo 60x nebo 61x nebo 62x…?

Statistické testy významnosti • dá se spočítat (srov. např. Greis 2010, s. 33nn), že pokud padne panna 61x, tak je větší než 95procentní pravděpodobnost, že jeden z hráčů podvádí • jinými slovy: pravděpodobnost, že budeme neoprávněně tvrdit, že jeden z hráčů nepodvádí, je menší než 5procentní

Statistické testy významnosti • porovnávají se dvě hypotézy – nulová hypotéza: tvrzení, které obvykle deklaruje “žádný rozdíl”, tj. nalezený rozdíl je dán variablitou dat, náhodou (např. mince není falešná; mezi formou jazyka a četností užívaní bychom/bysme není rozdíl) – alternativní hypotéza: situace, kdy nulová hypotéza neplatí, tj. mezi proměnnými se předpokládá závislost; důležité je přitom nějaké teoretické zdůvodnění

Statistické testy významnosti • hladina významnosti – pravděpodobnost, že se zamítne nulová hypotéza, ačkoliv ona platí – obvykle 5 % (0,05) nebo 1 % (0,01)

Chí-kvadrát test dobré shody • příklad: předpokládáme, že v románech se bude častěji používat nespisovná varianta slova “bychom” než v publicistických textech – proměnnými jsou: a) typ textu; b) varianta slova H0: mezi typem textu a používáním nespisovné varianty slova “bychom” není žádný vztah H1: mezi typem textu a používáním nespisovné varianty slova “bychom” je vztah, tj. tato forma se častěji vyskytuje v próze

Chí-kvadrát test dobré shody SYN2005nov (romány)

SYN2005pub (publicistika)

bychom

5260

6679

bysme

714

39

% bysme

13,6

0,6

SYN2005nov (romány)

SYN2005col (povídky)

bychom

5260

1660

bysme

714

136

% bysme

13,6

8,2



bychom

5260

6679

bysme

714

39

% bysme

13,6

0,6



bychom

5260

1660

bysme

714

136

% bysme

13,6

8,2

p = 0,00000000000000022



bychom

5260

6679

bysme

714

39

% bysme

13,6

0,6



bychom

5260

1660

bysme

714

136

% bysme

13,6

8,2

p = 0,00000000000000022

p = 0,0000001851

Statistické testy významnosti • někteří lingvisté (vesměs korpusoví) jsou přesvědčeni, že čím více dat máme k dispozici, tím lépe – Sinclair: “The more, the better!”

• z hlediska použitelnosti statistických testů to však neplatí, – srov. Rietvield T. et al.: Pitfalls in Corpus Research. Computers and the Humanities 38: 343–362, 2004.

Statistické testy významnosti romány

novely

Σ

% novely

konstrukce A

500000

501800

1001800

50,09%

konstrukce B

501500

500000

1001500

49,93%

Σ

1001500

1001800

2003300

chi^2 = 5.43, p=0,020


Kvantitativní lingvistika • popis vs. interpretace vs. explanace

Kvantitativní lingvistika • International Quantitative Linguistics Association (http://www.iqla.org/) • časopisy: – Journal of Quantitative Linguistics

(http://www.tandfonline.com/action/journalInformation?show=aimsScope&journalCod e=njql20#.Uytfjfl5OM4)

– Glottotheory (http://www.degruyter.com/view/j/glot) – Glottometrics (http://www.ram-verlag.eu/journals-e-journals/glottometrics/)

• knižní řady – Quantitative Linguistics (de Gruyter) – Studies in Quantitative Linguistics (RAM-Verlag)

Kvantitativní lingvistika

Kariéra kvantitativního lingvisty



Úvod do kvantitativní lingvistiky. Radek Čech

Recommend Documents