Multimodalita jako možnost pro gramatiku „procesuálního“ typu Martin Janečka Katedra obecné lingvistiky
[email protected]
OSNOVA • • • • •
1) diskuse M. Komárek – Kořenský – R. Čech 2) procesuální gramatika 3) tradiční popis gramatických jednotek a MAL 4) (systém) neverbální komunikace 5) multimodalita
1) Prolog: diskuse M. Komárek – Kořenský – R. Čech • Strukturalismus – dichotomické pojetí jazyka → jazykový kód (langue) realizující se v konkrétních řečových aktech. • Opuštění tohoto modelu a vnímání jazyka „monisticky“ jako neustále „sebevytvářejícího se“ procesu (Kořenský, 2003); jediná „realita“ je množství řečových aktů. • Čech (2005) je nutné na L-P (dichotomické) pojetí jazyka rezignovat, nedaří se totiž (Komárkovi) vymezit povahu kódu (langue) a zejména možnosti jeho poznání. • Výsledkem tohoto přístupu je rezignace na pojem kódu (langue). • Lingvistické teorie → aproximativní modely popisující pouze „vynořující se“ pravidelnosti. • Ambice našeho poznání se zmenšují → adekvátnější a obhájitelnější • O jaký typ gramatiky/gramatického přístupu ale jde?
2) Procesuální gramatika • Proces = „řečová činnost jako sémiotické reagování je uskutečňování znakových vztahů mezi jistými fyzikálními kvalitami zvukové/grafické povahy a substrukturami objektivní reality.“ (SaS 1987, K procesuálnímu modelování řečové činnosti, s. 177). • Předpokadem jsou zejména audiovizuální záznamy mluvené, tedy hlavně spontánní komunikace s možností okamžitých audiovizuálních zpracování. • Obsahová stránka řečové činnosti → výzkum univerzálních sémantických a pragmatických faktorů přirozeně řečového sémiotického reagování, tzn. obsahových hodnot, jež nejsou identifikovatelné standardními výrazovými prostředky (tamtéž, s. 178). • Potřeba vypracovat analytické algoritmizované procedury interdisc. charakteru (tamtéž, s. 179) ke zkoumání reálných dat v max. autentické podobě (srov. i Kořenský 2003, s. 6).
2) procesuální gramatika • Vliv Systemic-Functional Grammar M.A.K.Hallidaye; Hopperova emergentní gramatika → obdobné závěry jako v českém prostředí Kořenský: – – – –
Gramatika vyvstává přirozeně z užívání jazyka v komunikaci; Reálnost dat (ne abstraktní formy a pravidla); Zájem o „význam“ ve společenském životě; Jazyk = sociálně sémiotický systém, neboli zdroj významu mezi mnoha konstantně se měnícími kontexty lidské komunikace; – Používat přirozená data, ne konstruovaná! → „Structure can only be seen as emergent if forms are examined in their naturally occurring contexts.“ (Hopper 1998, s. 165).
3) tradiční popis gramatických jednotek a MAL • Novější lexikostatistické výzkumy pracují, resp. musejí pracovat s přepisem mluveného textu, jelikož grafika disponuje mnoha prvky, které jsou na jazyce nezávislé, jsou povahy arbitrární. • Přepisy slovních interakcí zprostředkují stěží víc než obsah řeči. Většina analogového materiálu (hlasitost, rychlost, pauzy a všechny další neverbální projevy) zůstává v onom přepisu nezachycena (např. Watzlawick 2011, s. 73).
4) Systém neverbální komunikace – R. Birdwhistell • Vypadá přirozeně, že význam v interakci nesou slova (nebo slova plus gramatika) a že všechno další chování jsou buď nějaké modifikátory, vyjádření individuálních osobnostních rozdílů jednotlivých participantů (a tedy negeneralizovatelné) nebo jen nepodstatné a nezáměrné zvuky (hluk atd.). • Nahlížení komunikace jakožto naprosto uspořádaného a kontinuálního systému je pro většinu z nás něco nepřijatelného. Přemýšlíme o komunikaci jako o centrálně verbální – centrálně kognitivní a centrálně záměrné (intenční) a jen sekundárně jako o „ovlivněné“ defekty, tj. jinými modalitami interakce. • Není žádným překvapením, že konstrukce, se kterými ve výzkumu určitého jevu pracujeme, budou zrcadlit tuto strukturu konvenční reality. • Takové popisy nebudou ve finální analýze poskytovat modely, které přispívají k popisu komunikační struktury • Nemohou být považovány za popisně korektní jednoduše proto, že jsou populární (Birdwhistell 1970, zejm. s. 87 a 88).
4) Systém neverbální komunikace • Birdwhistell: kinémy (fonémy – figury), kinemorfy a kinemorfické komplexy (pohybové bloky při pozičních kompozicích). • Gramatiky gest (mimiky)? → Jen metafora, jelikož materiálu analogové komunikace schází hodně spojovacích prvků, na kterých je založena morfologie a syntax digitálního jazyka (Watzlawick 2011, s. 99).
• „[V]erbal and nonverbal activity is a unified whole, and theory and methodology should be organized to describe it as such.“ (Pike 1967, s. 26)
5) Multimodalita • „Satelitní vidění jazyka“ – paralelní k vidění planety Země ze satelitních fotek jako jedné z mnoha planet. • Multimodalita překonává vidění (verb.) jazyka jako jediného modu vyjadřování a odhaluje tak to, o čem jsme věděli již dříve, ale co jsme byli schopni celou dobu ignorovat – že je nutné vše uvažovat jako celek (Kress 2010, s. 10n.).
Multimodální korpusy • Vysoce empirický výzkum; • Anotované multimodální korpusy; • Přirozená komunikační situace, (klasické) filmy ne, max. dokumenty; • tzv. face tracking, 3 D modelování tváře, simulace lidského pohybu, další 3D rekonstrukce. • KIPP, M. – MARTIN, J. C. – PAGGIO, P. – HEYLEN, D. (2009)
• The Nottingham Multi-Modal Corpus
Závěr(y) I. • Současné výzkumy (např. Fricke, 2012) ukazují, že zkoumat neverbální projevy je nutné také/zejména při konstruování gramatik daného jazyka, jelikož některé konstrukce jsou nedílně spjaty s některými druhy neverbálních projevů (návaznost na TMA) → jedině komplexní popis dané kom. struktury/konstrukce je adekvátní
FRICKE (2012) • Na příkladu nominálních skupin ukazuje, že gesta spadají jak do syntaktického, tak do sémantického pojmosloví a že mohou (gesta) modifikovat jádrové substantivum nominální skupiny. • Gesta mohou substituovat konstituenty nominálních skupin (mohou se v těchto pozicích gramatikalizovat!) a že je skrze vyřčený kontext ovlivňována SPECIFIČNOST UTVÁŘENÍ substituujícího gesta.
Prolog: závěr(y) II. •
•
•
•
Metodologický lapsus 20. století: od de Sausura se propaguje nutnost zkoumat jazyk mluvený → zejména formalismus (Chomsky etc.) → kde jsou prostředky neverbální povahy? Např. elidování klitik „se“ při nominalizaci učit se – učení; možnosti pohybu volného kondicionálového morfu → korpusy ČNK typu SYN, resp. ORAL pro mluvenost (dojem autentičnosti). Pokud nás ale zajímá význam v procesu komunikace („smysl v textu“), pak korpusy psaného jazyka nemohou naši potřebu zákonitě uspokojit → a ani korpusy mluveného jazyka! Potřeba konstruovat (derivovat) gramatiky podle toho, co se reálně děje s jazykem v procesu komunikace → multimodální korpusy: nejvýhodnější a nejadekvátnější materiál pro takovéto postupy.
REFERENCE • • • • • • • • • • •
BIRDWHISTELL, R. L. (1970): Kinesics and Context. Essays on Body Motion Communication. University of Pennsylvania Press, Philadelphia. ČECH, R. (2005): Komunikace versus systém, nebo komunikace versus model? Slovo a slovesnost, 66, 3, s. 176-180. FRICKE, H. (2012): Grammatik multimodal: Wie Wörter und Gesten zusammenwirken. De Gruyter, Berlin. HALLIDAY, M.A.K. (2003). On Language and Linguistics. Continuum International Publishing, LondonNew York HOPPER, P. (1998). Emergent Grammar. In: M. Tomasello (ed.), The New Psychology of Language. Mahwah, N.J.: Lawrence Erlbaum Associates, Publishers, s. 155-175. KIPP, M. – MARTIN, J. C. – PAGGIO, P. – HEYLEN, D. (2009) (eds.): Multimodal Corpora. From Models of Natural Interaction to Systems and Applications. Springer-Verlag, Berlin Heidelberg. KOŘENSKÝ, J. (1987): K procesuálnímu modelování řečové činnosti. Slovo a slovesnost, 40, s. 187189. KOŘENSKÝ, J. (2003): Procesuální gramatika v kontextu současných tendencí lingvistického myšlení. Slovo a slovesnost, 64, s. 1–7. KRESS, G. (2010): Multimodality: a social semiotic approach to contemporary communication. Routledge, London. PIKE, K. L. (1967): Language in Relation to a Unified Theory of the Structure of Human Behaviour. Mouton, Hague WATZLAWICK, P. (2011): Pragmatika lidské komunikace: interakční vzorce, patologie a paradoxy. Newton Books, Brno.
Děkuji za pozornost!
