VYSVĚTLIVKY K EXPERTNÍ ANALÝZE METODOU UMRA

1 / 12

Milík Tichý

VYSVĚTLIVKY K EXPERTNÍ ANALÝZE METODOU

UMRA 1. verze 06-04-01, 2. verze 08-02-25, 3. verze 10-04-02, 4. verze 11-03-09, 5. verze 14-01-28 1. Vysvětlivky navazují na knihu "Ovládání rizika. Analýza a management" (C. H. Beck, Praha, 2006 – dále jen "Ovládání"). Cílem výkladu je zobecnit možnosti použití metody. 2. Metoda byla původně zpracována v r. 2000 pro rizikovou analýzu zanořených tunelů metra v Praze. V souvislosti s dizertační prací Dr. Mily Valjentové bylo zaměření metody UMRA rozšířeno na obecný případ ratingů různého druhu. Zobecnění spočívá především v tom, že lze metodu použít k vyšetřování nejen čistých rizik, ale také spekulativních rizik. Metoda nyní pracuje s pojmem "impakt", jehož realizace může mít škodlivý i prospěšný účinek na projekt. Může tedy být nebezpečím i šancí. Vysvětlivky však nepřinášejí žádné změny podstaty metody. 3. Značky, symboly a pojmy uvedené v "Ovládání" byly v těchto Vysvětlivkách upraveny, popř. zobecněny. 4. Slovo "rating" se chápe jako numerický odhad významnosti impaktu pro vyšetřovaný projekt, nikoliv jako vstupní nebo výstupní hodnota matematické veličiny. Rating může mít různý význam: závažnost nebezpečí, benefit šance, pravděpodobná možnost výskytu nějakého zkoumaného jevu (nikoliv pravděpodobnost) apod. 5. Metoda se nezabývá náhodností odhadů a nepracuje ani se žádnými pravděpodobnostmi. Náhodnost expertních odhadů se bere na vědomí, ale není metodou analyzována. Odkazujeme na dizertační práci Valjentová M. "Vlastnosti expertů v expertních analýzách", ČVUT Stavební fakulta, 2011; viz www.volny.cz / milik.tichy / . 6. Obecným cílem metody UMRA je identifikovat a kvalifikovat významnost nebezpečí, popřípadě šancí, spojených s realizací projektu. Specifickým cílem je – homogenizovat ratingy v týmu expertů – rating impaktů v soubězích zdrojů se segmenty – ranking impaktů, segmentů projektu vystavených impaktům a souběhů zdrojů se segmenty Jako vše v rizikologii je i metoda UMRA sama o sobě odhadem. 7. Předpokladem smysluplnosti jakékoliv rizikové analýzy, a tedy i analýzy metodou UMRA, je vyvážený expertní tým vytvořený z expertů s přibližně stejnou zkušeností bez jakékoliv podjatosti vůči projektu nebo vůči jeho účastníkům. 8. Od r. 2000 se metoda UMRA použila u několika projektů, přičemž se postupně získala řada zkušeností. Nejvýznamnější bylo její použití pro Úvodní analýzu rizika železničního tunelu Praha-Beroun. Stručný popis analýzy je uveden v článku:

Tisk: 14-02-20, 6:48 PM

UMRA Vysvětlivky 140127.docx

Vysvětlivky k metodě UMRA (13-12-29)

2 / 12

Tichý, M.: Riziková analýza projektu "Praha-Beroun, nové železničné spojenie", Stavebnícka ročenka 2007, Jaga, Bratislava, 2006, s. 65-67 Použití metody UMRA pro tento významný výstavbový projekt ukázalo její schůdnost a použitelnost v širší praxi. Při řešení se získaly významné poznatky o provedení expertních analýz, které byly zobecněny v monografii: Tichý M, Valjentová M.: Experti a expertizy. Linde, Praha, 2011, 281 s.

Dotazy a připomínky k těmto Vysvětlivkám zasílejte prosím na adresu

[email protected]

NĚKTERÉ NÁZVY A POJMY 9. Základní názvy použité v textu jsou vzaty z publikace "Experti a expertizy" (str. 33 až 36), s těmito doplňky a zpřesněními: Projekt – sled hmotných a nehmotných procesů; projekt má specifický účel a cíl, který má být jeho realizací dosažen, má časově definovaný začátek a konec a je prostorově vymezen; projektem může být pevný nebo pohyblivý objekt Projektem rozumíme z hlediska expertizy i časovou nebo prostorovou část jiného projektu (prostorové pole, časový úsek).

Segment projektu – ucelená, definovatelná časová nebo prostorová část projektu Zdroj impaktu – antropogenní nebo přírodní činitel, který může vyvodit impakt na průběh nebo existenci projektu Impakt – souhrn možných skutečností, které mohou, ale nemusí ovlivnit chování projektu v čase a prostoru Významnost impaktu – relativní číslo zvolené ze stupnice významnosti nebo zjištěné operací na souboru expertních matic (např. závažnost nebezpečí, nadějnost šance) Nebezpečí – impakt, jehož realizace může mít škodlivý vliv na projekt Šance – impakt, jehož realizace může mít prospěšný vliv na projekt Pro aplikaci metody v mnoha různých úlohách, které nesouvisejí s analýzou rizika, jsme dospěli k nahrazení původního sousloví "závažnost nebezpečí, Sv" obecným názvem "rating". Rating má pro šanci význam "benefit, Bn".

Rating – numerický nebo numericky popsatelný odhad významu hmotných nebo nehmotných skutečností vyvolaných realizací impaktu pro vyšetřovaný projekt Ranking – číslo udávající pořadí sledované hmotné nebo nehmotné skutečností v souboru uspořádaném podle ratingu (např. podle expertního ratingu nebo podle agregovaného ratingu) Expertní matice – formulář vyplněný expertem Stohová matice – matice vzniklá zpracováním souboru expertních matic Průnik – buňka matice v místě překryvu sloupce a řádku Tisk: 14-02-20, 6:48 PM



3 / 12

Aktivní buňka – průnik, v němž je uvedena numerická hodnota Souběh segmentu a zdroje – průnik na aktivní buňce matice Stoh – skupina ne buněk z matic 1 až ne ; skupinu tvoří stejné průniky segmentu a zdroje Aktivní stoh – stoh, v němž je aktivní alespoň jedna buňka

ZNAČKY A ZKRATKY 10. Použití značek Rt, RtS, RtE, Pc aj. je poněkud neobvyklé. Tyto značky jsou však odlišeny od psaní běžných matematických symbolů proto, aby se zdůraznila odlišná povaha označovaných veličin – jde o veličiny související s managementem rizika, jež vyjadřují odhady.

Popisy ai

segment projektu (řádek)

na , nb

bj

zdroj impaktu (sloupec)

a

Nk

cabk

a

Nab

Cab

buňka v expertním formuláři experta k stoh buněk cabk, k = 1 až ne

a

Nt

ne

počet expertů

a

Ncmp

počet segmentů projektu, popř. zdrojů impaktu počet aktivních buněk v expertní matici k počet aktivních buněk ve stohu Cab počet aktivních buněk ve všech expertních maticích počet všech aktivních buněk v souboru expertních matic

Rating a ranking Rt

rating

grRtab

RtS

stupnicová hodnota ratingu (scale value) nejvyšší stupnicová hodnota ratingu (RtSmax = 3) expertní rating, zvolený hodnotou stupnicového ratingu RtS, zapsanou do buňky cabk expertem k standardizovaný expertní rating modifikovaný expertní rating

agRtab

RtSmax RtEabk

stRtabk mdRtabk

dsRtab qRtab

cmpRt

hrubý stohový rating bez přihlédnutí k vlastnostem expertů (gross) agregovaný stohový rating destandardizovaný stohový rating kvalifikovaný stohový rating

souhrnný rating (comprehensive)

Součinitele Pck

individuální součinitel vnímání Pct (perception) impaktu expertem k ψ

Tisk: 14-02-20, 6:48 PM

týmový součinitel vnímání impaktu vyrovnávací součinitel při dsRt > RtSmax UMRA Vysvětlivky 140127.docx


4 / 12

Součty Σa, Σb Σk

součet pro aktivní buňky v řádku a, sloupci b součet pro všechny aktivní buňky ve všech maticích

Tisk: 14-02-20, 6:48 PM

Σab Σabk

součet pro všechny aktivní stohy Cab součet pro všechny aktivní buňky cabk v matici k



5 / 12

NÁSTROJE METODY UMRA (viz Experti a expertizy, str. 200-201) Formulář UMRA Segmenty projektu a1 a2 … ana

b1

Zdroje impaktu b2 …

bnb

11. V mnoha případech je z povahy případu zřetelné, že souběh segmentu a zdroje v některém průniku není možný. Rizikový analytik dá expertům vyplnit formuláře, kde budou příslušné buňky začerněny nebo jinak označeny tak, aby se nedaly vyplnit.

Expertní matice k Segmenty projektu a1 a2 … ana

b1 c11k c21k cna,1k

Zdroje impaktu b2 … c12k … buňky cabk cna,2k

…

bnb c1,nb,k c2,nb,k … cna,nb,k

Matice stohů Cab Segmenty projektu a1 a2 … ana

Tisk: 14-02-20, 6:48 PM

b1 C11 C21 Cna,1

Zdroje impaktu b2 … C12 stohy Cab

bnb C1,nb C2,nb … Cna,nb



6 / 12

Tabulka UMRA 12. Do buněk formulářů UMRA zapisují experti svoje odhady významnosti impaktu (ratingy) v průniku zdroje impaktu a segmentu, a to hodnotami RtS volenými podle Tabulky UMRA. 13. Tabulka UMRA je součástí metody. Její uspořádání bylo odladěno na řadě případů a po mnoha diskuzích s uživateli metody. Liší se jen formálně od Tabulky UMRA použité v první uskutečněné analýze UMRA v r. 2000. V tabulce se doplní deskriptory efektů realizace impaktu (zarámovaná část tabulky), jiné úpravy mohou vést ke znehodnocení očekávaného výstupu analýzy. 14. Výklad k hodnoticím stupnicím v metodách expertní analýzy je v monografii "Experti a expertizy" na str. 172-176, a také v "Ovládání" na str. 160-161, 183 a 384, kde je popsána původní verze.

Logická část … nedokáže rating odhadnout Expert v průniku ... považuje souběh zdroje a zdroje a segmentu segmentu… za…

… logicky nemožný

… logicky možný

ponechá buňku prázdnou zapíše do buňky zvolenou hodnotu RtS

Ratingová část Impakt je podle názoru experta ...

Efekty realizace impaktu v souběhu

… nepatrný

deskriptor 0

… malý

deskriptor 1

… střední

deskriptor 2

… velký

deskriptor 3

RtS 0 1 2 3

(a) Deskriptory efektů (pro každý stupnicovou hodnotu RtS jednotlivě) se liší podle toho, zda impaktem je nebezpečí anebo šance, dále podle toho, o jaký projekt jde, a konečně podle specifik efektů eventuálního neúspěchu nebo úspěchu (časové posuny, finanční ztráty / zisky apod.) – viz např. "Ovládání", str. 348. Deskriptory musí být jednoznačné a nesmějí se překrývat. (b) Expert smí svůj odhad vyjádřit buď "nulou" nebo celým číslem. Deskriptory musí být proto jednoznačně definovány a musí být vyloučena možnost jejich překryvů.

Tisk: 14-02-20, 6:48 PM



7 / 12

Expertův rating a ranking Expertní rating 15. Do formuláře, který obdržel k vyplnění, zapíše expert k do buněk cabk svoje ratingy RtEabk hodnotami RtS podle Tabulky UMRA (eventuálně ponechá některé buňky prázdné). 16. Prázdné buňky se kvůli přehlednosti vyznačí např. symbolem (tzv. supernula) nebo jinak. Nevstupují do žádných matematických úkonů (do součtů se tedy nezapočítávají).

Aktivní buňky a stohy 17. Buňka cabk je aktivní, jestliže v ní je uveden expertní rating RtEabk (tj. hodnota 0 až 3). 18. Stoh buněk Cab je aktivní, jestliže obsahuje alespoň jednu aktivní buňku. 19. Pro další řešení se zjistí počty aktivních buněk: – v expertních maticích k — aNk – v jednotlivých stozích Cab — aNab – v celém souboru expertních matic — aNt

Ranking 20. V expertní matici k se stanoví pořadí zdrojů, segmentů a souběhů z ratingů zapsaných expertem. 21. V matici k se v každém řádku a určí hodnoty Σa RtEabk a v každém sloupci b hodnoty Σb RtEabk. 22. Řádky a sloupce se seřadí sestupně podle velikosti součtů ratingů. K řádkům i ke sloupcům se přiřadí jejich ranking Rn. Přitom Rn = 1 má řádek, popř. sloupec s nejvyšší hodnotou příslušného součtu ratingů. Prázdné řádky a sloupce se v pořadích neuplatní. 23. Dále se seřadí souběhy segmentů a zdrojů sestupně podle hodnot RtEabk zapsaných v buňkách cabk (pro každého experta k samostatně). K souběhům se přiřadí jejich rankingy Rn. Ranking Rn = 1 má souběh s nejvyšším ratingem. Prázdné buňky se v pořadí neuplatní. 24. Pokud se při řazení vyskytnou stejné součty ratingů (u řádků a sloupců), popř. stejné ratingy (u souběhů), zapíše se u nich stejný ranking. 25. Pořadí segmentů, zdrojů a souběhů u jednotlivých expertů je důležité při eventuálním rozboru jejich názorů v případě, kdy se ratingy, popř. rankingy některého experta výrazně liší od ratingů, popř. rankingů jiných členů týmu.

PŘÍPRAVA EXPERTNÍCH MATIC 26. Expertní matice nejsou v obecném případě identické. Liší se od experta k expertu, a to ve třech parametrech:

Tisk: 14-02-20, 6:48 PM



8 / 12

– v počtu a umístění aktivních buněk (tj. v počtu a umístění souběhů segmentů a zdrojů) – v hodnotách ratingu – v rankingu segmentů, zdrojů a souběhů 27. Aby se dospělo k homogenizaci expertního hodnocení, musí se jednotlivé matice upravit tak, aby se expertní hodnocení "převedla na společného jmenovatele". Expertní ratingy se standardizují a modifikují. Úpravy v maticích k , popsané dále v čl. 28 až 37 nemají vliv na pořadí zdrojů, segmentů a souběhů, která plynou z expertní matice hodnot RtEabk .

Standardizovaný expertní rating 28. Expertní ratingy impaktu nejsou v expertním týmu většinou vyvážené. Prvním krokem k odstranění nevyváženosti expertních ratingů je standardizace expertních matic. 29. Expertní matice k (k = 1 až ne) se standardizuje součtem všech ratingů zapsaných do formuláře expertem k, tj. součtem ΣabRtEabk (v součtu se opět uplatní jen aktivní buňky). Standardizovaný rating v aktivní buňce cabk expertní matice k je tedy: (U1)

stRtabk= RtEabk / ΣabRtEabk

30. Buňky, kde je RtEabk ≡ (prázdné buňky) mají po standardizaci matice k opět stRtabk ≡ . 31. Buňky s ratingem RtEabk = 0 mají standardizovaný rating stRtabk = 0. 32. Mohou se vyskytnout dva extrémní případy: – expert uvedl ve všech soubězích rating RtS = 0 — v těchto aktivních buňkách se definuje stRtabk= 0 – expert považoval souběh segmentu projektu se zdrojem impaktu za nelogický na všech průnicích, a ponechal všechny buňky svého formuláře prázdné – expertní matici vyřadíme z dalšího řešení a počet expertů ne zmenšíme o jedničku

Modifikovaný expertní rating 33. Ratingy RtEabk (a tedy i jejich standardizované hodnoty stRtabk) se liší od experta k expertu. Objektivní příčinou této běžné skutečnosti je rozdílné vnímání impaktu mezi jednotlivými experty. Úroveň vnímání impaktu expertem k se vystihne individuálním součinitelem vnímání impaktu Pck postupně pro jednotlivá k = 1 až ne : Pck = (ΣabkRtEabk )/ (RtSmax × aNk)

(U2)

34. Jmenovatel zlomku v rov. (U2) je číslo, ke kterému by dospěl dokonale pesimistický expert (je-li impaktem nebezpečí), popř. dokonale optimistický expert Tisk: 14-02-20, 6:48 PM



9 / 12

(je-li impaktem šance), jenž by přisoudil ratingům ve všech buňkách, kde považuje souběh segmentu a zdroje za logicky možný, horní mez stupnice ratingu RtSmax. 35. Stanoví se týmový součinitel vnímání impaktu: Pct = (ΣabkRtEabk) / (RtSmax × aN t)

(U3)

kde aNt je počet všech souběhů (tj. aktivních buněk) ve všech stozích Cab (tj. v celém souboru expertních matic): a

Nt = Σk aNk

(U4)

36. V soubězích cabk se vypočtou modifikované expertní ratingy postupně pro k = 1 až ne: (U5)

mdRtabk = stRtabk ×(Pct / Pck)

37. Je-li vnímání impaktu expertem k méně intenzivní, než je průměrné vnímání týmu expertů, tj. je-li Pck < Pct , bude u takového experta mdRtabk > stRtabk a naopak. Při aplikacích metody UMRA byl smysl tohoto vyrovnání někdy obtížně chápán. Zapamatujeme si ho snadno biblickým "Kdo se ponižuje, bude povýšen, a kdo se povyšuje, bude ponížen".

Modifikování ratingů nemusí ale být v mnohých případech spravedlivé! Expert může být tak erudovaným specialistou, že jeho zdánlivě nižší nebo vyšší ratingy jsou ve srovnání s ostatními experty fundované a oprávněné. Odchylky v ratingu nemusí být způsobeny pouze rozdílným vnímáním impaktu, nýbrž mohou vyplývat z empirických nebo teoretických znalostí experta. Odchylné expertní ratingy se nesmějí nikdy podcenit, a rizikový analytik se musí pokusit je objasnit. Analytik musí ovšem také rozhodnout, co se má považovat za odchylné.

ZPRACOVÁNÍ SOUBORU EXPERTNÍCH MATIC Hrubý stohový rating 38. Pokud bychom nepřihlíželi k rozdílům mezi experty co do jejich úrovně znalosti projektu a co do jejich vnímání impaktu, vzali bychom jejich vyplněné formuláře tak jak jsou, a určili bychom pro každý aktivní stoh Cab hrubý rating grRtab = (ΣabkRtEabk) / aNab

(U6)

V buňkách, kde je aNab = 0, je grRtab ≡ . 39. Rating grRtab se může v rizikové analýze použít jen tehdy, jestliže je expertní tým vyvážený. To se však většinou nestává. Můžeme ho ovšem použít u zcela jednoduchých projektů, ale ani u takových se na vyváženost týmu spoléhat nedá. Rating se však uplatní v dalším řešení (viz čl. 45). Tisk: 14-02-20, 6:48 PM



10 / 12

40. Z matice hrubých ratingů lze stanovit hrubý ranking segmentů, zdrojů a souběhů (postupem podle čl. 20 až 23).

Agregovaný stohový rating 41. Modifikované ratingy v buňkách cabk tvoří aktivní stoh Cab ratingů mdRtabk . 42. Průměr modifikovaných ratingů mdRtabk v aktivním stohu Cab označujeme jako agregovaný rating agRtab = (1 / aNab) Σabk (mdRtabk) , k = 1 až ne

(U7)

Pokud je aNab = 0 (všechny buňky cabk ve stohu Cab jsou prázdné), klade se agRtab ≡ .

Ranking 43. Z matice ratingů agRtab se stanoví ranking – segmentů vystavených impaktům – zdrojů impaktu – souběhů zdrojů a segmentů Ranking segmentů, zdrojů nebo souběhů zjištěný z agregovaných ratingů agRtab se v obecném případě liší od hrubého rankingu zjištěného z hrubého stohového ratingu grRtab (čl. 40)

Destandardizace stohových ratingů agRtab 44. V tomto stádiu analýzy lze již dát Rozhodovateli informaci o rankinzích segmentů, zdrojů a souběhů z hlediska impaktů. Ratingy agRtab neposkytují explicitně "absolutní" informaci o ratingu v jednotlivých buňkách. Rozhodovatel však obvykle požaduje informaci, která upozorní na možné následky realizace impaktu srozumitelným způsobem. 45. Matice ratingů se destandardizuje násobením hodnot agRtab hodnotou ΣabgrRtab (viz čl. 38). V každé aktivní buňce stohové matice se tedy vypočte destandardizovaný stohový rating: (U8)

dsRtab = agRtab × ΣabgrRtab 46. Po dosazení a úpravách: jestliže aNab = 0: dsRtab ≡

(U9)

jestliže aNab > 0: dsRtab = (1 / aNab) (Σabk (RtEabk / Σabk RtEabk) × (Pct / Pck)) × × Σab (Σabk (RtEabk) / aNab) Tisk: 14-02-20, 6:48 PM

(U10) UMRA Vysvětlivky 140127.docx


11 / 12

V tomto vztahu se tedy jako vstupní veličiny uplatní pouze expertní ratingy RtEabk.

Úprava destandardizovaných stohových ratingů dsRtab 47. Pokud v jedné nebo více buňkách překročí destandardizovaný rating dsRtab horní mez stupnice RtS v Tabulce UMRA RtSmax, hodnocení s použitím stupnice není možné. Ratingy dsRtab se proto všechny upraví vyrovnávacím součinitelem: ψ = RtSmax / maxab (dsRtab), přičemž ψ ≤ 1

(U11)

48. Ratingy dsRtab = 0 se úpravou nemění a prázdné buňky zůstávají prázdnými. Redukce nemá vliv na pořadí segmentů, zdrojů a souběhů nalezené na základě ratingů agRtab. 49. Kvalifikované stohové ratingy zjištěné ve stozích Cab metodou UMRA jsou tedy: při maxab(dsRtab) ≤ 3 : qRtab = dsRtab (U12)

při maxab(dsRtab) > 3 : qRtab = ψ × dsRtab

Souhrnný rating projektu 50. Souhrnný rating projektu (comprehensive project rating) se definuje vzorcem cmpRt = ΣabqRtab / aNab

(U13)

Je zřejmé, že jde o aritmetický průměr ratingů qRtab podle rov. (U12) v aktivních buňkách agregované matice. 51. Veličina cmpRt je orientační odhad nebezpečí, popř. šance! Pokud není doplněn ekonomickým nebo jiným porovnáním se pro porovnávání dvou nebo více projektů co do rizikovosti nehodí. Dá se ovšem použít pro sledování následků změn projektu, ke kterým došlo úpravou projektu na základě analýzy nebezpečí nebo šance.

ČASTÉ CHYBY PŘI UŽITÍ METODY UMRA Do skupiny zdrojů se zařazuje nebezpečí nebo scénář nebezpečí. Například: Za zdroj nebezpečí se považuje požár budovy. Ten je však důsledkem chování zdrojů: nájemců, vlastníků, správců.

Tisk: 14-02-20, 6:48 PM



12 / 12

Zdroje neodpovídají dvěma základním kategoriím: antropogenní a přírodní. Například: Za zdroj nebezpečí se nemůže považovat mechanizmus, který ohrožuje stabilitu budovy. Ve skutečnosti je zdrojem nebezpečí osoba, která umístění mechanizmu navrhla, která ho osadila, používá, bude používat apod. Někdy je osob více (projektant, konstruktér, montér, kontrolor apod.); v analýze se jako antropogenní zdroj uvažuje ta osoba, která nese přímou odpovědnost za předcházející rozhodovatele. – Mechanizmus je ovšem zdrojem dynamického opakovaného zatížení, které může poškodit nosné i nenosné konstrukce budovy. Součinitel vnímání impaktu se považuje za indikátor rizika. Například se tak zachází s individuálním součinitelem vnímání nebezpečí Pck (jde-li o analýzu nebezpečí). Stanovením hodnoty tohoto součinitele analýza končívá a součinitel se vydává za jakousi míru rizika. Patrně kvůli neporozumění metodě nebo jen z pohodlnosti. Analýza je pochopitelně chybná. Segmenty projektu se překrývají. Například se za segment považuje "vlaková souprava na mostě" a za další segment "vagon na mostě", jenž je součástí té soupravy. Zdroj a segment jsou jen jeden celek. Například se za zdroj nebezpečí považuje "vozidlo na dálnici" a současně se "vozidlo na dálnici" považují za segment. Zdrojem nebezpečí jsou např. "řidiči", "údržba", "náledí" apod. Segmentem jsou "vozidla", "vozovka", "mýtné brány" apod. Segmenty jsou vzájemně závislé. Například segment S2 je podmíněn existencí segmentu S1. Segmentem projektu je tedy jen segment S1. Pokud neexistuje, nemůže být vystaven impaktu. Následek: Zkreslení výsledků analýzy. Deskriptory v tabulce UMRA se překrývají. Následek: Expert není schopen zvolit "přesně" rating RtS.

♦♦♦ Konec Vysvětlivek k metodě UMRA ♦♦♦

Tisk: 14-02-20, 6:48 PM


VYSVĚTLIVKY K EXPERTNÍ ANALÝZE METODOU UMRA

Recommend Documents