Markovske´ metody pro modelova´nı´ pravdeˇpodobnosti rizikovy´ch stavu˚ 1
Markovsky´ rˇeteˇzec
Budeme uvazˇovat na´hodny´ proces s diskre´tnı´m cˇasem (na´hodnou posloupnost) X(t), t ∈ T = {0, 1, 2, . . . } s konecˇnou mnozˇinou stavu˚ E = {1, 2, . . . , N }. V prˇ´ıpadeˇ, zˇe X(t) = i, budeme rˇ´ıkat, zˇe proces je v cˇase t ve stavu i, t ∈ T, i ∈ E. Stavy procesu X(t) mohou popisovat ru˚zne´ rizikove´ situace a zajı´ma´ na´s, s jakou pravdeˇpodobnostı´ se v cˇase t sledovany´ proces v jednotlivy´ch rizikovy´ch situacı´ch vyskytne. Prˇedpokla´dejme, zˇe sledujeme v souvislosti s pojisˇt’ovacı´mi operacemi zdravotnı´ stav pojisˇteˇncu˚. Pro jednoduchost prˇedpokla´dejme, zˇe uvazˇujeme trˇi mozˇne´ kategorie zdravotnı´ho stavu pojisˇteˇnce: 1. aktivnı´; 2. onemocneˇly´; 3. hospitalizovany´. Sledova´nı´ zdravotnı´ho stavu sledujeme v diskre´tnı´ch cˇasovy´ch okamzˇicı´ch, naprˇ. ve dnech. Pak tento zdravotnı´ stav lze popsat na´hodnou posloupnostı´ X(t), t ∈ T . Je-li v cˇase t = 2 sledovany´ pojisˇteˇnec zdravotneˇ aktivnı´, lze pomocı´ X(t) tuto situaci zapsat ve tvaru X(2) = 1 a rˇ´ıka´me, zˇe v cˇase t = 2 je proces ve stavu 1 (tj. pojisˇteˇnec je aktivnı´). Cı´lem je popsat dynamiku procesu X(t), tedy popsat pravdeˇpodobnosti stavu˚ pi (t) = P (X(t) = i) pro i ∈ E a t ∈ T . V obecne´ situaci mu˚zˇe by´t dynamika procesu X(t) velmi komplikovana´, mezi velicˇinami X(0), X(1), X(2), . . . mohou by´t slozˇite´ statisticke´ vazby, tyto velicˇiny mohou by´t ru˚zneˇ korelovane´ a najı´t odhad za´kladnı´ch charakteristik tohoto procesu a stanovit predikci budoucı´ho vy´voje procesu, najı´t pravdeˇpodobnosti pi (t) pro velka´ t (zejme´na v situacı´ch, kdy je k dispozici pouze jediny´ za´znam realizace procesu) mu˚zˇe by´t proble´m znacˇneˇ obtı´zˇny´. Je ovsˇem mozˇne´ kla´st na pravdeˇpodobnostnı´ strukturu procesu X(t) jiste´ zjednodusˇujı´cı´ prˇedpoklady, ktere´ dobrˇe postihnou charakter neˇktery´ch procesu˚ na straneˇ jedne´ a na straneˇ druhe´ po matematicke´ stra´nce celou situaci zjednodusˇ´ı. Typicky´m prˇ´ıkladem takove´ho prˇedpokladu je markovska´ vlastnost sledovane´ho procesu, ktera´ znamena´, zˇe pravdeˇpodobnost budoucı´ho vy´voje procesu v cˇase t + 1, zna´me-li stav procesu v prˇ´ıtomne´m cˇase t, uzˇ neza´visı´ na minule´m vy´voji procesu v cˇasech t − 1, t − 2, . . . , 2, 1, 0. Markovskou vlastnost lze forma´lneˇ vyja´drˇit pomocı´ podmı´neˇny´ch pravdeˇpodobnostı´ tak, zˇe pro vsˇechna t = 0, 1, 2, . . . a vsˇechny stavy i, j, it−1 , . . . , i0 ∈ E platı´ P (Xt+1 = j|Xt = i, Xt−1 = it−1 , . . . , X0 = i0 ) = P (Xt+1 = j|Xt = i),
(1)
pokud podmı´neˇna´ pravdeˇpodobnost vlevo existuje (tj. kdyzˇ P (Xt = i, Xt−1 = it−1 , . . . , X0 = i0 ) > 0). Splnˇuje-li proces X(t) vlastnost (1) rˇ´ıka´me, zˇe X(t) je markovsky´ proces s diskre´tnı´m cˇasem nebo strucˇneˇji, zˇe X(t) je markovsky´ rˇeteˇzec. Pro pravdeˇpodobnosti (1) pak zava´dı´me oznacˇenı´ pij (t, t + 1) = P (Xt+1 = j|Xt = i) a pravdeˇpodobnosti pij (t, t + 1), pokud jsou definova´ny, nazy´va´me pravdeˇpodobnosti prˇechodu ze stavu i v cˇase t do stavu j v t + 1. Neˇkdy se tyto pravdeˇpodobnosti nazy´vajı´ pravdeˇpodobnosti prˇechodu 1. rˇa´du, protozˇe jde o pravdeˇpodobnost prˇechodu za jednu jednotku cˇasu. Da´le zava´dı´me podmı´neˇne´ pravdeˇpodobnosti pij (t, t + s) = P (Xt+s = j|Xt = i), ktere´ definujeme pro t, t + s ∈ T a i, j ∈ E a pokud existujı´, nazy´va´me je pravdeˇpodobnosti prˇechodu ze stavu i v cˇase t do stavu j v cˇase t + s. Jinak se te´zˇ nazy´vajı´ pravdeˇpodobnosti prˇechodu s-te´ho rˇa´du. V neˇktery´ch situacı´ch se mu˚zˇe sta´t, zˇe pravdeˇpodobnost prˇechodu pij (t, t + s) neza´visı´ na cˇasovy´ch okamzˇicı´ch t a t + s, ale pouze na jejich vzda´lenosti, tedy na jejich rozdı´lu s. Pak rˇ´ıka´me, zˇe markovsky´ rˇeteˇzec X(t) je Operacˇnı´ program Vzdeˇla´va´nı´ pro konkurenceschopnost Na´zev projektu: Inovace magisterske´ho studijnı´ho programu Fakulty ekonomiky a managementu Registracˇnı´ cˇı´slo projektu: CZ.1.07/2.2.00/28.0326 ˇ TEM C ˇ ESKE´ REPUBLIKY. ´ LNI´M FONDEM A STA´TNI´M ROZPOC PROJEKT JE SPOLUFINANCOVA´N EVROPSKY´M SOCIA
homogennı´. V dalsˇ´ı cˇa´sti tohoto odstavce budeme uvazˇovat jenom homogennı´ markovske´ rˇeteˇzce a zavedeme na´sledujı´cı´ terminologii a oznacˇenı´: pi (0) = P (X(0) = i) p(0) = (p1 (0), p2 (0), . . . , pN (0)) pi (t) = P (X(t) = i) p(t) = (p1 (t), p2 (t), . . . , pN (t))
nazveme pocˇa´tecˇnı´ pravdeˇpodobnost stavu i, nazveme pocˇa´tecˇnı´ rozdeˇlenı´ stavu˚ markovske´ho rˇeteˇzce, nazveme absolutnı´ pravdeˇpodobnost stavu i v cˇase t, nazveme absolutnı´ rozdeˇlenı´ stavu˚ markovske´ho rˇeteˇzce v cˇase t.
Da´le pro homogennı´ rˇeteˇzec platı´, zˇe pij (t, t + 1) neza´visı´ na t a mu˚zˇeme proto mı´sto pij (t, t + 1) psa´t pouze pij (1) = pij . Pravdeˇpodobnost pij nazy´va´me pravdeˇpodobnostı´ prˇechodu homogennı´ho rˇeteˇzce po jednom kroku a matici p11 , p12 , . . . , p1N p21 , p22 , . . . , p2N P = .. . pN 1 , pN 2 , . . . , pN N nazy´va´me maticı´ pravdeˇpodobnostı´ prˇechodu homogennı´ho markovske´ho rˇeteˇzce strucˇneˇP jenom maticı´ pravdeˇpodobnostı´ prˇechodu. Pro kazˇdy´ rˇa´dek matice pravdeˇpodobnostı´ prˇechodu P platı´, zˇe N j=1 pij = 1, a protozˇe pij ≥ 0, i, j ∈ E, platı´, zˇe matice P je stochasticka´ matice. Pomocı´ matice pravdeˇpodobnostı´ prˇechodu P a vektoru pocˇa´tecˇnı´ch stavu˚ p(0) lze jednodusˇe popsat dynamiku procesu X(t) (tj. jeho konecˇneˇrozmeˇrna´ rozdeˇlenı´ pravdeˇpodobnostı´). Platı´ P (X(0) = i0 , X(1) = i1 , . . . , X(k) = ik ) = pi0 (0)pi0 i1 pi1 i2 · · · pik−1 ik pro libovolne´ stavy i0 , i1 , . . . , ik ∈ E. Uvedene´ho vztahu je mozˇne´ vyuzˇ´ıt k popisu pravdeˇpodobnostı´ prˇechodu s-te´ho rˇa´du. Pro homogennı´ markovsky´ rˇeteˇzec platı´, zˇe pij (t, t+s) neza´visı´ na t, mu˚zˇeme proto zave´st oznacˇenı´ ( 0 pro i 6= j, (s) (0) pij = pij (t, t + s) pro s = 1, 2, . . . a pij = 1 pro i = j. (s)
Pravdeˇpodobnosti pij pak uda´vajı´ pravdeˇpodobnosti prˇechodu homogennı´ho rˇeteˇzce ze stavu i do stavu j po s krocı´ch. Mu˚zˇeme je zapsat do matice (s) (s) p11 , . . . , p1N .. = , .
P (s)
(s)
(s)
pN 1 , . . . , pN N kterou nazy´va´me maticı´ pravdeˇpodobnostı´ prˇechodu homogennı´ho markovske´ho rˇeteˇzce po s krocı´ch nebo te´zˇ s-te´ho rˇa´du. Pomocı´ vzorce pro celkovou pravdeˇpodobnost a markovske´ vlastnosti snadno nahle´dneme, zˇe platı´ (2)
pij = P (X(t + 2) = j|X(t) = i) = =
N X
P (X(t+2) = j|X(t+1) = k, X(t) = i) · P (X(t+1) = k|X(t) = i) =
k=1
=
N X k=1
P (X(t + 2) = j|X(t + 1) = k)P (X(t + 1) = k|X(t) = i) =
N X
pkj pik
k=1
2
pro i, j ∈ E. Kdyzˇ zı´skany´ vy´sledek zapı´sˇeme v maticove´m tvaru, dostaneme P (2) = P 2 . Analogicky lze odvodit, zˇe platı´ P (s) = P s . Slovneˇ vyja´drˇeno, matice pravdeˇpodobnostı´ prˇechodu homogennı´ho markovske´ho rˇeteˇzce po s krocı´ch je rovna s-te´ mocnineˇ matice pravdeˇpodobnostı´ prˇechodu tohoto rˇeteˇzce. Ze vzorce pro celkovou pravdeˇpodobnost dostaneme vyja´drˇenı´ absolutnı´ pravdeˇpodobnosti stavu i v cˇase t ve tvaru N X
pi (t) = P (X(t) = i) =
P (X(0) = k)P (X(t) = i|X(0) = k) =
k=1
=
N X
(t)
pk (0)pki , i ∈ E.
k=1
Potom uzˇitı´m maticove´ho za´pisu dostaneme p(t) = p(0)P (t) = p(0)P t .
(2)
Vidı´me, zˇe absolutnı´ pravdeˇpodobnosti stavu˚ homogennı´ho markovske´ho rˇeteˇzce v cˇase t lze jednodusˇe vyja´drˇit pomocı´ pocˇa´tecˇnı´ch pravdeˇpodobnostı´ stavu˚ a matice pravdeˇpodobnostı´ prˇechodu. Z uvedene´ho vztahu lze snadno zı´skat pravdeˇpodobnosti rizikovy´ch stavu˚ sledovane´ho procesu, kdyzˇ zna´me pocˇa´tecˇnı´ rozdeˇlenı´ stavu˚ a matici pravdeˇpodobnostı´ prˇechodu. Z hlediska dlouhodobe´ho sledova´nı´ rˇeteˇzce X(t) je uzˇitecˇne´ umeˇt stanovit absolutnı´ pravdeˇpodobnosti stavu˚ pi (t) pro velka´ t. Tedy pro t → ∞ je potrˇeba stanovit limt→∞ pi (t), i ∈ E. Vzhledem k (2) za´visı´ tato limita na vlastnostech matice pravdeˇpodobnostı´ prˇechodu P . Lze uka´zat, zˇe v prˇ´ıpadeˇ, kdy existuje prˇirozene´ cˇ´ıslo r tak, zˇe r-ta´ mocnina matice P , tedy matice P r ma´ v neˇktere´m sloupci jenom kladne´ prvky, tak existujı´ limity (t) lim p t→∞ ik
= πk ,
lim pk (t) = πk
t→∞
pro i, k ∈ E, prˇicˇemzˇ limitnı´ pravdeˇpodobnosti π1 , π2 , . . . , πN jsou jediny´m rˇesˇenı´m rovnic πk =
N X
πj pjk , k ∈ E a
j=1
N X
πj = 1.
(3)
j=1
Kdyzˇ polozˇ´ıme π = (π1 , . . . , πN ) a
π π1 , π2 , . . . , πN π π1 , π2 , . . . , πN , Π= . . . = ... π π1 , π2 , . . . , πN lze uvedene´ limitnı´ vztahy zapsat maticoveˇ ve tvaru lim P (t) = lim P t = Π
t→∞
t→∞
a lim p(t) = lim p(0)P t = π, t→∞
t→∞
3
prˇicˇemzˇ π je jediny´m rˇesˇenı´m soustavy rovnic π = πP , π1 = 1,
(4)
kde 1 je sloupcovy´ vektor de´lky N tvorˇeny´ samy´mi jednicˇkami. Vektor π = (π1 , . . . , πN ) pak definuje tzv. staciona´rnı´ rozdeˇlenı´ pravdeˇpodobnostı´ rˇeteˇzce X(t). Jestlizˇe pocˇa´tecˇnı´ rozdeˇlenı´ pravdeˇpodobnosti je staciona´rnı´, tj. kdyzˇ p(0) = π, pak vsˇechna absolutnı´ rozdeˇlenı´ pravdeˇpodobnosti p(t) jsou staciona´rnı´, tj. p(t) = π a rˇ´ıka´me, zˇe rˇeteˇzec je ve statisticke´ rovnova´ze. Prˇ´ıklad Vyjdeme z prˇedpokladu˚, zˇe prˇi pojisˇteˇnı´ motorovy´ch vozidel pouzˇ´ıva´ pojisˇt’ovna trˇ´ı kategorizacı´ pojistne´ho: 0 – za´kladnı´ pojistne´, 1 – bonus 30 % a 2 – bonus 50 %. Oznacˇme X(t) na´hodny´ proces, ktery´ znacˇ´ı kategorii pojistne´ho v t-te´m pojistne´m obdobı´. Mnozˇina stavu˚ tohoto procesu je E = {0, 1, 2}. Pojisˇteˇnec je zarˇazen do prˇ´ıslusˇne´ kategorie podle toho, jaky´ pocˇet pojistny´ch uda´lostı´ nahla´sil v prˇedchozı´m obdobı´. V prvnı´m pojistne´m obdobı´ je pojisˇteˇnec zarˇazen do kategorie 0 a platı´ za´kladnı´ pojisˇteˇnı´. Jestlizˇe v prvnı´m pojistne´m obdobı´ meˇl pojisˇteˇnec bezesˇkodnı´ pru˚beˇh, je v na´sledne´m obdobı´ zarˇazen o kategorii vy´sˇe (zı´ska´ bonus). Pokud ale uplatnı´ jeden pojistny´ na´rok, je v prˇ´ısˇtı´m obdobı´ zarˇazen o kategorii nı´zˇe, prˇi uplatneˇnı´ vı´ce nezˇ jednoho pojistne´ho na´roku je zarˇazen o dveˇ kategorie nı´zˇe. Prˇedpokla´dejme, zˇe pocˇet pojistny´ch uda´lostı´ v pojistne´m obdobı´ t je na´hodna´ velicˇina Yt , t = 1, 2 . . . . Potom proces X(t) je definova´n na´sledovneˇ: X(0) = 1 a pro t ≥ 1 platı´ min{X(t) + 1; 2} pro Yt = 0, X(t + 1) = max{X(t) − 1; 0} pro Yt = 1, 0 pro Yt > 1. Budeme prˇedpokla´dat, zˇe na´hodne´ velicˇiny Yt pro t = 1, 2 . . . jsou neza´visle´ a majı´ stejne´ Poissonovo rozdeˇlenı´ s parametrem λ. Pak X(t) je homogennı´ markovsky´ rˇeteˇzec s mnozˇinou stavu˚ E = {0, 1, 2}, pocˇa´tecˇnı´m rozdeˇlenı´m pravdeˇpodobnostı´ p(0) = (1, 0, 0) a maticı´ pravdeˇpodobnostı´ prˇechodu 1 − e−λ e−λ 0 1 − e−λ 0 e−λ . P = −λ −λ −λ 1 − e − λe λe e−λ Protozˇe matice P ma´ v prvnı´m sloupci jenom kladne´ prvky, existuje staciona´rnı´ rozdeˇlenı´ π = limt→∞ p(t) a zı´ska´me jej rˇesˇenı´m rovnice (3). Kdyzˇ polozˇ´ıme a0 = e−λ a a1 = λe−λ , dostaneme po dosazenı´ do (3) soustavu rovnic π0 = π0 (1 − a0 ) + π1 (1 − a0 ) + π2 (1 − a0 − a1 ), π1 = π0 a0 + π2 a1 , π2 = π1 a0 + π2 a0 , π0 + π1 + π2 = 1. Odtud snadno nalezneme rˇesˇenı´ π0 =
1 − a0 − a0 a1 1 − e−λ − λe−2λ = , 1 − a0 a1 1 − λe−2λ
π1 =
a0 (1 − a0 ) e−λ (1 − e−λ ) = , 1 − a0 a1 1 − λe−2λ
π2 =
a20 e−2λ = . 1 − a0 a1 1 − λe−2λ 4
Odtud lze odvodit, zˇe kdyzˇ za´kladnı´ vy´sˇe pojisˇteˇnı´ za pojistne´ obdobı´ je V , zaplatı´ pojisˇteˇnec prˇi bonusu 30 % pro kategorii 1 a prˇi bonusu 50 % pro kategorii 2 v dlouhodobe´m horizontu za pojisˇt’ovacı´ obdobı´ cˇa´stku π0 V + 0,7π1 V + 0,5π2 V . Uvedena´ cˇa´stka za´lezˇ´ı na parametru λ, ktery´ je roven strˇednı´mu pocˇtu pojistny´ch uda´lostı´ pojisˇteˇnce. Prˇi dlouhodobe´m sledova´nı´ se da´ odhadnout dlouhodoby´m pru˚meˇrem pocˇtu pojistny´ch uda´lostı´ pojisˇteˇnce za sledovana´ pojistna´ obdobı´.
Prˇ´ıklady k procvicˇenı´ 1. Pocˇası´ v jiste´ pobrˇezˇnı´ oblasti je jednodusˇe klasifikova´no jako „slunecˇno“ nebo „desˇtivo“. Po slunecˇne´m dni na´sleduje opeˇt slunecˇny´ den s pravdeˇpodobnostı´ 0,9 a po desˇtive´m dni prˇicha´zı´ desˇtivy´ den s pravdeˇpodobnostı´ 0,3. a) Popisˇte popsanou situaci pomocı´ markovske´ho rˇeteˇzce. b) Jestlizˇe v pa´tek bylo slunecˇno, jaka´ je pravdeˇpodobnost, zˇe nedeˇle bude opeˇt slunecˇna´? c) Jestlizˇe v pa´tek bylo slunecˇno, jaka´ je pravdeˇpodobnost, zˇe sobota i nedeˇle bude opeˇt slunecˇna´? 2. Prˇedpokla´dejme, zˇe dana´ osoba O1 obdrzˇ´ı zpra´vu od osoby O0 , zˇe dany´ rizikovy´ jev A pravdeˇpodobneˇ nastane. Zpra´vu prˇeda´ osobeˇ O2 , ktera´ ji da´le prˇeda´ osobeˇ O3 atd. Prˇedpokla´dejme, zˇe kazˇda´ z uvazˇovany´ch osob tuto zpra´vu prˇeda´va´ v nezmeˇneˇne´ podobeˇ s pravdeˇpodobnostı´ 1 − θ a s pravdeˇpodobnostı´ θ prˇeda´ negaci pu˚vodnı´ zpra´vy, 0 < θ < 1. (Lze si prˇedstavit, zˇe θ je „male´“ cˇ´ıslo, blı´zke´ nule.) Ota´zkou je zjistit pravdeˇpodobnost, zˇe t-ta´ osoba Ot obdrzˇ´ı pu˚vodnı´ zpra´vu, zˇe jev A pravdeˇpodobneˇ nastane. modelujte situaci pomocı´ markovske´ho rˇeteˇzce. Urcˇete staciona´rnı´ rozdeˇlenı´ pravdeˇpodobnostı´.
5
