tudjuk biztosítani a majdnem biztos nyerést, de nem érdemes akkor, ha ehhez

Az inform´ aci´ osz´ am´ıt´ as n´ eh´ any fontos fogalma ´ es eredm´ enye. 1. Az entr´ opia ´ es felt´ eteles entr´ opia fogalma ´ es tulajdons´ agai. Annak érdekében, hogy megérts¨ uk az entr´ opia fogalmát és azt, hogy milyen problémák vezettek annak megalkot´ asához tekints¨ uk a k¨ ovetkez˝ o kérdést. Tudunk-e nyerni a totón, ha j´ ol ismerj¨ uk a totóban szerepl˝o csapatok erejét, és ezért nagy val´ osz´ın˝ uséggel meg tudjuk tippelni a mérk˝ ozések eredményét? Mivel igaz´ an nagy nyereményt csak telitalálatos szelvénnyel lehet nyerni, foglalkozunk azzal a kérdéssel, hogy hány szelvényt kell kit¨ olteni a telitalálat elérése érdekében annak, aki ért és annak aki nem ért a futballhoz. Azt v´ arjuk, hogy egy futballhoz ért˝ onek sokkal jobbak a nyerési esélyei. Ez ´ıgy is van. De ahhoz, hogy ezt jobban megérts¨ uk és a problémát alaposabban vizsgálhassuk el˝ osz¨ or meg kell fogalmazni a kérdést pontosabban. Ha biztos telitalálatot szeretnénk elérni, akkor hi´ aba tudjuk az eredményeket nagy, de nem 100 százalékos biztonsággal eltal´ alni, célunkat csak u ´gy érhetj¨ uk el, ha minden lehetséges kimenetre fogadunk. Ebben az esetben tehát nem tudunk m´ ast tenni, mint egy olyan fogad´ o, aki semmit sem tud az egyes mérk˝ ozések val´ osz´ın˝ u eredményér˝ ol. Más azonban a helyzet, ha megelégsz¨ unk azzal, hogy nagy, mondjuk 0.95 val´ osz´ın˝ uséggel nyerj¨ unk. Ekkor a futballhoz ért˝ o határozott el˝ onyben van a futballhoz nem ért˝ ovel szemben. Neki sokkal kevesebb szelvényt kell kit¨ olteni e cél elérése érdekében, mint a m´ asiknak. Másrészt elképzelhet˝o, hogy érdemes totózni, ha 10000 szelvény kit¨ oltésével tudjuk biztos´ıtani a majdnem biztos nyerést, de nem érdemes akkor, ha ehhez 100000 szelvényt kell kit¨ olten¨ unk. A fenti kérdés természetesen elvezet a k¨ ovetkez˝ o problémához. Tegy¨ uk fel, hogy n mérk˝ ozés van, ezek eredménye egym´ ast´ ol f¨ uggetlen, és meg tudjuk itélni, hogy a pályav´ alaszt´ o p1 , a vendégcsapat p2 val´ osz´ın˝ uséggel nyer, és p3 val´ osz´ın˝ uséggel lesz az eredmény döntetlen. Tegy¨ uk fel, hogy ezek a p1 , p2 és p3 val´ osz´ın˝ uségek mindegyik tal´ alkoz´ on ugyanazok a számok, és az egyes mérk˝ ozések eredményei egym´ ast´ ol f¨ uggetlenek. Jelölj¨ uk a pályav´ alaszt´ o nyerésének bekövetkeztét 1-gyel, a vendégcsapatét 2-vel, a döntetlen eredményt pedig x-szel, u ´gy ahogy az a totóban szok´ as. Arra vagyunk kiváncsiak, hogy hány tippet, hány n hossz´ us´ ag´ u 1, 2, x sorozatot kell megadnunk ahhoz, hogy p val´ osz´ın˝ uséggel ezen tippek valamelyike tartalmazza az o¨sszes mérk˝ ozés helyes végeredményét. A p szám egy az 1 számn´ al kicsit kisebb rögz´ıtett (azaz a mérk˝ ozések n számát´ ol nem f¨ ugg˝o) szám, és minket az érdekel, hogy k¨ or¨ ulbel¨ ul h´ any tippet kell megadnunk célunk elérése érdekében akkor, ha n, azaz a mérk˝ ozések száma nagyon nagy. Vil´ agos, hogy ez a szám f¨ ugg a p1 , p2 és p3 számokt´ ol, azaz attól, hogy milyen biztonsággal tudjuk megtippelni az eredményeket. Az, hogy semmit nem tudunk a lehetséges végeredményr˝ol azt jelenti, hogy p1 = p2 = p3 = 31 . El˝osz¨ or pongyol´ an fogalmazom meg az eredményeket, és azokra egy heurisztikus indokl´ ast adok, majd megadom az ´ all´ıt´ asok és felhasznált fogalmak pontos megfogalmaz´ asát az ´ altal´ anos esetben, és ismertetem a prec´ız bizony´ıt´ asokat. Meg tudjuk mondani, hogyan kell kit¨ olteni a szelvényeket, ha pontosan k tippet tehet¨ unk, és az a célunk, hogy a lehet˝ o legnagyobb val´ osz´ın˝ uséggel legyen telitalálatunk. Ha k = 1, akkor a mérk˝ ozéssorozat legval´ osz´ın˝ ubb eredményére érdemes tippelni. Ha 1

k = 2, akkor a két legval´ osz´ın˝ ubb eredményre tippelj¨ unk, és ´ altal´ anos k esetén a legjobb stratégia a k legval´ osz´ın˝ ubb eredményre fogadni. Ezután ha meghat´ arozzuk, hogy melyik az a legkisebb k = k(n) szám, amelyre a k legval´ osz´ın˝ ubb eredmény valamelyike legal´ abb p val´ osz´ın˝ uséggel bekövetkezik, akkor megoldjuk a feladatot. Ennek a k = k(n) számnak a pontos meghat´ arozása azonban nehéz. Ennél sokkal egyszer˝ ubb az al´ abbi érvelés, amely a nagy számok (gyenge) törvénye seg´ıtségével j´ o k¨ ozel´ıt˝ o értéket ad a keresett k = k(n) számra. Be fogjuk látni, hogy akkor érhet˝ o el, hogy majdnem 1 val´ osz´ın˝ uséggel lesz telitaHn lálatunk n mérk˝ ozés tippelése sor´ an, ha k¨ or¨ ulbel¨ ul 2 szelvényt tölt¨ unk ki alkalmas m´ odon, ahol H egy a p1 , p2 és p3 val´ osz´ın˝ uségekt˝ ol f¨ ugg˝o szám. Azaz, exponenciálisan sok szelvényt kell kit¨ olteni, de az hogy milyen H egy¨ uttható szerepel a kitev˝ oben attól f¨ ugg, hogy milyen biztonsággal tudjuk eltal´ alni a mérk˝ ozések eredményét. Ennek a H számnak a kisz´ am´ıt´ asa vezet el az entr´ opia fogalmának bevezetéséhez. A mérk˝ ozéssorozat eredménye egy n hossz´ us´ ag´ u véletlen 1, 2 és x jelekb˝ol a´ll´ o sorozat, ahol mindegyik jel a többiekt˝ol f¨ uggetlen¨ ul p1 val´ osz´ın˝ uséggel vesz fel 1 p2 val´ osz´ın˝ uséggel 2 és p3 val´ osz´ın˝ uséggel x értéket. Célunk viszonylag kevés sorozat kiválaszt´ asa u ´gy, hogy annak val´ osz´ın˝ usége, hogy a megjelen˝o véletlen sorozat ezen sorozatok valamelyike legyen majdnem 1. Vegy¨ uk észre, hogy a nagy számok (gyenge) törvénye szerint majdnem minden sorozat olyan, hogy k¨ or¨ ulbel¨ ul np1 darab 1 értéket, np2 darab 2 értéket és np3 darab x értéket tartalmaz. Nevezz¨ unk egy ezzel a tulajdonsággal rendelkez˝ o sorozatot tipikusnak. Nagy n számra elég a tipikus sorozatokra tippelni, mert annak a val´ osz´ın˝ usége, hogy valamelyik nem tipikus sorozat jelenik meg majdnem nulla. Ezért azt kell meghat´ aroznunk, hogy hány tipikus sorozat van. A tipikus sorozatok számát a k¨ ovetkez˝ o heurisztikus érvelés seg´ıtségével határozhatjuk meg. Egy rögz´ıtett tipikus sorozat megjelenésének a val´ osz´ın˝ usége k¨ or¨ ulbel¨ ul 1 np2 np3 pnp p p , a tipikus sorozatok o ¨ sszval´ o sz´ ın˝ u s´ e ge majdnem 1, ez´ e rt a tipikus sorozatok 1 2 3 1 nH , ahol H = −p1 log p1 − p2 log p2 − p3 log p3 . Itt és a száma k¨ or¨ ulbel¨ ul pnp1 pnp 2 pnp3 = 2 1 2 3 tov´ abbiakban is a log jel 2-es alap´ u logaritmust fog jelenteni. A természetes logaritmust az ln kifejezés fogja jelölni. Megfogalmazom és bebizony´ıtom a fenti heurisztikus érvelés seg´ıtségével kapott eredmény egy természetes ´ altal´ anos´ıt´ asát. El˝otte ismertetem az eredményben megjelen˝o entr´ opia fogalmát. Entr´ opia definici´ oja. Legyen ξ egy értékeit egy véges vagy megsz´ aml´ alhat´ oan végtelen X = {x1 , x2 , . . . } P halmazon felvev˝ o val´ osz´ın˝ uségi v´ altoz´ o, amelyre P (ξ = xj ) = p(xj ), j = 1, 2, . . . , ahol p(xj ) = 1. A ξ val´ osz´ın˝ uségi v´ altoz´ o entr´ opi´ aja a j

H(ξ) = −

X

p(xj ) log p(xj )

j

esetleg végtelen értéket felvev˝ o mennyiség, ahol log a 2-es alap´ u logaritmust jel¨ oli. 1. Megjegyz´ es. Kényelmi okokb´ ol megengedj¨ uk, hogy az entr´ opia fenti definici´ oj´ aban P (ξ = xj ) = 0 legyen bizonyos xj értékekre. Annak érdekében, hogy a definici´ o ebben az esetben is értelmes legyen bevezetj¨ uk a 0 log 0 = 0 konvenci´ ot. 2

2. Megjegyz´ es. Ha t¨ obb ξ1 , . . . , ξk véges vagy megsz´ aml´ alhat´ o sok értéket felvev˝ o val´ osz´ın˝ uségi v´ altoz´ onk van, akkor ezek egy¨ uttes H(ξ1 , . . . , ξk ) entr´ opi´ aj´ at u ´gy definia ´ljuk, hogy a ξ1 , . . . , ξk val´ osz´ın˝ uségi v´ altoz´ o sorozatot természetes m´ odon azonos´ıtjuk a (ξ1 , . . . , ξk ) véletlen vektorral, és annak entr´ opi´ aj´ at defini´ aljuk, mint a H(ξ1 , . . . , ξk ) entr´ opi´ at. Természetesen a tekintett véletlen vektor eloszl´ as´ at a (1)

(k)

(1)

(k)

P ((ξ1 , . . . , ξk ) = (xi1 , . . . , xik )) = P (ξ1 = xi1 , . . . , ξk = xik ) (1)

(k)

képlet defini´ alja minden xi1 , . . . , xik sorozatra. Vegy¨ uk észre, hogy egy ξ val´ osz´ın˝ uségi v´ altoz´ o entr´ opiája nem f¨ ugg attól, hogy ξ milyen értékeket vesz fel. Az csak a val´ osz´ın˝ uségi mez˝ onek a ξ val´ osz´ın˝ uségi v´ altoz´ o altal meghat´ ´ arozott particióját´ ol f¨ ugg, azaz attól a partici´ ot´ ol, amelynek elemei a ξ val´ osz´ın˝ uségi v´ altoz´ o n´ıvóhalmazai, vagyis azok a halmazok, ahol ξ valamilyen rögz´ıtett értéket vesz fel. Hasonl´ o megjegyzés érvényes a kés˝obb bevezetend˝ o feltételes entr´ opiára is. A k¨ ovetkez˝ o eredményt fogjuk bizony´ıtani. T´ etel f¨ uggetlen val´ osz´ın˝ us´ egi v´ altoz´ okb´ ol ´ all´ o tipikus sorozatok sz´ am´ ar´ ol. Legyen ξ egy értékeit valamely véges X = {x1 , x2 , . . . , xr } halmazon f¨ olvev˝ o val´ osz´ın˝ uségi v´ altoz´ o, ξ1 , . . . , ξn pedig f¨ uggetlen, a ξ val´ osz´ın˝ uségi v´ altoz´ oval azonos eloszl´ as´ u val´ osz´ın˝ uségi v´ altoz´ ok sorozata. Ekkor minden ε > 0 és δ > 0 sz´ amhoz létezik olyan n0 = n0 (ε, δ) k¨ usz¨ obindex, hogy n ≥ n0 esetén minden a P ((ξ1 , . . . , ξn ) ∈ A) ≥ δ feltételt (k) (k) us´ ag´ u sorozatokb´ ol a ´ll´ o teljes´ıt˝ o A = {(xj1 , . . . , xjn ), 1 ≤ k ≤ L} X halmazbeli n-hossz´ (1−ε)nH(ξ) halmaz L elemsz´ ama teljes´ıti az L = |A| ≥ 2 egyenl˝ otlenséget. (k) (k) ¯ L ¯ darab X halmazMegford´ıtva, létezik olyan A¯ = {(xj1 , . . . , xjn ), 1 ≤ k ≤ L} ¯ ≥ 1 − δ, és az beli n-hossz´ us´ ag´ u sorozatb´ ol a ´ll´ o halmaz, amelyre P ((ξ1 , . . . , ξn ) ∈ A) (1+ε)nH(ξ) ¯ elemsz´ ¯ = |A| ¯ ≤ 2 A¯ halmaz L ama teljes´ıti az L egyenl˝ otlenséget. A fenti egyenl˝ otlenségekben H(ξ) a ξ val´ osz´ın˝ uségi v´ altoz´ o entr´ opi´ aj´ at jel¨ oli. Megjegyzés. A fenti tétel akkor is érvényes, ha a ξ val´ osz´ın˝ uségi v´ altoz´ o nem csak véges sok, hanem megsz´ amlálhat´ oan végtelen sok értéket is felvehet. Egy kiegész´ıtésben ismertetem ennek az ´ altal´ anosabb eredménynek a bizony´ıt´ asát. Ez a bizony´ıt´ as néh´ any u ´j gondolatot igényel. Egy kés˝obb tárgyalandó h´ıres eredménynek, az u ´gynevezett Shannon–McMillan–Breiman tételnek egy speciális és egyszer˝ uen igazolható esetét fogjuk felhasználni. Bizony´ıt´ as. Jelölje B az ¨ osszes olyan X-beli elemekb˝ ol ´ all´ o n hossz´ us´ ag´ u xj1 , . . . , xjn sorozatok halmaz´ at, amely sorozatok legal´ abb np(xk )(1 − ε/2) multiplicitással tartalmazz´ ak az xk jelet minden 1 ≤ k ≤ r indexre, ahol p(xk ) = P (ξ = xk ). A nagy számok gyenge törvénye szerint P ((ξ1 , . . . , ξn ) ∈ B) ≥ 1 − 2δ , ha n ≥ n0 (ε, δ) alkalmas n0 (ε, δ) k¨ usz¨ obindexszel. Ezért P ((ξ1 , . . . , ξn ) ∈ A ∩ B) ≥ 2δ , ha P ((ξ1 , . . . , ξn ) ∈ A) ≥ δ. Elég bel´ atni, hogy az A ∩ B halmaz számoss´ aga nagyobb, mint 2n(1−ε)H(ξ) . Ennek érdekében definiáljuk a k¨ ovetkez˝ o mennyiségeket. Legyen s(k, x(n) ) az x(n) = (xj1 , . . . , xjn ) sorozatban lev˝ o xk jelek száma minden 1 ≤ k ≤ r indexre. Ekkor minden x(n) = 3

(xj1 , . . . , xjn ) ∈ A ∩ B, illetve ´ altal´ anosabban minden x(n) = (xj1 , . . . , xjn ) ∈ B sorozatra P ((ξ1 , . . . , ξn ) = (xj1 , . . . , xjn )) r Y (n) = p(xk )s(k,x ) ≤ p(x1 )n(1−ε/2)p(x1 ) · · · p(xr )n(1−ε/2)p(xr ) = 2−n(1−ε/2)H(ξ) , k=1

és mivel P ((ξ1 , . . . , ξn ) ∈ A ∩ B) ≥ 2δ , az A ∩ B halmaz számoss´ aga nagyobb, mint δ n(1−ε/2)H(ξ) n(1−ε)H(ξ) ≥2 , ha az n0 (ε, δ) k¨ usz¨ obindexet elég nagyra v´ alasztjuk. 22 ¯ ¯ Olyan A halmazt, amelyre P ((ξ1 , . . . , ξn ) ∈ A) > 1 − δ, és elemszáma teljes´ıti a k´ıvánt fels˝o becslést v´ alaszthatuk u ´gy, mint az ¨ osszes olyan n hossz´ us´ ag´ u X-beli elemeket tartalmaz´ o (xj1 , . . . , xjn ) sorozatb´ ol ´ all´ o halmazt, amely sorozatok legfeljebb np(xk )(1+ε) multiplicitással tartalmazz´ ak az xk jelet minden 1 ≤ k ≤ r indexre. Ismét a nagy számok gyenge törvényére hivatkozva kapjuk, hogy P ((ξ1 , . . . , ξn ) ∈ A) ≥ 1−δ, ha n ≥ n0 (ε, δ) alkalmas n0 (ε, δ) k¨ usz¨ obindexszel. Másrészt minden x(n) = (xj1 , . . . , xjn ) ∈ A¯ sorozatra P ((ξ1 , . . . , ξn ) = (xj1 , . . . , xjn )) r Y (n) = p(xk )s(k,x ) ≥ p(x1 )n(1+ε)p(x1 ) · · · p(xr )n(1+ε)p(xr ) = 2−n(1+ε)H(ξ) , k=1

és mivel az ilyen sorozatok ¨ osszval´ osz´ın˝ usége kisebb vagy egyenl˝o mint 1, innen k¨ ovetkezik, hogy az A¯ halmaz számoss´ aga kisebb, mint 2n(1+ε)H(ξ) . A fent bizony´ıtott eredményt a k¨ ovetkez˝ o m´ odon is interpretálhatjuk. Tekints¨ uk egy ξ val´ osz´ın˝ uségi v´ altoz´ oval azonos eloszl´ as´ u, f¨ uggetlen val´ osz´ın˝ uségi v´ altoz´ ok nhossz´ us´ ag´ u sorozatait, és v´ alasszuk ki e véletlen sorozatok p-ed részét alkalmas m´ odon, u ´gy hogy csak viszonylag kevés sorozatot kelljen kiválasztanunk. A p-ed rész kifejezés itt azt jelenti, hogy a kiválasztott sorozatok ¨ osszval´ osz´ın˝ usége legal´ abb p. Az ebben a feladatban szerepl˝o p szám teljes´ıti a 0 < p < 1 egyenl˝otlenséget, egyébként tetsz˝olegesen v´ alaszthatjuk. Azt láttuk be, hogy célunkat elérhetj¨ uk 2nH(ξ)+o(n) alkalmasan v´ alasztott sorozat megadásával, de kevesebbel m´ ar nem. Ennek az eredménynek megfogalmazhatjuk az al´ abbi k¨ ovetkezményét. Ha a tekintett véletlen sorozatok nagy részét meg akarjuk jelölni k¨ ul¨ onböz˝ o, de azonos hossz´ us´ ag´ u véletlen 0–1 sorozatokkal, ahol a ‘nagy részét’ kifejezés azt jelenti, hogy a sorozatok kis (alkalmasan v´ alasztott) ε val´ osz´ın˝ uségi részét figyelmen k´ıv¨ ul hagyhatjuk, akkor az egyes sorozatokat k¨ or¨ ulbel¨ ul nH(ξ) hossz´ us´ ag´ u 0–1 sorozatokkal kell megjelöln¨ unk. Ezt szok´ as u ´gy interpretálni, hogy a tekintett véletlen sorozat egyes tagjainak a megnevezéséhez H(ξ) bit sz¨ ukséges, azaz ennyi inform´ ació kell annak megismeréséhez. Olyan problémát tekintett¨ unk, amelynek vizsgálatában természetes m´ odon megjelent az entr´ opia fogalma. Tekints¨ uk ennek a problémának egy olyan v´ altozat´ at, ahol az el˝ obb tárgyalt feladathoz hasonlóan egy véletlen sorozatot akarunk nagy val´ osz´ın˝ uséggel eltalalálni, de rendelkez¨ unk bizonyos plusz inform´ acióval. Nevezetesen ismerj¨ uk egy 4

m´ asik, a minket érdekl˝ o véletlen sorozattal kapcsolatban lev˝ o véletlen sorozat értékeit, és ezt a plusz inform´ aciót is fel k´ıvánjuk haszn´ alni. A probléma jobb megértése érdekében tekints¨ uk a kor´ aban vizsgált totóz´ asr´ ol szól´ o feladat egy olyan v´ altozat´ at, amelyben ilyen kérdés mer¨ ul fel. A k¨ ovetkez˝ o feladatot vizsgáljuk. Megint egy mérk˝ ozéssorozat eredményeire akarunk j´ ol tippelni a totón. Viszont a mérk˝ ozések el˝ otti napon az egyes tal´ alkoz´ okon résztvev˝o egy¨ uttesek ifj´ us´ agi csapatai is j´ atszanak egym´ as ellen, és annak eredményét megismerhetj¨ uk a totószelvény kit¨ oltése el˝ ott. Az, hogy az ifj´ us´ agi csapatok milyen eredményt érnek el, hogy vannak felkész¨ ulve, inform´ aciót ad a nagy csapatok felkész¨ ultségér˝ ol is, és ez megv´ altoztatja megitélés¨ unket a lehetséges végeredmények val´ osz´ın˝ uségér˝ ol. A totószelvények kit¨ oltésénél érdemes ezt az információt is figyelembe venni. A kérdés az, hogy hogyan vegy¨ uk ezt figyelembe, és ezen plusz inform´ aciók felhasznál´ asa esetén hány szelvényt kell kit¨ olten¨ unk annak érdekében, hogy nagy val´ osz´ın˝ uséggel telitalálatot érj¨ unk el. Fogalmazzuk meg a feladatot pontosabban. Tekints¨ uk n mérk˝ ozésp´ ar eredményeit, amelyeket jelölj¨ unk a (ξl , ηl ), 1 ≤ l ≤ n, jelp´ arokkal. (Az l-ik mérk˝ ozésp´ ar eredménye a totó l-ik fordul´ ojában szerepl˝o feln˝ ott és a nekik megfelel˝ o ifj´ us´ agi csapatok mérk˝ ozésének az eredménye, amelyeket ξl -lel illetve ηl -lel jelöl¨ unk.) Tegy¨ uk fel, hogy ezek a (ξl , ηl ) vektorok egym´ ast´ ol f¨ uggetlenek, és azonos eloszl´ as´ uak, tov´ abbá ezt az eloszl´ ast ismerj¨ uk. Vezess¨ uk be az r(i, j) = P (ξl = i, ηl = j) val´ osz´ın˝ uségeket, ahol az i és j v´ altoz´ ok az 1, 2 és x értékeket veheti fel. A kérdés az, hogy ismerve az η1 , . . . , ηn val´ osz´ın˝ uségi v´ altoz´ ok értékeit, hány n hossz´ us´ ag´ u 1, 2, x sorozatot kell (alkalmasan) a totószelványen megadni, ha azt akarjuk elérni, hogy ezen tippsorozatok valamelyike majdnem 1 val´ osz´ın˝ uséggel megegyezzen a véletlen ξ1 , . . . , ξn sorozattal. Most is feltessz¨ uk, hogy a mérk˝ ozések n száma nagy. El˝osz¨ or a feladat heurisztikus megold´ asát ismertetem, majd megfogalmazok egy altal´ ´ anosabb eredményt, és megadom annak a bizony´ıt´ asát. Jelölje p(i) = r(i, 1) + r(i, 2) + r(i, x) a ξl és q(j) = r(1, j) + r(2, j) + r(x, j) az ηl val´ osz´ın˝ uségi v´ altoz´ ok eloszl´ asát, ahol i és j az 1, 2 és x értékeket veszi fel, és jelölje r(i,j) osz´ın˝ uségi v´ altoz´ o feltételes eloszl´ asát feltéve r(i|j) = q(j) = P (ξl = i|ηl = j) a ξl val´ az ηl val´ osz´ın˝ uségi v´ altoz´ o értékét. Tekints¨ uk az olyan yv1 , . . . , yvl sorozatokat, amelyek k¨ or¨ ulbel¨ ul nq(j) darab j jelet tartalmaznak, ahol j = 1, 2 vagy x. Ha az η1 , . . . , ηn sorozat, azaz az ifj´ us´ agi mérk˝ ozések eredményeinek a sorozata ilyen ar´ anyban veszi fel ezeket az értékeket, akkor tippelj¨ unk u ´gy, hogy az ¨ osszes olyan tippet megadjuk, amelyekben azon k¨ or¨ ulbel¨ ul nq(j) mérk˝ ozés k¨ oz¨ ul, amelyeknek ifj´ us´ agi mérk˝ ozés megfelel˝ ojében az ηl = j eredmény sz¨ uletett k¨ or¨ ulbel¨ ul nq(j)r(i|j) = np(i, j) mérk˝ ozés eredményét tippelj¨ uk i-nek, i = 1, 2 vagy x. Ha az ηl , 1 ≤ l ≤ n, mérk˝ ozések eredményei nem teljes´ıtik a k´ıvánt feltételt, akkor a totószelvényeket tetsz˝olegesen kit¨ olthetj¨ uk, csupán arra u ¨gyelve, hogy ne tölts¨ unk ki t´ ul sok szelvényt. A nagy számok törvényéb˝ ol k¨ ovetkezik, hogy az adott m´ odon kit¨ oltve a szelvényeket majdnem egy val´ osz´ın˝ uséggel lesz telitalálatunk. Azt kell még megbecs¨ ul¨ unk, hogy hány szelvényt tölt¨ ott¨ unk ki. Ezt az el˝ oz˝ o feladatban alkalmazott heurisztikus érveléshez hasonlóan tehetj¨ uk meg. Elég csak azokat az eseteket nézni, amelyekben az η1 , . . . , ηl 5

val´ osz´ın˝ uségi v´ altoz´ ok ´ altal felvett yv1 , . . . , yvn eredmények k¨ or¨ ulbel¨ ul nq(j) j eredményt tartalmaznak, j = 1, 2 vagy x. Ebben az esetben egy olyan ξ1 = xu1 , . . . , ξn = xun eredménynek, amelyre tippelt¨ unk a feltételesQval´ osz´ın˝ (·|η1 = yv1 , . . . , ηn = Qusége a Pnr(i,j) yvn ) feltételes eloszl´ as szerint k¨ or¨ ulbel¨ ul r(i|j) , és mivel annak i∈{1,2,x} j∈{1,2,x}

feltételes val´ osz´ın˝ usége a tekintett feltételes val´ osz´ın˝ uség szerint, hogy lesz telitalálatunk majdnem 1, ezért a kit¨ olt¨ ott szelvények száma k¨ or¨ ulbel¨ ul Y Y ¯ r(i|j)−nr(i,j) = 2nH , i∈{1,2,x} j∈{1,2,x}

¯ =− ahol H

P

P

r(i, j) log

i∈{1,2,x} j∈{1,2,x}

r(i,j) q(j) .

¯

Teh´ at k¨ or¨ ulbel¨ ul 2nH szelvény kit¨ oltésével

tudunk majdnem biztosan telitalálatot elérni. Annak érdekében, hogy a fenti heurisztikus tárgyal´ asban kapott eredményt pontosabban megfogalmazhassuk vezess¨ uk be a k¨ ovetkez˝ o fogalmat. A felt´ eteles entr´ opia definici´ oja. Legyen adva két ξ és η val´ osz´ın˝ uségi v´ altoz´ o, amelyek értékeiket egy véges vagy megsz´ aml´ alhat´ oan végtelen X = {x1 , x2 , . . . } illetve Y = {y1 , y2 , . . . } halmazon veszik fel, és egy¨ uttes eloszl´ asuk valamely r(xi , yP j ) = P (ξ = r(xi , yj ) xi , η = yj ), xi ∈ X, yj ∈ Y , f¨ uggvény. Vezess¨ uk be a q(yj ) = P (η = yj ) = xi ∈X

val´ osz´ın˝ uségeket is minden yj ∈ Y értékre. A ξ val´ osz´ın˝ uségi v´ altoz´ o feltételes entr´ opi´ aja az η val´ osz´ın˝ uségi v´ altoz´ ora vonatkoz´ olag a H(ξ|η) = −

X X

r(xi , yj ) log

xi ∈X yj ∈Y

r(xi , yj ) q(yj )

esetleg végtelen értéket felvev˝ o mennyiség, ahol log a 2-es alap´ u logaritmust jel¨ oli. A fenti defini´ oban megengedj¨ uk az r(xi , yj ) = 0 lehet˝ oséget bizonyos (xi , yj ) p´ arokra. Annak érdekében, hogy a fenti o ¨sszeget ekkor is értelmezhess¨ uk bevezetj¨ uk a 0 log 0 = ot. 0 log 00 = 0 konvenci´ Megjegyz´ es. Abban az esetben, ha H(η) < ∞, érvényes a H(ξ|η) = −

X X

r(xi , yj ) log r(xi , yj ) +

xi ∈X yj ∈Y

X

yj ∈Y

q(yj ) log q(yj ) = H(ξ, η) − H(η)

azonoss´ ag. A k¨ ovetkez˝ o tétel megfogalmazásának érdekében vezess¨ unk be néh´ any jelölést. Legyen adva egy X = {x1 , . . . , xr } halmaz, és jelölje X n az X halmazbeli elemekb˝ ol a´ll´ o n hossz´ us´ ag´ u (xi1 , . . . , xin ) sorozatok halmaz´ at, ahol xik ∈ X minden 1 ≤ k ≤ n indexre. Hasonl´ oan, legyen adva egy Y = {y1 , . . . , ys } halmaz, és jelölje Y n az yjk ∈ Y , 1 ≤ k ≤ n, elemekb˝ ol ´ all´ o n hossz´ us´ ag´ u (yj1 , . . . , yjn ) sorozatok halmaz´ at. Továbbá, n n (n) (n) (n) jelölje X × Y az (x , y ) = ((xi1 , . . . , xin ), (yj1 , . . . , yjn )), x ∈ X n , y (n) ∈ Y n 6

sorozatok halmaz´ at. Adva egy A ⊂ X n × Y n halmaz és egy (yj1 , . . . , yjn ) ∈ Y n sorozat legyen A(yj1 , . . . , yjn ) az A halmaz metszete az X n × {(yj1 , . . . , yjn )} halmazzal, azaz A(yj1 , . . . , yjn ) = {(xi1 , . . . , xin ): ((xi1 , . . . , xin ), (yj1 , . . . , yjn )) ∈ A}. Jelölje |A| egy (véges) A halmaz elemszámát.

Az al´ abb megfogalmazott tétel jobb megértése érdekében le´ırom el˝ obb annak heurisztikus tartalm´ at. A k¨ ovetkez˝ o problémával foglalkozunk. Ha adva van f¨ uggetlen, egyforma eloszl´ as´ u (ξj , ηj ), 1 ≤ j ≤ n, véletlen vektorok egy sorozata, akkor az η (n) = (η1 , . . . , ηn ) sorozat ismeretében meg akarunk adni egy olyan viszonylag kevés x(n) ∈ X n sorozatb´ ol ´ all´ o halmazt, amely nagy val´ osz´ın˝ uséggel tartalmazza az ξ (n) = (ξ1 , . . . , ξn ) véletlen sorozatot. Ez azt jelenti, hogy olyan A ⊂ X n × Y n halmazt akarunk definiálni, amelyre a P (ξ (n) ∈ A(y (n) )|η (n) = y (n) ) feltételes val´ osz´ın˝ uség viszonylag nagy, és az A(y (n) ) halmaz |A(y (n) )| számoss´ aga viszonylag kicsi az y (n) ∈ Y n sorozatok nagy részére, azaz az y (n) sorozatok egy olyan alkalmas B ⊂ Y n halmaz´ ara, amelyre P (η (n) ∈ B) majdnem 1-gyel egyenl˝o. A tétel azt ´ all´ıtja, hogy ahhoz, hogy a tekintett feltételes val´ osz´ın˝ uségek teljes´ıtsék a k´ıvánt feltételt az A halmazt u ´gy kell v´ alasztani, hogy |A(y (n) )| > 2(1−ε)nH(ξ|η) legyen minden y (n) ∈ B sorozatra. Másrészt meg lehet adni a k´ıvánt tulajdonsággal rendelkez˝ o A halmazt u ´gy, hogy az |A(y (n) )| < 2(1+ε)nH(ξ|η) egyenl˝otlenség teljes¨ uljön minden y (n) ∈ B sorozatra.

T´ etel f¨ uggetlen val´ osz´ın˝ us´ egi v´ altoz´ okb´ ol ´ all´ o´ es egy m´ asik f¨ uggetlen val´ osz´ın˝ us´ egi v´ altoz´ okb´ ol ´ all´ o v´ eletlen sorozat szerint tipikus sorozatok sz´ am´ ar´ ol. Legyen adva egy (ξ, η) véletlen vektor, amelynek koordin´ at´ ai k¨ oz¨ ul ξ értékeit egy X = {x1 , . . . , xr } η pedig egy Y = {y1 , . . . , ys } véges halmazon veszi fel. Legyen adva f¨ uggetlen és a (ξ, η) p´ arral azonos eloszl´ as´ u ((ξ1 , η1 ), . . . , (ξn , ηn )) véletlen vektorok egy sorozata. Ekkor minden 0 < ε, δ < 1 sz´ amp´ arhoz van egy olyan n0 = n0 (ε, δ) k¨ usz¨ obindex, hogy n n minden n ≥ n0 sz´ amra igaz a k¨ ovetkez˝ oa ´ll´ıt´ as. Ha A ⊂ X ×Y olyan halmaz, amelyre P (((ξ1 , . . . , ξn ), (η1 , . . . , ηn )) ∈ A|η1 = yj1 , . . . , ηn = yjn ) ≥ δ minden (yj1 , . . . , yjn ) ∈ Y n sorozatra, akkor van olyan B0 ⊂ Y n halmaz, amelyre P ((η1 , . . . , ηn ) ∈ B0 ) > 1 − δ, és az A(yj1 , . . . , yjn ) halmaz sz´ amoss´ aga teljes´ıti az |A(yj1 , . . . , yjn )| > 2n(1−ε)H(ξ|η) egyenl˝ otlenséget minden (yj1 , . . . , yjn ) ∈ B0 sorozatra. Igaz a k¨ ovetkez˝ o ford´ıtott ir´ any´ u egyenl˝ otlenség is. Léteznek olyan A ⊂ X n × Y n n és B1 ⊂ Y halmazok, amelyekre P ((η1 , . . . , ηn ) ∈ B1 ) ≥ 1 − δ, P (((ξ1 , . . . , ξn ), (η1 , . . . , ηn )) ∈ A|η1 = yj1 , . . . , ηn = yjn ) ≥ 1 − δ minden (yj1 , . . . , yjn ) ∈ B1 sorozatra, és az A(yj1 , . . . , yjn ) halmaz sz´ amoss´ aga teljes´ıti az |A(yj1 , . . . , yjn )| ≤ 2n(1+ε)H(ξ|η) egyenl˝ otlenséget minden (yj1 , . . . , yjn ) ∈ B1 sorozatra. A fenti egyenl˝ otlenségekben H(ξ|η) a ξ val´ osz´ın˝ uségi v´ altoz´ o feltételes entr´ opi´ aj´ at jel¨ oli az η val´ osz´ın˝ uségi v´ altoz´ ora vonatkoz´ olag. Feladat: Bizony´ıtsuk be a fenti tétel olyan élesebb form´ aj´ at, amelyben megengedj¨ uk azt is, hogy az X és Y halmazok megsz´ aml´ alhat´ oan végtelen sz´ amoss´ ag´ uak legyenek. 7

A tétel bizony´ıt´ asa. Vezess¨ uk be az r(xi , yj ) = P (ξ = xi , η = yj ), q(yj ) = P (η = r P r(x ,y ) yj ) = r(xi , yj ) és r(xi |yj ) = P (ξ = xi |η = yj ) = q(yi j )j , 1 ≤ i ≤ r, 1 ≤ j ≤ s, i=1

mennyiségeket. Adva egy y (n) = (yj1 , . . . , yjn ) ∈ Y n vektor, jelölje s(y (n) , j) az y (n) sorozatban szerepl˝o yj elemek számát, 1 ≤ j ≤ s, és definiáljuk a B0 ∈ Y n halmazt, mint B0 = {y (n) = (yj1 , . . . , yjn ): y (n) ∈ Y n , s(y (n) , j) ≥ (1 − 4ε )nq(yj ) minden 1 ≤ j ≤ s indexre}.

Ekkor a nagy számok törvénye szerint P ((η1 , . . . , ηn ) ∈ B0 ) ≥ 1 − δ, ha n ≥ n0 egy elég nagy n0 = n0 (ε, δ) k¨ usz¨ obindexszel.Defini´ aljuk az ℓ(x(n) , y (n) , i, j) mennyiséget minden (x(n) , y (n) ) = ((xi1 , . . . , xin ), (yj1 , . . . , yjn )) ∈ X n × Y n sorozatra és 1 ≤ i ≤ r, 1 ≤ j ≤ s indexekre u ´gy, mint az (x(n) , y (n) ) vektorban szerepl˝o olyan (xik , yjk ), 1 ≤ k ≤ n, párok számát, amelyek egyenl˝oek az (xi , yj ) párral. Adva egy y (n) = (yj1 , . . . , yjn ) ∈ Y (n) vektor definiáljuk a k¨ ovetkez˝ o C(y (n) ) ⊂ X n halmazt. C(y (n) ) = {x(n) = (xi1 , . . . , xin ): (x(n) , y (n) ) ∈ X n × Y n , ℓ(xn) , y (n) , i, j) ≥ (1 − 2ε )nr(xi , yj )

minden 1 ≤ i ≤ r, 1 ≤ j ≤ s párra}.

Megmutatom a nagy számok törvénye seg´ıtségével, hogy δ P ((ξ1 , . . . , ξn ) ∈ C(y (n) )|η1 = yj1 , . . . , ηn = yjn ) ≥ 1 − , ha y (n) = (yj1 , . . . , yjn ) ∈ B0 . 2 Ennek érdekében el˝ osz¨ or rögz´ıtek egy i és j számot, és megmutatom, hogy az η1 = yj1 , . . . , ηn = yjn feltétel mellett, ahol y (n) = (yj1 , . . . , yjn ) ∈ B0 , annak feltételes val´ osz´ın˝ usége, hogy a (ξ1 , . . . , ξn ) sorozat olyan x(n) = (xi1 , . . . , xin ) értéket vesz fel, amelyre az (x(n) , y (n) ) vektornak legal´ abb n(1 − 2ε ) koordin´ at´ aja egyenl˝o az (xi , yj ) δ (n) oban, ha y ∈ B0 , akkor e feltételes val´ osz´ın˝ uség párral, nagyobb, mint (1 − 2rs ). Val´ ε (n) feltételében s(y , j) ≥ nq(yj )(1 − 4 ) olyan k index van, amelyre ηk = yj . A ξk val´ osz´ın˝ uségi v´ altoz´ ok egy¨ uttes eloszl´ asa ezen k indexekre a tekintett feltételes eloszl´ as ε (n) uggetlen, r(·|yj ) eloszl´ as´ u val´ osz´ın˝ usészerint megegyezik s(y , j) ≥ (1 − 4 )nq(yj ) f¨ gi v´ altoz´ o egy¨ uttes eloszl´ asával. Ezért ez a sorozat a nagy számok törvénye szerint δ ) val´ osz´ın˝ uséggel tartalmaz legal´ abb s(y (n) , j)(1 − 4ε )r(xi , yj ) ≥ több, mint (1 − 2rs ε 2 ε n(1 − 4 ) q(yj )r(xi |yj ) ≥ n(1 − 2 )r(xi , yj ) szám´ u xi elemet minden 1 ≤ i ≤ r indexre, ha n ≥ n0 (ε, δ). Mivel ez az egyenl˝otlenség minden (i, j), 1 ≤ i ≤ r, 1 ≤ j ≤ s párra érvényes, innen k¨ ovetkezik a bizony´ıtani k´ıvánt egyenl˝otlenség is. A most bizony´ıtott egyenl˝otlenségb˝ol és a tétel feltételeib˝ol k¨ ovetkezik, hogy tet(n) sz˝oleges y = (yj1 , . . . , yjn ) ∈ B0 vektorra P (((ξ1 , . . . , ξn ), (η1 , . . . , ηn )) ∈ A, (ξ1 , . . . , ξn ) ∈ C(y (n) )|η1 = yj1 , . . . , ηn = yjn ) ≥ ami u ´gy is ´ırhat´ o, hogy P ((ξ1 , . . . , ξn ) ∈ C(y (n) ) ∩ A(y (n) )|η1 = yj1 , . . . , ηn = yjn ) ≥ 8

δ , 2

δ , 2

ahol A(y (n) ) = A(yj1 , . . . , yjn ). Felhasználva ezt az egyenl˝otlenséget és a C(y (n) ) halmaz elemeinek a tulajdonságait bel´ atjuk, hogy |A(y (n) ) ∩ C(y (n) )| ≥ 2n(1−ε)H(ξ|η) . Ennek érdekében vegy¨ uk észre, hogy tetsz˝oleges y (n) = (yj1 , . . . , yjn ) ∈ B0 és (xi1 , . . . , xin ) ∈ (n) C(y ) vektorokra P (ξ1 = xi1 , . . . , ξn = xin |η1 = yj1 , . . . , ηn = yjn ) = ≤

s r Y Y

i=1 j=1

s r Y Y

i=1 j=1

(n)

r(xi |yj )ℓ(x

,y (n) ,i,j)

r(xi |yj )(1−ε/2)nr(xi ,yj ) = 2−n(1−ε/2)H(ξ|η) .

Az utols´ o két egyenl˝otlenségb˝ol k¨ ovetkezik, hogy |A(yj1 , . . . , yjn )| ≥ |A(yj1 , . . . , yjn ) ∩ C(y (n) )| ≥

δ n(1−ε/2)H(ξ|η) 2 ≥ 2(1−ε)nH(ξ|η) , 2

ha y n) = (yj1 , . . . , yjn ) ∈ B0 . A m´ asik irány´ u becslést az alkalmas B1 ⊂ Y n és A ⊂ X n × Y n halmazok definici´ oj´ aval hasonlóan bizony´ıthatjuk. Legyen B1 = {y (n) = (yj1 , . . . , yjn ): y (n) ∈ Y n , s(y (n) , j) ≤ (1 + 2ε )nq(yj ) minden 1 ≤ j ≤ s indexre}, és A = {(x(n) , y (n) ) = ((xi1 , . . . , xin ), (yj1 , . . . , yjn )): (x(n) , y (n) ) ∈ X n × Y n , y (n) ∈ B1 , ℓ(x(n) , y (n) , i, j) ≤ (1 + ε)nr(xi , yj ) minden 1 ≤ i ≤ r, 1 ≤ j ≤ s párra}.

Az el˝ oz˝ o eset érveléséhez hasonlóan bizony´ıthatjuk a nagy számok törvénye seg´ıtségével, hogy P ((η1 , . . . , ηn ) ∈ B1 ) ≥ 1 − δ, ha n ≥ n0 , és P (((ξ1 , . . . , ξn ), (η1 , . . . , ηn )) ∈ A|η1 = yj1 , . . . , ηn = yjn )

= P ((ξ1 , . . . , ξn ), ∈ A(yj1 , . . . , yjn )|η1 = yj1 , . . . , ηn = yjn ) ≥ 1 − δ

minden (yj1 , . . . , yjn ) ∈ B1 sorozatra. Tov´ abbá P (ξ1 = xi1 , . . . , ξn = xin |η1 = yj1 , . . . , ηn = yjn ) = ≥

s r Y Y

i=1 j=1

s r Y Y

i=1 j=1

(n)

r(xi |yj )ℓ(x

,y (n) ,i,j)

r(xi |yj )(1+ε)nr(xi ,yj ) = 2−n(1+ε)H(ξ|η) ,

ha (yj1 , . . . , yjn ) ∈ B1 és (xi1 , . . . , xin ) ∈ A(yj1 , . . . , yjn ). Felhasználva a (triviális) P ((ξ1 , . . . , ξn ) ∈ A(yj1 , . . . , yjn )|η1 = yj1 , . . . , ηn = yjn ) ≤ 1 egyenl˝otlenséget innen kapjuk, hogy |A(yj1 , . . . , yjn )| ≤ 2n(1+ε)H(ξ|η) minden (yj1 , . . . , yjn ) ∈ B1 sorozatra. 9

A most bizony´ıtott eredményt az el˝ oz˝ o eredményhez hasonlóan a k¨ ovetkez˝ oképp is interpretálhatjuk. Legyen adva egy véges sok értéket felvev˝o (ξ, η) véletlen vektor (val´ ojában az al´ abb megfogalmazott ´ all´ıt´ as akkor is igaz, ha ez a véletlen vektor végtelen sok értéket is felvehet, de ezt nem bizony´ıtottuk be), és f¨ uggetlen véletlen vektoroknak egy ezzel a véletlen vektorral azonos eloszl´ as´ u, n-hossz´ us´ ag´ u (ξ1 , η1 ), . . . , (ξn , ηn ) sorozata. Ismerve az η1 , . . . , ηn val´ osz´ın˝ uségi v´ altoz´ ok értékeit, ki akarunk v´ alasztani viszonylag kevés sorozatot u ´gy, hogy ezek egyike majdnem biztos megegyezzék a ξ1 , . . . , ξn véletlen sorozat értékével. A majdnem biztos kiválaszt´ as itt azt jelenti, hogy rögz´ıt¨ unk egy kis ε > 0 számot, megadjuk az (η1 , . . . , ηn ) sorozatok lehetséges értékeinek egy legal´ abb 1 − ε mérték˝ u halmaz´ at, és amennyiben az (η1 , . . . , ηn ) sorozat ezek valamelyikével egyenl˝o, akkor kijel¨ olj¨ uk n hossz´ us´ ag´ u sorozatok egy viszonylag kevés elemb˝ol ´ all´ o halmaz´ at u ´gy, hogy annak a val´ osz´ın˝ usége, hogy a (ξ1 , . . . , ξn ) véletlen sorozat megegyezik ezek valamelyikével legal´ abb 1 − ε. A kiválasztott sorozatok halmaza f¨ ugghet az (η1 , . . . , ηn ) vektor értékét˝ ol. Azt láttuk be, hogy ezt megtehetj¨ uk nH(ξ|η)+o(n) 2 alkalmasan v´ alasztott sorozat seg´ıtségével, de kevesebbel m´ ar nem. Ennek az eredménynek megfogalmazhatjuk az al´ abbi k¨ ovetkezményét. Meg akarjuk nevezni a (ξ1 , . . . , ξn ) sorozatokat az η1 , . . . , ηn sorozat ismeretében m = m(n) hossz´ us´ ag´ u az η1 , . . . , ηn sorozatt´ ol f¨ ugg˝o v´ alaszt´ assal 0–1 sorozatokkal u ´gy, hogy 1−ε val´ osz´ın˝ uséggel egy (ξ1 , . . . , ξn ) sorozatot megnevez¨ unk, és rögz´ıtett η1 , . . . , ηn sorozat megjelenése esetén két k¨ ul¨ onböz˝ o ξ1 , . . . , ξn sorozat elnevezése k¨ ul¨ onböz˝ o. Ez lehetséges m = nH(ξ|η) + o(n) hossz´ us´ ag´ u 0–1 sorozatokkal, de rövidebb sorozatokkal nem. Ezt szok´ as u ´gy interpretálni, hogy az η1 , . . . , ηn sorozat ismeretében a ξ1 , . . . , ξn sorozat egyes tagjainak a megnevezéséhez H(ξ|η) bit sz¨ ukséges, azaz az ηk v´ altoz´ ok értékének az ismeretében ennyi inform´ ació kell az egyes ξk véletlen v´ altoz´ ok megismeréséhez. Megfogalmazom és bebizony´ıtom az entr´ opiával és feltételes entr´ opiával kapcsolatos legfontosabb egyenl˝otlenségeket. Ezek mindegyike heurisztikus szinten ‘nyilvánval´ o’ k¨ ovetkezménye az entr´ opia és feltételes entr´ opia szemléletes tartalm´ anak. T´ etel az entr´ opi´ aval ´ es felt´ eteles entr´ opi´ aval kapcsolatos fontos egyenl˝ otlens´ egekr˝ ol. Legyenek ξ, η és ζ véges vagy megsz´ aml´ alhat´ o sok értéket f¨ olvev˝ o val´ osz´ın˝ uségi v´ altoz´ ok. Ezek teljes´ıtik a k¨ ovetkez˝ o egyenl˝ otlenségeket: a1.) H(ξ) ≥ 0, és egyenl˝ oség akkor és csak akkor érvényes, ha a ξ val´ osz´ın˝ uségi v´ altoz´ o egy val´ osz´ın˝ uséggel egy konstanssal egyenl˝ o. a2.) Ha a ξ val´ osz´ın˝ uségi v´ altoz´ o n értéket vesz fel, akkor H(ξ) ≤ log n. Egyenl˝ oség akkor és csak akkor érvényes, ha a ξ val´ osz´ın˝ uségi v´ altoz´ o a ´ltal felvett x1 , . . . , xn értékekre P (ξ = xk ) = n1 minden 1 ≤ k ≤ n indexre. b.) H(ξ, η) ≤ H(ξ) + H(η), illetve kissé a ´ltal´ anosabban H(ξ|η) ≤ H(ξ). Egyenl˝ oség akkor és csak akkor teljes¨ ul a m´ asodik, a ´ltal´ anosabb egyenl˝ otlenségben, ha ξ és η f¨ uggetlenek, vagy H(ξ|η) = ∞. c.) H(η) ≤ H(ξ, η), illetve kissé a ´ltal´ anosabban H(ξ|η) ≥ 0. Egyenl˝ oség akkor és csak akkor teljes¨ ul a m´ asodik, a ´ltal´ anosabb egyenl˝ otlenségben, ha ξ = f (η) valamely f (·) 10

f¨ uggvénnyel, azaz ξ az η f¨ uggvénye. d.) H(ξ|η, ζ) ≤ H(ξ|η). Abban az esetben, ha létezik olyan a (ξ, η) véletlen vektort´ ol f¨ uggetlen Z val´ osz´ın˝ uségi v´ altoz´ o, amelyre ζ = h(η, Z) valamely alkalmas h f¨ uggvénnyel, akkor egyenl˝ oség a ´ll fenn. Megjegyzés. A feltételes entr´ opiár´ ol szól´ o b) és c) pontban megfogalmazott egyenl˝otlenségek akkor is érvényesek, ha H(η) = ∞. Ebben az esetben ezek az a´ll´ıt´ asok többet mondanak, mint a nekik megfelel˝ o az entr´ opiár´ ol megfogalmazott egyenl˝otlenségek. K¨ ovetkezm´ eny. a.) H(f (ξ)) ≤ H(ξ) tetsz˝ oleges f (·) f¨ uggvényre. Vegye fel egy ξ val´ osz´ın˝ uségi v´ altoz´ o értékeit egy végtelen X = {x1 , x2 , . . . } halmazban, legyen H(ξ) < ∞, és defini´ aljuk minden K ≥ 1 sz´ amra egy olyan ξ (K) , val´ osz´ın˝ uségi v´ altoz´ ot, amelyre ξ = xj esetén (K) (K) ∗ ∗ ξ = xj , ha j ≤ K, és ξ = x valamely x 6= xj értékkel, ha j > K. Ezzel a v´ alaszt´ assal H(ξ (K) ) ≤ H(ξ), és minden ε > 0 sz´ amhoz létezik olyan K0 = K0 (ε) (K) index, hogy H(ξ ) ≥ H(ξ) − ε, ha K ≥ K0 . ´ enyesek a H(ξ, η|ζ) = H(η|ξ, ζ) + H(ξ|ζ) és H(ξ, η) = H(η|ξ) + H(ξ) azonosb.) Erv´ s´ agok. Tov´ abb´ a H(ξ, η|ζ) ≥ H(ξ|ζ), és egyenl˝ oség akkor és csak akkor a ´ll fenn, ha vagy η = f (ξ, ζ) alkalmas f f¨ uggvénnyel vagy H(ξ|ζ) = ∞. Tov´ abb´ a H(ξ, η|ζ) ≤ H(ξ|ζ) + H(η|ζ). A k¨ ovetkezmény bizony´ıt´ asa. Az a) rész bizony´ıt´ asa: H(ξ) = H(ξ, f (ξ)) ≥ H(f (ξ)) a tétel c) pontja szerint. Innen k¨ ovetkezik a H(ξ (K) ) ≤ H(ξ) egyenl˝otlenség, az X téren definiált f (xj ) = xj , ha j ≤ K, és f (xj ) = x∗ , ha j ≥ K v´ alaszt´ assal. Legyen ∞ P p(xj ) = P (ξ = xj ), j = 1, 2, . . . . A H(ξ) = − p(xj ) log p(xj ) < ∞ feltételb˝ ol j=1

k¨ ovetkezik, hogy létezik olyan K0 = K0 (ε) index, hogy −

K P0

j=1

p(xj ) log p(xj ) < H(ξ) − ε.

Ilyen K0 = K0 (ε) v´ alaszt´ assal igaz az a) rész utols´ o´ all´ıt´ asa is. P

i,j,k

A k¨ ovetkezmény b) részében szerepl˝o els˝ o azonosság k¨ ovetkezik a H(ξ, η|ζ) = P P (ξ=i,η=j,ζ=k) és H(η|ξ, ζ) + H(ξ|ζ) = P (ξ = i, η = P (ξ = i, η = j, ζ = k) log P (ζ=k) i,j,k

P (ξ=i,η=j,ζ=k) P (ξ=i,ζ=k) P (ξ=i,ζ=k) +log P (ζ=k) )

j, ζ = k)(log rel´ aciókb´ ol. A m´ asodik azonosság hasonlóna indokolhat´ o. A b) rész tov´ abbi ´ all´ıt´ asa k¨ ovetkezik a H(ξ, η|ζ) = H(η|ξ, ζ) + H(ξ|ζ) azonosságból és a tétel c) illetve d) részének az ´ all´ıt´ asáb´ ol.

´ uk meg, hogy az el˝ Erts¨ obb megfogalmazott tétel egyenl˝otlenségei az entr´ opia és feltételes entr´ opia szemléletes tartalm´ anak megfelel˝ o tulajdonságokat fejeznek ki. Az a1) tulajdonság azt mondja, hogy a ξ val´ osz´ın˝ uségi v´ altoz´ o´ altal felvett érték megismeréséhez pozit´ıv inform´ ació sz¨ ukséges, kivéve azt az elfajuló esetet, amikor ξ értéke (ismert) konstans, és ezért nulla inform´ ació is elegend˝ o. Az a2) ´ all´ıt´ as szerint egy n értéket felvev˝o val´ osz´ın˝ uségi v´ altoz´ o értékének a megismeréséhez akkor kell a legtöbb inform´ ació, ha minden értéket egyforma val´ osz´ın˝ uséggel vesz fel, amit u ´gy is interpretálhatunk, hogy 11

azonk´ıv¨ ul, hogy tudjuk, hogy ξ n értéket vesz fel, semmilyen plusz inform´ aciónk nincs annak viselkedésér˝ ol. A b) tulajdonság azt fejezi ki, hogy egy η val´ osz´ın˝ uségi v´ altoz´ o értékének az ismerete csökkentheti egy ξ val´ osz´ın˝ uségi v´ altoz´ o értékének megismeréséhhez sz¨ ukséges inform´ aciót. Akkor nincs csökkenés, ha ξ és η f¨ uggetlenek, és ezért η ismerete semmilyen értékes inform´ aciót nem ad ξ viselkedésér˝ ol. A c) tulajdonság szerint egy ξ val´ osz´ın˝ uségi v´ altoz´ o értékének a megismeréséhez pozit´ıv inform´ ació sz¨ ukséges egy η val´ osz´ın˝ uségi v´ altoz´ o értékének az ismeretében is. Akkor elég nulla inform´ ació, ha ξ az η ismert f¨ uggvénye. A d) tulajdonság jelentése az, hogy egy ξ val´ osz´ın˝ uségi v´ altoz´ o értékének a megismeréséhez kevesebb inform´ ació sz¨ ukséges, ha egy η val´ osz´ın˝ uségi v´ altoz´ o értékén k´ıv¨ ul egy m´ asik ζ val´ osz´ın˝ uségi v´ altoz´ o értékét is ismerj¨ uk. Semmilyen nyereséget nem jelent viszont ζ ismerete, ha az a m´ ar ismert η és egy mind a ξ mind az η val´ osz´ın˝ uségi v´ altoz´ ot´ ol f¨ uggetlen val´ osz´ın˝ uségi v´ altoz´ o f¨ uggvénye. A tétel bizony´ıt´ asában fontos szerepet j´ atszik egy egyszer˝ u a´ll´ıt´ as, amelyet a bizony´ıt´ as jobb ´ attekinthet˝ osége érdekében k¨ ul¨ on lemmában fogalmazok meg. Lemma az x log x f¨ uggv´ eny viselked´ es´ er˝ ol. A g(x) = x log x, ha x > 0, g(0) = 0 f¨ uggvény egy a [0, ∞) félegyenesen folytonos, szigor´ uan konvex f¨ uggvény, amelyre g(0) = g(1) = 0. A lemma bizony´ıt´ asa. K¨ onnyen láthat´ o, hogy g(x) folytonos f¨ uggvény a [0, ∞) félegyenesen, és g(0) = g(1) = 0. Ezenk´ıv¨ ul g ′′ (x) = logx e > 0 minden x > 0 számra, ahonnan k¨ ovetkezik, hogy g(x) szigor´ uan konvex f¨ uggvény. A tétel bizony´ıt´ asa. Jelölje X = {x1 , x2 , . . . } a ξ, Y = {y1 , y2 , . . . } az η és Z = {z1 , z2 , . . . } a ζ val´ osz´ın˝ uségi v´ altoz´ o értékeit. Az a) b) és c) részben használjuk a p(xi ) = P (ξ = xi ), q(yj ) = P (η = yj ) és r(xi , yj ) = P (ξ = xi , η = yj ) jelölést. Az a1) all´ıt´ ´ as nyilvánval´ o, mert −p(xi ) log p(xi ) > 0, ha 0 < p(xi ) < 1, és 0 log 0 = 1 log 1 = 0. Az a2) ´ all´ıt´ as k¨ ovetkezik a ! n n X 1 1X 1 = − log n −H(ξ) = n p(xi ) = ng g(p(xi )) ≥ ng n n i=1 n i=1 egyenl˝otlenségb˝ol, ahol g(x) a lemmában szerepl˝o konvex f¨ uggvény. Mivel a g(·) f¨ ugg1 vény szigor´ uan konvex egyenl˝oség csak a p(xi ) = n , 1 ≤ i ≤ n, esetben lehetséges. A b) a´ll´ıt´ as bizony´ıt´ asa érdekében ´ırjuk fel a   X X X r(xi , yj )  r(xi , yj ) r(xi , yj )  q(yj )g log =− H(ξ|η) = − q(yj ) q(yj ) q(yj ) q(yj ) j i i,j    X X X r(xi , yj )  g  q(yj ) ≤− =− g(p(xi )) = H(ξ) q(y ) j j i i 12

egyenl˝otlenséget. E számol´ asban felhasználtuk a g(x) = x log x f¨ uggvény konvexit´ asát!a P P P q(yj ), q(yj ) > 0, q(yj ) = 1, s´ ulyokkal, azaz azt, hogy q(yj )g(uj ) ≤ g q(yj )uj ) j j j P minden u1 ≥ 0, u2 ≥ 0, . . . számsorozatra, és a r(xi , yj ) = p(xi ) azonosságot. j

Felhasználva a g(·) f¨ uggvény szigor´ u konvexit´ asát kapjuk, hogy egyenl˝oség akkor és csak r(x ,y ) akkor lehetséges, ha vagy H(ξ|η) = ∞ vagy bármely rögz´ıtett i indexre q(yi j )j = αi valamely αi számmal minden j indexre. Ez azt jelenti. hogy r(xi , yjP ) = αi q(j), és ezt az azonosságot ¨ osszegezve a j v´ altoz´ ora azt kapjuk, hogy p(xi ) = r(xi , yj ) = αi , j

azaz r(xi , yj ) = p(xi )q(yj ) minden i és j indexre, tehát a ξ és η val´ osz´ın˝ uségi v´ altoz´ ok f¨ uggetlenek. A c) a´ll´ıt´ as bizony´ıt´ asa érdekében vegy¨ uk észre, hogy a X r(xi , yj ) H(ξ|η) = − r(xi , yj ) log q(yj ) i,j r(x ,y )

azonosság jobboldal´ an csak nem-pozit´ıv tagok szerepelnek a 0 ≤ q(yi j )j ≤ 1 rel´ ació miatt. Innen k¨ ovetkezik, hogy H(ξ|η) ≥ 0. (A fenti ¨ osszeg tagjainak azonos el˝ ojelét implicite a b) rész bizony´ıt´ asában is felhasználtuk. Ez feljogos´ıtott minket arra, hogy a bizony´ıt´ asban vizsgált ¨ osszeget a számunkra megfelel˝ o m´ odon ´ atrendezz¨ uk.) Egyenl˝oség r(xi ,yj ) csak akkor lehetséges, ha mindegyik q(yj ) tag vagy null´ aval vagy eggyel egyenl˝o. Ez r(x

,y )

i(j) j = 1, azaz P (ξ = xi(j) |η = azt jelenti, hogy létezik egy olyan i(j) index, hogy q(y j) yj ) = 1. Ezért egyenl˝oség akkor és csak akkor teljes¨ ul, ha ξ = f (η) valamely alkalmas f f¨ uggvénnyel. A d) rész ´ all´ıt´ asának vizsgálatában vezess¨ uk be a p(xi ) = P (ξ = xi ) és q(yj ) = P (η = yj ) mennyiségek mellett az u(xi , yj ) = P (ξ = xi , η = yj ), v(yj , zk ) = P (η = yj , ζ = zk ) valamint a t(xi , yj , zk ) = P (ξ = xi , η = yj , ζ = zk ) mennyiségeket is. Ezekkel a jelölésekkel fel´ırhatjuk, hogy X t(xi , yj , zk ) H(ξ|η, ζ) = − t(xi , yj , zk ) log v(yj , zk ) xi ,yj ,zk ! X X v(yj , zk ) t(xi , yj , zk ) t(xi , yj , zk ) =− q(yj ) log q(y ) v(y , z ) v(yj , zk ) j j k xi ,yj zk ! X X v(yj , zk ) t(xi , yj , zk ) =− g q(yj ) q(y ) v(yj , zk ) j xi ,yj zk ! X X v(yj , zk ) t(xi , yj , zk ) ≤− q(yj )g q(yj ) v(yj , zk ) xi ,yj zk ! X X X t(xi , yj , zk ) u(xi , yj ) =− =− q(yj )g q(yj )g q(yj ) q(yj ) x ,y x ,y z i

j

i

k

13

j

=−

X

P (ξ = xi , η = yj ) log

xi ,yj

P (ξ = xi , η = yj ) = H(ξ|η). P (η = yj )

P v(yj ,zk ) = 1, és E számol´ asokban felhasználtuk azt, hogy a g(·) f¨ uggvény konvex, q(yj ) k P t(xi ,yj ,zk ) u(x ,y ) = q(yi j )j . A kapott egyenl˝otlenségben azonosságot ´ırhatunk abban a q(yj ) k

speciális esetben, ha

t(xi ,yj ,zk ) v(yj ,zk )

= α(i, j), azaz, ha ez a tört csak az csak az xi és yj t(x ,y ,z )

i j k = u(xi , yj )q(yj ) vagy v´ altoz´ ot´ ol f¨ ugg. Speci´ alisan egyenl˝oség érvényes, ha v(y j ,zk ) ekvivalens m´ odon megfogalmazva akkor, ha P (ζ = zk |ξ = xi , η = yj ) = P (ζ = zk |η = yj ) minden i, j és k indexre. (Némi számol´ as megmutatja, miért érdemes az α(i, j) f¨ uggvényt ´ıgy v´ alasztani.) A tétel bizony´ıt´ asát befejezz¨ uk, ha megmutatjuk, hogy ez az azonosság teljes¨ ul akkor, ha ζ = h(η, Z) egy a (ξ, η) véletlen vektort´ ol f¨ uggetlen Z val´ osz´ın˝ uségi v´ altoz´ oval. Ez az azonosság viszont igaz, mert az adott esetben P (ζ = zk |ξ = xi , η = yj ) = P (h(yj , Z) = zk |ξ = xi , η = yj ) = P (h(yj , Z) = zk ) = P (ζ = zk ), és hasonlóan P (ζ = zk |η = yj ) = P (h(yj , Z) = zk |η = yj ) = P (h(yj , Z) = zk ) = P (ζ = zk ).

Feladat: Legyen ξ1 , . . . , ξn egy Markov lánc. Bizony´ıtsuk be, hogy H(ξn |ξn−1 , . . . , ξ1 ) = H(ξn |ξn−1 ). Kieg´ esz´ıt´ es: F¨ uggetlen, értékeiket esetleg végtelen halmazban felvev˝ o val´ osz´ın˝ uségi v´ altoz´ okb´ ol a ´ll´ o tipikus sorozatok sz´ am´ anak a becslése. A f¨ uggetlen val´ osz´ın˝ uségi v´ altoz´ okb´ ol a ´ll´ o tipikus sorozatok sz´ am´ ar´ ol szól´ o tételben becslést adtunk arra, hogy hány tipikus sorozatot tartalmaz egy ξ val´ osz´ın˝ uségi v´ altoz´ oval azonos eloszl´ as´ u f¨ uggetlen val´ osz´ın˝ uségi v´ altoz´ ok ξ1 , . . . , ξn sorozata. Pontosabban fogalmazva azt becs¨ ult¨ uk meg, hogy rögz´ıtve egy kis ε > 0 számot k¨ or¨ ulbel¨ ul hány sorozatot tartalmaz a (ξ1 , . . . , ξn ) véletlen sorozatok egy 1 − ε mérték˝ u alkalmasan v´ alasztott részhalmaza. A v´ alasz a ξ val´ osz´ın˝ uségi v´ altoz´ o H(ξ) entr´ opiáját´ ol f¨ ugg. Ezt az eredményt csak abban az esetben láttuk be, ha a ξ val´ osz´ın˝ uségi v´ altoz´ o csak véges sok értéket vehet fel. Ugyanakkor természetes azt v´ arni, hogy a tétel a´ll´ıt´ asa érvényes megsz´ amlálhat´ oan végtelen sok értéket felvev˝o ξ val´ osz´ın˝ uségi v´ altoz´ o esetén. Bel´ atjuk, hogy ez tényleg ´ıgy van. Az egyszer˝ u fogalmaz´ as érdekében feltessz¨ uk, hogy H(ξ) < ∞, hiszen val´ ojában minket csak ez az eset érdekel. A k¨ ovetkez˝ o eredményt fogom bizony´ıtani. T´ etel f¨ uggetlen, v´ eges vagy megsz´ aml´ alhat´ oan v´ egtelen sok ´ ert´ eket felvev˝ o val´ osz´ın˝ us´ egi v´ altoz´ okb´ ol ´ all´ o tipikus sorozatok sz´ am´ ar´ ol. A f¨ uggetlen val´ osz´ın˝ uségi v´ altoz´ okb´ ol a ´ll´ o tipikus sorozatok sz´ am´ ar´ ol megfogalmazott tétel a ´ll´ıt´ asa akkor is érvényes, ha az abban szerepl˝ o ξ val´ osz´ın˝ uségi v´ altoz´ o értékeit valamely véges vagy végtelen X = {x1 , x2 , . . . , } halmazon veszi fel, és mind¨ ossze annyit tesz¨ unk fel r´ ola, hogy H(ξ) < ∞. 14

A tétel bizony´ıt´ asa. Defini´ aljuk a p(xk ) = P (ξ = xk ), k = 1, 2, . . . , f¨ uggvényt, és adva f¨ uggetlen a ξ val´ osz´ın˝ uségi v´ altoz´ oval azonos eloszl´ as´ u, f¨ uggetlen val´ osz´ın˝ uségi v´ altoz´ oknak egy ξ1 , . . . , ξn sorozata vezess¨ uk be a ζj = − log p(ξj ), 1 ≤ j ≤ n, val´ osz´ın˝ uségi v´ altoz´ okat. Vegy¨ uk észre, hogy Eζj = H(ξ), és a nagy számok (gyenge) törvénye alapj´ an n 1X ζj ⇒ H(ξ), ha n → ∞, n j=1 ahol ⇒ sztochasztikus konvergenci´ at jelöl. Jelölje ηk (n) a ξ1 , . . . , ξn sorozatban szerepl˝o xk elemek számát. Ekkor az el˝ obb fel´ırt formula ekvivalens a k¨ ovetkez˝ o a´ll´ıt´ assal: 1X (ηk (n) − np(xk )) log p(xk ) ⇒ 0, n k

ha n → ∞,

(A1)

Megmutatom, hogy a (A1) rel´ aciób´ ol k¨ ovetkezik a tétel ´ all´ıt´ asa. E célból v´ alasszunk olyan εn → 0 és δn → 0 sorozatokat, amelyekre ! X P (ηk (n) − np(xk )) log p(xk ) > nεn ≤ δn . (A2) k

Ez az (A1) rel´ ació érvényessége miatt megtehet˝o. Adva egy x(n) = (xj1 , . . . , xjn ) ∈ X n sorozat jelölje s(k, x(n) ) azon r, 1 ≤ r ≤ n, indexek számát, amelyekre xjr = xk . Defini´ aljuk minden n = 1, 2, . . . indexre az ( ) ∞ X A1 (n) = x(n) = (xj1 , . . . , xjn ): x(n) ∈ X n , (s(k, x(n) ) − np(xk )) log p(xk ) ≤ nεn k=1

és ∞ X (n) (n) n (n) A2 (n) = x = (xj1 , . . . , xjn ): x ∈ X , (s(k, x )−np(xk )) log p(xk ) ≥ −nεn k=1

halmazokat, ahol εn megegyezik az (A2) formul´ aban szerepl˝o εn számmal. Vegy¨ uk észre, hogy mivel (ξ( ω), . . . , ξn (ω)) = (xj1 , . . . , xjn ), x(n) = (xj1 , . . . , xjn )) esetén ηk (n)(ω) = s(k, x(n) ). Ezért az (A2) formula alapj´ an P ((ξ1 , . . . , ξn ) ∈ Aj (n)) ≥ 1 − δn ≥ 1 − δ/2 mind j = 1 mind j = 2 indexszel, ha n ≥ n0 (δ, ε) alkalmas n0 k¨ usz¨ obindexszel. A f˝ o részben ismertetett bizony´ıt´ ast alkalmazhatjuk a most tárgyalt esetben is minimális v´ altoztat´ asokkal, ha megmutatjuk, hogy egy x(n) = (xj1 , . . . , xjn ) ∈ X n vektorra P ((ξ1 , . . . , ξn ) = (xj1 , . . . , xjn )) ≤ 2−n(1−ε)H(ξ) ,

ha x(n) = (xj1 , . . . , xjn ) ∈ A1 (n).

P ((ξ1 , . . . , ξn ) = (xj1 , . . . , xjn )) ≥ 2−n(1+ε)H(ξ) ,

ha x(n) = (xj1 , . . . , xjn ) ∈ A2 (n),

és

15

feltéve, hogy n ≥ n0 (ε, δ) egy alkalmas n0 k¨ usz¨ obindexszel. Ezekb˝ol az egyenl˝otlenségekb˝ol ugyanis a f˝ o részben ismertetett bizony´ıt´ as m´ odszerével k¨ ovetkezik a számunkra sz¨ ukséges becslés az A1 (n) illetve az A2 (n) halmaz elemszámára. A k´ıvánt becslések bizony´ıt´ asának az érdekében ´ırjuk fel az al´ abbi azonosságot (n) n minden x = (xj1 , . . . , xjn ) ∈ X vektorra. P ((ξ1 , . . . , ξn ) = (xj1 , . . . , xjn )) =

∞ Y

p(xk )

s(k,x)

=

k=1

= exp

(

1 log 2

∞ X

)

np(xk ) log p(xk ) exp

k=1

(

1 log 2

∞ Y

k=1 ∞ X

k=1

p(xk )

npk (x)

∞ Y

p(xk )s(k,x)−npk (x)

k=1

)

(s(k, x(n) ) − np(xk )) log p(xk ) .

Innen k¨ ovetkezik, hogy P ((ξ1 , . . . , ξn ) = (xj1 , . . . , xjn )) ≤ 2−nH(ξ) · 2nεn ≥ 2−n(1−ε/2)H(ξ) minden x(n) = (xj1 , . . . , xjn ) ∈ A1 (n) vektorra, és P ((ξ1 , . . . , ξn ) = (xj1 , . . . , xjn )) ≥ 2−nH(ξ) · 2−nεn ≥ 2−n(1+ε)H(ξ) minden x(n) = (xj1 , . . . , xjn ) ∈ A2 (n) vektorra, ha n ≥ n0 (ε, δ). Innen k¨ ovetkezik, hogy n(1−ε)H(ξ) az A1 (n) és A2 (n) halmazok elemszáma teljes´ıti az |A1 (n)| ≥ 2 és |A2 (n)| ≤ 2n(1+ε)H(ξ) egyenl˝otlenségeket. S˝ot az is igaz, hogy amennyiben B ⊂ X n olyan halmaz, amelyre P ((ξ1 , . . . , ξn ) ∈ B) ≥ δ, akkor |A1 (n) ∩ B| ≥ 2n(1−ε)H(ξ) . 2. Forr´ ask´ odol´ as ´ es dek´ odol´ as. Az inform´ acióelmélet egyik legfontosabb problémája a k¨ ovetkez˝ o k´ odol´ asi problémának nevezett kérdés. Legyen adva val´ osz´ın˝ uségi v´ altoz´ ok valamely ξ1 , ξ2 , . . . véges vagy végtelen sorozata, amelynek tagjai érték¨ uket valamely X véges vagy megsz´ amlálhat´ oan végtelen számoss´ ag´ u halmazban veszik fel. A ξ1 , ξ2 . . . sorozatot forr´ asnak, a ξj valósz´ın˝ uségi v´ altoz´ ok ´ altal felvett értékek X halmaz´ at pedig (forr´ as) ABC-nek szok´ as nevezni az irodalomban. Ennek a ξ1 , ξ2 . . . sorozatnak az értékeit szeretnénk k¨ oz¨ olni valakivel, akit felhasznál´ onak nevez¨ unk. E cél elérése érdekében bizonyos jeleket leadunk a felhasznál´ onak, aki ezeket a jeleket, esetleg némi hibával, megkapja. Azt az apparátust, amely ezeket a jeleket tov´ abb´ıtja csatornának nevezz¨ uk. A felhasznál´ o, a csatornán kereszt¨ ul megkapott jelek seg´ıtségével megprób´ alja rekonstru´ alni az eredeti ξ1 , ξ2 , . . . u ¨zenetet. Tegy¨ uk fel, hogy a kiinduló ξ1 , ξ2 , . . . sorozat egym´ as ut´ ani jelei megérkeznek bizonyos sebességgel, és mi le tudjuk adni a csatornán a jeleinket a felhaszn´ al´ onak bizonyos sebességgel. A kérdés az, hogy mikor tudjuk egy a felhasznál´ oval kor´ abban egyeztetett m´ odszer seg´ıtségével elérni, hogy ˝ o a kapott jelsorozat seg´ıtségével viszonylag kis hibával rekonstru´ alni tudja az eredeti ξ1 , ξ2 , . . . forr´ ast. Az el˝ obb megfogalmazott k´ odol´ asi probléma egy tipikus esete az, ha egy szöveg egym´ as ut´ ani bet˝ ui érkeznek (a szóközi sz¨ uneteket k¨ ul¨ on jelnek tekintj¨ uk), és ezt a 16

folyamatosan érkez˝ o szöveget akarjuk k¨ oz¨ olni egy t˝ol¨ unk távol lev˝ o ismer˝ os¨ unknek. Ennek érdekében le tudunk adni egym´ as ut´ an 0 és 1 jeleket egy táv´ırón. Azt akarjuk elérni, hogy ismer˝ os¨ unk, aki e jeleket megkapja képes legyen viszonylag pontosan rekonstru´ alni az eredeti szöveget még akkor is, ha a jeltov´ abb´ıt´ asban id˝ onként hibák lépnek fel. Azt vizsgáljuk, hogy ez mikor lehetséges. Célszer˝ u az egyes bet˝ uknek bizonyos jelsorozatot ´ (kódot) megfeleltetni. Ugy k´ıvánjuk ezt tenni, hogy ismer˝ os¨ unk képes legyen a kapott jelsorozat seg´ıtségével viszonylag pontosan rekonstru´ alni (dekódolni) az eredeti sorozatot még akkor is, ha a leadott jelsorozat egyes jelei hibásan érkeznek meg hozz´ a. Célunkat elérhetj¨ uk például u ´gy, hogy mindegyik bet˝ unek ugyanolyan hossz´ u és egym´ ast´ ol k¨ ul¨ onböz˝ o k´ odszót feleltet¨ unk meg, és mindegyik k´ odszót egym´ as ut´ an százszor k¨ uldj¨ uk el a csatornán. Ekkor kicsi annak a val´ osz´ın˝ usége, hogy egy ilyen 100-szor elk¨ uldött jel az esetek többségében helytelen¨ ul érkezik, ´ıgy ismer˝ os¨ unk nagy val´ osz´ın˝ uséggel rekonstru´ alni tudja az eredeti u ¨zenetet. A probléma az, hogy ilyen m´ odszerrel az u ¨zenet tov´ abb´ıt´ asa t´ uls´ agosan sok id˝ ot vesz igénybe, és ezért esetleg nem tudjuk k¨ ovetni az eredetileg érkez˝ o jelsorozat sebességét. Célunk tehát az, hogy egy olyan m´ odszert dolgozzunk ki, amelynek seg´ıtségével az eredeti h´ırforrást viszonylag gyorsan és pontosan meg tudjuk ismertetni a felhasznál´ oval. A m´ odszer kidolgoz´ asán´ al érdemes figyelembe venni azt, hogy a (véletlen) ξ1 , ξ2 , . . . forr´ as milyen val´ osz´ın˝ uségi törvénynek tesz eleget, illetve, hogy milyen val´ osz´ın˝ uséggel k¨ ovetkeznek be bizonyos hibák, amikor a jeleket leadjuk a csatornán. Az el˝ obb megfogalmazott k´ odol´ asi problémát érdemes két probléma vizsgálatának a seg´ıtségével megoldani. Az els˝ o probléma a k¨ ovetkez˝ o. Adva egy rögz´ıtett n szám, és egy rögz´ıtett V = {v1 , v2 , . . . } véges vagy megsz´ amlálhat´ oan végtelen halmaz, tekints¨ uk a ξln+1 , . . . , ξl(n+1) , l = 1, 2, . . . , blokkokat. Válaszuk ki ezenk´ıv¨ ul a V halmazbeli elemeket tartalmaz´ o n-hossz´ us´ ag´ u n sorozatoknak egy alkalmas A = A(n) ⊂ V részhalmaz´ at. (Itt, és a tov´ abbiakban, n n V jelöli a V halmazbeli, és X az X halmazbeli elemeket tartalmaz´ o n hossz´ us´ ag´ u sorozatok halmaz´ at.) Olyan f : X n → A(n) és g: A(n) → X n f¨ uggvényeket keres¨ unk, amelyekre P (g(f (ξln+1 , . . . , ξ(l+1)n )) = (ξln+1 , . . . , ξ(l+1)n )) ≥ 1 − ε

minden l = 0, 1, . . . indexre (2.1) egy kis fix ε > 0 számmal. Ha tal´ alunk ilyen f, g) f¨ uggvénypárt akkor f (·) f¨ uggvényt k´ odf¨ uggvénynek, az f (xp(1) , . . . , xp(n) ) sorozatot az xp(1) , . . . , xp(n) sorozat k´ odj´ anak nevezz¨ uk, a g(·) f¨ uggvényt pedig dek´ odol´ o f¨ uggvénynek h´ıvjuk. Ebben az esetben azt mondjuk, hogy ε-n´ al kisebb hibával k´ odoltunk.Olyan A(n) ⊂ V n halmazt és a (2.1) formul´ at teljes´ıt˝ o f (·), g(·) f¨ uggvénypárt szeretnénk tal´ alni, amelyekre az n blokkhosszt´ ol f¨ ugg˝o A(n) halmaznak viszonylag kicsi az elemszáma. E feladat megold´ asát nevezz¨ uk forr´ as k´ odol´ asnak és forr´ as dek´ odol´ asnak. A m´ asodik feladat arr´ ol szól, hogy amikor a forr´ as k´ odol´ asaként kapott sorozat értékét alkalmas csatorna esetleg hibás k¨ ozvet´ıtése seg´ıtségével k¨ oz¨ olj¨ uk a felhasznál´ oval, akkor o˝ hogyan tudja viszonylag kis hibával rekonstru´ alni a csatornán kereszt¨ ul elk¨ uldött sorozatot. Ezt a feladatot, amelyet csatorna k´ odol´ asnak és dek´ odol´ asnak neveznek a 17

k¨ ovetkez˝ o fejezetben fogom tárgyalni, és mag´ at a feladatot is csak ott fogom pontosan megfogalmazni. E fejezet témája a forr´ as k´ odol´ as és dek´ odol´ as. Csak azzal az esettel fogok foglalkozni, amikor a ξ1 , ξ2 , . . . forr´ as f¨ uggetlen és egyforma eloszl´ as´ u véges vagy megsz´ amlálhatóan végtelen sok értéket felvev˝o val´ osz´ın˝ uségi v´ altoz´ ok sorozata. Ebben az esetben egy j´ o forr´ as k´ odol´ as és dek´ odol´ as megtal´ al´ asa viszonylag egyszer˝ u feladat, az k¨ onnyen megtehet˝o az el˝ oz˝ o fejezet eredményeinek a seg´ıtségével. T´ argyalni fogom tov´ abbá ennek a feladatnak egy ¨ onmag´ aban is érdekes v´ altozat´ at, amelyben egy véletlen sorozatot akarunk viszonylag rövid sorozattal u ´gy k´ odolni, hogy az hibátlanul dek´ odolhat´ o legyen. A k´ odolt sorozat hossza f¨ ugghet a véletlent˝ol, és e véletlen szóhossz várhat´ o értékét szeretnénk kicsivé tenni. Megfogalmazom ezt a m´ odos´ıtott feladatot pontosabban. Legyen adva egy ξ valósz´ın˝ uségi v´ altoz´ o, amely értékeit egy véges X = {x1 , . . . , xM } halmazban veszi fel, és amelynek ismert a P (ξ = xi ) = p(i), 1 ≤ i ≤ M , eloszl´ asa. (Az egyszer˝ uség kedvéért feltettem, hogy a ξ val´ osz´ın˝ uségi v´ altoz´ o X értékkészlete egy véges halmaz, bár több al´ abb ismertetend˝ o eredmény akkor is érvényes, ha az X halmaz számoss´ aga megsz´ amlálhat´ oan végtelen is lehet.) Legyen adva egy véges d-elem˝ u Y = {y1 , . . . , yd } halmaz, amelyet a tov´ abbiakban ABC-nek fogunk nevezni, és a ξ val´ osz´ın˝ uségi v´ altoz´ oval azonos eloszl´ as´ u ξ1 , . . . , ξl val´ osz´ın˝ uségi v´ altoz´ oknak egy sorozata. Nevezz¨ uk az Y halmaz elemeib˝ ol ´ all´ o véges yj1 , . . . , yjn sorozatokat szavaknak. Minden xi ∈ X elemnek (i) (i) us´ ag´ u Y halmaz elemeib˝ ol meg akarunk feleltetni egy u(xi ) = yj1 , . . . , yjn(i) n(i) hossz´ ´ all´ ´ o sorozatot, amelyet az xi sorozat nevének fogunk nevezni. Ugy k´ıvánjuk ezt a megfeleltetést csinálni, hogy ha egym´ as ut´ an felsorolj´ ak nek¨ unk egy xi1 , . . . , xil sorozat elemeinek u(xi1 ), . . . , u(xil ) neveit, akkor képesek legy¨ unk ennek alapj´ an az xi1 , . . . , xil sorozatot egyértelm˝ uen rekonstru´ alni. Az ilyen xi → u(xi ), xi ∈ X, leképezéseket egyértelm˝ uen dek´ odolhat´ o k´ odol´ asoknak fogjuk nevezni. Ennek pontos definici´ oját al´ abb ismertetem. Azzal a kérdéssel fogunk foglalkozni, hogy milyen kicsivé tudjuk tenni egy egyértelm˝ uen dek´ odolhat´ o xi → u(xi ), 1 ≤ i ≤ M , k´ odol´ as n(i) hosszának a M P v´ arhat´ o értékét, azaz a p(i)n(i) mennyiséget. i=1

Az egy´ ertelm˝ uen dek´ odolhat´ o k´ odol´ as definici´ oja. Legyen X = {x1 , x2 , . . . } egy véges vagy megsz´ aml´ alhat´ oan végtelen sz´ amoss´ ag´ u halmaz és Y = {y1 , . . . , yd } egy m´ asik d elemsz´ am´ u halmaz (ABC). Egy az X halmaz elemeit az Y halmaz elemeib˝ ol (i) (i) o leképezését az X halmaza ´ll´ o véges elemsz´ am´ u u(xi ) = yj1 . . . yjn(i) sorozatokba képez˝ nak az Y ABC szavaival végzett egyértelm˝ uen dek´ odolhat´ o k´ odol´ as´ anak nevez¨ unk, ha minden xi1 , . . . , xil , l = 1, 2, . . . , xij ∈ X, 1 ≤ j ≤ l, sorozatnak az u(xi1 ), . . . , u(xil ) aci´ o, ha sorozatot megfeleltetve teljes¨ ul az u(xi1 ), . . . , u(xil1 ) 6= u(x′i1 ), . . . , u(x′il ) rel´ 2 ′ ′ ugghet az xi1 , . . . , xil1 6= xi1 , . . . , xil . (Megjegyzem, hogy az u(xi ) sorozat n(i) hossza f¨ 2 xi ∈ X elemt˝ ol.) El˝osz¨ or az eredeti k´ odol´ asi feladattal foglalkozom. Megfogalmazom azt az eredményt, amely megadja, hogy milyen N (n) elemszám´ u A(n) ⊂ V n halmaz seg´ıtségével lehet megadni valamely f¨ uggetlen, egyforma eloszl´ as´ u ξ1 , . . . , ξn val´ osz´ın˝ uségi v´ altoz´ okb´ ol a´ll´ o 18

forr´ asnak egy ε-n´ al kisebb hibáj´ u, azaz a (2.1) rel´ aciót teljes´ıt˝ o f (·) k´ odol´ asát és g(·) dek´ odol´ asát. A most ismertetett tétel val´ ojában az el˝ oz˝ o fejezet bizonyos eredményeinek egyszer˝ u k¨ ovetkezménye. T´ etel f¨ uggetlen, egyforma eloszl´ as´ u val´ osz´ın˝ us´ egi v´ altoz´ okb´ ol ´ all´ o forr´ as kis hib´ aj´ u k´ odol´ as´ ar´ ol ´ es dek´ odol´ as´ ar´ ol. Legyen ξ egy értékeit valamely véges vagy megsz´ aml´ alhat´ oan végtelen sz´ amoss´ ag´ u X = {x1 , x2 , . . . } halmazon f¨ olvev˝ o val´ osz´ın˝ uségi v´ altoz´ o, ξ1 , . . . , ξn pedig f¨ uggetlen, a ξ val´ osz´ın˝ uségi v´ altoz´ oval azonos eloszl´ as´ u val´ osz´ın˝ uségi v´ altoz´ ok sorozata. Legyen ezenk´ıv¨ ul adva egy V = {v1 , v2 , . . . } halmaz. Jel¨ olje X n az X halmazb´ ol, V n a V halmaz elemeib˝ ol a ´ll´ o n hossz´ us´ ag´ u sorozatok n halmaz´ at. V´ alasszunk egy N = N (n) elemsz´ am´ u A = A(n) ⊂ V halmazt. Minden ε > 0 és δ > 0 sz´ amhoz létezik n0 = n0 (ε, δ) k¨ usz¨ obindex u ´gy, hogy ha n ≥ n0 és N (n) ≥ 2(1+δ)H(ξ)n , akkor léteznek olyan f : X n → A(n) és g: A(n) → X n f¨ uggvények, amelyekre P (g(f (ξ1 , . . . , ξn )) = (ξ1 , . . . , ξn )) ≥ 1 − ε. Megford´ıtva, ha N (n) ≤ 2(1−δ)H(ξ)n , és n ≥ n0 (ε, δ) akkor minden f : X n → A(n) és g: A(n) → X n f¨ uggvényp´ arra P (g(f (ξ1 , . . . , ξn )) = (ξ1 , . . . , ξn )) ≤ ε. Bizony´ıt´ as. L´ attuk a f¨ uggetlen val´ osz´ın˝ uségi v´ altoz´ okb´ ol ´ all´ o tipikus sorozatok számár´ ol szól´ o tétel bizony´ıt´ asában (ha megsz´ amlálhat´ oan végtelen számosság´ u halmazokkal akarunk dolgozni, akkor e tételnek a kiegész´ıtésben tárgyalt ´ altal´ anos´ıt´ asát kell tekinn ten¨ unk), hogy n ≥ n0 (ε, δ) esetén létezik olyan B ⊂ X halmaz, amelyre az B halmaz kevesebb, mint 2(1+δ)H(ξ)n elemet tartalmaz, és P ((ξ1 , . . . , ξn ) ∈ B) ≥ 1−ε. Válasszunk (n) (n) (n) egy ilyen B halmazt, és soroljuk fel az elemeit, mint B = {x1 , x2 , . . . , xN¯ (n) } valamely ¯ (n) ≤ 2(1+δ)nH(ξ) számmal. Soroljuk fel az A(n) halmaz elemeit is, mint A(n) = N (n) (n) ¯ (n) ≤ N (n). }. Ha N (n) ≥ 2(1+δ)H(ξ)n , és n ≥ n0 (ε, δ) akkor N {v , v (n) , . . . , v 1

N (n)

Defini´ aljuk ebben az esetben az f (x) f¨ uggvényt egy olyan x = (x1 , . . . , xn ) ∈ X n (n) ¯ (n), alakban, u elemre, amelyre x ∈ B, és ezért fel´ırhat´ o x = xk , 1 ≤ k ≤ N ´gy (n)) (n) (n) (n) aljuk a g(vk ) mint f (x) = f (xk ) = vk . Ha x ∈ / B, legyen f (x) = v1 . Defini´ (n) (n) (n) ¯ ¯ f¨ uggvényt, mint g(vk ) = xk , ha k ≤ N (n). Ha N (n) < k ≤ N (n), akkor a g(vk ) f¨ uggvényt tetsz˝oleges m´ odon definiálhatjuk. Ilyen v´ alaszt´ assal P (g(f (ξ1 , . . . , ξn )) = (ξ1 , . . . , ξn )) ≥ P ((ξ1 , . . . , ξn ) ∈ B) ≥ 1 − ε.

A tétel m´ asodik felének bizony´ıt´ asában azt haszn´ aljuk ki, hogy n ≥ n0 esetén ¯ halmaz ¯ ⊂ X n halmaz, amelyre P ((ξ1 , . . . , ξn ) ∈ B) ¯ ≥ 1 − ε , és a B létezik olyan B 2 elemei viszonylag nagy val´ osz´ın˝ uséggel jelennek meg. Pontosabban, P ((ξ1 , . . . , ξn ) = −(1− δ2 )H(ξ)n ¯ vektorokra. Ha N (n) ≤ 2(1−δ)H(ξ)n az (xj1 , . . . , xjn ) ∈ B (xj1 , . . . , xjn )) ≤ 2 esetén is lenne olyan f (·), g(·) f¨ uggvénypár, amelyre P (g(f (ξ1 , . . . , ξn )) = (ξ1 , . . . , ξn )) ≥ ε, akkor létezne olyan B0 ⊂ X n halmaz, amelyre P ((ξ1 , . . . , ξn ) ∈ B0 ) ≥ ε, és az o¨sszes x = (xj1 , . . . , xjn ) ∈ B0 vektor f (x) ∈ A(n) képe k¨ ul¨ onböz˝ o lenne. (A B0 halmazt u ´gy v´ alaszthatjuk, mint azon x ∈ X n vektorok halmaz´ at, amelyekre g(f (x)) = x.) ¯ ≥ ε , és minden x ∈ B0 ∩ B ¯ Ekkor az is igaz lenne, hogy P ((ξ1 , . . . , ξn ) ∈ B0 ∩ B) 2 δ ¯ halmaz ovetkezne, hogy az B0 ∩ B vektorra P ((ξ1 , . . . , ξn ) = x) ≤ 2−(1− 2 )H(ξ)n . Innen k¨ δ elemszáma nagyobb, mint 2ε 2(1− 2 )H(ξ)n > 2(1−δ)H(ξ)n , ha n ≥ n0 (ε, δ). Ez ellentmond ¯ vektor f (x) ∈ A(n) képe k¨ annak, hogy minden x ∈ B0 ∩ B ul¨ onböz˝ o, mert az A(n) 19

halmaz elemszáma N (n) ≤ 2(1−δ)H(ξ)n . Megjegyzés. Mivel a tekintett ξ1 , ξ2 , . . . sorozat f¨ uggetlen és egyforma eloszl´ as´ u val´ osz´ın˝ uségi v´ altoz´ okb´ ol ´ all, ezért az el˝ oz˝ o tétel eredményét alkalmazhatjuk nemcsak a (ξ1 , . . . , ξn ) hanem a (ξln+1 , . . . , ξ(l+1)n ) sorozatra is minden l = 1, 2, . . . indexre. Ezért a (2.1) rel´ ació is teljes¨ ul egy alkalmas f (·), g(·) f¨ uggvénypárral, ha az A(n) halmaz N (n) elemszámára N (n) ≥ 2(1+δ)H(ξ)n , és n ≥ n0 (ε, δ). Tov´ abbá P (g(f (ξln+1 , . . . , ξ(l+1)n )) = (ξln+1 , . . . , ξ(l+1)n )) ≤ ε minden l = 0, 1, . . . indexre és f, g f¨ uggvénypárra, ha N (n) ≤ (1−δ)H(ξ)n 2 , és n ≥ n0 (ε, δ). R´ atérek az egyértelm˝ uen dek´ odolhat´ o k´ odok vizsgálatára. Azt vizsgáljuk, hogyan lehet egy M elemb˝ol ´ all´ o X = {x1 , . . . , xM } halmaz elemeit, pontosabban ezen elemekb˝ ol all´ ´ o sorozatokat hibátlanul k´ odolni és dek´ odolni viszonylag rövid k´ odokkal egy d elem˝ u Y = {y1 , . . . , yd } ABC seg´ıtségével. Az ´ altal´ anosság megszor´ıt´ asa nélk¨ ul feltehetj¨ uk, ´ hogy Y = {1, . . . , d}. Erdemes bevezetni a k¨ ovetkez˝ o fogalmat. Prefix k´ odok definici´ oja. Legyen adva egy X = {x1 , . . . , xM } halmaz, és egy Y = (i) (i) {1, . . . , d} ABC. Feleltess¨ unk meg minden xi ∈ X elemnek egy u(xi ) = j1 , . . . jn(i) , (i)

1 ≤ js ≤ d, 1 ≤ s ≤ n(i), sorozatot. Azt mondjuk, hogy ez a megfeleltetés az X halmaz elemeinek prefix k´ odja, ha nincs olyan xp ∈ X, xq ∈ X p´ ar, amelyre az u(xp ) sorozat az u(xq ) sorozat megszor´ıt´ asa annak elejére, azaz semmilyen xp , xq p´ arra nem lehet megkapni az u(xp ) sorozatot u ´gy, hogy alkalmas sz´ am´ u jelet let¨ orl¨ unk az u(xq ) sorozat végér˝ ol. Fontos lesz számunkra az al´ abbi lemmában megfogalmazott egyszer˝ u észrevétel.

Lemma a prefix k´ odok egy tulajdons´ ag´ ar´ ol. Minden prefix k´ od egyértelm˝ uen dek´ odolhat´ o k´ od. Bizony´ıt´ as. Ha egy x1 , . . . , xn sorozatnak egy u(x1 ), u(x2 ), . . . , u(xn ) prefix k´ od felel meg, akkor a prefix tulajdonság alapj´ an meg tudjuk ´ allap´ıtani, hol fejez˝ odik be e sorozatban az u(x1 ), sorozat, és ´ıgy azonos´ıthat´ o az x1 jel. Ezután rekurz´ıv m´ odon meg tudjuk határozni egym´ as ut´ an az x2 , x3 , . . . értéketet is. Léteznek nem prefix, de egyértelm˝ uen dek´ odolhat´ o k´ odok. Például, ha X két elem˝ u halmaz, és D = {1, 2} v´ alaszthatjuk x1 k´ odj´ anak az 1, x2 k´ odj´ anak az 1,2 sorozatot. Vagy x1 k´ odj´ anak az 1, x2 k´ odj´ anak az 1, . . . , 1, 2 sorozatot, ahol az 1 jeleknek egy n hossz´ us´ ag´ u sorozatát vett¨ uk a 2 jel el˝ ott egy tetsz˝oleges (ismert) pozit´ıv egész n számmal. Ezek egyértelm˝ uen dek´ odolhat´ o, de nem prefix k´ odok. Viszont, mint l´ atni fogjuk, minden egyértelm˝ uen dek´ odolhat´ o k´ odhoz lehet tal´ alni egy legal´ abb ugyanolyan j´ o prefix k´ odot, ezért figyelm¨ unket koncentr´ alhatjuk a prefix k´ odokra. Ezeknek megvan az az el˝ ony¨ uk is, hogy gyorsan dek´ odolhat´ oak. Ha egym´ as ut´ an megérkeznek az xj1 , xj2 , . . . , jelek prefix k´ odjai, akkor mihelyt megérkezett egy jel k´ odja, azonnal dek´ odolhatjuk azt. Nem prefix, de egyértelm˝ uen dek´ odolhat´ o k´ odok esetében a helyzet bonyolultabb. Például, ha a két elem˝ u X halmaz x1 elemének a k´ odszava 1, az x2 elem k´ odszava 1, . . . , 1, 2, (n darab 1 jellel), akkor egy 1 jel megérkezése ut´ an lehet, hogy 20

még n jel megérkezését is meg kell v´ arni, és csak azut´ an tudjuk eldönteni, hogy ez az 1-es jel az x1 k´ odszava vagy az x2 k´ odszav´ anak az els˝ o eleme volt-e. Egyébként létezik egy m´ odszer annak eldöntésére, hogy mikor dek´ odolhat´ o egy k´ od egyértelm˝ uen, (l´ asd (Robert Ash: Information theory, Theorem 2.2.1), de erre a meglehet˝osen bonyolultan bizony´ıthat´ o eredményre nem lesz sz¨ ukség¨ unk. Ezért azt nem tárgyalom. A k¨ ovetkez˝ o eredményben, amelyet Kraft–egyenl˝otlenségnek is h´ıvnak az irodalomban, megadjuk, hogy milyen hossz´ uak lehetnek egy prefix k´ od k´ odszavai. T´ etel egy prefix k´ od szavainak lehets´ eges hossz´ ar´ ol. (Kraft egyenl˝ otlens´ eg.) Legyen X = {x1 , . . . , xM } egy M elem˝ u halmaz, és legyen u(xi ), 1 ≤ i ≤ M , e halmaz egy prefix k´ odja az Y = {1, . . . , d} d-elem˝ u ABC-vel. Jel¨ olje n(i) az u(xi ) sz´ o k´ odhossz´ at. M P Ekkor teljes¨ ul a d−n(i) ≤ 1 egyenl˝ otlenség. Megford´ıtva, ha az n(i), 1 ≤ i ≤ M , i=1

pozit´ıv egész sz´ amok sorozata teljes´ıti a

M P

i=1

d−n(i) ≤ 1 egyenl˝ otlenséget, akkor létezik az

X halmaz elemeinek olyan u(xi ), 1 ≤ i ≤ M , prefix k´ odja az Y = {1, . . . , d} d-elem˝ u ABC-vel, amelyre az u(xi ) sz´ o k´ odhossza n(i). Bizony´ıt´ as. Feltehetj¨ uk, hogy az xi ∈ X elemek u ´gy vannak indexelve, hogy n(1) ≤ n(2) ≤ · · · ≤ n(M ). Ha adva van egy u(xi ), 1 ≤ i ≤ M , prefix k´ od, akkor minden egyes u(xi ) k´ odszónak feleltess¨ uk meg az ¨ osszes olyan n(M ) hossz´ us´ ag´ u, az Y = {1, . . . , d} halmaz elemeib˝ ol ´ all´ o sorozatok halmaz´ at, amely sorozatok az u(xi ) k´ odszó folytatásai. n(M )−n(i) Az u(xi ) k´ odszónak d ilyen folytatása van, és az u(·) k´ od prefix tulajdonsága miatt ´ıly m´ odon csupa k¨ ul¨ onböz˝ o n(M ) hossz´ us´ ag´ u az {1, . . . , d} halmaz elemeib˝ ol a´ll´ o M P sorozatot kapunk. Mivel ¨ osszesen dn(M ) ilyen sorozat van, ezért dn(M )−n(i) ≤ dn(M ) . i=1

Innen dn(M ) -mel osztva megkapjuk a

M P

i=1

d−n(i) ≤ 1 egyenl˝otlenséget.

Ha adva van egy 1 ≤ n(1) ≤ n(2) ≤ · · · ≤ n(M ) a

M P

i=1

d−n(i) ≤ 1 egyenl˝otlenséget

teljes´ıt˝ o sorozat, akkor a k¨ ovetkez˝ o m´ odon tudunk a k´ıvánt hossz´ us´ ag´ u k´ odszavakb´ ol a´ll´ o prefix k´ odot konstru´ alni. Legyen u(x1 ) tetsz˝oleges n(1) hossz´ us´ ag´ u az Y = {1, . . . , d} halmaz elemeib˝ ol ´ all´ o sorozat. Az i v´ altoz´ o szerinti indukci´ oval definiáljuk az u(xi ) k´ odszavakat u ´gy, hogy az u(x1 ), . . . , u(xi ) k´ odszavak az Xi = {x1 , x2 , . . . , xi } halmaz prefix k´ odj´ at alkoss´ ak. Ha az i − 1 indexre tal´ altunk ilyen k´ odszavakat, akkor a prefix tulajdonság meg˝ orzéséhez az indukci´ o i-ik lépésében elég olyan n(i) hossz´ us´ ag´ u u(xi ) k´ odszót tal´ alni, amely nem folytatása egyik u(xj ), 1 ≤ j ≤ i − 1, k´ odszónak sem. Ez azt jelenti, hogy az dn(i) darab n(i) hossz´ us´ ag´ u, az Y = {1, . . . , d} halmaz elemeib˝ ol i−1 P n(i)−n(j) all´ ´ o sorozat k¨ oz¨ ul d sorozat v´ alaszt´ asa van tiltva. Akkor tudunk egy k´ıvánt j=1

i−1 P n(i)−n(j) tulajdonság´ u u(xi ) sorozatot (kódszót) v´ alasztani, ha d < dn(i) , azaz, ha j=1 Pi−1 −n(j) < 1. Az adott feltétel mellett ez a tulajdonság minden 2 ≤ i ≤ M indexre j=1 d teljes¨ ul. Ezzel bel´ attuk a tétel m´ asodik ´ all´ıt´ asát is.

21

A k¨ ovetkez˝ o eredmény azt ´ all´ıtja, hogy adott szóhossz´ us´ ag´ u k´ odszavakkal rendelkez˝ o prefix k´ odok létezésének ugyanaz a feltétele, mint annak, hogy létezzen ilyen hossz´ us´ ag´ u k´ odszavakkal rendelkez˝ o egyértelm˝ uen dek´ odolhat´ o k´ od. T´ etel egy´ ertelm˝ uen dek´ odolhat´ o k´ odok l´ etez´ es´ enek sz¨ uks´ eges felt´ etel´ er˝ ol. Legyen X = {x1 , . . . , xM } egy M elem˝ u halmaz, és legyen u(xi ) e halmaz egy egyértelm˝ uen dek´ odolhat´ o k´ odja az Y = {1, . . . , d} d-elem˝ u ABC-vel. Ekkor az u(xi ) k´ odszavak M P n(i) k´ odhosszai teljes´ıtik a d−n(i) ≤ 1 egyenl˝ otlenséget. i=1

Bizony´ıt´ as. Jelölje ωj azon xi ∈ X, 1 ≤ i ≤ M , pontok számát, amelyek u(xi ) M P k´ odszav´ anak a hossza n(i) = j, és legyen r = sup n(i). Ezzel a jelöléssel d−n(i) = r P

ωj d−j , és a bizony´ıtand´ o egyenl˝otlenség

j=1

1≤i≤M r P j=1

i=1

ωj d−j ≤ 1 alakban is ´ırhat´ o. Ezen

egyenl˝otlenség igazolása érdekében vegy¨ unk egy pozit´ıv egész p számot, és ´ırjuk fel a  p pr r X X −1 −r p −j   = (ω1 d + · · · + ωr d ) = Nk d−k ωj d j=1

k=p

azonosságot, ahol

X

Nk =

ωi1 . . . ωip ,

(i1 ,...,ip ): i1 +···+ip =k

p ≤ k ≤ pr.

Azt ´ all´ıtom, hogy teljes¨ ul az Nk ≤ dk egyenl˝otlenség minden p ≤ k ≤ pr indexre. Val´ oban, az ωi1 . . . ωip szorzat azon u(xl1 ), . . . , u(xlp ) k´ odszósorozatok számával egyenl˝o, amelyekre n(l1 ) = i1 , . . . , n(lp ) = ip . Ezért Nk egyenl˝o azon u(xl1 ), . . . , u(xlp ) k´ odszósorozatok számával, amelyek ¨ osszhossza k-val egyenl˝o. Az egyértelm˝ u dek´ odolhat´ oság miatt az o¨sszes el˝ obb felsorolt k´ odszósorozat k¨ ul¨ onböz˝ o, ezért számuk kisebb, mint az osszes lehetséges k hossz´ ¨ us´ ag´ u az Y = {1, . . . , d} halmaz elemeit tartalmaz´ o sorozat k száma. Ezért Nk ≤ d , amint ´ all´ıtottuk. A fenti ¨ osszef¨ uggésekb˝ol k¨ ovetkezik, hogy  p pr r X X −j   ωj d ≤ dk · d−k = (p(r − 1) + 1) ≤ pr, j=1

ezért

r X j=1

k=p

ωj d−j ≤ (pr)1/p

minden p = 1, 2, . . . számra.

Innen p → ∞ határ´ atmenetet véve azt kapjuk, hogy r X j=1

ωj d−j ≤ lim (pr)1/p = 1, p→∞

22

ahonnan k¨ ovetkezik a tétel ´ all´ıt´ asa. A bizony´ as gondolatának jobb megértése érdekében érdemes megjegyezni, hogy a !pıt´ r P ωj d−j kifejezés becslésében felhasznált Nk ≤ dk egyenl˝otlenség indokl´ asa azon j=1

alapult, hogy a k ≤ pr hossz´ us´ ag´ u k´ odszavak egyértelm˝ uen dek´ odolhat´ oak. A tekintett k´ od egyértelm˝ u dek´ odolhat´ oság´ at, azt, hogy a hossz´ u xl1 , . . . , xlp sorozatok k´ odjai is egyértelm˝ uen dek´ odolhat´ ok a p → ∞ határ´ atmenet alkalmazásakor haszn´ altuk ki. Legyen adva egy ξ val´ osz´ın˝ uségi v´ altoz´ o, amely értékeit egy X = {x1 , . . . , xM } halmazon veszi fel, és P (ξ = xi ) = p(i), 1 ≤ i ≤ M . Legyen u(xi ), xi ∈ X, az X halmaz elemeinek egy olyan k´ odja, amelyre u(xi ) egy n(i) hossz´ us´ ag´ u az Y = {1, . . . , d} halmaz elemeib˝ ol a´ll´ o sorozat. Jelölje |u(ξ)| a ξ val´ osz´ın˝ uségi v´ altoz´ o u(ξ) k´ odj´ anak a hosszát, azaz, ha ξ = xi , akkor bevezetve az |u(xi )| = n(i) jelölést azt ´ırhatjuk, hogy u(ξ) = u(xi ), és |u(ξ)| = n(i). Az u(ξ) véletlen k´ odszó |u(ξ)| hosszának a v´ arhat´ o értéke M P E|u(ξ)| = p(i)n(i). Az u(ξ) véletlen k´ odszó hosszának a v´ arhat´ o értékére k´ıvánunk i=1

j´ o als´ o becslést adni, ha u(xi ), xi ∈ X prefix, illetve ´ altal´ anosabban, ha az egyértelm˝ uen dek´ odolhat´ o k´ od. Ezenk´ıv¨ ul j´ o fels˝o becslést is akarunk adni egy j´ ol v´ alasztott prefix k´ od hosszának a v´ arhat´ o értékére. Tudjuk, hogy akkor és csak akkor létezik n(i), 1 ≤ i ≤ M , hossz´ u, az Y = {1, . . . , d} ABC-t haszn´ al´ o k´ odszavakkal rendelkez˝ o prefix, illetve ´ altal´ anosabban egyértelm˝ uen M P dek´ odolhat´ o k´ od, ha teljes¨ ul a d−n(i) ≤ 1 egyenl˝otlenség. Ezért problémánk ahhoz i=1

az egész-érték˝ u széls˝ oérték feladathoz vezet, hogy keress¨ uk meg a

M P

p(i)n(i) kifejezés

i=1

(majdnem) optimumát a

M P

i=1

d−n(i) ≤ 1 feltétel mellett. Ezen optimaliz´ aciós probléma

vizsgálatában hasznos az al´ abbi becslés, amelyet I-divergencia t´ıpus´ u becslésnek fogok h´ıvni. Ugyanis, mint egy megjegyzésben elmagyar´ azom, ez a becslés tekinthet˝ o, u ´gy mint az inform´ acióelmélet egyik fontos, a kés˝obb bevezetend˝ o I-divergenci´ ar´ ol szól´ o becslésének a speci´ alis esete. Egy I-divergencia t´ıpus´ u becsl´ est megfogalmaz´ o lemma. Legyen a1 , a2 , . . . és b1 , b2 , . . . két véges vagy végtelen, ugyanannyi elemet tartalmaz´ o sorozat, amelyekre ai ≥ P P 0, bi ≥ 0 minden i indexre, és a = ai < ∞, 0 < b = bi < ∞. Ekkor i

X i

ai log

i

a ai ≥ a log . bi b

Egyenl˝ oség akkor és csak akkor érvényes, ha elhagyva azon (ai , bi ) p´ arokat, amelyekre ai a ai = bi = 0 bi = b minden i indexre. (Ezen egyen˝ otlenségben az x · log x0 = 0, ha x ≥ 0, ot alkalmazzuk.) és x · log x0 = ∞, ha x > 0 konvenci´ Bizony´ıt´ as. Fel fogjuk haszn´ alni, hogy az els˝ o fejezetben bevezetett és vizsgált g(x) = x log x, x ≥ 0, f¨ uggvény konvex. A g(x) f¨ uggvény a konvexit´ asát az ui = abii koordin´ at´ ak, 23

és pi = Pbib = i

bi b

s´ ulyok v´ alaszt´ asával fogom alkalmazni. (Nyilv´ an pi ≥ 0, és

i

1.) A g(x) f¨ uggvény konvexit´ asát felhasználva azt kapjuk, hogy ! a X X X a ai =b pi g(ui ) ≥ bg = a log . pi ui = bg ai log bi b b i i i

P

p(i) =

i

A g(·) szigor´ u konvexit´ asáb´ ol k¨ ovetkezik, hogy egyenl˝oség csak a lemmában megadott esetben van. Megjegyz´ eP s. A fenti lemmát k¨ onnyen reduk´ alni lehet arra a speci´ alis esetre, amikor P otlenség jobboldal´ an 0 a´ll. Ez a rei ai = i bi = 1. Ebben az esetben az egyenl˝ duk´ alt egyenl˝otlenség felfogható az al´ abbi egyenl˝otlenség speciális esetének. Legyen µ és ν két olyan val´ osz´ın˝ uségi mérték ugyanazon az (X, X ) mérhet˝ o téren, amelyekre dν a ν mértéknekek a µ a ν mérték abszolut folytonos a µ mértékre nézve. Jelölje dµ R dν (x) dν(x) ≥ 0. Ez az mérték szerinti Radon–Nikodym deriváltj´ at. Ekkor X log dµ egyenl˝otlenség tekinthet˝ ou ´gy, mint a kés˝obb bevezetend˝ o I-divergencia egy fontos tulajdonsága. Egyébként ez az egyenl˝otlenség a lemmához hasonlóan bizony´ıthat´ o. A most ismertetett lemma seg´ıt az al´ abbi eredmény bizony´ıt´ asában. T´ etel egy´ ertelm˝ uen dek´ odolhat´ o´ es prefix k´ odok hossz´ anak v´ arhat´ o´ ert´ ek´ er˝ ol. Vegye fel egy ξ val´ osz´ın˝ uségi v´ altoz´ o értékeit egy X = {x1 , . . . , xM } halmazon, amelynek az eloszl´ as´ at a P (ξ = xi ) = p(i), 1 ≤ i ≤ M , képlet adja meg. Legyen u(xi ), xi ∈ X, az X halmaznak egy az Y = {1, . . . , d} halmaz seg´ıtségével defini´ alt prefix, vagy a ´ltal´ anosabban, egyértelm˝ uen dek´ odolhat´ o k´ odja, és jel¨ olje n(i) az u(xi ) k´ odsz´ o sz´ ohossz´ at. Ekkor az u(ξ) véletlen k´ odsz´ o |u(ξ)| hossz´ anak a v´ arhat´ o értéke teljes´ıti az E|u(ξ)| =

M X i=1

p(i)n(i) ≥

H(ξ) log d

egyenl˝ otlenséget. Megford´ıtva, létezik az X halmaznak olyan prefix k´ odja, amelyre E|u(ξ)| =

M X i=1

p(i)n(i) ≤

H(ξ) + 1. log d

Bizony´ıt´ as. Legyen u(xi ), 1 ≤ i ≤ M , az X halmaznak az Y = {1, . . . , d} ABC seg´ıtségével definiált egyértelm˝ uen dek´ odolhat´ o k´ odja, és legyen n(i) az u(xi ) k´ odszó M P k´ odhossza. Tudjuk, hogy ekkor d−n(i) ≤ 1. Alkalmazzuk az el˝ oz˝ o lemmában bii=1

zony´ıtott egyenl˝otlenséget ai = p(i) és bi = d−n(i) , 1 ≤ i ≤ M , v´ alaszt´ assal. Ekkor M M P P a= ai = 1, és b = bi ≤ 1, ahonnan i=1

i=1

M X i=1

p(i) log(p(i)d

n(i)

)=

M X i=1

24

ai log

a ai ≥ a log ≥ 0. bi b

Teh´ at log d ·

M P

i=1

n(i)p(i) ≥ −

M P

i=1

p(i) log p(i), azaz log d · Eu|(ξ)| ≥ H(ξ), és ezt kellett

bel´ atni. L´ attuk, hogy a tétel m´ asodik felének igazolása érdekében olyan n(i), 1 ≤ i ≤ M P M , pozit´ıv egész számokat kell tal´ alnunk, amelyekre d−n(i) ≤ 1, és az E|u(ξ)| = i=1

M P

p(i)n(i) v´ arhat´ o érték viszonylag kicsi. Természetes olyan n(i) számokat v´ alasztani,

i=1

amelyekre az E|u(ξ)| v´ arhat´ o értékre adott als´ o becslés bizony´ıt´ asában felhasznált Idivergencia t´ıpus´ u becslést megfogalmazó lemmában szerepl˝o egyenl˝otlenség majdnem egyenl˝oséggel teljes¨ ul. Ezért v´ alasszunk olyan n(i) egész számokat, amelyekre d−n(i) ≤ −n(i) p(i), és a d szám olyan k¨ ozel van a p(i) számhoz, amennyire ez a feltétel megengedi. Ennek alapj´ an a k¨ ovetkez˝ o v´ alaszt´ ast tessz¨ uk. Legyen minden 1 ≤ i ≤ M indexre n(i) az M M P P −n(i) −n(i) p(i) = 1, azaz létezik d ≤ ≤ d ≤ p(i). Ekkor az egész szám, amelyre p(i) d i=1

i=1

p(i) a k´ıvánt hossz´ us´ ag´ u k´ odszavakkal rendelkez˝ o prefix k´ od. Másrészt n(i) ≤ − log log d + 1, M M M P P P p(i) log p(i) és ezért E|u(ξ)| = + at e prefix p(i)n(i) ≤ − p(i) = H(ξ) log d log d + 1, teh´ i=1

i=1

i=1

k´ od hosszának a v´ arhat´ o értéke teljes´ıti a k´ıvánt egyenl˝otlenséget.

Az egyértelm˝ uen dek´ odolhat´ o és prefix k´ odok hosszának v´ arhat´ o értékér˝ ol szól´ o tétel fels˝o becslésének bizony´ıt´ asában definiált prefix k´ od hossza k¨ ozel van az optimumhoz, de nem feltétlen¨ ul egyenl˝o vele. Ugyanakkor ismert az optimális, u ´gynevezett Huffman k´ od konstrukci´ oja is. (Lásd Robert Ash: Information Theory, Lemma 2.6.2), amely eléggé bonyolult. Ezért e k´ od tulajdonságai nehezen vizsgálhat´ oak, és jelent˝osége korl´ atozott. Emiatt mi a Huffman k´ odot nem tárgyaljuk. Hasonl´ o jelenséggel tal´ alkoztunk, amikor f¨ uggetlen val´ osz´ın˝ uségi v´ altoz´ ok n hossz´ uság´ u sorozataiból ´ all´ o viszonylag kis elemszám´ u majdnem 1 val´ osz´ın˝ uség˝ u, alkalmasan definiált halmazok elemszámát becs¨ ult¨ uk. Ott sem az optimális halmaz elemszámát becs¨ ult¨ uk. Ez a legval´ osz´ın˝ ubb sorozatok alkalmas elemszám´ u halmaza lett volna. Ehelyett egy olyan csak aszimptotikusan optimális halmazt tekintett¨ unk, amelynek elemszámát a nagy számok törvénye seg´ıtségével j´ ol tudtuk becs¨ ulni. Megjegyzés. A most bizony´ıtott eredmények viszonylag rövid, hibátlanul dek´ odolhat´ o forr´ askódol´ ast biztos´ıtanak prefix k´ odok seg´ıtségével. Gyakorlati szempontb´ ol azonban a most ismertetett prefix k´ odok eredeti formájukban nem j´ ol haszn´ alhat´ oak. A f˝ o probléma az, hogy ha egy prefix k´ od dek´ odol´ asa sor´ an egyszer hibáztunk, akkor ennek a hibának a k¨ ovetkeztében az ¨ osszes tov´ abbi u ¨zenet dek´ odol´ asa hibás lehet. Ugyanis nem tudjuk, hogy az u ¨zenet tov´ abbi dek´ odoland´ o jelei hol kezd˝odtek. Az ilyen problémák lek¨ uzdésére érdemes olyan kissé lass´ ubb m´ odszereket kidolgozni, amelyekbe bizonyos jav´ıt´ asi lehet˝ oségeket ép´ıtenek be. Az ilyen, u ´gynevezett ‘error correcting codes’ m´ odszereknek k¨ ul¨ on elmélete van. Ezzel azonban itt nem foglalkozunk.

25

3. Csatorna k´ odol´ as ´ es dek´ odol´ as. E fejezet f˝ o témája az a kérdés, hogy hogyan lehet egy a jeleket esetleg hibával k¨ ozvet´ıt˝ o csatornán kereszt¨ ul viszonylag biztosan és gyorsan u ¨zeneteket a´tadni. A k¨ ovetkez˝ o fejezetben tárgyalom azt a kérdést, hogy az ebben és az el˝ oz˝o fejezetekben bizony´ıtott eredmények seg´ıtségével hogyan lehet egy h´ırforrás k¨ ozvet´ıtését egy csatornán kereszt¨ ul j´ ol tov´ abb´ıtani. Egy u ¨zenetnek egy (h´ırközlési) csatorna seg´ıtségével végrehajtott tov´ abbadása azt jelenti szemléletesen, hogy a csatorna bemeneti végén leadnak egy jelet, és ennek hatására valamilyen m´ asik jel jelenik meg a csatorna m´ asik, kimeneti végén. A kimeneti jel értéke f¨ ugghet a véletlent˝ol, és az, hogy a kimeneti oldalon milyen val´ osz´ın˝ uséggel milyen jel jelenik meg, attól f¨ ugg, hogy mi volt a bemeneti jel. Egy felhasznál´ o, aki a kimeneti jelet megismeri, megprób´ al ennek alapj´ an visszakövetkeztetni a leadott bemeneti jelre. Olyan eljár´ ast akarunk kidolgozni a csatorna tulajdonságainak az ismeretében, amely lehet˝ ové teszi, hogy a felhasznál´ o viszonylag nagy val´ osz´ın˝ uséggel helyesen k¨ ovetkeztessen a leadott bemeneti jelre akkor is, ha a bemeneti jelek száma viszonylag nagy. Fogalmazzuk meg ezt a v´ azlatosan le´ırt problémát pontosabban. Ennek érdekében bevezetem el˝ osz¨ or a (h´ırközlési) csatorna fogalmát. (H´ırk¨ ozl´ esi) csatorna ´ es e csatorna ´ altal ¨ osszekapcsolt val´ osz´ın˝ us´ egi v´ altoz´ ok ˜ definici´ oja. Legyen adva két V = {v1 , v2 , . . . } és V = {˜ v1 , v˜2 , . . . } véges vagy megsz´ aml´ alhat´ oan végtelen halmaz. Egy p(˜ vj |vi ), vi ∈ V , v˜j ∈ V˜ , a ´tmenetval´ osz´ın˝ uség f¨ uggvényt a V és V˜ halmaz k¨ oz¨ otti csatorn´ anak nevez¨ unk. Az, hogy a p(˜ vj |vi ), vi ∈ V , ˜ v˜j ∈ V f¨ uggvény a ´tmenetval´ osz´ın˝ uség f¨ uggvény azt jelenti, hogy p(˜ vj |vi ) ≥ 0 minden P ˜ p(˜ vj |vi ) = 1 minden vi ∈ V elemre. A V halmazt vi ∈ V és v˜j ∈ V p´ arra, és v ˜j ∈V˜

a csatorna bemeneti, a V˜ halmazt a csatorna kimeneti oldal´ anak fogjuk h´ıvni, a vi ∈ ˜ V pontokat bemeneti, a v˜j ∈ V pontokat pedig kimeneti jeleknek fogjuk nevezni. Azt mondjuk hogy két η és η˜ val´ osz´ın˝ uségi v´ altoz´ o o ¨ssze van kapcsolva a p(˜ vj |vi ), vi ∈ V , v˜j ∈ V˜ , csatorn´ aval ha η(ω) ∈ V , η˜(ω) ∈ V˜ minden ω elemi eseményre, és P (˜ η = ˜ v˜j |η = vi ) = p(˜ vj |vi ) minden vi ∈ V és v˜j ∈ V elemp´ arra. Ha egy csatornán leadunk valamely vi ∈ V bemeneti jelet, akkor a felhasznál´ o p(˜ vj |vi ) val´ osz´ın˝ uséggel kapja a v˜j kimeneti jelet. Ezen kimeneti jel seg´ıtségével pr´ ob´ alja megtal´ alni a bemeneti jel értékét. Ennek érdekében természetes a k¨ ovetkez˝ o t´ıpus´ u eljár´ as alkalmazása. A bemeneti oldalon alkalmas m´ odon kiválasztunk néh´ any vi1 ∈ V , . . . , viN ∈ V elemet bizonyos N elemszámmal, és ezen jelek valamelyikét adjuk le a csatornán. Ezeknek a bemeneti jeleknek a kiválaszt´ asát nevezz¨ uk csatorna k´ odol´ asnak. ´ Ugy k´ıvánjuk ezt a kiválaszt´ ast végrehajtani, hogy az egyes kiválasztott elemeket a csatornán leadva, azok nagy val´ osz´ın˝ uséggel k¨ ul¨ onböz˝ o halmazokba essenek. Ez a k¨ ovetkez˝ ot jelenti. Ha egy vi ∈ V jelet leadunk a csatornán, akkor jelölje az η˜(vi ) val´ osz´ın˝ uségi v´ altoz´ o a kimen˝ o jel értékét. Olyan vi1 ∈ V , . . . , viN ∈ V elemeket akarunk a k´ odol´ asban v´ alasztani, amelyekhez tal´ alhat´ oak olyan diszjunt B1 ⊂ V˜ , . . . , ˜ BN ⊂ V diszjunkt halmazok, amelyekre a P (˜ η (vik ) ∈ Bk ) val´ osz´ın˝ uségek minden 1 ≤ k ≤ N indexre viszonylag nagyok. Ha a kimeneti oldalon egy olyan v˜j jel je26

lent meg, amelyre v˜j ∈ Bk , akkor tekintse a felhasznál´ o a vik jelet a bemeneti jelnek. A Bk , 1 ≤ k ≤ N , halmazok kiválaszt´ asát és a Bk → vik leképezés megadását csatorna N S dek´ ododolásnak nevezz¨ uk. E definici´ ot u ´gy adtam meg, hogy amennyiben v˜j ∈ / Bk i=k

akkor az itt ismertetett eljár´ as szerint nem dek´ odoljuk a v˜j kimenetet. Az azonban, hogy ezt az elvet k¨ ovetj¨ uk-e, vagy olyan eljár´ ast adunk, amelyikben mindig tudunk dek´ odolni csak apró ´ızlésbeli kérdés. A Bk halmazok kiterjesztésével ugyanis azt is elérhetj¨ uk, hogy ezek a halmazok ne csak diszjunktak legyenek, hanem egyben a V˜ halmaz egy particióját is szolg´ altass´ ak. Ilyen v´ alaszt´ assal minden kimenetet tudunk dek´ odolni, és az eljár´ asban a j´ o dek´ odol´ as val´ osz´ın˝ usége a Bk halmazok kiterjesztése altal nem csökkent. Célunk viszonylag sok k´ ´ odszó kiválaszt´ asa u ´gy, hogy a dek´ odol´ as nagy val´ osz´ın˝ uséggel j´ o legyen. A kés˝obbi eredmények pontos megfogalmazásának az érdekében vezess¨ uk be a k¨ ovetkez˝ o definici´ ot. Egy csatorna ´ altal λ megk¨ ul¨ onb¨ oztethet˝ o elemekb˝ ol ´ all´ o halmaz definici´ oja. Legyen adva két V = {v1 , v2 , . . . } és V˜ = {˜ v1 , v˜2 , . . . } véges vagy megsz´ aml´ alhat´ oan ˜ végtelen halmaz és k¨ ozt¨ uk egy p(˜ vj |vi ), vi ∈ V , v˜j ∈ V csatorna. Ha egy vi1 ∈ V , . . . , viN ∈ V sorozat elemeihez léteznek olyan B1 ⊂ V˜ , . . . BN ⊂ V˜ diszjunkt halmazok, amelyekre P (Bk |vik ) =

X

j∈Bk

p(˜ vj |vik ) ≥ 1 − λ

minden 1 ≤ k ≤ N indexre,

akkor azt mondjuk, hogy az A = {vi1 , . . . , viN } halmaz elemei λ megk¨ ul¨ onb¨ oztethet˝ oek. Megjegyzés. Az el˝ obbi definici´ oban fel´ırt egyenl˝otlenséget u ´gy is megfogalmazhatjuk, hogy amennyiben η és η˜ két a csatornával ¨ osszekapcsolt val´ osz´ın˝ uségi v´ altoz´ o, akkor P (˜ η ∈ Bk |η = vik ) ≥ 1 − λ

minden 1 ≤ k ≤ N indexre.

A kés˝obbiekben többsz¨ or ezt a jellemzését fogjuk haszn´ alni az egy csatorna a´ltal λ megk¨ ul¨ onböztethet˝o elemekb˝ ol ´ all´ o halmazoknak. Egy az el˝ obb le´ırt m´ odon definiált j´ o, azaz kis hibáj´ u csatorna k´ odol´ as, dek´ odol´ as definici´ oja egy λ megk¨ ul¨ onböztethet˝o elemekb˝ ol ´ all´ o vi1 ∈ V , . . . , viN ∈ V sorozat megadását jelenti kis λ > 0 paraméterrel az e sorozatokhoz tartozó B1 ⊂ V˜ , . . . , BN ⊂ V˜ halmazokkal egy¨ utt. A minket érdekl˝ o feladatokban val´ ojában nem egy jelet, hanem egy jelsorozat elemeit adjuk le egym´ as ut´ an a csatornán, és célunk ennek a jelsorozatnak a minél pontosabb azonos´ıt´ asa. Minket az az eset érdekel els˝ osorban, amikor a jelsorozat egyes jelei egym´ ast´ ol f¨ uggetlen¨ ul, és ugyanolyan törvényszer˝ uségek szerint mennek ´ at a csatornán. Ebben a jegyzetben csak ezt az esetet fogom tárgyalni. A probléma pontos megfogalmazása érdekében bevezetem az emlékezet nélk¨ uli csatorna fogalmát. Eml´ ekezet n´ elk¨ uli csatorna definici´ oja. Legyen adva két V = {v1 , v2 , . . . } és ˜ V = {˜ v1 , v˜2 , . . . } véges vagy megsz´ aml´ alhat´ o halmaz, és k¨ oz¨ ott¨ uk egy p(˜ vj |vi ), vi ∈ V , 27

v˜j ∈ V˜ , a ´tmenetval´ osz´ın˝ uségekkel defini´ alt csatorna. Az e csatorna a ´ltal defini´ alt n hossz´ us´ ag´ u emlékezet nélk¨ uli csatorna olyan csatorna, amelynek bemeneti jelei a V n , kimeneti jelei a V˜ n halmaz elemei, azaz az n hossz´ us´ ag´ u vik illetve v˜jk , 1 ≤ k ≤ n, elemekb˝ ol a ´ll´ o sorozatok, a ´tmenetval´ oszin˝ usége pedig p((˜ vj1 , . . . , v˜jn )|(vi1 , . . . , vin )) = n Q p(˜ vjk |vik ) tetsz˝ oleges v = (vi1 , . . . , vin ) ∈ V n , és v˜ = (˜ vj1 , . . . , v˜jn ) ∈ V˜ n sorozak=1

tokra.

Az emlékezet nélk¨ uli csatorna természetes megfelel˝ oje a f¨ uggetlen, egyforma eloszlás´ u val´ osz´ın˝ uségi v´ altoz´ ok sorozatainak. Azt a kérdést fogjuk vizsgálni, hogy egy n hossz´ us´ ag´ u emlékezet nélk¨ uli csatorna bemeneti oldal´ an aszimptotikusan hány a csatorna ´ altal λ megk¨ ul¨ onböztethet˝o elemet tartalmaz´ o halmazt lehet kiválasztani nagy n és rögz´ıtett 0 < λ < 1 szám esetén. Be fogjuk látni, hogy nagyon a´ltal´ anos feltételek mellett ez a szám 2Cn(1+o(1)) , ahol a C szám, amelyet csatorna kapacitásnak fogunk h´ıvni, a csatorna tulajdonságait´ ol f¨ ugg. Ahhoz, hogy az eredményt pontosan megfogalmazzam definiálni kell a csatorna kapacitást. Ennek érdekében bevezetem el˝osz¨ or két val´ osz´ın˝ uségi v´ altoz´ o k¨ olcsön¨ os inform´ aciójának a fogalmát. A k¨ olcs¨ on¨ os inform´ aci´ o fogalma. Legyen η és η˜ két értékeiket egy V = {v1 , v2 , . . . } ˜ illetve V = {˜ v1 , v˜2 , . . . } véges vagy megsz´ aml´ alhat´ o halmazon felvev˝ o val´ osz´ın˝ uségi v´ altoz´ o, és jel¨ olje r(vi , v˜j ) = P (η = vi , ηP ˜ = vj ), vi ∈ V , v˜j ∈ V˜ , az egy¨ uttes P eloszl´ asukat. r(vi , vj ), r(vi , v˜j ) és q(˜ vj ) = P (˜ η = v˜j ) = Vezess¨ uk be a p(vi ) = P (η = vi ) = v ˜j V˜

vi ∈V

vi ∈ V , v˜j ∈ V˜ , mennyiségeket is. Ezzel a jel¨ oléssel az η és η˜ val´ osz´ın˝ uségi v´ altoz´ ok k¨ olcs¨ on¨ os inform´ aci´ oja az X r(vi , v˜j ) I(η ∧ η˜) = r(vi , v˜j ) log p(vi )q(˜ vj ) vi ∈V,˜ vj ∈V˜

kifejezéssel egyenl˝ o. Az I(η ∧ η˜) k¨ olcs¨ on¨ os inform´ aci´ ot kifejez˝ o o ¨sszegben csak olyan (vi , v˜j ) p´ arokra o ¨sszegez¨ unk, amelyekre r(vi , v˜j ) > 0. ´ enyes az I(η ∧ η˜) ≥ 0 egyenT´ etel a k¨ olcs¨ on¨ os inform´ aci´ o viselked´ es´ er˝ ol. Erv´ l˝ otlenség, és egyenl˝ oség akkor és csak akkor a ´ll fenn ebben a formul´ aban, ha η és η˜ f¨ uggetlenek. P r(vi , v˜j ), Bizony´ıt´ as. Alkalmazzuk az r(vi , v˜j ) = P (η = vi , η˜ = v˜j ), és p(vi ) = q(˜ vj ) =

P

vi ∈V

v ˜j ∈V˜

r(vi , v˜j ) vi ∈ V , v˜j ∈ V˜ , jelöléseket. Azt kapjuk, felhasználva a g(x) =

x log x f¨ uggvény szigor´ u konvexit´ asát, hogy X X r(vi , v˜j ) r(vi , v˜j ) = p(vi )q(˜ vj )g I(η ∧ η˜) = r(vi , v˜j ) log p(vi )q(˜ vj ) p(vi )q(˜ vj ) ˜ ˜ vi ∈V,˜ vj ∈V vi ∈V,˜ v j ∈V   X r(vi , v˜j ) = g(1) = 0, ≥ g vi ∈V,˜ vj ∈V˜

28

Ebben a számol´ asban a g(x) f¨ uggv´ eny konvexit´ asát alkalmaztuk a p(vi )q(˜ vj ) s´ ulyf¨ uggP p(vi )q(˜ vj ) = 1, és p(vi )q(˜ vj ) ≥ 0 minden i és vénnyel. Vegy¨ uk észre, hogy vi ∈V,˜ vj ∈V˜

j indexre. Tov´ abbá felhasználtuk azt is, hogy mivel a g(x), x ≥ 0, f¨ uggvény alulr´ ol korl´ atos, ezért jogunk van a bizony´ıt´ asban haszn´ alt konvexit´ asi tulajdonságot akkor is haszn´ alni, ha végtelen sok osztópontot tekint¨ unk. Egyenl˝oség a g(x) f¨ uggvény szigor´ u r(vi ,˜ vj ) ol nem f¨ ugg˝o konvexit´ asa miatt csak akkor teljes¨ ul, ha p(vi )q(˜vj ) = α egy az i és j indext˝ α számmal minden i és j indexre. (Ha p(vi )q(˜ vj ) = 0,Pakkor r(vi , v˜j ) =P0, és ekkor ezt a törtet tetsz˝oleges m´ odon definiálhatjuk.) De mivel p(vi )q(˜ vj ) = r(vi , v˜j ) = 1, vi ,˜ vj

vi ,˜ vj

ez csak akkor lehetséges, hogy α = 1, azaz az η és η˜ val´ osz´ın˝ uségi v´ altoz´ ok f¨ uggetlenek.

1. megjegyzés. Ha az η˜ val´ osz´ın˝ uségi v´ altoz´ o entr´ opiája teljes´ıti a H(˜ η ) < ∞ feltételt (vagy H(η) < ∞), akkor az η és η˜ val´ osz´ın˝ uségi v´ altoz´ ok k¨ olcsön¨ os inform´ aciója egyszer˝ ubben is kifejezhet˝o, és az el˝ oz˝ o tétel ´ all´ıt´ asa k¨ ovetkezik az entr´ opia m´ ar bizony´ıtott tulajdonságaiból is. Ekkor X r(vi , v˜j ) I(η ∧ η˜) = r(vi , v˜j ) log p(vi )q(˜ vj ) vi ∈V,˜ vj ∈V˜

=

X

r(vi , v˜j ) log

vi ∈V,˜ vj ∈V˜

r(vi , v˜j ) − q(˜ vj )

X

r(vi , v˜j ) log p(vi )

vi ∈V,˜ vj ∈V˜

= H(˜ η ) − H(˜ η |η), ahonnan (Iη ∧ η˜) = H(˜ η ) − H(˜ η |η) ≥ 0, és egyenl˝oség csak akkor a´ll fenn, ha η és η˜ f¨ uggetlen val´ osz´ın˝ uségi v´ altoz´ ok. Ha a H(η) < ∞ feltétel is teljes¨ ul, akkor I(η ∧ η˜) = H(η) + H(˜ η ) − H(η, η˜) = H(η) − H(η|˜ η ) = H(˜ η ) − H(˜ η |η).

´ 2. megjegyzés. Erdemes felidézni az els˝ o fejezetben tárgyalt eredményeket és tárgyalni azok kapcsolat´ at a k¨ olcsön¨ os inform´ ació fogalmával. El˝osz¨ or azt a példát tárgyaltuk, hogy ha egy mérk˝ ozéssorozat ξ1 , . . . , ξn eredményei egym´ ast´ ol f¨ uggetlen és egy ξ valósz´ın˝ uségi v´ altoz´ oval azonos eloszl´ as´ u val´ osz´ın˝ uségi v´ altoz´ ok, akkor k¨ or¨ ulbel¨ ul 2nH(ξ) szelvényt kell kit¨ olteni annak érdekében, hogy majdnem biztosan legyen telitalálatunk. Ha ismerj¨ uk egy m´ asik mérk˝ ozéssorozat η1 , . . . , ηn eredményeit, és a (ξ1 , η1 ), . . . , (ξn , ηn ) eredménypárok egym´ ast´ ol f¨ uggetlen, és egy (ξ, η) véletlen vektorral azonos eloszl´ as´ u val´ osz´ın˝ uségi v´ altoz´ ok, akkor az η1 , . . . , ηn mérk˝ ozéssorozat eredményeinek ismeretében k¨ or¨ ulbel¨ ul 2nH(ξ|η) szelvényt kell kit¨ olten¨ unk a majdnem biztos telitalálat eléréséhez, −n(H(ξ)−H(ξ|η)) −nI(ξ∧η) tehát k¨ or¨ ulbel¨ ul 2 =2 -szoros´ at annak amennyi szelvényt akkor kell kit¨ olten¨ unk, ha az η1 , . . . , ηn mérk˝ ozéssorozat eredményeit nem ismerj¨ uk. Ezt az eredményt heurisztikusan u ´gy is interpretálhatjuk, hogy az ηj val´ osz´ın˝ uségi v´ altoz´ o ismerete I(ξ ∧η)-vel csökkenti a ξj val´ osz´ın˝ uségi v´ altoz´ o megismeréséhez sz¨ ukséges inform´ aciót. Az I(ξ∧η) = H(ξ)−H(ξ|η) = H(η)−H(η|ξ) azonosság azt jelenti, hogy a k¨ olcsön¨ os inform´ aciónak ebben az interpretációjában a ξ és η val´ osz´ın˝ uségi v´ altoz´ ok szerepe felcserélhet˝ o. Bevezetem a csatorna kapacitás fogalmát. 29

A csatorna kapacit´ as fogalma. Legyen adva két V = {v1 , v2 , . . . } és V˜ = {˜ v1 , v˜2 , . . . } véges vagy megsz´ aml´ alhat´ o halmaz, és k¨ oz¨ ott¨ uk egy p(˜ vj |vi ), vi ∈ V , v˜j ∈ V˜ , a ´tmenetval´ osz´ın˝ uségekkel defini´ alt csatorna. A csatorna kapacit´ as´ at a C = sup I(η ∧ η˜) η,˜ η

képlet adja meg, ahol a szuprémumban az o ¨sszes a csatorna a ´ltal o ¨sszekapcsolt (η, η˜) val´ osz´ın˝ uségi v´ altoz´ o p´ art tekintj¨ uk. Megjegyzés. L´ attuk, hogy egy csatorna kapacitása mindig nagyobb vagy egyenl˝o, mint nulla. S˝ot, jellemezni lehet azt az esetet is, amikor a csatorna kapacitás null´ aval egyenl˝o. Ez akkor k¨ ovetkezik be, ha bármely két a csatornával ¨ osszekapcsolt η és η˜ val´ osz´ın˝ uségi v´ altoz´ o f¨ uggetlen. Nem nehéz bel´ atni, hogy ez akkor és csak akkor lehetséges, ha a csatornát meghat´ arozó p(˜ vj |vi ) a´tmenetval´ osz´ın˝ uségek nem f¨ uggnek a vi bemeneti jel értékét˝ ol. Ez azt jelenti, hogy bármely bemeneti jel lead´ asa esetén ugyanolyan val´ osz´ın˝ uséggel kapjuk bármely kimeneti jelet. Ekkor a kimeneti jel ismerete semmilyen inform´ aciót nem ny´ ujt arr´ ol, hogy milyen bemeneti jelet adtak le. E fejezet f˝ o eredményei arra adnak becslést, hogy, milyen nagy, azaz hány λ megk¨ ulönböztethet˝o elemet tartalmaz´ o halmazt lehet konstru´ alni egy n hossz´ us´ ag´ u emlékezet nélk¨ uli csatorna bemeneti oldal´ an. A k¨ ovetkez˝ o eredményeket fogom bel´ atni. Csatorna k´ odol´ asi t´ etel. Legyen adva adva két V = {v1 , v2 , . . . } és V˜ = {˜ v1 , v˜2 , . . . } véges vagy megsz´ aml´ alhat´ o halmaz, és k¨ oz¨ ott¨ uk egy p(˜ vj |vi ), vi ∈ V , v˜j ∈ V˜ , a ´tmenetval´ osz´ın˝ uségekkel defini´ alt C < ∞ csatorna kapacit´ as´ u csatorna. Tekints¨ unk egy ezen csatorna a ´ltal defini´ alt n hossz´ us´ ag´ u emlékezet nélk¨ uli csatorn´ at. Minden 0 < λ < 1 és ε > 0 sz´ amhoz létezik olyan n0 = n0 (ε, λ) k¨ usz¨ obindex u ´gy, hogy amennyiben n ≥ n0 , (k) (k) (1−ε)Cn akkor létezik N ≥ 2 n hossz´ us´ ag´ u (vj1 , . . . , vjn ) ∈ V n , 1 ≤ k ≤ N , alak´ u λ megk¨ ul¨ onb¨ oztethet˝ o sorozatot tartalmaz´ o halmaz ennek az n hossz´ us´ ag´ u emlékezet nélk¨ uli csatorn´ anak a bemeneti oldal´ an. A fenti eredmény megford´ıt´ asát, azaz egy λ megk¨ ul¨ onböztethet˝o halmaz elemszám´ ara adott fels˝o becslést csak véges ´ allapotter˝ u csatornákra fogom bizony´ıtani. Egy csatornát véges ´ allapotter˝ unek nevezek, ha mind a bemeneti jelek V mind a kimeneti ˜ jelek V halmaza véges elemszám´ u. A csatorna k´ odol´ asi t´ etel megford´ıt´ asa. Legyen adva két V = {v1 , . . . , vm } és ˜ V = {˜ v1 , . . . , vñ } véges halmaz, és k¨ oz¨ ott¨ uk egy p(˜ vj |vi ), vi ∈ V , v˜j ∈ V˜ , a ´tmenetval´ osz´ın˝ uségekkel defini´ alt véges a ´llapotter˝ u C < ∞ csatorna kapacit´ as´ u csatorna. Tekints¨ unk egy ezen csatorna a ´ltal defini´ alt n hossz´ us´ ag´ u emlékezet nélk¨ uli csatorn´ at. Legyen A a V n halmaz egy λ megk¨ ul¨ onb¨ oztethet˝ o sorozatokat tartalmaz´ o részhalmaza valamely 0 < λ < 1 sz´ ammal. Ekkor létezik olyan n0 = n0 (ε, λ) k¨ usz¨ obindex, hogy amennyiben n ≥ n0 , akkor az A halmaz elemsz´ ama kisebb, mint 2(1+ε)Cn . S˝ ot, igaz a k¨ ovetkez˝ o élesebb becslés. Minden n ≥ 1 sz´ amra az adott tulajdons´ ag´ u A halmaz elemsz´ ama kisebb, √ √ 2 Cn+K n/ 1−λ egy alkalmas, a csatorna tulajdons´ agait´ ol f¨ ugg˝ o K konstanssal. mint 1−λ 2 30

Megjegyzés. Az el˝ obb megfogalmazott eredményt az irodalomban gyakran a a csatorna k´ odol´ asi tétel er˝ os megford´ıt´ asának h´ıvj´ ak. E tétel bizony´ıt´ asában ki fogjuk haszn´ alni, ´ hogy a tekintett csatorna véges ´ allapotter˝ u. Altalános, nem feltétlen¨ ul véges a´llapotter˝ u csatornák esetében csak egy gyengébb ´ all´ıt´ ast tudnak bizony´ıtani, amelyet a csatorna k´ odol´ asi tétel gyenge megford´ıt´ asának neveznek. Mi ezzel az eredménnyel nem fogunk foglalkozni. Megelégsz¨ unk a csatorna k´ odol´ asi tétel er˝ os megford´ıt´ asának a bizony´ıt´ asával abban a speciális esetben, amikor a csatorna véges a´llapotter˝ u. Miel˝ott rátérnék a fenti tételek bizony´ıt´ asára, heurisztikus magyar´ azatot adok arra, hogy miért természetes ilyen eredményeket v´ arni. Ha adva van egy csatornát meghat´ arozó p(˜ vj |vi ), vi ∈ V , v˜j ∈ V˜ , a´tmenetval´ osz´ın˝ uség f¨ uggvény, akkor tekints¨ unk egy ehhez az ´ atmenetval´ osz´ın˝ uséghez adaptált µ mértéket a V × V˜ halmazon, azaz egy olyan µ val´ osz´ın˝ uségi mértéket, amelyre egy µ eloszl´ as´ u (η, η˜) véletlen vektor teljes´ıti a P (˜ η = v˜j |ηi = vi ) = p(˜ vj |vi ) azonosságot ˜ minden vi ∈ V és v˜j ⊂ V pontra. Válasszuk ezt a µ mértéket u ´gy, hogy egy µ eloszl´ as´ u (η, η˜) párra I(η ∧ η˜) = C, vagy legal´ abbis I(η ∧ η˜) nagyon k¨ ozel van a C csatorna kapacitáshoz. Tekints¨ uk a µ mérték µn n-ik hatvány´ at a V n × V˜ n szorzattéren, és jelölje ν1n és ν2n a µn mérték vet¨ uletét a V n illetve V˜ n térre. Pr´ ob´ aljunk a λ n n megk¨ ul¨ onböztethet˝o v1 ∈ V , v2 ∈ Vn , . . . , sorozatokat a ν1 mérték szerint tipikus sorozatok k¨ oz¨ ul kiválasztani, és v´ alasszuk a vk vektornak megfelel˝ o Bk halmazt u ´gy, n mint a µ (·|vk ) feltételes mérték szerinti tipikus sorozatok halmaz´ at, illetve ezen halmaz kis m´ odos´ıt´ asát. Ezt a m´ odos´ıt´ ast a Bk halmazok diszjunktság´ anak a biztos´ıt´ asa érdekében tessz¨ uk. Annak érdekében, hogy megbecs¨ ulj¨ uk hány ilyen (vk , Bk ) párt tudunk v´ alasztani becs¨ ulj¨ uk meg a Bk halmazok ν2n mértékét. Az els˝ o fejezet eredményei nH(˜ η |η) alapj´ an a Bk halmaz k¨ or¨ ulbel¨ ul 2 sorozatb´ ol ´ all, és az egyes sorozatok ν2n mértéke k¨ or¨ ulbel¨ ul 2−nH(˜η) . Ezért ν2n (Bk ) ∼ 2nH(˜η|η)−nH(˜η) = 2−nI(η∧˜η) , és k¨ or¨ ulbel¨ ul 2nI(η∧˜η) n ˜ Bk halmaz fedi le a V teret. Viszont, ha ennél sokkal kevesebb, nevezetesen csak 2n(1−ε)C ∼ 2(1−ε)nI(η∧˜η) szám´ u Bk halmazt v´ alasztunk, akkor b´ızhatunk abban, hogy ily m´ odon egy a csatorna k´ odol´ asi tételt teljes´ıt˝ o rendszert kapunk. A csatorna k´ odol´ asi tétel bizony´ıt´ asa tekinthet˝ ou ´gy, mint a fenti heurisztikus okoskodás rendbe tétele. Arra, hogy a fenti m´ odon végzett konstrukci´ o éles eredményt ad csak kevésbé meggy˝ oz˝ o heurisztikus érvet tudok adni. Mindenesetre jegyezz¨ uk meg, hogy bár a vk sorozatokat és a Bk hozz´ atartoz´ o halmazokat ebben a konstrukci´ oban egy véletlen szorzatmérték szerint v´ alasztottuk ki, ez a v´ alaszt´ as kevésbé speci´ alis, mint ahogy az els˝ o pillanatban látszik. A f¨ uggetlenségb˝ol csak azt haszn´ altuk ki, hogy a (vi , v˜j ) párok relat´ıv gyakoris´ aga el˝ o van ´ırva, és a tekintett µ mérték megv´ alaszt´ asával ezt a relat´ıv gyakoris´ agot ´ırtuk el˝ o. Ha j´ ol ´ırjuk el˝ o a kiválasztandó vk vektorokban szerepl˝o jelek relat´ıv gyakoris´ ag´ at akkor ezzel a megszor´ıt´ assal nem csökkentett¨ uk lényegesen a keresett λ megk¨ ul¨ onböztethet˝o sorozatokból ´ all´ o A halmaz nagyság´ at. Ezért szép esetekben a véletlen v´ alaszt´ as j´ o eredményt ad. A csatorna k´ odol´ asi tétel bizony´ıt´ asa két lemmán alapszik. Az els˝ o az emlékezet nélk¨ uli csatorna kapacitásár´ ol szól. Lemma az eml´ ekezet n´ elk¨ uli csatorna kapacit´ as´ ar´ ol. Legyen adva adva két ˜ V = {v1 , v2 , . . . } és V = {˜ v1 , v˜2 , . . . } véges vagy megsz´ aml´ alhat´ oan végtelen sz´ amoss´ ag´ u 31

halmaz, és k¨ oz¨ ott¨ uk egy p(˜ vj |vi ), vi ∈ V , v˜j ∈ V˜ , a ´tmenetval´ osz´ın˝ uségekkel defini´ alt C < ∞ csatorna kapacit´ as´ u csatorna. Adva két olyan η és η˜ val´ osz´ın˝ uségi v´ altoz´ o, amelyek o ¨ssze vannak kapcsolva ezzel a csatorn´ aval, tekints¨ uk f¨ uggetlen, az (η, η˜) p´ arral azonos eloszl´ as´ u véletlen vektorok egy (η1 , η˜1 ), . . . , (ηn , ηñ ) sorozat´ at, és defini´ aljuk az ιk = ιηk ∧˜ηk , 1 ≤ k ≤ n, val´ osz´ın˝ uségi v´ altoz´ okat a k¨ ovetkez˝ o képlet seg´ıtségével: p(˜ vj |vi ) vj ) = P (˜ η = v˜j ). Minden ε > 0 ιk = log q(˜vj ) , ha ηk = vi és η˜k = v˜j , ahol q(˜ sz´ amhoz megadhat´ oak olyan a csatorn´ aval o ¨sszekapcsolt η és η˜ val´ osz´ın˝ uségi v´ altoz´ ok, n n P P amelyekre n1 ιk = n1 ιηk ∧˜ηk ⇒ I(η ∧ η˜), ahol ⇒ sztochasztikus konvergenci´ at jel¨ ol, k=1

k=1

és I(η ∧ η˜) > (1 − ε)C. Ha feltessz¨ uk, hogy a tekintett csatorna olyan, hogy b´ armely e csatorn´ aval o ¨sszekapcsolt η és η˜ val´ osz´ın˝ uségi v´ altoz´ o p´ arra teljes¨ ul a H(˜ η ) < ∞ rel´ aci´ o is, akkor az is igaz, hogy egy az e csatorna a ´ltal defini´ alt n hossz´ us´ ag´ u emlékezet nélk¨ uli csatorna csatorna kapacit´ asa nC-vel egyenl˝ o. Megjegyzés. Val´ ojában, e lemmának csak az els˝ o, k¨ onnyen bizony´ıthat´ o részére lesz sz¨ ukség¨ unk. A m´ asodik részben megfogalmazott eredmény tárgyal´ asának ink´ abb elvi okai vannak. Ezen eredmény szemléletes tartalma az, hogy egy emlékezet nélk¨ uli csatorna kapacitását, azaz két ezen csatornával ¨ osszekapcsolt val´ osz´ın˝ uségi v´ altoz´ o k¨ olcsön¨ os inform´ acióját nem lehet blokkos´ıt´ assal növelni. A legjobb, amit tenni tudunk az, hogy az egyes koordin´ at´ aknak megfelel˝ o bemeneti és kimeneti jeleket egym´ ast´ ol f¨ uggetlen¨ ul optimálisan v´ alasztjuk. Ez egyébként azt is jelenti, hogy nem lehet a k´ odol´ asi tétel becslését trivi´ alis blokkos´ıt´ assal jav´ıtani. A csatorna k´ odol´ asi tétel megford´ıt´ asának a´ltalunk megfogalmazott és kés˝obb bizony´ıtand´ o alakj´ ab´ ol k¨ ovetkezik, hogy ez nem lehetséges véges ´ allapotter˝ u csatornákban. A fent megfogalmazott lemma eredménye kiz´ arja az ilyen t´ıpus´ u jav´ıt´ as lehet˝ oségét ´ altal´ anosabb csatornák esetében is. A H(˜ η ) < ∞ feltétel szerepeltetésének e lemma megfogalmazásában technikai okai vannak. E feltétel teljes¨ ulése vizsgálatainkat egyszer˝ ubbé teszi, mert ekkor elker¨ ul¨ unk bizonyos nem feltétlen¨ ul abszolut konvergens sorok ´ atrendezésével kapcsolatos kényelmetlen számolásokat. Bizony´ıt´ as. Válasszunk olyan a csatornával ¨ osszekapcsolt η és η˜ val´ osz´ın˝ uségi v´ altoz´ okat amelyekre I(η ∧ η˜) ≥ (1 − ε)C, ahol C a csatorna kapacitása. Ekkor Eιk =

X

P (η = vi , η˜ = v˜j ) log

vi ,˜ vj

= I(η ∧ η˜) ≥ (1 − ε)C,

X r(vi , v˜j ) p(˜ vj |vi ) = r(vi , v˜j ) log q(˜ vj ) p(vi )q(˜ vj ) vi ,˜ vj

ahol r(vi , v˜j ) = P (η = vi , η˜ = v˜j ), p(vi ) = P (η = vi ), és q(˜ vj ) = P (˜ η = v˜j ). Ezért a n P ιk ⇒ I(η ∧ η˜), ha n → ∞, és I(η ∧ η˜) ≥ nagy számok gyenge törvénye alapj´ an n1 k=1

(1 − ε)C. Egy n hossz´ us´ ag´ u emlékezet nélk¨ uli csatorna kapacitásának a kisz´ amol´ asa érdekében tekints¨ unk két ezen emlékezet nélk¨ uli csatorna ´ altal ¨ osszekapcsolt η = (η1 , . . . , ηn ) 32

és η˜ = (˜ η1 , . . . , ηñ ) véletlen vektort, és becs¨ ulj¨ uk meg az I(η ∧ η˜) k¨ olcsön¨ os inform´ aciót. n P Ennek érdekében el˝ osz¨ or megmutatom, hogy H(˜ η |η) = H(˜ ηk |ηk ). (Nem tettem fel, k=1

hogy az η illetve η˜ vektor koordin´ at´ ai f¨ uggetlenek.) Vezess¨ uk be a k¨ ovetkez˝ o jelöléseket:

p(vi1 , . . . , vin ) = P (η1 = vi1 , . . . , ηn = vin ), q(˜ vj1 , . . . , v˜jn ) = P (˜ η1 = v˜j1 , . . . , ηñ = v˜jn ), r(vi1 , . . . , vin , v˜j1 , . . . , v˜jn ) = P (η1 = vi1 , . . . , ηn = vin , η˜1 = v˜j1 , . . . , ηñ = v˜jn ). Ezekkel a jelölésekkel r(vi1 , . . . , vin , v˜j1 , . . . , v˜jn ) = p(vi1 , . . . , vin )

n Q

k=1

H(˜ η |η) =

X

r(vi1 , . . . , vin , v˜j1 , . . . , v˜jn ) log

X

r(vi1 , . . . , vin , v˜j1 , . . . , v˜jn )

=

X

k=1 (vi1 ,...,vin ),(˜ vj1 ,...,˜ vj n )

n X

k=1

(vi1 ,...,vin ),(˜ vj1 ,...,˜ vj n ) n X

n Y

p(˜ vjk |vik )

!

log p(˜ vjk |vik )

!

k=1

vj1 ,...,˜ vj n ) (vi1 ,...,vin ),(˜

=

p(˜ vjk |vik ), és

r(vi1 , . . . , vin , v˜j1 , . . . , v˜jn ) log p(˜ vjk |vik ).

Vezess¨ uk be a k¨ ovetkez˝ o mennyiségeket is: rk (vik , v˜jk ) = P (ηk = vik , η˜k = v˜jk ), 1 ≤ k ≤ n. Azt ´ all´ıtom, hogy ezzel a jelöléssel az utols´ o azonosság jobb oldal´ an lév˝o kifejezés bels˝ o o¨sszegét a k¨ ovetkez˝ o m´ odon ´ırhatjuk fel rögz´ıtett k indexre: X

(vi1 ,...,vin ),(˜ vj1 ,...,˜ vj n )

=

X

vj k ) (vik ,˜

r(vi1 , . . . , vin , v˜j1 , . . . , v˜jn ) log p(˜ vjk |vik )

rk (vik , v˜jk ) log p(˜ vjk |vik ).

Val´ oban, rögz´ıtve a tekintett ¨ osszegzésben a vik , és v˜jk argumentumokat, és o¨sszegezve az ¨ osszes többi argumentum szerint az rk (vik , v˜jk ) log p(˜ vjk |vik ) kifejezést kapjuk, majd ezekre az argumentumokra is ¨ osszegezve megkapjuk az el˝ obb fel´ırt azonosságot. Ezt az azonosságot ¨ osszegezve a k v´ altoz´ o szerint, és felhasználva az el˝ oz˝ o azonosságot azt kapjuk, hogy H(˜ η |η) =

n X

X

k=1 (vik ,˜ vj k )

rk (vik , v˜jk ) log p(˜ vjk |vik ) =

amint azt ´ all´ıtottam. 33

n X

k=1

H(˜ ηk |ηk ),

Vegy¨ uk észre, hogy feltételeink teljes¨ ulése esetében H(˜ η) ≤ I(η ∧ η˜) = H(˜ η ) − H(˜ η |η) ≤

n P

k=1

(H(˜ ηk ) − H(˜ ηk |ηk )) =

n P

k=1

n P

k=1

H(˜ ηk ) < ∞, ezért

I(ηk ∧ η˜k ). Tov´ abbá, ha

az η = (η1 , . . . , ηn ) és η˜ = (˜ η1 , . . . , ηñ ) véletlen vektorok az emlékezet nélk¨ uli csatorna szerinti o¨sszekapcsolt val´ osz´ın˝ uségi v´ altoz´ ok, akkor ezek (ηk , η˜k ), 1 ≤ k ≤ n, koordin´ at´ ai osszekapcsolt val´ ¨ osz´ın˝ uségi v´ altoz´ ok azon kiinduló csatorna szerint, amelynek a seg´ıtségével az emlékezet nélk¨ uli csatornát definiáltuk. Ezért I(ηk ∧ η˜k ) ≤ C, és a bizony´ıtott egyenl˝otlenségb˝ol az is k¨ ovetkezik, hogy I(η ∧ η˜) ≤ nC. Mivel ez tetsz˝oleges az emlékezet nélk¨ uli csatorna szerint ¨ osszekapcsolt η és η˜ véletlen vektorokra igaz, innen k¨ ovetkezik, hogy egy n hossz´ us´ ag´ u emlékezet nélk¨ uli csatorna csatorna kapacitása kisebb vagy egyenl˝o, mint nC. Annak érdekében, hogy bel´ assuk, hogy az n hossz´ us´ ag´ u emlékezet nélk¨ uli csatorna kapacitása val´ ojában egyenl˝o az nC mennyiséggel tekints¨ unk egym´ ast´ ol f¨ uggetlen, és az emlékezet nélk¨ uli csatornát meghat´ arozó csatornával ¨ osszekapcsolt (ηk , η˜k ), 1 ≤ k ≤ n, val´ osz´ın˝ uségi párokat. Ekkor az η = (η1 , . . . , ηn ) és η˜ = (˜ η1 , . . . , ηñ ) véletlen vektorok n P osszekapcsoltak az emlékezet nélk¨ ¨ uli csatorna ´ altal, és I(η ∧ η˜) = I(ηk ∧ η˜k ). Mivel k=1

minden ε > 0 számra az (ηk , η˜k ) párokat u ´gy is v´ alaszthatjuk, hogy az I(ηk ∧ η˜k ) ≥ C −ε rel´ ació teljes¨ uljön, innen k¨ ovetkezik, hogy egy n hossz´ us´ ag´ u emlékezet nélk¨ uli csatorna csatorna kapacitása nagyobb vagy egyenl˝o, mint nC. A lemmát bel´ attuk.

A k¨ ovetkez˝ o lemmában olyan als´ o becslést adunk egy alkalmasan konstru´ alt λ megk¨ ul¨ onböztethet˝o halmaz elemszámár´ ol, amely lehet˝ ové teszi, hogy az el˝ oz˝ o lemma seg´ıtségével bebizony´ıtsuk a csatorna k´ odol´ asi tételt. Als´ o becsl´ es alkalmasan konstru´ alt λ megk¨ ul¨ onb¨ oztethet˝ o elemeket tartalmaz´ o halmaz elemsz´ am´ ar´ ol. Legyen adva adva két V = {v1 , v2 , . . . } és V˜ = {˜ v1 , v˜2 , . . . } véges vagy megsz´ aml´ alhat´ o halmaz, és k¨ oz¨ ott¨ uk egy p(˜ vj |vi ), vi ∈ V , v˜j ∈ V˜ , a ´tmenetval´ osz´ın˝ uségekkel defini´ alt csatorna. Legyen η és η˜ két e csatorn´ aval o ¨sszekapcsolt val´ osz´ın˝ uségi v´ altoz´ o, és vezess¨ uk be a ιη∧˜η val´ osz´ın˝ uségi v´ altoz´ ot is a k¨ ovetkez˝ o p(vi |˜ vj ) vj ) = P (˜ η = v˜j ). képlet seg´ıtségével: ιη∧˜η = log q(˜vj ) , ha η = vi , és η˜ = v˜j , ahol q(˜ V´ alasszunk két tetsz˝ oleges z > 0 és 0 < λ < 1 sz´ amot. Létezik a bemeneti jelek V halmaz´ anak olyan λ megk¨ ul¨ onb¨ oztethet˝ o elemekb˝ ol a ´ll´ o részhalmaza, amelynek N elemsz´ ama teljes´ıti az N ≥ 2z (λ − P (ιη∧˜η < z)) egyenl˝ otlenséget. Miel˝ott le´ırn´ am a bizony´ıt´ ast ismertetem annak f˝ o gondolatát. Egy {vi1 , . . . , viN } λ megk¨ ul¨ onböztethet˝o elemekb˝ ol ´ all´ o halmazt keres¨ unk viszonylag nagy N elemszámmal, valamint a vik pontokhoz olyan diszjunkt Bk halmazokat akarunk társ´ıtani, amelyekre P ´ p(˜ vj |vik ) ≥ 1 − λ. Erdemes olyan Bk halmazokat v´ alasztani, amelyekre a P (˜ η∈ v ˜j ∈Bk P P p(˜ vj |vik ) ≥ 1−λ. (egy heurisztikus q(˜ vj ) val´ osz´ın˝ uségek kicsik. Mivel Bk ) = v ˜j ∈Bk

v ˜j ∈Bk

34

okoskodásban feltehetj¨ uk, hogy az utols´ o képletben egyenl˝oség van,) ez azt sugallja, q(˜ v ) hogy olyan Bk halmazokat érdemes definiálni, amelyek v˜j ∈ Bk elemeire p(˜vj |vj i ) kicsi. Ezért a Bk halmazt Bk = V˜ \ {˜ vj :

p(˜ vj |vik ) q(˜ vj )

k

z

≤ 2 } alakban keress¨ uk, ahol a z számot a ´ akarjuk a tekintett csatorna tulajdonságait´ ol f¨ ugg˝oen alkalmasan v´ alasztjuk meg. Ugy λ megk¨ ul¨ onböztethet˝o vik ∈ V pontokat v´ alasztani, hogy a vik pont a neki megfelel˝ o Bk P p(˜ vj |vik ) ≥ 1 − λ egyenl˝otlenséget. Val´ ojában kissé halmazzal egy¨ utt teljes´ıtse a v ˜j ∈Bk

m´ asképpen kell eljárni annak érdekében, hogy diszjunkt Bk halmazokat v´ alasszunk. Ha a vi1 , . . . , vik−1 pontokat és B1 , . . . , Bk−1 halmazokat m´ ar kiválasztottuk, akkor k−1 S p(˜ vj |vik ) pr´ ob´ alunk olyan vik ∈ V pontot és hozz´ atartoz´ o Bk = (V˜ \ Bj ) \ {˜ vj : q(˜ ≤ 2z } vj ) j=1 P p(˜ vj |vik ) ≥ 1 − λ. Ezt az eljár´ ast addig folytatjuk halmazt tal´ alni, amelyekre v ˜j ∈Bk

szukcesszive, am´ıg meg nem akadunk. A lemma arr´ ol szól, hogy ilyen m´ odon mekkora λ megk¨ ul¨ onböztethet˝o elemekb˝ ol ´ all´ o halmazt tudunk konstru´ alni. A lemma bizony´ıt´ asa. Defini´ aljuk a p(˜ vj |vi ) z ˜ <2 , W = (vi , v˜j ): (vi , v˜j ) ∈ V × V , q(˜ vj )

és

vj : v˜j ∈ V˜ , (vi , v˜j ) ∈ W }, W vi = {˜

vi ∈ V,

halmazokat. Egy olyan vi1 ∈ V pontot v´ alasztunk, amelyre P (˜ η ∈ V˜ \ W vi1 |η = vi1 ) ≥ 1−λ, feltéve, hogy ilyen pont létezik. Ebben az esetben legyen B1 = V˜ \W vi1 . Ha nincs ilyen vi1 ∈ V pont, akkor a procedur´ at befejezz¨ uk egyetlen pont kiválaszt´ asa nélk¨ ul. A vi1 ∈ V , . . . , vik ∈ V pontokat szukcesszive v´ alasztjuk egym´ as ut´ an, és a vip ponthoz társ´ıtott Bp halmazt a ! p−1 \ p = 2, 3, . . . . B1 = V˜ \ W v1 , Bp = W vil \ W vip , l=1

képlettel definiáljuk. Ezek a B1 , B2 , . . . halmazok diszjunktak. Ha a vi1 ∈ V , . . . , vik ∈ V pontok m´ ar ki vannak v´ alasztva, akkor a k + 1-k lépésben olyan vik+1 ∈ V k T vi pontot keres¨ unk, amelyre P (˜ η ∈ W l \ W vik+1 |η = vik+1 ) ≥ 1 − λ, ugyanl=1

is ez jelenti azt, hogy P (˜ η ∈ Bk+1 |η = vik+1 ) ≥ 1 − λ. Ha ez a feltétel teljes¨ ul, akkor v´ alasztunk egy k´ıvánt tulajdonság´ u vik+1 ∈ V pontot, ha nem teljes¨ ul, akkor a vip pontok v´ alaszt´ asát a k-ik lépésben befejezz¨ uk. A lemmában szerepl˝o N számot v´ alaszthatjuk u ´gy, mint a legnagyobb olyan k számot, amelyre v´ alasztottunk vik pontot. Ugyanis az A = {vi1 , . . . , viN } halmaz pontjai a B1 , . . . , BN halmazokkal egy¨ utt λ megk¨ ul¨ onböztethet˝o pontok. Azon k index nagyság´ ara kell tehát j´ o als´ o becslést adni, amelyikre még tudjuk folytatni az algoritmusunkat, és megfelel˝ o tulajdonság´ u vik ∈ V pontot tal´ alni. A k-ik 35

lépés ut´ an akkor és csak akkor tudunk megfelel˝ o tulajdonság´ u vik+1 ∈ V pontot tal´ alni, k S ha inf P (˜ η ∈ V˜ (k) ∪ W vi |η = vi ) < λ, ahol V˜ (1) = V˜ , és V˜ (k) = (V˜ \ W vil ), k = vi ∈V

l=1

1, 2, . . . . Az al´ abbi becslések seg´ıtségével meg tudjuk mutatni, hogy ez az egyenl˝otlenség teljes¨ ul bizonyos számunkra érdekes esetekben. inf P (˜ η ∈ V˜ (k) ∪ W vi |η = vi ) ≤

vi ∈V

=

X

vi ∈V

X

vi ∈V

P (η = vi )P (˜ η ∈ V˜ (k) ∪ W vi |η = vi )

P (η = vi , η˜ ∈ V˜ (k) ∪ W vi ) = P ((η, η˜) ∈ (V × V˜ (k)) ∪ W )

≤ P (˜ η ∈ V˜ (k)) + P ((η, η˜) ∈ W ). Másrészt P ((η, η˜) ∈ W ) = P (ιη∧˜η < z), és a V˜ (k) halmaz definici´ oja alapj´ an P (˜ η ∈ V˜ (k)) ≤

k X

≤

k X

l=1

l=1

P (˜ η ∈ V˜ \ W vil ) =

v ˜j :

X

p(˜ vj |vi ) l ≥2z q(˜ vj )

k X l=1

X

q(˜ vj )

p(˜ vj |vi ) l ≥2z v ˜j : q(˜ vj )

2−z p(˜ vj |vil ) ≤

k X X

l=1 v ˜j ∈V˜

2−z p(˜ vj |vil ) =

k X

2−z = k2−z .

l=1

A fenti becslésekb˝ol k¨ ovetkezik, hogy inf P (˜ η ∈ V˜ (k) ∪ W vi |η = vi ) ≤ P (ιη∧˜η < z) + k2−z ,

vi ∈V

ezért inf P (˜ η ∈ V˜ (k) ∪ W vi |η = vi ) < λ, ha k < 2z (λ − P (ιη∧˜η < z)). Ez azt vi ∈V

jelenti, hogy a k´ıvánt tulajdonság´ u vik ∈ V pontok v´ alaszt´ asát tudjuk folytatni a k¯ = [2z (λ − P (ιη∧˜η < z))] + 1 értékig, ahol [x] az x szám egész részét jelöli. Innen k¨ ovetkezik a lemma a´ll´ıt´ asa. A csatorna k´ odol´ asi tétel bizony´ıt´ asa. Válasszunk olyan (η ′ , η˜′ ) val´ osz´ın˝ uségi v´ altoz´ o párt, amelynek tagjai ¨ ossze vannak kapcsolva az emlékezet nélk¨ uli csatornát meghat´ aroε ′ ′ zó csatornával, és I(η ∧ η˜ ) ≥ (1− 4 )C, ahol C ennek a csatornának a kapacitása. Legyen (η1 , η˜1 ), (η2 , η˜2 ), . . . , (ηn , ηñ ) f¨ uggetlen, az (η ′ , η˜′ ) véletlen vektorral azonos eloszl´ as´ u p(˜ vj |vi ) véletlen vektorok sorozata, és a ιk val´ osz´ın˝ uségi v´ altoz´ ot definiálja a ιk = log q(˜vj ) , ha ηk = vi , és η˜k = v˜j képlet. Vezess¨ uk be az η = (η1 , . . . , ηn ) és η˜ = (˜ η1 , . . . , ηñ ) véletlen vektorokat, és definiáljuk seg´ıtség¨ ukkel a ιη∧˜η val´ osz´ın˝ uségi v´ altoz´ ot u ´gy, mint az Als´ o becslés alkalmasan konstru´ alt λ megk¨ ul¨ onb¨ oztethet˝ o elemeket tartalmaz´ o haln P maz elemsz´ am´ ar´ ol eredmény megfogalmazásában tett¨ uk. Ekkor ιη∧˜η = ιk , ezért az k=1

emlékezet nélk¨ uli csatorna kapacitásár´ ol szól´ o lemma (els˝ o) eredménye alapj´ an létezik ε λ olyan n0 k¨ usz¨ obindex, amelyre igaz, hogy P (ιη∧˜η < (1 − 2 )Cn) ≤ 2 , ha n ≥ n0 . Ezért 36

alkalmazva az Als´ o becslés alkalmasan konstru´ alt λ megk¨ ul¨ onb¨ oztethet˝ o elemeket tartalmaz´ o halmaz elemsz´ am´ ar´ ol nev˝ u lemma eredményét z = (1 − 2ε )Cn v´ alaszt´ assal azt (1−ε)Cn z (1−ε/2)Cn λ , ha n ≥ n0 (ε, λ). A kapjuk, hogy N ≥ 2 (λ − P (ιη∧˜η < z)) ≥ 2 2 ≥ 2 tétel bizony´ıt´ asát befejezt¨ uk. Megjegyzés. Véges ´ allapotter˝ u csatornák esetén érvényes a csatorna k´ odol´ asi tétel becslésének a k¨ ovetkez˝ o a csatorna k´ odol´ asi tétel megford´ıt´ asában szerepl˝o becsléshez hasonló éles´ıtése. Az n hossz´ us´ ag´ u emlékezet nélk¨ uli csatornának létezik olyan λ megk¨ ul¨ onböztethet˝o sorozatokb´ o l a ´ ll´ o halmaza, amelynek N = N (n) elemszámára teljes¨ ul √ √ λ Cn−K n/ λ az N ≥ 2 2 egyenl˝otlenség alkalmas K > 0 számmal, ahol C a csatorna kapacitása. Val´ oban, ebben az esetben, mint látni fogjuk, létezik olyan (η ′ , η˜′ ) a csatornával osszekapcsolt val´ ¨ osz´ın˝ uségi v´ altoz´ o pár, amelyre I(η ′ ∧ η˜′ ) = C, és ha η = (η1 , . . . , ηn ) és η˜ = (˜ η1 , . . . , ηñ ), ahol (ηk , η˜k ), ≤ n ≤ k, az (η, η˜′ ) val´ osz´ın˝ uségi v´ altoz´ o pár f¨ uggetlen példányai, akkor nem nehéz bel´ atni a Csebisev egyenl˝otlenség seg´ıtségével — felhaszn P nálva az ιη∧˜η = ιηk ∧˜ηk azonosságot, — hogy létezik olyan K > 0 szám, amelyre k=1 n pn pn P o (ιηk ∧˜ηk − Eιηk ∧˜ηk ) ≤ −K λ ≤ λ2 . Ezért az Als´ P (ιη∧˜η ≤ Cn − K λ ) = P k=1

becslés alkalmasan konstru´ alt λ megk¨ ul¨ onb¨ oztethet˝ o elemeket tartalmaz´ o halmaz elem√ alaszt´ assal. sz´ am´ ar´ ol eredményéb˝ ol az eml´ıtett egyenl˝otlenséget kapjuk z = Cn−K √nλ v´ A csatorna k´ odol´ asi tétel megford´ıt´ asának a bizony´ıt´ asa véges a´llapotter˝ u csatornákra azon alapul, hogy ebben az esetben a csatorna kapacitást definiál´ o szuprémum felvétetik, és explicit m´ odon lehet jellemezni azokat a csatornával o¨sszekapcsolt val´ osz´ın˝ uségi v´ altoz´ o párok eloszl´ asát, amelyek k¨ olcsön¨ os inform´ aciója egyenl˝o a csatorna kapacitással. Az al´ abbi eredményt fogom bebizony´ıtani. T´ etel v´ eges ´ allapotter˝ u csatorna optim´ alis bemenet´ enek a jellemz´ es´ er˝ ol. Legyen adva két V = {v1 , . . . , vm } és V˜ = {˜ v1 , . . . , vñ } véges halmaz, és k¨ oz¨ ott¨ uk egy ˜ p(˜ vj |vi ), vi ∈ V , v˜j ∈ V , a ´tmenetval´ osz´ın˝ uségekkel defini´ alt véges a ´llapotter˝ u C <∞ csatorna kapacit´ as´ u csatorna. Létezik olyan e csatorn´ aval o ¨sszekapcsolt η, η˜ val´ osz´ın˝ uségi v´ altoz´ o p´ ar, amelyre I(η ∧ η˜) = C. Egy e csatorn´ aval o ¨sszekapcsolt η, η˜ val´ osz´ın˝ uségi v´ altoz´ o p´ arra akkor és csak akkor igaz az I(η ∧ η˜) = C egyenl˝ oség, ha a p(vi ) = P (η = vi ), vi ∈ V , és q(˜ vj ) = P (˜ η = v˜j ), v˜j ∈ V˜ , val´ osz´ın˝ uségek teljes´ıtik a X

v ˜j ∈V˜

p(˜ vj |vi ) log

p(˜ vj |vi ) ≤C q(˜ vj )

minden vi ∈ V pontban

(3.1)

egyenl˝ otlenségeket, és ha p(vi ) > 0, akkor a vi pontnak megfelel˝ o rel´ aci´ o éles´ıthet˝ o, és egyenl˝ oséget is ´ırhatunk az egyenl˝ otlenség helyett. p(˜ v |v )

Megjegyzés. A (3.1) képlet u ´gy értend˝o, hogy p(˜ vj |vi ) log q(˜jvj )i = 0, ha p(˜ vj |vi ) = 0. A tétel azt is ´ all´ıtja, hogy q(˜ vj ) > 0, ha p(˜ vj |vi ) > 0 valamilyen vi bemen˝ o a´llapotra (egy az I(η ∧ η˜) = C feltételt teljes´ıt˝ o a csatornával ¨ osszekapcsolt η, η˜ pár a´ltal definiált q(˜ vj ) = 37

P (˜ η = v˜j ) val´ osz´ın˝ uségre). Ellenkez˝ o esetben nem teljes¨ ulne a (3.1) egyenl˝otlenség, p(˜ v |v ) u mert annak baloldala ∞ lenne, mivel tartalmazna egy p(˜ vj |vi ) log q(˜jvj )i = ∞ alak´ osszeadand´ ¨ ot. Igaz a X

v ˜j ∈V˜

p(˜ vj |vi ) log

p(˜ vj |vi ) ≥0 q(˜ vj )

minden vi ∈ V pontban

egyenl˝otlenség is. Ez k¨ ovetkezik például a m´ asodik fejezetben bizony´ıtott Egy I-divergenciaPt´ıpus´ u lemm´ abol az aj = vj |vi ) és bj = q(˜ vj ) szereposztással felhasználva az P p(˜ q(˜ vj ) = 1 rel´ aciókat. p(˜ vj |vi ) = 1 és B = A= v ˜j ∈V˜

v ˜j ∈V˜

A tétel bizony´ıt´ asa két f¨ uggvények konvexit´ asával (vagy konk´ av´ıt´ asával) kapcsolatos eredményen alapul. Az els˝ o lemma arr´ ol szól, hogy egy f¨ uggvény, amely a k¨ olcsön¨ os inform´ aciót definiál´ o f¨ uggvény természetes kiterjesztésének tekinthet˝ o a pozit´ıv ort´ ansra konk´ av. Lemma egy f¨ uggv´ eny konk´ avit´ as´ ar´ ol. Legyenek adva bizonyos p(i, j), 1 ≤ i ≤ M , 1 ≤ j ≤ N sz´ amok, amelyekre 0 ≤ p(i, j) ≤ 1 minden 1 ≤ i ≤ M és 1 ≤ j ≤ N indexre, N P és p(i, j) = 1 minden 1 ≤ i ≤ M indexre. Defini´ aljuk seg´ıtség¨ ukkel az j=1

F (u1 , . . . , uM ) =

N M X X

ui p(i, j) log

i=1 j=1

f¨ uggvényt, ahol yj = yj (u1 , . . . , uM ) =

p(i, j) , yj M P

ui ≥ 0 minden 1 ≤ i ≤ M indexre

p(i, j)ui . Az F (u1 , . . . , uM ) f¨ uggvény folyto-

i=1

nos és konk´ av az A = {(u1 , . . . , uM ): ui ≥ 0, 1 ≤ i ≤ M } halmazon. 1. megjegyzés. Az F f¨ uggvényt definiál´ o ¨ osszeg u ´gy értend˝o, hogy csak azon (i, j) párokra o¨sszegz¨ unk, amelyekre p(i, j) > 0. Teh´ at az ui p(i, j) log p(i,j) = 0 konvenci´ ot yj fogjuk alkalmazni a p(i, j) = 0 esetben akkor is, ha yj = 0. Sz¨ ukséges még definiálni az p(i,j) ui p(i, j) log yj kifejezést akkor, ha az ui = 0, mert ekkor is el˝ ofordulhat, hogy yj = 0. = 0, ha ui = 0 konvenci´ ot fogjuk alkalmazni. A Ebben az esetben az ui p(i, j) log p(i,j) yj k¨ ovetkez˝ o számol´ asokban az egyszer˝ ubb jelölés kedvéért a log természetes és nem 2 alap´ u logaritmust fog jelölni, de ennek nincs nagy jelent˝osége. A természetes logaritmusr´ ol a 2 alap´ u logaritmusra val´ o´ attérés csak log2 e-vel val´ o szorzást jelent. ´ uk meg, miért hasznos számunkra a fenti lemma. Célunk egy véges 2. megjegyzés. Erts¨ allapotter˝ ´ u csatorna csatorna kapacitásának a meghat´ arozása. A lemm´ aban szerepl˝o F (u1 , . . . , uM ) seg´ıtségével ezt a problémát természetes m´ odon ´ at tudjuk fogalmazni egy feltételes széls˝ oérték feladattá, ahol az F (u1 , . . . , uM ) f¨ uggvény maximumát keress¨ uk a M P ui = 1 feltétel mellett.

i=1

38

Val´ oban, tekints¨ unk egy olyan csatornát, amelyre p(˜ vj |vi ) = p(i, j), és legyen η egy M P olyan val´ osz´ın˝ uségi v´ altoz´ o, amelyre P (η = vi ) = ui , 1 ≤ i ≤ M , ( ui = 1). Ha η˜ i=1

olyan val´ osz´ın˝ uségi v´ altoz´ o, amelyre η és η˜ ¨ ossze vannak kapcsolva ezzel a csatornával, akkor P (˜ η = v˜j ) = yj , 1 ≤ j ≤ N , és F (u1 , . . . , uM ) = I(η ∧ η˜). Innen láthat´ o, hogy a csatorna kapacitás meghat´ arozása val´ oban a fent eml´ıtett feltételes széls˝ oérték feladathoz vezet. Ilyen t´ıpus´ u feladatokat érdemes az u ´gynevezett Kuhn–Tucker tétel seg´ıtségével vizsgálni, és mi is ennek az eredménynek egy egyszer˝ u speci´ alis esetét fogjuk alkalmazni. Ahhoz azonban, hogy ezt megtehess¨ uk, tudnunk kell, hogy a lemmában definiált F f¨ uggvény konk´ av.

A lemma bizony´ıt´ asa. Az F f¨ uggvény folytonos, ha azt a határon u ´gy definiáljuk, ahogy az els˝ o megjegyzésben tett¨ uk. Ezen ´ all´ıt´ as egyetlen részletesebb indokl´ ast igényl˝o része az, hogy az olyan (i, j) indexpárokra, amelyekre p(i, j) > 0 az ui p(i, j) log p(i,j) yj f¨ uggvény folytonos az olyan u pontokban is, amelyek i-ik koordin´ at´ aja ui = 0. Azt kell (n) (n) 1 ellen˝ orizni, hogy ha ui → 0, akkor ui p(i, j) log p(i,j) → 0. De ekkor p(i,j) ≤ (n) , (n) (n) yj

ezért

(n) ui p(i, j) log p(i,j) (n) yj

≤

(n) 1 ui p(i, j) log (n) ui

yj

ui

→ 0, és ezt kellett bel´ atni. Ha ui > 0

f¨ uggvény folytonossága k¨ onnyen (és p(i, j) > 0), akkor yj > 0, és az ui p(i, j) log p(i,j) yj láthat´ o. 2 F Az F f¨ uggvény konk´ avit´ asának bizony´ıt´ asához elég megmutatni, hogy a ∂u∂k ∂u , l 1 ≤ k, l ≤ M , m´ atrix negat´ıv szemidefinit minden (u1 , . . . , uM ), ui > 0, 1 ≤ i ≤ M pontban. (Mivel az F f¨ uggvény folytonos elég csak azokat a pontokat tekinteni, amelyek koordin´ at´ ai szigor´ uan pozit´ıvak.) Sz´ amoljuk ki e m´ atrix elemeit. Fel´ırhatjuk, hogy ∂F = ∂uk

X

X

p(k, j) log p(k, j)−

j: p(j,k)>0

j: p(j,k)>0

p(k, j) log yj −

M X

X

ui p(i, j)

i=1 j: p(j,k)>0

p(k, j) . yj

Az utols´ o kifejezésben szerepl˝o kett˝os szumma val´ ojában konstans. Ugyanis M X

X

i=1 j: p(j,k)>0

p(k, j) ui p(i, j) = yj

Innen

∂F = ∂uk

X

j: p(j,k)>0

X

M X

p(k, j) yj

ui p(i, j)

i=1

p(k, j) log

j: [(j,k)>0

!

=

N X

p(k, j)

j=1

p(k, j) − 1, yj

és mivel yj > 0 az {(u1 , . . . , uM ): ui > 0, 1 ≤ i ≤ M } halmazon 



N X ∂ F p(k, j)p(l, j) ∂  p(k, j) log yj  = − =− . ∂uk ∂ul ∂ul j=1 y j j=1 2

N X

39

yj = 1. yj

(3.2)

Az F f¨ uggvény konk´ avit´ asának a bizony´ıt´ asához azt kell bel´ atni, hogy tetsz˝oleges ((α(1), . . . , α(M )) vektorra M M X X ∂2F α(k)α(l) ≤ 0. ∂uk ∂ul

k=1 l=1

Viszont M M X N M X M X X X ∂2F p(k, j)p(l, j) α(k)α(l) = − α(k)α(l) ∂uk ∂ul y j j=1

k=1 l=1

k=1 l=1

N N M M X X 1 XX 1 =− p(k, j)p(l, j)α(k)α(l) = − y y j=1 j j=1 j k=1 l=1

M X

k=1

p(k, j)α(k)

!2

≤ 0.

∂F (u) parci´ alis Sz¨ ukség¨ unk lesz még az el˝ oz˝ o lemma egy kiegész´ıtésére is, amelyik a ∂u k derivált viselkedését olyan u vektorokra is le´ırja, amelyeknek van 0 koordin´ at´ aja. Amikor a k-ik koordin´ ata szerinti parci´ alis deriváltat tekintj¨ uk meg kell k¨ ul¨ onböztetn¨ unk azt az esetet, amikor az u vektor uk koordin´ at´ aja az uk > 0 és amikor az uk = 0 rel´ aciót teljes´ıti. Be fogjuk látni, hogy az els˝ o esetben a parci´ alis derivált folytonos, és teljes´ıti a (3.2) formul´ at. A m´ asodik esetben azt ´ all´ıtom, hogy ekkor is létezik (az egyoldali) parci´ alis derivált, és az egyenl˝o a parci´ alis derivált iránymenti határértékével. Ez az iránymenti határérék azonban végtelen is lehet. ∂F Az, hogy a ∂u (u) f¨ uggvénynek létezik iránymenti határértéke az u = (u1 , . . . , uM ) k ∂F pontban azt jelenti, hogy létezik a Gk (u) = lim ∂u (u + t˜ u) esetleg végtelennel egyenl˝o k t→0+

határérték minden olyan u ˜ = (˜ u1 , . . . , u ˜M ) vektorra, amelynek k-ik koordin´ at´ aja u ˜k = 1, és u + t˜ u ∈ A elég kis t > 0 számokra. Tov´ abbá ez a határérték nem f¨ ugg az u ˜ vektor v´ alaszt´ asát´ ol. A lim azt jelenti, hogy szigor´ uan pozit´ıv t > 0 számokkal tekintj¨ uk ezt a t→0+

limeszt. (A most bevezetett iránymenti határértékhez hasonló fogalommal tal´ alkoztunk a komplex f¨ uggvénytanban is, amikor egy hatványsor esetleges folytonosság´ at vizsgálják a hatványsor konvergenciak¨ orének egy pontjában.) Nem nehéz megmutatni, hogy ha a Gk (u) iránymenti határérték létezik egy olyan u = (u1 , . . . , uM ) pontban, amelyre ∂F ∂F (u), ahol ∂u (u) a megfelel˝ o féloldali parci´ alis deriváltat uk = 0, akkor Gk (u) = ∂u k k jelöli. Kieg´ esz´ıt´ es az egy f¨ uggv´ eny konk´ avit´ as´ ar´ ol sz´ ol´ o lemm´ ahoz. A lemm´ aban te∂F kintett F f¨ uggvény ∂uk parci´ alis deriv´ altja folytonos f¨ uggvény az Ak = {(u1 , . . . , uM ): ui ≥ 0 minden 1 ≤ i ≤ M indexre, és uk > 0} halmazon minden 1 ≤ k ≤ M indexre, és teljes´ıti a (3.2) formul´ at. ∂F (u) f¨ uggvény Ha az u = (u1 , . . . , uM ) ∈ A pontban uk = 0, akkor is létezik a ∂u k ∂F Gk (u) ir´ anymenti hat´ arértéke az u pontban. Ha az ilyen u pontokban a ∂uk (u) parci´ alis 40

deriv´ altat u ´gy defini´ aljuk, mint ezen ir´ anymenti hat´ arértéket, akkor a (3.2) formula érvényes lesz minden u ∈ A pontban. Ez az ir´ anymenti hat´ arérték akkor és csak akkor véges, ha az yj = yj (u) sz´ amra yj > 0 minden olyan j indexre, amelyre p(k, j) > 0. Bizony´ıt´ as. Mivel uk > 0 egy u = (u1 , . . . , uk ) ∈ Ak pontra, ezért az Ak halmaz pontjaiban yj = yj (u) ≥ uk p(k, j) > 0 minden olyan j indexre, amelyre p(k, j) > 0. Ezt felhasználva kapjuk, hogy a (3.2) formula, illetve az ezen azonosság bizony´ıt´ asában felhasznált formul´ ak az u ∈ Ak pontokban is érvényesek. Ezut´ an a (3.2) formula ∂F parci´ alis derivált folytonos az Ak halmaz seg´ıtségével az is k¨ onnyen láthat´ o, hogy a ∂u k pontjaiban. Ha u = (u1 , . . . , uM ) ∈ A olyan pont, amelyre uk = 0, és az u ˜ = (˜ u1 , . . . , u ˜M ) pontra u ˜k = 1, és u + t˜ u ∈ A elég kis t > 0 számra, akkor az u + t˜ u ∈ Ak rel´ ació is teljes¨ ul ∂F ∂F kis t > 0 számokra. Ezért a ∂u (u + t˜ u ) kifejez´ e sre ´ e rv´ e nyes a (3.2) formula, ´ e s a ∂uk k derivált iránymenti határértékének létezéséhez az u pontban azt kell ellen˝ orizni, hogy az e formula jobb oldal´ an szerepl˝o kifejezésnek van az u ˜ vektort´ ol f¨ uggetlen határértéke, amely egyenl˝o a (3.2) formula jobboldal´ an lev˝ o kifejezés értékével az u pontban. Ez azonban k¨ onnyen láthat´ o felhasználva, hogy lim yj (u + t˜ u) = yj (u) minden 1 ≤ j ≤ M t→0

indexre. Tov´ abbá ez a limesz akkor és csak akkor végtelen, ha létezik olyan j index, amelyre p(k, j) > 0, és yj = 0. A m´ asik lemma, amely hasznos lesz az egy véges ´ allapotter˝ u csatorna optimális bemenetének a jellemzésében az u ´gynevezett Kuhn–Tucker tételnek egy speci´ alis és egyszer˝ ubben bizony´ıthat´ o esete. A Kuhn–Tucker tétel a konvex programoz´ as egyik alapvet˝ o eredménye. Bár a Kuhn–Tucker tétel ´ altal´ anos alakj´ ara nem lesz sz¨ ukség¨ unk, röviden, bizony´ıt´ as nélk¨ ul ismertetni fogom ezt az eredményt is. A bizony´ıt´ as megtal´ alhat´ o például Ji˘r´ı Matou˘sek és Bernd Gärtner Understanding and Using Linear Programming c´ım˝ u k¨ onyvében (Proposition 8.7.2). Bizony´ıtani csak a k¨ ovetkez˝ o eredményt fogom.

A Kuhn–Tucker t´ etel egy speci´ alis esete. Legyen adva egy folytonos és konk´ av F (u1 , . . . , uM ) f¨ uggvény az A = {(u1 , . . . , uM ): ui ≥ 0, 1 ≤ i ≤ M } halmazon, ame∂F parci´ alis deriv´ alt létezik és folytonos az Ak = {(u1 , . . . , uM ): ui ≥ 0, 1 ≤ lyre a ∂u k ∂F i ≤ M, és uk > 0} halmazon minden 1 ≤ k ≤ M indexre, tov´ abb´ a létezik a ∂u k parci´ alis deriv´ alt ir´ anymenti hat´ arértéke azon u = (u1 , . . . , uM ) ∈ A pontokban is, ame∂F lyekre uk = 0. Defini´ aljuk a ∂u parci´ alis deriv´ altat ezekben a pontokban, mint ezt az k M P ir´ anymenti deriv´ altat, és keress¨ uk az F (u1 , . . . , uM ) f¨ uggvény maximum´ at a ui = 1 i=1

feltétel mellett, azaz az A ∩ B halmazon, ahol B = {(u1 , . . . , uM ):

M P

ui = 1}. Egy

i=1

u ¯ = (¯ u1 , . . . , u ¯M ), u ¯ ∈ A ∩ B, vektor akkor és csak akkor megold´ asa ennek a széls˝ oérték ∂F u) ≤ D minden 1 ≤ i ≤ M feladatnak, ha létezik olyan D < ∞ konstans, amelyre ∂ui (¯ indexre, és ebben a rel´ aci´ oban egyenl˝ oség a ´ll azon i indexekre, amelyekre u ¯i > 0. Bizony´ıt´ as. Legyen u ¯ = (¯ u1 , . . . , u ¯M ) a széls˝ oérték feladat megold´ asa. Válasszuk ki e vektor két u ¯i és u ¯j koordin´ at´ at u ´gy, hogy u ¯i > 0. Jelölje u(i, j) azt az M -dimenziós 41

vektort, amelynek az i-ik koordin´ at´ aja −1, a j-ik koordin´ at´ aja 1, és az o¨sszes többi koordin´ at´ aja 0. Ekkor az u ¯(ϑ) = u ¯ + ϑu(i, j) vektorra u ¯(ϑ) ∈ A ∩ B, s˝ ot u ¯(ϑ) ∈ F (¯ u(ϑ))−F (¯ u) Ai ∩ Aj ∩ B, ha a ϑ > 0 szám elég kicsi. Innen azt kapjuk, hogy a g(ϑ) = ϑ f¨ uggvény kis ϑ > 0 paraméterrel teljes´ıti a ∂F ∂F dF (u(ϑ)) ′ ′ ′ (ϑ ) = − (¯ u+ϑu ¯(i, j)) + (¯ u+ϑu ¯(i, j)) 0 ≥ g(ϑ) = dϑ ∂ui ∂uj rel´ aciót alkalmas 0 < ϑ′ < ϑ számmal. A ϑ → 0 határ´ atmenetet alkalmazva ebben a ∂F ∂F ∂F ∂F u) ≤ ∂ui (¯ u). Legyen D = ∂u (¯ u). Ekkor ∂u (¯ u) ≤ D képletben azt kapjuk, hogy ∂uj (¯ i j minden 1 ≤ j ≤ M indexre. De mivel a fenti érvelésben tetsz˝oleges olyan i indexet ∂F (¯ u) minden olyan i v´ alaszthatunk, amelyre u ¯i > 0 innen az is k¨ ovetkezik, hogy D = ∂u i indexre, amelyre u ¯i > 0. Megford´ıtva, legyen u ¯ = (¯ u1 , . . . , u ¯M ) ∈ A∩B olyan vektor, amelyikre létezik olyan ∂F u) ≤ D minden 1 ≤ i ≤ M indexre, és ebben a rel´ acióban D < ∞ szám, amelyre ∂ui (¯ egyenl˝oség van azon i indexekre, amelyekre u ¯i > 0. Ekkor, mivel F konk´ av f¨ uggvény F (ϑu + (1 − ϑ)¯ u) ≥ ϑF (u) + (1 − ϑ)F (¯ u) minden u ∈ A ∩ B vektorra és 0 ≤ ϑ ≤ 1 számra, ami u ´gy is ´ırhat´ o, hogy F (¯ u + ϑ(u − u ¯)) − F (¯ u) ≥ F (u) − F (¯ u). ϑ Másrészt, az F¯ (s) = F (¯ u + s(u − u ¯)), 0 ≤ s ≤ 1, f¨ uggvény seg´ıtségével azt ´ırhatjuk, hogy 1 F (¯ u + ϑ(u − u ¯)) − F (¯ u) = ϑ ϑ

Z

ϑ

0

dF¯ (s) 1 ds = ds ϑ

Z

Innen ϑ → 0 határ´ atmenettel kapjuk felhasználva tulajdonságait az u ¯ pontban, hogy

0

M ϑX i=1

∂F ∂uk

∂F (¯ u + s(u − u ¯))(ui − u ¯i ) ds. ∂ui

parci´ alis deriváltak folytonossági

M X ∂F (¯ u)(ui − u ¯i ) ≥ F (u) − F (¯ u). ∂u i i=1

Azt a´ll´ıtom, hogy ∂F u) ∂ui (¯ M P

i=1

M P

i=1

∂F u)(ui ∂ui (¯

−u ¯i ) ≤ 0. Val´ oban, abban a speci´ alis esetben, amikor

= D minden 1 ≤ i ≤ M indexre ez a rel´ ació egyenl˝oséggel is érvényes, mert M P ∂F u ¯i = ui = 1 az u ∈ B és u ¯ ∈ B feltétel miatt. A ∂u (¯ u) < D szigor´ u i i=1

egyenl˝otlenség csak olyan i indexekre érvényes, amelyekre u ¯i = 0. Ezenk´ıv¨ ul ui ≥ 0 ∂F az u ∈ A rel´ ació miatt, ezért ebben az esetben ∂ui (¯ u)(ui − u ¯i ) ≤ D(ui − u ¯i ). InM M P ∂F P nen u)(ui − u ¯i ) ≤ D(ui − u ¯i ) = 0, amint ´ all´ıtottam. Azt kaptuk, hogy ∂ui (¯ i=1

i=1

42

F (u) − F (¯ u) ≤ 0 minden u ∈ A ∩ B vektorra, tehát a u ¯ pont a vizsgált széls˝ oérték feladat megold´ asa. A tételt bel´ attuk. Megfogalmazom a Kuhn–Tucker tétel eredeti alakj´ at. Kuhn–Tucker t´ etel. Tekints¨ uk a min f (x1 , . . . , xN ) Ax∗ = b xi ≥ 0 minden 1 ≤ i ≤ N indexre optimaliz´ aci´ os feladatot, ahol f (x1 , . . . , xN ) egy minden¨ utt differenci´ alhat´ o, konvex f¨ uggM ∗ vény, b = (b1 , . . . , bM ) ∈ R , A egy N ×M méret˝ u m´ atrix, x az x vektor transzpon´ altj´ at N ∗ jel¨ oli, és x = (x1 , . . . , xN ). Egy x ¯ = (¯ x1 , . . . , x ¯N ) ∈ R , xi ≥ 0, 1 ≤ i ≤ N , A¯ x = b, vektor akkor és csak akkor megold´ asa ennek az optimaliz´ aci´ os feladatnak, ha létezik olyan m = (m1 , . . . , mM ) ∈ RM vektor, amelyre ∂f (¯ x1 , . . . , x ¯N ) + (m, aj ) ∂xj

=0 ≥0

ha x ¯j > 0 ha xj = 0,

ahol aj az A m´ atix j-ik oszlop´ at, és (x, y) az x és y vektorok skal´ arszorzat´ at jel¨ oli. Az el˝ oz˝ oleg tárgyalt konk´ av f¨ uggvény maximalizációs problémája a´tfogalmazhat´ o ilyen konvex optimaliz´ aciós problémává −1-gyel val´ o szorzás seg´ıtségével. Az optimalizáció ott kimondott feltétele is ´ atfogalmazhat´ o az e tételben kimondott alakra. Ebben az esetben az 1 × N méret˝ u A m´ atrix szerepét a csupa 1 számot tartalmaz´ o vektor j´ atssza, és az 1 dimenzi´ os m vektor −D-vel egyenl˝o, a tételben szerel˝ o D számmal. Az e jegyzetben bizony´ıtott tétel, — ha eltekint¨ unk az F f¨ uggvényre tett simasági feltételekt˝ol — a Kuhn–Tucker tétel speciális esetének tekinthet˝ o ezzel a szereposztással. A Kuhn–Tucker tétel lényeges u ´jdons´ aga az ´ altalunk tárgyalt eredményhez képest az, hogy több lineáris feltétel megk¨ ovetelése esetén is jellemzi az optimális megold´ asokat. A bizony´ıt´ as lényegesen u ´j gondolatok felhasznál´ asát igényelte. A tétel igazolásának f˝ o nehézsége a benne szerepl˝o feltétel sz¨ ukségességének, vagyis annak a ténynek a bizony´ıt´ asa, hogy ha egy x = (x1 , . . . , xN ) vektor megold´ asa a minimum feladatnak, akkor az teljes´ıti a megadott egyenl˝oségekb˝ ol és egyenl˝otlenségekb˝ ol ´ all´ o feltételt. K¨ ul¨ on¨ osen fontos a feltételben szerepl˝o m vektor megtal´ al´ asa. Ezt meg lehet tenni a lineáris programozás dualitás tételének a seg´ıtségével. Az eredeti optimaliz´ aciós feladat megold´ asa teljes´ıt egy lineáris optimaliz´ aciós feladatot (implicit m´ odon definiált egy¨ utthatókkal), és az m vektor e lineáris programoz´ asi feladat du´ aljának a megold´ asa. Maga a Kuhn–Tucker tétel jellege hasonl´ıt a Lagrange-féle multiplikátor m´ odszerre. A lényeges k¨ ul¨ onbség a két eredmény k¨ oz¨ ott az, hogy a Kuhn–Tucker tétel az nemcsak sz¨ ukséges, hanem elégséges feltételét is ad arra, hogy egy vektor az optimálizációs feladat megold´ asa legyen, és az optimum keresésekor a tartomány határpontjait is figyelembe veszi. Ennek viszont az az ´ ara, hogy csak viszonylag speciális problémákat lehet ezzel a ´ m´ odszerrel vizsgálni. Igy például a problémában szerepl˝o kényszer feltételek lineárisak. 43

Az el˝ oz˝ oleg igazolt eredmények seg´ıtenek az al´ abbi bizony´ıt´ asban. A véges a ´llapotter˝ u csatorna optim´ alis bemenetének a jellemzésér˝ ol sz´ ol´ o tétel bizony´ıt´ asa. Ha egy a a csatornával ¨ osszekapcsolt η, η˜ val´ osz´ın˝ uségi v´ altoz´ o pár p(vi ) = P (η = vi ) val´ osz´ın˝ uségeit az egy f¨ uggvény konk´ avit´ asár´ ol szól´ o lemmában szerepl˝o ui , a csatorna p(˜ vj |vi ) ´ atmenetval´ osz´ın˝ uségeit az e lemmában szerepl˝o p(i, j) számokkal azonos´ıtjuk, akkor q(˜ vj ) = P (˜ η = v˜j ) = yj a szintén e lemmában szerepl˝o yj számokkal. Tov´ abbá, ha η és η˜ két a csatornával ¨ osszekapcsolt val´ osz´ın˝ uségi v´ altoz´ o, és P (η = vi ) = ui , 1 ≤ i ≤ M , akkor I(η ∧ η˜) = F (u1 , . . . , uM ) a lemmában definiált F (·) f¨ uggvénnyel. Ezért egy olyan η, η˜ a csatornával o¨sszekapcsolt val´ osz´ın˝ uségi v´ altoz´ o pár eloszl´ asának a jellemzése, amelyre I(η ∧ η˜) = C, ahol C a csatorna kapacitása, ekvivalens azzal a feladattal, hogy tal´ aljuk meg a lemmában definiált (konk´ av) F (u1 , . . . , uM ), ui ≥ 0, M P 1 ≤ i ≤ M , f¨ uggvény maximumát a ui = 1 kényszerfeltétel mellett. E feladatban egy i=1

folytonos f¨ uggvény maximumát keress¨ uk egy kompakt halmazon, tehát ez a maximum létezik. A keresett maximum megtal´ al´ asa érdekében alkalmazhatjuk a A Kuhn–Tucker tétel egy speci´ alis esete néven megfogalmazott ´ all´ıt´ ast, mert a minket érdekl˝ o feladatban e ∂F parci´ alis tétel feltételei teljes¨ ulnek. Tov´ abbá a (3.2) formul´ aban kisz´ amoltuk a ∂u k deriváltakat. E képlet és az el˝ obb eml´ıtett tétel azt adj´ ak, hogy egy a csatornával osszekapcsolt η, η˜ val´ ¨ osz´ın˝ uségi v´ altoz´ o párra akkor és csak akkor teljes¨ ul az I(η∧ η˜) = C rel´ ació, ha az η˜ val´ osz´ın˝ uségi v´ altoz´ o q(˜ vj ) = P (η = vj ), 1 ≤ j ≤ N , eloszl´ asa teljes´ıti a N X j=1

p(˜ vj |vk ) log

p(˜ vj |vk ) = D, q(˜ vj )

ha p(vk ) > 0, (3.3)

N X

p(˜ vj |vk ) p(˜ vj |vk ) log ≤ D, q(˜ v ) j j=1

ha p(vk ) = 0

rel´ aciót valamilyen D < ∞ számmal minden 1 ≤ k ≤ M indexre. (A (3.3) formul´ aban p(˜ vj |vk ) vj |vk ) = 0.) A k-ik szerepl˝o ¨ osszegek u ´gy értend˝oek, hogy p(˜ vj |vk ) log q(˜vj ) = 0, ha p(˜ egyenletet vagy egyenl˝otlenséget megszorozva p(vk )-val egyenl˝oséget kapunk minden k indexre. Ezeket ¨ osszeadva azt kapjuk, hogy N M X X

r(vk , v˜j ) log

k=1 j=1

p(˜ vj |vk ) = D, q(˜ vj )

ahol r(vk , v˜j ) = P (η = vk , η˜ = v˜j ), 1 ≤ k ≤ M , 1 ≤ j ≤ N . Ennek az egyenletnek a baloldala egyenl˝o az I(η ∧ η˜) = C számmal. Teh´ at egy a csatornával o¨sszekapcsolt η, η˜ val´ osz´ın˝ uségi v´ altoz´ o párra akkor és csak akkor érvényes az I(η ∧ η˜) = C rel´ ació, ha az η˜ val´ osz´ın˝ uségi v´ altoz´ o q(˜ vj ) = P (˜ η = v˜j ), 1 ≤ j ≤ M , eloszl´ asa teljes´ıti a (3.3) rel´ aciót a D = C számmal. A tételt bel´ attuk. Megfogalmazok egy lemmát, amely seg´ıt a csatorna k´ odol´ asi tétel megford´ıt´ asának a bizony´ıt´ asában. 44

Fels˝ o becsl´ es egy λ megk¨ ul¨ onb¨ oztethet˝ o elemeket tartalmaz´ o halmaz elemsz´ am´ ar´ ol. Legyen adva adva két V = {v1 , v2 , . . . } és V˜ = {˜ v1 , v˜2 , . . . } véges vagy megsz´ aml´ alhat´ o halmaz, és k¨ oz¨ ott¨ uk egy p(˜ vj |vi ), vi ∈ V , v˜j ∈ V˜ , a ´tmenetval´ osz´ın˝ uségekkel defini´ alt csatorna. Legyen η és η˜ két e csatorn´ aval o ¨sszekapcsolt val´ osz´ın˝ uségi v´ altoz´ o. Vezess¨ uk be a q(˜ vj ) = P (˜ η = v˜j ), v˜j ∈ V˜ , val´ osz´ın˝ uségeket és az p(˜ vj |vi ) ϑ ˜ ≥2 , A(vi ) = v˜j : v˜j ∈ V , q(˜ vj )

vi ∈ V,

halmazokat egy alkalmasan v´ alasztott ϑ paraméterrel. Tegy¨ uk fel, hogy teljes¨ ul a P (˜ η ∈ A(vi )|η = vi ) =

v ˜j :

X

p(˜ vj |vi )≥2ϑ q(˜ vj )

p((˜ vj |vi ) ≤ γ

(3.4)

egyenl˝ otlenség valamely γ < 1 sz´ ammal minden vi ∈ V pontra. Legyen γ + λ < 1 valamely λ > 0 sz´ ammal. Ekkor tetsz˝ oleges A = {vi1 , . . . , viN } ⊂ V λ megk¨ ul¨ onb¨ oztet2ϑ het˝ o pontokb´ ol a ´ll´ o halmaz N elemsz´ am´ ara N ≤ 1−λ−γ . 1. megjegyzés. A (3.4) formul´ aban szerepl˝o feltételes val´ osz´ın˝ uséget az ott fel´ırt o¨sszegként definiáljuk abban az esetben is, ha P (η = vi ) = 0. Az A(vi ) halmaz definici´ ojában nem egyértelm˝ u, hogy azok a v˜j ∈ V˜ pontok, amelyekre mind a p(˜ vj |vi ) = 0 mind a q(˜ vj ) = 0 azonosság teljes¨ ul beletartoznak-e az A(vi ) halmazba. Ennek azonban nincs jelent˝osége, mert az ilyen v˜j pontok hozadéka nulla a (3.4) képletben szerepl˝o o¨sszegben. Kényelmi okokb´ ol azt fogom feltételezni, hogy az ilyen pontok nincsenek benne az A(vi ) halmazban. 2. megjegyzés. Mind a csatorna k´ odol´ asi tételben tekintett¨ unk egy a csatornával o¨sszekapcsolt (η, η˜) val´ osz´ın˝ uségi v´ altoz´ o párt. A csatorna k´ odol´ asi tételben olyan (vi , A(vi )), q(˜ vj ) vi ∈ V , A(vi ) ⊂ V˜ párokat kerest¨ unk, amelyekre A(vi ) = A(vi , ϑ) = {˜ vj : p(˜vj |v ≤ i) 2ϑ } egy kis ϑ számmal, és a P (˜ η ∈ A(vi )|η = vi ) feltételes val´ osz´ın˝ uség nagy. Így tudtunk ugyanis olyan (vi , Bi ) párokat tal´ alni alkalmas, (diszjunkt) Bi ⊂ A(vi ) halmazokkal, amelyekre P (˜ η ∈ Bi |η = vi ) ≥ 1 − λ, és a Bi halmazok kicsik abban az értelemben, hogy a P (˜ η ∈ Bi ) val´ osz´ın˝ uségek kicsik. A fenti, a csatorna k´ odol´ asi tételt el˝ okész´ıt˝ o eredményben azt ´ all´ıtjuk, hogy ha egy ellenkez˝ o ´ırány´ u tulajdonság érvényes, nevezetesen, ha a P (˜ η ∈ A(vi , ϑ)|η = vi ) feltételes val´ osz´ın˝ uségek kicsik minden vi ∈ V feltétel esetén még viszonylag nagy ϑ számokra is, akkor csak viszonylag kevés λ megk¨ ul¨ onböztethet˝o vi ∈ V elem létezik. (Ez az ´ all´ıt´ as kissé eltér˝ o, de ekvivalens formában van megfogalmazva a fenti eredményben.) Ennek oka, mint a bizony´ıt´ asb´ ol látszódni fog, az, hogy ebben az esetben minden olyan B ⊂ V˜ halmazra, amelyre P (˜ η ∈ B|η = vi ) > 1 − λ, a P (˜ η ∈ B) val´ osz´ın˝ uség is nagy. Bizony´ıt´ as. Adva egy A = {vi1 , . . . , viN } ⊂ V λ megk¨ ul¨ onböztethet˝o pontokból a´ll´ o ˜ ˜ halmaz v´ alasszunk olyan B1 ∈ V , . . . , BN ∈ V diszjunkt halmazokat, amelyekre P (˜ η∈ 45

Bk |η = vik ) ≥ 1 − λ minden 1 ≤ k ≤ N indexre. Ekkor 1 − λ − γ ≤ P (˜ η ∈ Bk \ A(vik )|η = vik ) = ≤ 2ϑ

X

vj ) v ˜j : v ˜j ∈Bk , p(˜ vj |vik )≤2ϑ q(˜

v ˜j :

X

vj ) v ˜j ∈Bk , p(˜ vj |vik )≤2ϑ q(˜

p(˜ vj |vik )

q(˜ vj ) = 2ϑ P (˜ η ∈ Bk \ A(vik )) ≤ 2ϑ P (˜ η ∈ Bk )

¨ minden 1 ≤ k ≤ N indexre. Osszegezve ezeket az egyenl˝otlenségeket minden 1 ≤ k ≤ N indexre és felhasználva, hogy a Bk halmazok diszjunktak azt kapjuk, hogy N (1 − λ − γ) ≤ 2ϑ . A lemmát bel´ attuk. A csatorna k´ odol´ asi tétel megford´ıt´ as´ anak a bizony´ıt´ asa. Legyen η ′ és η˜′ két olyan az emlékezet nélk¨ uli csatorna ´ atmenetval´ osz´ın˝ uségeit meghat´ arozó csatornával o¨sszeköt¨ ott val´ osz´ın˝ uségi v´ altoz´ o, amelyekre I(η ′ ∧ η˜′ ) = C, ahol C ennek a csatornának a csatorna kapacitása. Legyen (η1 , η˜1 ), . . . , (ηn , ηñ ) az (η ′ , η˜′ ) véleten vektorral azonos eloszl´ as´ u, f¨ uggetlen véletlen vektorok sorozata. Vezess¨ uk be az η = (η1 , . . . , ηn ) és η˜ = (˜ η1 , . . . , ηñ ) jelölést. A csatorna k´ odol´ asi tétel megford´ıt´ asának a bizony´ıt´ asában az el˝ obb bizony´ıtott fels˝ o becslés eredményét fogom alkalmazni egy λ megk¨ ul¨ onb¨ oztethet˝ o elemeket tartalmaz´ o √ n √ halmaz elemsz´ am´ ar´ ol az η, η˜ val´ osz´ın˝ uségi v´ altoz´ o párra ϑ = Cn+K 1−λ paraméterrel, ahol K egy a csatornát´ ol f¨ ugg˝o elég nagy szám. Ehhez jogunk van, mert az η és η˜ val´ osz´ın˝ uségi v´ altoz´ ok ¨ ossze vannak kapcsolva az emlékezet nélk¨ uli csatornával. Ezen becslés alapj´ an a csatorna k´ odol´ asi tétel megford´ıt´ asának a bizony´ıt´ asához elég megmutatni, hogy P ((˜ η1 , . . . , ηñ ) ∈ A((vi1 , . . . , vin ))|η1 = vi1 , . . . , ηn = vin ) ≤

1−λ 2

(3.5)

minden (vi1 , . . . , vin ) ∈ V n vektorra, ahol A((vi1 , . . . , vin ))   n Q     p(˜ vjk |vik )   √ √ Cn+K n/ 1−λ n k=1 ˜ , ≥ 2 = (˜ vj1 , . . . , v˜jn ): (˜ vj1 , . . . , v˜jn ) ∈ V , n Q     q(˜ vjk )   k=1

egy elég nagy K > 0 konstanssal, mely képletben p(˜ vj |vi ) jelöli az emlékezet nélk¨ uli ′ csatornát meghat´ arozó csatorna ´ atmenetval´ osz´ın˝ uségeit, és q(˜ vj ) = P (˜ η = v˜j ). Ugyan√ n is, ha ez az egyenl˝otlenség igaz, akkor az el˝ obb eml´ıtett fels˝o becslés ϑ = Cn + K √1−λ

és γ = 1−λ assal a tételben megfogalmazott eredményt szolg´ altatja. 2 szereposzt´ A bizony´ıtand´ o egyenl˝otlenségnek megadjuk egy jobban vizsgálhat´ o, ekvivalens atfogalmaz´ ´ asát. Ennek érdekében rögz´ıt¨ unk valamilyen vi1 ∈ V , . . . , vin ∈ V pontokat, 46

és olyan ζ1 (vi1 ), . . . , ζn (vin ) f¨ uggetlen val´ osz´ın˝ uségi v´ altoz´ okat definiálunk, amelyekre a ζk (vik ) val´ osz´ın˝ uségi v´ altoz´ o eloszl´ asát a P (ζk (vik ) = v˜j ) = p(˜ vj |vik ), v˜j ∈ V˜ , képlet adja meg minden 1 ≤ k ≤ n indexre. Mivel P ((ζ1 (vi1 ), . . . , ζn (vin )) = (˜ vj1 , . . . , v˜jk )) = P ((˜ η1 , . . . , ηñ ) = (˜ vj1 , . . . , v˜jn ))|η1 = vi1 , . . . , ηn = vin ) minden (˜ vj1 , . . . , v˜jn ) vektorra ezzel a jelöléssel a (3.5) egyenl˝otlenség a k¨ ovetkez˝ ø alakban ´ırhat´ o: ! n Y √ √ 1−λ p(ζk (vik )|vik ) ≥ 2Cn+K n/ 1−λ ≤ . P q(ζ (v )) 2 k i k i=1 Az utols´ o formul´ aban a val´ osz´ın˝ uségen bel¨ ul logaritmust véve azt kapjuk, hogy a √ ! n X 1−λ p(ζk (vik )|vik ) K n P ≤ log ≥ Cn + √ (3.6) q(ζ (v )) 2 1 − λ k i k i=1 egyenl˝otlenséget kell bizony´ıtanunk minden (vi1 , . . . , vin ) ∈ V n vektorra. Vegy¨ uk észre, hogy a (3.6) formula szummájában szerepl˝o tagok v´ arhat´ o értéke n

p(˜ vj |vik ) p(ζk (vik )|vik ) X = . p(˜ vj |vik ) log E log q(ζk (vik )) q(˜ v ) j j=1 Tov´ abbá, mivel I(η ′ ∧ η˜′ ) = C, ahol C az emlékezet nélk¨ uli csatornát meghat´ arozó csatorna csatorna kapacitása, ezt az egyenletet ¨ osszehasonl´ıtva a lemma az emlékezet nélk¨ uli csatorna kapacit´ as´ ar´ ol eredményében szerepl˝o (3.1) képlettel azt kapjuk, hogy a tekintett v´ arhat´ o érték kisebb vagy egyenl˝o, mint C, és a C számmal egyenl˝o azon vik ∈ V pontokra, amelyekre P (η ′ = vik ) > 0. Tov´ abbá létezik olyan D < ∞ konstans, amelyre

p(ζk (vik )|vik ) E log q(ζk (vik ))

2

n X

2 p(˜ vj |vik ) = ≤D p(˜ vj |vik ) log q(˜ v ) j j=1

minden vi ∈ V pontra,

mert a fenti kifejezésben egy olyan véges tagsz´ am´ u¨ osszeg szerepel, amelynek mindegyik tagja véges. (Tudjuk, hogy ha p(˜ vj |vi ) > 0, akkor q(˜ vj ) > 0, és csak véges sok k¨ ul¨ onböz˝ o osszeget kell tekinten¨ ¨ unk.) A most bizony´ıtott ¨ osszef¨ uggések és a Csebisev egyenl˝otlenség a k¨ ovetkez˝ o becslést adj´ ak (3.6) képletben szerepl˝o f¨ uggetlen val´ osz´ın˝ uségi v´ altoz´ ok ¨ osszegének az eloszl´ asára. √ ! n X K n p(ζk (vik )|vik ) ≥ Cn + √ log P q(ζ (v )) 1−λ k i k i=1 √ ! n X p(ζk (vik )|vik ) K n p(ζk (vik )|vik ) log ≤P ≥√ − E log q(ζk (vik )) q(ζk (vik )) 1−λ i=1 ≤

Dn(1 − λ) 1−λ ≤ , 2 K n 2

47

ha a K konstanst elég nagynak (K 2 > 2D) v´ alasztjuk. Így a (3.6) formul´ at, és ezzel a tételt is bebizony´ıtottuk. ´ Erdemes lehet heurisztikus szinten ´ attekinteni, hogy milyen gondolatokra ép¨ ul a csatorna k´ odol´ asi tételnek illetve e tétel megford´ıt´ asának a bizony´ıt´ asa. Legyen (η, η˜) olyan a csatornával ¨ osszekapcsolt val´ osz´ın˝ uségi v´ altoz´ o pár, amelyre I(η ∧ η˜) = C, ahol C a csatorna kapacitása, vagy ha ilyen pár nincs akkor az I(η ∧ η˜) szám nagyon k¨ ozel van ehhez a C értékhez. Annak bizony´ıt´ asa, hogy alkalmas feltételek mellett mind a két tétel érvényes azon ´ all´ıt´ as igazolásán alapul, hogy egy n hossz´ us´ ag´ u emlékezet nélk¨ uli csatornában az ) ( n Y p(˜ v |v ) jk i k ∼ 2Cn A(v) = v˜ = (˜ vj1 , . . . , v˜jn ) ∈ Vñ : q(˜ vjk ) k=1

halmaz teljes´ıti a P ((˜ η1 , . . . , ηñ ) ∈ A(v)|(η1 , . . . , ηn ) = v) ∼ 1 rel´ aciót tipikus v = n (vi1 , . . . , vin ) ∈ V pontokban, ahol (η1 , η˜1 ), . . . , (ηn , ηñ ) az (η, η˜) párral azonos eloszlás´ u, f¨ uggetlen véletlen vektorok sorozata, és q(˜ vj ) = P (˜ η = v˜j ). (A csatorna Cn Cn(1+0(1)) k´ odol´ asi tétel bizony´ıt´ asában a ∼ 2 kifejezés helyett ≥ 2 -t, a csatorna Cn(1+o(1)) k´ odol´ asi tétel megford´ıt´ asának a bizony´ıt´ asában pedig ≤ 2 -et érdemes ´ırni az A(v) halmaz definici´ ojában.) A most haszn´ alt ‘tipikus’ kifejezés els˝ o k¨ ozel´ıtésben n azt jelenti, hogy a rel´ ació igaz a v = (vi1 , . . . , vin ) ∈ V vektorok majdnem egy val´ osz´ın˝ uségi halmaz´ ara azon val´ osz´ın˝ uségi mérték szerint, amelyet az (η1 , . . . , ηn ) vektor eloszl´ asa határoz meg. A bizony´ıt´ as részletesebb vizsgálata sor´ an a ‘tipikus’ szó ´ jelentését pontos´ıtani kell. Erdemes megjegyezni, hogy az A(v) halmazra fel´ırt rel´ ació n P p(˜ ηk |vik ) u ´gy is ´ırhat´ o, hogy log q(˜ηk ) ∼ Cn majdnem val´ osz´ın˝ uséggel ha (˜ η1 , . . . , ηñ ) k=1

n Q

eloszl´ asát a P (˜ η1 = v˜j1 , . . . , ηñ = v˜jn ) =

k=1

p(˜ vjk |vik ) képlet adja meg. Tov´ abbá

ηk |ηk ) ˜k ) = C. Ezért az el˝ obb fel´ırt rel´ ació olyan tényt fejez ki, hogy E log p(˜ q(˜ ηk ) = I(ηk ∧ η f¨ uggetlen val´ osz´ın˝ uségi v´ altoz´ ok ¨ osszege k¨ ozel van az ¨ osszeg v´ arhat´ o értékéhez. Az A(v) halmazra megfogalmazott tulajdonság egyik k¨ ovetkezménye az, hogy egy tipikus v ∈ V n pontra

P ((˜ η1 , . . . , ηñ )) ∈ A(v)) =

X

v ˜∈A(v)

∼ 2−Cn ahol q(˜ v) =

n Q

k=1

q(˜ v) =

q(˜ vjk ), és p(˜ v |v) =

X

v ˜∈A(v)

X

q(˜ v)

k=1

p(˜ v |v) q(˜ v) q(˜ v ) p(˜ v |v)

X p(˜ v |v) p(˜ v |v) ∼ 2−Cn , = 2−Cn q(˜ v) v ˜∈A(v)

v ˜∈A(v) n Q

q(˜ v)

p(˜ vjk |vik ) . q(˜ vj k

Ha egy olyan B(v) ⊂ V˜ n halmazt

keres¨ unk egy v ∈ V n ponthoz, amelyre P ((˜ η1 , . . . , ηñ ) ∈ B(v)|(η1 , . . . , ηn ) = v) ≥ 1 − λ valamely kis λ > 0 számra, akkor a B(v) halmaz az el˝ obb definiált A(v) halmaz kis m´ odos´ıt´ asa a P (·|(η1 , . . . , ηn ) = v) mérték szerint. S˝ot, néh´ any számunkra nem lényeges 48

feltétel teljes¨ ulése esetén az is igaz, hogy az A(v) halmazhoz hasonlóan a B(v) halmaz teljes´ıti a P ((˜ η1 , . . . , ηñ )) ∈ B(v)) ∼ 2−nC rel´ aciót. Ezért, ha olyan (v (1) , B (1) ), . . . , (v (N ) , B (N ) ), v (k) ∈ V n , B (k) ⊂ V˜ n , minden 1 ≤ k ≤ N indexre, párokat keres¨ unk, amelyekre P ((˜ η1 , . . . , ηñ ) ∈ B (k) |(η1 , . . . , ηn ) = v (k) ) > 1 − λ minden k indexre, és a B (k) halmazok diszjunktak, akkor legfeljebb N = 2Cn(1+o(1) ) ilyen párt v´ alaszthatunk, és ezt mondja ki a csatorna k´ odol´ asi tétel megford´ıt´ asa. A csatorna k´ odol´ asi tétel viszont az ´ all´ıtja, hogy ennyi (v (k) , B (k) ) párt ki is lehet v´ alasztani. Természetesen, az el˝ obb v´ azolt gondolatmenetek pontos kidolgoz´ asa az érvelés finom´ıt´ asát igényli több ponton. Ezek részleteit azonban itt nem tárgyalom, mert a m´ ar le´ırt bizony´ıt´ as tartalmazza azokat. Csak egy figyelemre mélt´ o részletet eml´ıtek. A csatorna k´ odol´ asi tétel megford´ıt´ asában az A(v) halmazokra fel´ırt aszimptotikus rel´ aciót n n nem elegend˝ o csak ‘tipikus’ v ∈ V pontokra bel´ atni, azokat minden v ∈ V pontra igazolni kell. Ez okozza a f˝ o nehézséget e tétel bizony´ıt´ asában. E probléma lek¨ uzdésében a véges a ´llapotter˝ u csatorna optim´ alis bemenetének a jellemzésér˝ ol szól´ o tétel eredménye seg´ıt. Ez teszi lehet˝ ové a vizsgálandó feltételes val´ osz´ın˝ uség becslését minden v ∈ V n vektorra. 4. Kis hib´ aj´ u´ es viszonylag gyors inform´ aci´ o tov´ abb´ıt´ as a forr´ as ´ es csatorna k´ odol´ asi t´ etel seg´ıts´ eg´ evel. E fejezetben a k¨ ovetkez˝ o problémával fogunk foglalkozni. Legyen adva egy inform´ ació forr´ as, azaz legyen adva egy értékeit egy véges vagy megsz´ amlálhat´ oan végtelen X = {x1 , x2 . . . } halmazon felvev˝o ξ val´ osz´ın˝ uségi v´ altoz´ o, és legyen ξ1 , ξ2 , . . . f¨ uggetlen, és a ξ val´ osz´ın˝ uségi v´ altoz´ oval azonos eloszl´ as´ u val´ osz´ın˝ uségi v´ altoz´ ok sorozata, amit inform´ ació forr´ asnak fogunk nevezni. Legyen ezenk´ıv¨ ul adva egy emlékezet nélk¨ uli csatorna, amelyet egy olyan csatorna határoz meg, amely valamely V = {v1 , v2 , . . . } bemeneti jelek halmaz´ at ´ atviszi kimeneti jelek valamely V˜ = {˜ v1 , v˜2 , . . . } halmaz´ aba, és p(˜ vj |vi ) annak a feltételes val´ osz´ın˝ usége, hogy a csatorna v˜j kimeneti jelet k¨ ozli, feltéve, hogy a vi bemeneti jelet adtuk le. A forr´ as jeleit akarjuk k¨ oz¨ olni a felhasznál´ oval u ´gy, hogy az (emlékezet nélk¨ uli) csatornán leadjuk bemeneti jelek egy sorozatát, aminek hatására a felhasznál´ o kimeneti jelek valamilyen sorozatát kapja, és ennek alapj´ an pr´ ob´ alja rekonstru´ alni az inform´ ació forr´ as ξ1 , ξ2 , . . . értékeit. Tegy¨ uk fel, hogy az inform´ ació forr´ as ξ1 , ξ2 , . . . jelei egységnyi sebességgel érkeznek, és mi is egységnyi sebességgel tudjuk tov´ abb´ıtani a vi jeleket a csatornán kereszt¨ ul. Olyan m´ odszert szeretnénk kidolgozni, amely lehet˝ ové teszi, hogy a felhasznál´ o a forr´ as minden jelét ε-n´ al kisebb hibával rekonstru´ alni tudja, ahol ε > 0 egy el˝ ore rögz´ıtett nagyon kicsi szám. Emellett azt szeretnénk, hogy a felhasznál´ o minden jelet annak megérkezése ut´ an véges id˝ on bel¨ ul megismerjen. Pontosabban megfogalmazva azt k¨ ovetelj¨ uk meg, hogy bármilyen nagy n számra a felhasznál´ o az n-ik id˝ opontban ismerje az ¨ osszes 1 ≤ j ≤ n − K id˝ ointervallumban leadott ξj jelet, ahol K egy rögz´ıtett szám, amely f¨ ugghet az ε hibakorl´ attól, de nem f¨ ugg az n id˝ opontt´ ol. A k¨ ovetkez˝ o két a forr´ as és csatorna k´ odol´ asr´ ol szól´ o eredményeken alapuló tételben azt mutatom meg, hogy ilyen inform´ ació tov´ abb´ıt´ as lehetséges akkor, ha a csatorna kapacitása nagyobb, mint a forr´ as entr´ opiája, de nem lehetséges akkor, ha a forr´ as entr´ opiája nagyobb, mint a csatorna kapacitása. 49

T´ etel a j´ o inform´ aci´ o tov´ abb´ıt´ as lehet˝ os´ eg´ er˝ ol, ha a csatorna kapacit´ asa nagyobb, mint a forr´ as entr´ opi´ aja. Legyen adva egy értékeit egy véges vagy megsz´ aml´ alhat´ oan végtelen X = {x1 , x2 . . . } halmazon felvev˝ o ξ val´ osz´ın˝ uségi v´ altoz´ o és e ξ val´ osz´ın˝ uségi v´ altoz´ oval azonos eloszl´ as´ u, f¨ uggetlen ξ1 , ξ2 , . . . val´ osz´ın˝ uségi v´ altoz´ ok egy sorozata. Legyen ezenk´ıv¨ ul adva egy emlékezet nélk¨ uli csatorna, amelyet egy olyan csatorna hat´ aroz meg, amely valamely V = {v1 , v2 , . . . } bemeneti jelek halmaz´ at a ´tviszi ˜ kimeneti jelek valamely V = {˜ v1 , v˜2 , . . . } halmaz´ aba, és p(˜ vj |vi ) annak a feltételes val´ osz´ın˝ usége, hogy a csatorna a kimeneti oldalon a v˜j jelet k¨ ozli, feltéve, hogy vi volt a bemeneti jel. Tegy¨ uk fel, hogy a csatorna C csatorna kapacit´ asa nagyobb, mint a ξ val´ osz´ın˝ uségi v´ altoz´ o H(ξ) entr´ opi´ aja. Egy r¨ ogz´ıtett ε > 0 sz´ amra alkalmazzuk a k¨ ovetkez˝ o m´ odszert annak érdekében, hogy megismertess¨ uk a ξ1 , ξ2 , . . . sorozat jeleit a felhaszn´ al´ oval. Az ε > 0 sz´ amhoz v´ alasszunk el˝ osz¨ or egy n0 = n0 (ε) k¨ usz¨ obindexet, majd defini´ aljuk n0 az emlékezet nélk¨ uli csatorna n0 hossz´ us´ ag´ u bemeneti jeleib˝ ol a ´ll´ o V halmaznak egy A = A(n0 ) = {v (n0 ) (l) = (v1 (l), . . . , vn0 (l)), 1 ≤ l ≤ N (n0 )} ⊂ V n0 részhalmaz´ at (n0 ) valamely N = N (n0 ) elemsz´ ammal, és minden v (l) ∈ A(n0 ) vektorhoz adjunk meg az n0 hossz´ us´ ag´ u kimeneti jelek egy egy alkalmas Bl ⊂ V˜ n0 részhalmaz´ at u ´gy, hogy ezek a Bl , 1 ≤ l ≤ N (n0 ), halmazok a V˜ n0 halmaz egy partici´ oj´ at adj´ ak. Defini´ aljunk ezenk´ıv¨ ul n0 n0 egy f : X → A(n0 ) f¨ uggvényt, amelyet k´ odol´ o, és egy g: A(n0 ) → X f¨ uggvényt, amelyet dek´ odol´ o f¨ uggvénynek fogunk nevezni. Tekints¨ uk a ξ1 , ξ2 , . . . sorozat egym´ ast k¨ ovet˝ o diszjunkt n0 hossz´ us´ ag´ u ξln0 +1 , . . . , ξ(l+1)n0 blokkjait minden l = 0, 1, 2, . . . sz´ amra. Helyettes´ıts¨ uk be az l-ik blokk értékeit az f (·) k´ odf¨ uggvénybe, azaz tekints¨ uk a (véletlen) f (ξln0 +1 , . . . , ξ(l+1)n0 ) ∈ A(n0 ) sorozatot minden l = 1, 2, . . . indexre, és k¨ uldj¨ uk a felhaszn´ al´ onak a csatorn´ an kereszt¨ ul ezt a n0 ˝ ˜ sorozatot. O végezze a kapott (véletlen) (˜ vj1 , . . . , v˜jn0 ) ∈ V sorozat dek´ odol´ as´ at a n k¨ ovetkez˝ o m´ odon. V´ alassza ki azt a Bl ∈ V˜ 0 halmazt, amelyre (˜ vj1 , . . . , v˜jn0 ) ∈ Bl , és (n )

vegye a neki megfelel˝ o vl 0 = (vi1 (l), . . . , vin0 (l)) ∈ A(n0 ) sorozatot. Alkalmazza erre a sorozatra a g(·) dek´ odol´ o f¨ uggvényt, azaz vegye a g(vi1 (l), . . . , vin0 (l)) ∈ X n0 sorozatot, és v´ alassza ezt a ξln0 +1 , . . . , ξ(l+1)n0 sorozatnak. Az n0 k¨ usz¨ obindexet, az A = A(n0 ) ⊂ V n0 részhalmazt, a V˜ n0 halmaznak a (n0 ) v (l) ∈ A(n0 ) vektoroknak megfelel˝ o Bl , 1 ≤ l ≤ N (n0 ), partici´ oj´ at, valamint az f : X n0 → A(n0 ) k´ odol´ o és a g: A(n0 ) → X n0 dek´ odol´ o f¨ uggvényt alkalmasan v´ alasztva elérhetj¨ uk, hogy a felhaszn´ al´ o ezen elj´ ar´ as seg´ıtségével legal´ abb 1 − ε val´ osz´ın˝ uséggel a forr´ as a ´ltal leadott ξln0 +1 , . . . , ξ(l+1)n0 sorozatot v´ alassza a leadott sorozat l-ik blokkj´ anak, azaz az l-ik blokkot legal´ abb 1 − ε val´ osz´ın˝ uséggel j´ ol dek´ odolja.

A tétel bizony´ıt´ asa. Ha a csatorna kapacitása nagyobb, mint a forr´ as entr´ opiája, akkor létezik olyan δ > 0 szám, amelyre C > H(ξ) + 2δ. Válasszunk egy ilyen δ > 0 számot. Ekkor a csatorna k´ odol´ asi tétel alapj´ an van olyan n0 = n0 (ε, δ) k¨ usz¨ obindex, hogy minden n ≥ n0 indexre létezik egy 2(C−δ)n ≥ N (n) ≥ 2(H(ξ)+δ)n elemszám´ u n n ˜ A(n) ⊂ V halmaz, valamint a V halmaznak egy olyan B1 , . . . , BN (n) particiója, P p(˜ v (n) |(v (n) (l)) ≥ 1 − 2ε egyenl˝otlenséget a amely teljes´ıti a P (Bl |v (n) (l)) = v ˜(n) ∈Bl

v (n) (l) = (vi1 (l), . . . , vin (l)) ∈ A(n) vektorra és a neki megfelel˝ o Bl ⊂ V˜ n halmazra 50

minden 1 ≤ l ≤ N (n0 ) indexre, ahol p(˜ v (n) |(v (n) (l)) az emlékezet nélk¨ uli csatorna n Q atmenetval´ ´ osz´ın˝ usége, azaz p(˜ v (n) |(v (n) (l)) = vj1 , . . . , v˜jn ) és p(˜ vjk |vik (l)) a v˜(n) = (˜ k=1

(n)

v (l) = (vi1 (l), . . . , vin (l)) jelöléssel. Tov´ abbá, mivel N (n) ≥ 2(H(ξ)+δ)n , a m´ asodik fejezetben bizony´ıtott f¨ uggetlen, egyforma eloszl´ as´ u val´ osz´ın˝ uségi v´ altoz´ okb´ ol a ´ll´ o forr´ as n kis hib´ aj´ u k´ odol´ as´ ar´ ol és dek´ odol´ as´ ar´ ol szól´ o tétel alapj´ an van olyan f : X → A(n), k´ odoló és g: A(n) → X n dek´ odol´ o f¨ uggvény, amelyre P (g(f (ξ1 , . . . , ξn )) = (ξ1 , . . . , ξn )) ≥ usz¨ obindexszel. 1 − 2ε , ha n ≥ n0 (ε, δ) egy esetleg nagyobb n0 k¨

Válasszunk egy olyan n0 indexet, amelyre létezik a k´ıvánt tulajdonság´ u A(n0 ) ⊂ n0 ˜ V halmaz a V halmaz hozz´ atartoz´ o B1 , . . . , BN (n0 ) particiójával egy¨ utt, valamint létezik a megfelel˝ o tulajdonság´ u f k´ odol´ o és g dek´ odol´ o f¨ uggvény is. Ezzel a v´ alaszt´ assal a tételben le´ırt dek´ odol´ asi eljár´ as hibája kisebb, mint ε. Val´ oban, tekints¨ uk az információ forr´ as ´ altal leadott ξln0 +1 , . . . , ξ(l+1)n0 sorozat f (ξln0 +1 , . . . , ξ(l+1)n0 ) = vln0 ∈ A(n0 ) k´ odj´ at. A felhasznál´ o legal´ abb 1− 2ε val´ osz´ın˝ uséggel azonos´ıtani fogja ezt a jelet a csatornán kereszt¨ ul kapott jel seg´ıtségével. Ezután a g(·) dek´ odol´ o f¨ uggvény seg´ıtségével ε osz´ın˝ uséggel fogja döntése hibáját növelni. végzett dek´ odol´ as is legfeljebb 2 val´ n0

A m´ asodik tételt, amely azt a´ll´ıtja, hogy ha C < H(ξ) akkor nem lehetséges az adott m´ odon kis hibáj´ u, gyors adat´ atvitelt bizos´ıtani csak abban az esetben bizony´ıtom, ha a tekintett csatorna véges ´ allapotter˝ u, mert csak ebben az esetben bizony´ıtottam a csatorna k´ odol´ asi tétel megford´ıt´ asát, amely fontos szerepet játszik ezen a´ll´ıt´ as igazolásában. Olyan ´ all´ıt´ ast fogok bizony´ıtani, amely szerint a C < H(ξ) esetben minden ε > 0 számhoz megadhat´ o egy olyan n0 = n0 (ε) k¨ usz¨ obindex, hogy egy n ≥ n0 hossz´ us´ ag´ u blokknak tetsz˝oleges a csatornán keresz¨ ul történ˝ o tov´ abb´ıt´ asának a hibája legal´ abb 1 − ε. Azután egy k¨ ovetkezményben megmutatom, hogy a viszonylag rövid blokkoknak is bármely a csatornán kereszt¨ ul történ˝ o tov´ abb´ıt´ asának a hibája alulr´ ol becs¨ ulhet˝ o egy a forr´ ast´ ol és a csatornát´ ol f¨ ugg˝o pozit´ıv számmal. A tétel pontos megfogalmazása érdekében el˝ osz¨ or azt definiálom, hogy mit jelent egy n hossz´ us´ ag´ u sorozat tov´ abb´ıt´ asa a csatornán kereszt¨ ul. Az egyszer˝ ubb jelölés érdekében csak a ξ1 , . . . , ξn sorozat csatornán kereszt¨ ul történ˝ o tov´ abb´ıt´ asár´ ol fogok beszélni, bár a fogalmat hasonlóan definiálhatnánk és a megfelel˝ o eredményt hasonlóan bizony´ıthatnánk tetsz˝oleges ξl+1 , . . . , ξl+n , l = 0, 1, 2, . . . , sorozatra is. Az ξ1 , . . . , ξn sorozat egy a csatornán kereszt¨ ul történ˝ o tov´ abb´ıt´ asát a k¨ ovetkez˝ o n n mennyiségek seg´ıtségével fogjuk definiálni. Vezess¨ unk be egy f : X → V k´ odf¨ uggvényt, amely az n hossz´ us´ ag´ u (x1 , . . . , xn ) ∈ X n sorozatokat képezi a csatorna bemeneti jeleinek (v1 , . . . , vn ) ∈ V n sorozataiba. Defini´ aljuk a csatorna V˜ kimeneti jeleinek n hossz´ us´ ag´ u sorozataiból ´ all´ o V˜ n halmaznak egy N = N (n) elem˝ u B1 , . . . , BN particióját. Ezenk´ıv¨ ul rendelj¨ uk hozz´ a e partició mindegyik Bl , 1 ≤ l ≤ N , eleméhez az X n halmaz valamely x(n) (l) = (xi1 (l), . . . , xin (l)) ∈ X n elemét u ´gy, hogy a partició k¨ ul¨ onböz˝ o elemeihez k¨ ul¨ onböz˝ o sorozatot rendel¨ unk hozz´ a, azaz x(n) (l) 6= x(n) (l′ ), ha l 6= l′ . Alkalmazzuk a k¨ ovetkez˝ o inform´ ació tov´ abb´ıt´ asi és dek´ odol´ asi eljár´ ast. Ha megérkezik a forr´ asb´ ol a ξ1 , . . . , ξn sorozat, akkor alkalmazzuk rá az f k´ odf¨ uggvényt. Így n egy f (ξ1 , . . . , ξn ) = (vi1 , . . . , vin ) ∈ V sorozatot kapunk. Ezt ´ atengedj¨ uk az emlékezet n ˜ nélk¨ uli csatornán és kapunk egy (˜ vj1 , . . . , v˜jn ) ∈ V sorozatot, amelyet tartalmaz a 51

B1 , . . . , BN partició egyik eleme. Ha (˜ vj1 , . . . , v˜jn ) ∈ Bl , 1 ≤ l ≤ N , akkor legyen a dek´ odolt sorozat a Bl halmaznak megfeleltetett x(n) (l) = (xi1 (l), . . . , xin (l)) sorozat. Jelölj¨ uk ezt az x(n) (l) ‘dekódol´ o’ (véletlen) sorozatot (ζ1 , . . . , ζn )-nel. Akkor tekintj¨ uk az inform´ ació tov´ abb´ıt´ asi és dek´ odol´ asi eljár´ ast j´ onak, ha (ξ1 , . . . , ξn ) = (ζ1 , . . . , ζn ). A k¨ ovetkez˝ o tételt fogom bizony´ıtani. T´ etel a j´ o inform´ aci´ o tov´ abb´ıt´ as lehet˝ os´ egeinek a korl´ atair´ ol, ha a csatorna kapacit´ asa kisebb, mint a forr´ as entr´ opi´ aja. Legyen adva egy értékeit egy véges vagy megsz´ aml´ alhat´ oan végtelen X = {x1 , x2 . . . } halmazon felvev˝ o ξ val´ osz´ın˝ uségi v´ altoz´ o és e ξ val´ osz´ın˝ uségi v´ altoz´ oval azonos eloszl´ as´ u, f¨ uggetlen ξ1 , ξ2 , . . . val´ osz´ın˝ uségi v´ altoz´ ok egy sorozata. Legyen ezenk´ıv¨ ul adva egy emlékezet nélk¨ uli csatorna, amelyet egy olyan csatorna hat´ aroz meg, amely valamely V = {v1 , v2 , . . . } bemeneti jelek véges halmaz´ at a ´tviszi kimeneti jelek valamely V˜ = {˜ v1 , v˜2 , . . . } véges halmaz´ aba, és p(˜ vj |vi ) annak a feltételes val´ osz´ın˝ usége, hogy a csatorna kimeneti jele a v˜j pont, feltéve, hogy a bemeneti jele vi volt. Tegy¨ uk fel, hogy a csatorna C csatorna kapacit´ asa kisebb, mint a ξ val´ osz´ın˝ uségi v´ altoz´ o H(ξ) entr´ opi´ aja. Ekkor minden r¨ ogz´ıtett ε > 0 sz´ amhoz létezik olyan n0 = n0 (ε) k¨ usz¨ obindex, amelyre igaz a k¨ ovetkez˝ oa ´ll´ıt´ as. Adva egy n ≥ n0 sz´ am, tekints¨ unk egy f : X n → V n k´ odf¨ uggvényt, és vegy¨ uk a V halmaznak egy N = N (n) elem˝ u B1 , . . . , BN partici´ oj´ at. Ezenk´ıv¨ ul rendelj¨ uk n (n) hozz´ a e partici´ o mindegyik Bl , 1 ≤ l ≤ N , eleméhez az X halmaz egyik x (l) = (xi1 (l), . . . , xin (l)) ∈ X n elemét u ´gy, hogy x(n) (l) 6= x(n) (l′ ), ha l 6= l′ . Alkalmazzuk az ezen f k´ odf¨ uggvény, B1 , . . . , BN partici´ o és Bl → X (n) megfeleltetés a ´ltal meghat´ arozott az e tétel el˝ ott le´ırt inform´ aci´ o tov´ abb´ıt´ asi és dek´ odol´ asi elj´ ar´ ast. Ezen inform´ aci´ o tov´ abb´ıt´ asi és dek´ odol´ asi elj´ ar´ as hib´ aja legal´ abb 1 − ε, ha n ≥ n0 = n0 (ε), ami azt jelenti, hogy P ((ξ1 , . . . , ξn ) = (ζ1 , . . . , ζn )) ≤ ε. ñ

A tétel bizony´ıt´ asa. Azt ´ all´ıtom, hogy ha H(ξ) > C, akkor minden ε > 0 számhoz létezik olyan n0 = n0 (ε) k¨ usz¨ obindex, hogy ha az el˝ obb le´ırt eljár´ ast alkalmazzuk n ≥ n0 hossz´ us´ ag´ u sorozatokra, akkor bárhogy is v´ alasztjuk az f (·) k´ odol´ o f¨ uggvényt, a n ˜ V halmaz B1 , . . . , BN particióját és bárhogy is adjuk meg a Bl halmaz elemeinek a Bl → x(n) (l) = (xi1 (l), . . . , xin (l)) hozz´ arendelését az X n halmaz valamely eleméhez, a dek´ odol´ as legfeljebb ε val´ osz´ın˝ uséggel ad helyes eredményt, azaz P ((ξ1 , . . . , ξn ) = (ζ1 , . . . , ζn )) ≤ ε.

A bizony´ıt´ ast indirekt m´ odon végzem el. Feltételezem, hogy nagy n indexekre is létezik olyan f (·) k´ odf¨ uggvény, a V˜ n halmaz olyan B1 , . . . , BN particiója, illetve e particióknak olyan Bl → x(n) (l) = (xi1 (l), . . . , xin (l)) megfeleltetése, amelyre a tétel megfogalmazása el˝ ott le´ırt m´ odon konstru´ alt (ζ1 , . . . , ζn ) sorozatra P ((ξ1 , . . . , ξn ) = (ζ1 , . . . , ζn )) ≥ ε. Mivel H(ξ) > C, v´ alaszthatunk olyan δ > 0 számot, amelyre H(ξ)(1− δ)4 > C. El˝osz¨ or azt mutatom meg, hogy feltevés¨ unkb˝ol k¨ ovetkezik, hogy ha n ≥ n0 = 2 n0 (ε, δ) valamely n0 k¨ usz¨ obindexszel akkor létezik N1 = N1 (n) ≥ 2(1−δ) H(ξ)n darab olyan x(n) (l) = (xi1 (l), . . . , xin (l)) ∈ X n sorozat, amelyekre P ((ξ1 , . . . , ξn ) = (ζ1 , . . . , ζn )|(ξ1 , . . . , ξn ) = x(n) (l)) ≥ 52

ε 2

minden 1 ≤ l ≤ N1 indexre.

Ezt igazoland´ o, vegy¨ uk észre, hogy ha definiáljuk a B = B(n) = {(xi1 , . . . , xin ): (xi1 , . . . , xin ) ∈ X n ,

P ((ξ1 , . . . , ξn ) = (ζ1 , . . . , ζn )|(ξ1 , . . . , ξn ) = (xi1 , . . . , xin )) ≥ 2ε }

(4.1)

unk szerint halmazt, akkor P ((ξ1 , . . . , ξn ) ∈ B) ≥ 2ε . Ugyanis feltevés¨ ε ε ≤ P ((ξ1 , . . . , ξn ) = (ζ1 , . . . , ζn )) ≤ P ((ξ1 , . . . , ξn ) ∈ B) + (1 − P ((ξ1 , . . . , ξn ) ∈ B)), 2 ahonnan k¨ ovetkezik ez az ´ all´ıt´ as. Viszont innen az is k¨ ovetkezik, hogy ha n ≥ n0 egy 2 elég nagy n0 számmal, akkor a B(n) halmaz elemszáma nagyobb, mint 2(1−δ) H(ξ)n . Val´ oban, vezess¨ uk be a B1 = B1 (n) = {(xi1 , . . . , xin ): (xi1 , . . . , xin ) ∈ X n ,

P ((ξ1 , . . . , ξn ) = (xi1 , . . . , xin )) < 2−(1−δ)H(ξ)n }

halmazt. L´ attuk kor´ abban, hogy P ((ξ1 , . . . , ξn ) ∈ B1 ) ≥ 1 − 4ε . Ezért P (ξ1 , . . . , ξn ) ∈ ε B ∩ B1 ) ≥ 4 , ahonnan a B ∩ B1 , k¨ ovetkezésképpen a B = B(n) halmaz elemszáma ε (1−δ)H(ξ)n (1−δ)2 H(ξ)n nagyobb, mint 4 2 ≥2 , és val´ ojában a B halmaz elemszámára ilyen als´ o becslést k´ıvántunk adni. Tekints¨ uk a (4.1) formul´ aban definiált B(n) halmazt, és soroljuk fel az elemeit 2 (n) B(n) = {x (l), 1 ≤ l ≤ N (n)} alakban. L´ attuk, hogy N (n) ≥ 2(1−δ) H(ξ)n . Feleltess¨ unk meg mindegyik x(n) (l) ∈ B(n) vektornak azt a (v (n) (l), Bu(l) ) párt, amelyre v (n) (l) = f (x(n) (l)) ∈ V n a tekintett modellben szerepl˝o f (·) k´ odf¨ uggvénnyel, és (n) (n) ˜ ˜ Bu(l) ⊂ V aV halmaz B1 , . . . , BN particiójának az a Br eleme, amelyre a tekintett modellben adott megfeleltetésben a Br → x(n) (l) rel´ ació teljes¨ ul. (Létezik egy ilyen Br halmaz a P ((ζ1 , . . . , ζn ) = x(n) (l)|(ξ1 , . . . , ξn ) = x(n) (l)) > 0 tulajdonság miatt.) Vegy¨ uk észre, hogy p(Bu(l) |v (n) (l)) =

X

v ˜(n) ∈Bu(l)

p(˜ v (n) |v (n) (l)) ≥

ε , 2

ahol p(˜ v (n) |v (n) (l)) az emlékezet nélk¨ uli csatorna ´ atmenetval´ osz´ın˝ usége, azaz (n)

p(˜ v

|v

(n)

(l)) =

n Y

k=1

p(˜ vjk |vik (l)),

ha v˜(n) = (˜ vj1 , . . . , v˜jn ), és v (n) (l) = (vi1 (l), . . . , vin (l)). A fel´ırt egyenl˝otlenség azért igaz, mert annak a val´ osz´ın˝ uségét tekintett¨ uk, hogy ha egy x(n) (l) ∈ B(n) sorozatot vesz¨ unk, tekintj¨ uk annak az f (·) leképezés szerinti v (n) (l) = f (x(n) (l)) képét, azt atengedj¨ ´ uk a csatornán, majd a kapott jelet az ´ altalunk le´ırt m´ odon dek´ odoljuk, akkor a kapott (ζ1 , . . . , ζn ) sorozat teljes´ıti a (ζ1 , . . . , ζn ) = x(n) (l) azonosságot. Ennek val´ osz´ıε (n) (n) ′ uk észre azt is, hogy bár lehetséges, hogy v (l) = v (l ) n˝ usége pedig legal´ abb 2 . Vegy¨ 53

akkor is, ha l 6= l′ , azaz lehet két k¨ ul¨ onböz˝ o x(n) (l) ∈ A(n) és x(n) (l′ ) ∈ A(n) vektor, amelyekre l 6= l′ , és f (x(n) (l)) = f (x(n) (l′ )), viszont bármely v (n) ∈ V n vektorra az ul¨ onböz˝ o l indexre ´ allhat fenn. Val´ oban, mivel a f (x(n) (l)) = v (n) rel´ ació legfeljebb 2ε k¨ Bu(l) halmazok diszjunktak k¨ ul¨ onböz˝ o l indexekre, ezért  [ X Bu(l) v (n)  ≤ 1, p(Bu(l) |v (n) (l)) = p  l:f (x(n) (l))=v (n) l:f (x(n) (l))=v (n) 

as. és az ¨ osszeg mindegyik tagj´ anak az értéke legal´ abb 2ε . Ezért igaz ez az a´ll´ıt´ Tekints¨ uk a C = C(n) = {v (n) (l) = f (x(n) (l)): x(n) (l) ∈ B(n)} halmazt, ahol (n) ′ v (l) = v (l ) esetén e két vektor k¨ oz¨ ul csak az egyiket soroljuk fel a C = C(n) halmaz definici´ ojában. T´ ars´ıtsuk mindegyik v (n) (l) ∈ C vektorhoz a neki megfelel˝ o Bu(l) n (n) halmazt a V˜ halmaz B1 , . . . , BN particiójáb´ ol. L´ attuk, hogy p(Bu(l) |v (l)) ≥ 2ε , ami ul¨ onböztethet˝o elemek. azt jelenti, hogy a C halmaz elemei a csatornára nézve 1− 2ε megk¨ 2 Másrészt azt is láttuk, hogy a C halmaz elemszáma nagyobb, mint 2ε 2(1−δ) H(ξ)n ≥ 3 2(1−δ) H(ξ)n ≥ 2Cn/(1−δ) , ha n ≥ n0 . Ez viszont ellentmond a a csatorna k´ odol´ asi tétel megford´ıt´ asának. Ezért ilyen tulajdonság´ u legal´ abb ε pontoss´ ag´ u inform´ ació tov´ abb´ıt´ as és dek´ odol´ as nem létezhet, ha n ≥ n0 (ε) egy elég nagy n0 számmal. (n)

K¨ ovetkezm´ eny. Tekints¨ uk azt az esetet, amikor teljes¨ uljenek a j´ o inform´ aci´ o tov´ abb´ıt´ as lehet˝ oségeinek a korl´ atair´ ol sz´ ol´ o tétel feltételei, speci´ alisan H(ξ) > C. R¨ ogz´ıts¨ unk n n egy tetsz˝ oleges n ≥ 1 sz´ amot, defini´ aljunk egy f : X → V k´ odf¨ uggvényt, és vegy¨ uk n ˜ a V halmaznak egy N = N (n) elem˝ u B1 , . . . , BN partici´ oj´ at. Ezenk´ıv¨ ul rendelj¨ uk hozz´ a e partici´ o mindegyik Bl , 1 ≤ l ≤ N , eleméhez az X n halmaz egyik x(n) (l) = (xi1 (l), . . . , xin (l)) ∈ X n elemét u ´gy, hogy x(n) (l) 6= x(n) (l′ ), ha l 6= l′ . Alkalmazzuk azt az ezen f k´ odf¨ uggvény, B1 , . . . , BN partici´ o és Bl → X (n) megfeleltetés a ´ltal meghat´ arozott inform´ aci´ o tov´ abb´ıt´ asi és dek´ odol´ asi elj´ ar´ ast, amelyet az el˝ obbi tétel megfogalmaz´ asa el˝ ott vezettem be. Létezik olyan a forr´ ast´ ol és csatorn´ at´ ol f¨ ugg˝ o, de az n sz´ amt´ ol f¨ uggetlen α > 0 sz´ am, hogy ezen inform´ aci´ o tov´ abb´ıt´ asi és dek´ odol´ asi elj´ ar´ as hib´ aja legal´ abb α, azaz P ((ξ1 , . . . , ξn ) = (ζ1 , . . . , ζn )) ≤ 1 − α. A k¨ ovetkezmény indokl´ asa. Azt kell megindokolni, hogy a H(ξ) > C esetben kis n számokra sem lehet n hossz´ us´ ag´ u blokkok seg´ıtségével nagyon j´ o inform´ ació tov´ abb´ıt´ ast elérni. Bel´ attuk, hogy ha H(ξ) > C, akkor minden ε > 0 számhoz létezik olyan n0 = n0 (ε) k¨ usz¨ obindex, hogy az n ≥ n0 számokra minden n hossz´ us´ ag´ u blokkokon alapuló inform´ ació tov´ abb´ıt´ as és dek´ odol´ as hibája legal´ abb ε. Ezt az eredményt fogjuk alaszt´ assal. Tekints¨ uk az n0 = n0 ( 21 ) k¨ usz¨ obindexet. Azt a´ll´ıtom, alkalmazni ε = 12 v´ hogy az n < n0 hossz´ us´ ag´ u blokkokon alapuló inform´ ació tov´ abb´ıt´ as és dek´ odol´ as hibája 1 nagyobb vagy egyenl˝o, mint 2n0 . Innen ad´ odik a K¨ ovetkezmény a´ll´ıt´ asa. A bizony´ıt´ as alapgondolata az, hogy ha létezne olyan m´ odszer, amely 2n1 0 -nél kisebb dek´ odol´ asi hibát biztos´ıt, akkor ezt alkalmazva n0 egym´ as ut´ ani blokkra olyan információ tov´ abb´ıt´ asi és dek´ odol´ asi eljár´ ast kapnánk valamely n0 -n´ al hosszabb blokkra, 1 amelynek a hibája kisebb, mint 2 . Viszont tudjuk, hogy ez nem lehetséges. 54

Val´ oban, rögz´ıts¨ unk egy n < n0 számot. Egy n hossz´ us´ ag´ u blokkokon alapuló inform´ ació tov´ abb´ıt´ ast és dek´ odol´ ast egy f : X n → V n k´ odol´ o f¨ uggvény, a V˜ n halmaz egy B1 , . . . , BN particiója valamint e partició elemeinek egy Bl → x(n) (l), 1 ≤ l ≤ N , leképezése az X n térbe határoz meg. Defini´ aljunk e mennyiségeknek megfelel˝ o objektumokat az n0 n hossz´ us´ ag´ u sorozatok terén a k¨ ovetkez˝ o m´ odon. Defini´ aljuk az f¯ n0 n n0 n k´ odol´ asi f¨ uggvényt, amely az X teret a V térbe képezi az f¯(x1 , . . . , xn0 n ) = (f (xkn+1 , . . . , x(k+1)n , k = 0, . . . , n0 − 1) képlet seg´ıtségével, a V˜ n0 n halmaz N n0 elem˝ u particióját pedig a k¨ ovetkez˝ o m´ odon: E partició elemei a B(li(1) , . . . , li(n0 ) ) = Bli(1) × · · · × Bli(n0 ) halmazok, ahol 1 ≤ i(j) ≤ N minden 1 ≤ j ≤ n0 indexre. Vég¨ ul (n) (n) n0 n e partició B(li(1) , . . . , li(n0 ) ) elemének a x (li(1) ) × · · · × x (li(n0 ) ) ∈ X vektort feleltetj¨ uk meg. Nem nehéz bel´ atni, hogy ha az eredeti n hossz´ us´ ag´ u blokkokon alapuló inform´ ació tov´ abb´ıt´ asban és dek´ odol´ asában a ξln+1 , . . . , ξ(l+1)n , 0 ≤ l < n0 , blokkok hibás dek´ odo1 odol´ as hibája nem f¨ ugg az l számtól), lásának a val´ osz´ın˝ usége kisebb, mint 2n0 , (a dek´ akkor az n0 n hossz´ us´ ag´ u sorozatok ‘szorzatterében’ az u ´j objektumok a´ltal meghat´ aro1 zott inform´ ació tov´ abb´ıt´ as és dek´ odol´ as hibájának a val´ osz´ın˝ usége kisebb, mint n0 2n0 = 1 erben’ az u ´j dek´ odol´ as val´ ojában u ´gy m˝ uködik, hogy az egyes 2 . Ugyanis a ‘szorzatt´ kn+1 ≤ n ¯ ≤ (k+1)n blokkokat, k = 0, . . . , n0 −1, egym´ ast´ ol f¨ uggetlen¨ ul az n hossz´ us´ agi blokkokon érvényes szabály szerint tov´ abb´ıtjuk a csatornán kereszt¨ ul, majd dek´ odoljuk oket. Ha ezen n0 blokk dek´ ˝ odol´ asa mindegyik k-ra kevesebb, mint 2n1 0 val´ osz´ın˝ uséggel hibás, akkor igaz az eml´ıtett becslés. De mivel az n0 n hossz´ u sorozatokkal végzett ovetkezik az n < n0 hossz´ u sorozatok hibájár´ ol dek´ odol´ asok hibája legal´ abb 12 , innen k¨ megfogalmazott ´ all´ıt´ as. 5. Az entr´ opia fogalm´ anak Kolmogorov-f´ ele ´ altal´ anos´ıt´ asa ´ es e fogalom alkalmaz´ asa egy probl´ ema vizsg´ alat´ aban. Ebben a fejezetben egy olyan problémát fogok tárgyalni, amelynek látszólag nincs k¨ oze az inform´ acióelmélethez. Mégis, meglep˝ o m´ odon, e probléma megold´ asában kulcsszerepet j´ atszik az entr´ opia, pontosabban e fogalom egy alkalmas a´ltal´ anos´ıt´ asa. A vizsgálandó kérdés megfogalmazásának érdekében el˝ osz¨ or felidézem a val´ osz´ın˝ uségszám´ıt´ asban gyakran haszn´ alt Bernoulli rendszer definici´ oját. A Bernoulli rendszer definici´ ojának megadása el˝ ott ismertetem annak inform´ alis le´ırását. Vesz¨ unk egy (Ω, A, P ) val´ osz´ın˝ uségi mez˝ ot, és azon egy véges sok, mondjuk az 1, 2, . . . , r értékeket felvev˝o ξ val´ osz´ın˝ uségi v´ altoz´ ot. Minden egész l számra tekintj¨ uk ennek a rendszernek egy ezzel az l számmal indexelt példány´ at, és vessz¨ uk ezek direkt szorzatát. Ezután definiáljuk azt az eltol´ ast ezen a szorzattéren, amelynek hatására a ξl val´ osz´ın˝ uségi v´ altoz´ o a ξl+1 v´ altoz´ oba megy ´ at. Alább egy olyan rendszert definiálunk, ahol ilyen val´ osz´ın˝ uségi v´ altoz´ okat és azok eltoltjait természetes m´ odon be lehet vezetni. Bernoulli rendszer definici´ oja. Legyen adva egy r ≥ 2 egész sz´ am, és olyan pj ≥ 0, r P 1 ≤ j ≤ r, sz´ amok, amelyekre pj = 1. Az r ≥ 2, és pj , 1 ≤ j ≤ r, sz´ amok j=1

a ´ltal meghat´ arozott Bernoulli rendszeren az al´ abbi (Ω, A, P ) val´ osz´ın˝ uségi mez˝ ot és az Ω halmazon defini´ alt T u ´gynevezett shift (eltol´ as) transzform´ aci´ ot értj¨ uk. Az Ω halmaz 55

elemei azon ω = (. . . , x−1 , x0 , x1 , . . . ) sorozatok, amelyekre xj ∈ {1, . . . , r}, minden −∞ < j < ∞ indexre. Az A σ-algebra az al´ abbi A(k, j−k , . . . , jk ) ⊂ Ω u ´gynevezett hengerhalmazok a ´ltal gener´ alt legsz˝ ukebb σ-algebra: A(k, j−k , . . . , jk ) = {ω = (. . . , x−1 , x0 , x1 , . . . ): xs = js , −k ≤ s ≤ k}, ahol k tetsz˝ oleges pozit´ıv egész sz´ am, és js ∈ {1, . . . , r} minden −k ≤ s ≤ k indexre. A k Q hengerhalmazok P val´ osz´ın˝ uségét a P (A(k, j−k , . . . , jk ) = pjs képlet adja meg, és s=−k

a P mérték e val´ osz´ın˝ uség kiterjesztése a A σ-algebr´ ara. Vég¨ ul egy ω = (. . . , x−2 , x−1 , x0 , x1 , . . . ) ∈ Ω elemi esemény T ω shiftje (eltoltja) a T ω = (. . . , x−1 , x0 , x1 , x2 . . . ) ∈ Ω

sorozat, azaz az ω-t defini´ al´ o sorozat xs , s-ik koordin´ at´ aj´ at eggyel eltoljuk balra. Ez azt jelenti az xs sz´ am a T ω-t defini´ al´ o sorozat s − 1-ik koordin´ at´ aj´ aban jelenik meg. Megjegyzés. A Bernoulli rendszerek definici´ ojában nem jelentek meg az e fogalom informális ismertetésében eml´ıtett ξl , l = 0, ±1, . . . , f¨ uggetlen és egyforma eloszl´ as´ u valósz´ın˝ uségi v´ altoz´ ok. De ilyen val´ osz´ın˝ uségi v´ altoz´ okat egyszer˝ u és természetes m´ odon definiálhatunk egy Bernoulli rendszerben. Nevezetesen, legyen ξl (ω) = xl , l = 0, ±1, . . . , ha ω = (. . . , x−1 , x0 , x1 , . . . ). Azzal a kérdéssel fogunk foglalkozni, hogy két k¨ ul¨ onböz˝ o Bernoulli rendszer mikor izomorf egy al´ abb ismertetend˝ o természetes izomorfia fogalom szerint, mely izomorfia ´ szemléletesen a két dinamikus rendszer hasonlóság´ at fejezi ki. Erdemes ezt a kérdést altal´ ´ anosabban megfogalmazni. Bevezetem az (invert´ alhat´ o shift transzform´ acióval rendelkez˝ o) dinamikus rendszerek fogalmát, és definiálom ezek izomorfi´ aját. A minket érdekl˝ o kérdés arr´ ol szól, hogy bizonyos speciális dinamikus rendszerek mikor izomorfak. (Invert´ alhat´ o) dinamikus rendszerek definici´ oja. Egy (Ω, A, P ) val´ osz´ın˝ uségi mez˝ ot, és egy az Ω halmazt o ¨nmag´ aba képez˝ o, mérhet˝ o T leképezést dinamikus rendszernek nevez¨ unk, ha T mértéktart´ o transzform´ aci´ o, azaz P (T −1 (A)) = P (A) minden A ∈ A halmazra. Egy dinamikus rendszert invert´ alhat´ onak nevez¨ unk, ha a T transzform´ aci´ o automorfizmus, azaz minden ω ∈ Ω pontra pontosan egy olyan ω ˜ ∈ Ω pont van, amelyre Tω ˜ = ω. Nem nehéz bel´ atni, hogy egy Bernoulli rendszer (az ott definiált) shift transzformációval invert´ alhat´ o dinamikus rendszer. A jobb érthet˝oség kedvéért mutatok egy a Bernoulli rendszerhez hasonló nem invert´ alhat´ o dinamikus rendszert, amelyet féloldali Bernoulli rendszernek fogok nevezni. 56

F´ eloldali Bernoulli rendszer definici´ oja. és olyan pj

Legyen adva egy r ≥ 2 egész sz´ am, r P ≥ 0, 1 ≤ j ≤ r, sz´ amok, amelyekre pj = 1. Az r ≥ 2, és pj , j=1

1 ≤ j ≤ r, sz´ amok a ´ltal meghat´ arozott féloldali Bernoulli rendszeren az al´ abbi (Ω, A, P ) val´ osz´ın˝ uségi mez˝ ot és az Ω halmazon defini´ alt T u ´gynevezett shift (eltol´ as) transzform´ aci´ ot értj¨ uk. Az Ω halmaz elemei azon ω = (x0 , x1 , . . . ) sorozatok, amelyekre 1 ≤ xj ≤ r, és xj egész sz´ am minden 0 ≤ j < ∞ indexre. Az A σ-algebra az Ω halmaz az al´ abbi A(k, j0 , . . . , jk ) u ´gynevezett hengerhalmazok a ´ltal gener´ alt σ-algebra: A(k, j0 , . . . , jk ) = {ω = (x0 , x1 , x2 , . . . ): xs = js , 0 ≤ s ≤ k}, k = 1, 2, . . . , 1 ≤ js ≤ r minden 0 ≤ s ≤ k indexre. A hengerhalmazok P val´ osz´ın˝ uségét a P (A(k, j0 , . . . , jk ) = k Q pjs képlet adja meg, és a P mérték e val´ osz´ın˝ uség kiterjesztése a A σ-algebr´ ara. s=0

Vég¨ ul egy ω = (x0 , x1 , x2 , . . . ) ∈ Ω elemi esemény T ω shiftje a T ω = (x1 , x2 , x3 , . . . ) ∈ Ω sorozat, azaz az ω-t defini´ al´ o sorozat xs , s-ik koordin´ at´ aj´ at eggyel eltoljuk balra, és az x0 koordin´ ata ‘elveszik’. ˜ A, ˜ P˜ , T˜) dinamikus rendszer. Természetesnek Legyen adva két (Ω, A, P, T ) és (Ω, látszana ezek valamely ϕ izomorfi´ aját u ´gy definiálni, mint az Ω halmaznak olyan k¨ ol˜ csön¨ osen egyértelm˝ u, mértéktart´ o ϕ leképezését az Ω halmazba, amely a T shift transz˜ formációt a T shift transzform´ acióba viszi, azaz ϕ(T ω) = T˜(ϕ(ω) minden ω ∈ Ω pontban. Mint a k¨ ovetkez˝ o példa mutatja, érdemes ezt a definici´ ot kissé finom´ıtani. Lehetséges ugyanis, hogy valamelyik dinamikus rendszernek van egy olyan rossz null mérték˝ u részhalmaza, amely kiz´ arja az ilyen értelemben vett izomorfi´ at, de ha ezt a null mérték˝ u halmazt elhagyjuk akkor minden rendben lesz. Tekints¨ uk a k¨ ovetkez˝ o példát. Vegy¨ uk azt az (Ω, A, P ) val´ osz´ın˝ uségi mez˝ ot, amelyre Ω = {1}, A az Ω halmaz ¨ osszes részhalmaza, (ez val´ ojában az {1} halmaz és az u ¨res halmaz), és P ({1}) = 1. Defini´ aljuk a T shift transzform´ aciót az Ω halmazon, mint ˜ A, ˜ P˜ ) val´ az identit´ as transzform´ aciót. Vezess¨ uk be az (Ω, osz´ın˝ uségi mez˝ ot, amelyre ˜ = {0, 1}, A˜ az Ω ˜ halmaz ¨ Ω osszes részhalmaza, P˜ ({1}) = 1, és P˜ ({0}) = 0. Defini´ aljuk ˜ ˜ a T shift transzform´ aciót az Ω halmazon, mint az identit´ as transzform´ aciót. Ekkor, ˜ A, ˜ P˜ , T˜) dinamikus rendszer egy invert´ mind (Ω, A, P, T ) mind (Ω, alhat´ o shift transz˜ formációval. A két rendszer nem izomorf az el˝ obb v´ azolt értelemben, mert Ω egy, Ω ˜ halmazból kihagyva a null mérték˝ pedig két elemb˝ol ´ all. Viszont a Ω u {0} halmazt m´ ar két izomorf dinamikus rendszert kapunk. Ezért érdemes dinamikus rendszerek izomorfi´ aját az al´ abb megadand´ o m´ odon definiálni, mert az jobban kifejezi két dinamikus rendszer hasonlóság´ at. A definici´ o szemléletes tartalma az, hogy két dinamikus rendszert akkor tekint¨ unk izomorfnak, ha egy rossz null mérték˝ u halmazt kihagyva mind a két dinamikus rendszerb˝ol olyan rendszereket kapunk, amelyek az el˝ obb jelzett er˝ osebb értelemben is izomorfak. Dinamikus rendszerek izomorfi´ aj´ anak a definici´ oja. Legyen adva két (Ω, A, P, T ) ˜ ˜ ˜ ˜ és (Ω, A, P , T ) dinamikus rendszer. A két rendszer izomorf, ha létezik két olyan Ω0 ∈ A ˜ 0 ∈ A˜ halmaz és egy (mérhet˝ ˜ 0 leképezés, és Ω o) k¨ olcs¨ on¨ osen egyértelm˝ u ϕ: Ω0 → Ω amelyekre 57

˜ 0 ) = 1, az Ω0 , és Ω ˜ 0 halmazok invari´ 1.) P (Ω0 ) = 1, P˜ (Ω ansak a T illetve T˜ shift −1 −1 ˜ ˜ ˜ transzform´ aci´ ora, azaz Ω0 ⊂ T Ω0 , és Ω0 ⊂ T Ω0 . Ez ekvivalensen u ´gy is ˜ ˜ megfogalmazhat´ o, hogy T Ω0 ⊂ Ω0 , és T Ω0 ⊂ Ω0 . ˜ ˜ 0 , és A˜ = ϕ(A), 2.) A ϕ: Ω0 → Ω0 leképezés mértéktart´ o, azaz ha A ⊂ Ω0 , A˜ ⊂ Ω ˜ és ebben az esetben P (A) = P˜ (A). ˜ akkor A ∈ A akkor és csak akkor, ha A˜ ∈ A, 3.) A ϕ leképezés felcserélhet˝ o a T , T˜ shift p´ arral, azaz ϕ(T ω) = T˜ϕ(ω) tetsz˝ oleges ω ∈ Ω0 pontra. ˜ 0 p´ Ha a fenti tulajdons´ agok teljes¨ ulnek valamely Ω0 , Ω arral és ϕ leképezéssel, akkor ˜ ˜ ˜ ˜ azt mondjuk, hogy az (Ω, A, P, T ) és (Ω, A, P , T ) dinamikus rendszerek izomorfak az ˜ 0 , ϕ) h´ (Ω0 , Ω armason kereszt¨ ul. Megjegyzés. Tetsz˝oleges dinamikus rendszerek izomorfi´ aját definiáltuk, de a f˝ o eredményekben csak invert´ alhat´ o dinamikus rendszerek izomorfi´ aját fogjuk vizsgálni. A minket érdekl˝ o Bernoulli rendszerek invert´ alhat´ o dinamikus rendszerek, és vizsg´ alataink bizonyos részeiben ezt ki fogjuk haszn´ alni. Ha két rendszer izomorfi´ aját akarjuk vizsgálni valamilyen izomorfia fogalom szerint, akkor természetes az izomorfia invari´ ansait, azaz olyan tulajdonságokat és menynyiségeket keresni, amelyek nem v´ altoznak akkor, ha egy rendszerb˝ol egy m´ asik vele izomorf rendszerbe tér¨ unk ´ at. Minél több invari´ anst ismer¨ unk annál jobban tudjuk az izomorfi´ at vizsgálni. Tekints¨ unk invert´ alhat´ o dinamikus rendszereket, és vizsgáljuk ezek el˝ obb bevezetett izomorfi´ aját. El˝osz¨ or a k¨ ovetkez˝ o nem trivi´ alis az izomorfi´ ara invari´ ans tulajdonságot tal´ alt´ ak. Adva egy (Ω, A, P, T ) invert´ alhat´ o dinamikus rendszer, természetes m´ odon ´ definiálhatjuk a k¨ ovetkez˝ o Hilbert teret és rajta definiált unitér oper´ atort. Alljon a Hilbert tér az (Ω, A, P ) téren értelmezett négyzetesen integrálhat´ o Rf¨ uggvényekb˝ol a szok´ asos L2 norm´ aval, és vezess¨ uk be e téren az al´ abbi U oper´ atort. Ha f 2 (ω)P ( dω) < ∞, akkor definiáljuk az f f¨ uggvény U f képét az U f (ω) = f (T ω) képlettel. Nem nehéz bel´ atni, hogy (a T shift transzform´ ació mértéktart´ o tulajdonsága és invert´ alhat´ os´ aga miatt) az el˝ obb definiált U oper´ ator unitér. Tov´ abbá, ha két invert´ alhat´ o dinamikus rendszer izomorf, akkor a nekik megfelel˝ o Hilbert tér a rajtuk definiált U unitér oper´ atorral izomorf. Felmer¨ ult a kérdés, hogy ez a tény milyen inform´ aciót ad két Bernoulli rendszer izomorfi´ ajár´ ol. Kider¨ ult, hogy bármely két Bernoulli rendszerhez tartozó az el˝ obbi m´ odon bevezetett Hilbert tér a rajta definiált unitér oper´ atorral egy¨ utt izomorf. Ezen eredmény bizony´ıt´ asát ismertetem e fejezet kiegész´ıtésében. Sok´ aig azt hitték, hogy ez az a lényeges izomorfi´ ara invari´ ans tulajdonág, amely eldönti, hogy két Bernoulli rendszer izomorf-e. Ezért többen azt sejtették, hogy bármely két Bernoulli rendszer izomorf. S˝ot, Paul Halmos bebizony´ıtotta, hogy ezen sejtés igazolásához elegend˝ o lenne azt bel´ atni, hogy az r = 3, p1 = p2 = p3 = 31 illetve r = 4, p1 = p2 = p3 = p4 = 41 paraméterekkel meghat´ arozott Bernoulli rendszerek izomorfak. Kés˝obb Kolmogorov bebizony´ıtotta, hogy ez a sejtés hamis, mert létezik olyan tov´ abbi a dinamikus rendszerek izomorfi´ ajára invari´ ans mennyiség, amelynek létezéséb˝ ol k¨ ovetkezik például, hogy a fent eml´ıtett Bernoulli rendszerek nem izomorfak. 58

Kolmogorov bevezette a Shannon-féle entr´ opia egy természetes a´ltalános´ıt´ asát. Defini´ alta dinamikus rendszerek entr´ opiáját, és megmutatta, hogy egym´ assal izomorf dinamikus rendszerek entr´ opiája egyenl˝o. Ezenk´ıv¨ ul olyan eredményt bizony´ıtott, amely seg´ıtett az entr´ opia kisz´ amol´ asában bizonyos esetekben. Speciálisan megmutatta, hogy egy r, p1 , . . . , pr , paraméterekkel meghat´ arozott Bernoulli rendszer entr´ opiája H = r P − pj log pj , és az ´ altala bevezetett entr´ opia tekinthet˝ o u ´gy, mint a Shannon-féle j=1

entr´ opia ´ altal´ anos´ıt´ asa. Kés˝obb David Ornstein egy mély eredményben bebizony´ıtotta, hogy két Bernoulli rendszer, amelyeknek megegyezik az entr´ opiája, izomorf. Ebben a fejezetben Kolmogorov eredményét és annak bizony´ıt´ asát ismertetem. Nem fogom tárgyalni Ornstein eredményének a bizony´ıt´ asát. Természetesen Bernoulli rendszerek izomorfi´ ajának a problémája csak egy speciális, bár fontos része annak a ´ kérdéskörnek, hogy két dinamikus rendszer mikor izomorf. Altal´ anos dinamikus rendszerek izomorfi´ ajának a kérdésével azonban ebben a jegyzetben nem foglalkozom. Kolmogorov eredményeinek tárgyal´ asa el˝ ott ismertetek néh´ any a dinamikus rendszerek izomorfi´ ajával kapcsolatos tényt. ´ Eszrev´ etel. Dinamikus rendszerek izomorfi´ aja ekvivalencia rel´ aci´ o.

Bizony´ıt´ as. Nyilv´ anval´ o, hogy egy dinamikus rendszer ¨ onmag´ aval izomorf, azaz az izomorfia reflexiv. Ugyancsak k¨ onnyen láthat´ o, hogy az izomorfia szimmetrikus tulaj˜ A, ˜ P˜ , T˜) dinamikus rendszerrel egy (Ω0 , Ω ˜ 0 , ϕ) donság. Ha (Ω, A, P, T ) izomorf egy (Ω, ˜ A, ˜ P˜ , T˜) izomorf az (Ω, A, P, T ) dinamikus rendszerrel hármason kereszt¨ ul, akkor (Ω, −1 ˜ 0 , Ω0 , ϕ ) hármason kereszt¨ az (Ω ul. Be kell még látni, hogy az izomorfia tranzit´ıv tulajdonság. ˜ A, ˜ P˜ , T˜) dinamikus Azt kell megmutatni, hogy ha (Ω, A, P, T ) izomorf egy (Ω, ˜ 0 , ϕ), és (Ω, ˜ A, ˜ P˜ , T˜) izomorf egy (Ω′ , A′ , P ′ , T ′ ) dinamikus rendrendszerrel egy (Ω0 , Ω ′ ˜ 1 , Ω , ψ) hármason kereszt¨ szerrel egy (Ω ul, akkor az (Ω, A, P, T ) és (Ω′ , A′ , P ′ , T ′ ) di1 namikus rendszerek is izomorfak. Ennek érdekében el˝ osz¨ or megmutatom azt, hogy az ˜ ˜ 2 , Ω′ , ψ2 ) alakban alizomorfi´ akat biztos´ıt´ o hármasok v´ alaszthatóak (Ω2 , Ω2 , ϕ2 ) és (Ω 2 ˜ 2 , Ω′ , ϕ2 és ψ2 mennyiségekkel. A lényeges pont ebben az a´ll´ıt´ kalmas Ω2 , Ω asban az, 2 ˜ hogy a két hármasban ugyanaz az Ω2 halmaz szerepel. ˜2 = Ω ˜0 ∩ Ω ˜ 1 . Ha Ω2 = ϕ−1 Ω ˜ 2 , ϕ2 a ϕ f¨ Legyen Ω uggvény megszor´ıt´ asa az Ω2 hal˜ ˜ ˜ ˜ ˜ 2 , ϕ2 ) mazra, akkor (Ω, A, P, T ) izomorf az (Ω, A, P , T ) dinamikus rendszerrel az (Ω2 , Ω ′ ˜ uggvény megszor´ıt´ asa hármason kereszt¨ ul is. Hasonl´ oan, legyen Ω2 = ψ Ω2 , és ψ2 a ψ f¨ ′ ′ ′ ′ ˜ ˜ ˜ ˜ ˜ az Ω2 halmazra. Ekkor (Ω, A, P , T ) izomorf az (Ω , A , P , T ) dinamikus rendszerrel ˜ 2 , Ω′ , ψ2 ) hármason kereszt¨ ul. Ezt felhasználva kapjuk, hogy az (Ω, A, P, T ) és az (Ω 2 ′ ′ ′ ′ ul, ahol (Ω , A , P , T ) dinamikus rendszrek izomorfak az (Ω2 , Ω′2 , ρ) hármason kereszt¨ ρ(ω) = ψ2 (ϕ2 (ω)) minden ω ∈ Ω2 pontban. (A ρ f¨ uggvény definici´ ojában haszn´ altuk ki ˜ 2 halmaz fent eml´ıtett tulajdonság´ az Ω at.) Sz¨ ukség¨ unk van még a k¨ ovetkez˝ o eredményre is.

59

Lemma izomorf dinamikus rendszerek tulajdons´ agair´ ol. Legyen (Ω, A, P, T ) és ˜ A, ˜ P˜ , T˜) két izomorf dinamikus rendszer egy (Ω0 , Ω ˜ 0 , ϕ) h´ (Ω, armason kereszt¨ ul. Ekkor ϕ(T n ω) = Tñ ϕ(ω)

minden n = 1, 2, . . . sz´ amra, és minden ω ∈ Ω0 pontban.

(5.1)

˜ 0 , és A˜j ∈ A, ˜ 1 ≤ j ≤ k, és nj ≥ 0, Legyen adva k darab A˜j halmaz, amelyekre A˜j ⊂ Ω 1 ≤ j ≤ k, nem negat´ıv egész sz´ amok egy sorozata. Ekkor P (T −n1 ϕ−1 (A˜1 ) ∩ · · · ∩ T −nk ϕ−1 (A˜k )) = P˜ (T˜−n1 A˜1 ∩ · · · ∩ T˜−nk A˜k ).

(5.2)

A fenti lemma azt mondja ki, hogy bár dinamikus rendszerek izomorfi´ ajának a definici´ ojában megengedt¨ uk bizonyos null mérték˝ u halmazok kihagy´ asát, a T illetve T˜ shift oper´ atorok hatványai u ´gy viselkednek, mint abban az egyszer˝ ubb esetben, amikor a null mérték˝ u halmazok ezen kihagy´ asát nem engedj¨ uk meg, azaz, ha Ω0 = Ω, és ˜ 0 = Ω. ˜ Ω A lemma bizony´ıt´ asa. Az (5.1) formul´ at n szerinti teljes indukci´ oval láthatjuk be. n = 1-re a formula igaz, és ha igaz n-re, akkor ϕ(T n+1 ω) = ϕ(T n (T ω)) = Tñ ϕ(T ω) = Tñ (T˜(ϕ(ω)) = Tñ+1 ϕ(ω). Az (5.2) rel´ ació igazolása érdekében el˝ osz¨ or mutassuk meg, hogy amennyiben A˜ ∈ ˜ 0 , akkor minden n ≥ 0 számra T −n ϕ−1 (A) ˜ ∩ Ω0 = ϕ−1 (T˜−n (A) ˜ ∩Ω ˜ 0 ). Val´ Ω oban, ω ∈ −n −1 ˜ −n −1 ˜ ˜ T ϕ (A) ∩ Ω0 akkor és csak akkor, ha ω ∈ T ϕ (A) és ω ∈ Ω0 , azaz ϕ(T n ω) ∈ A, és ω ∈ Ω0 . ˜ ∩Ω ˜ 0 ) azzal ekvivalens, hogy ϕ(ω) ∈ T˜−n (A) ˜ ∩Ω ˜ 0 , azaz Másrészt ω ∈ ϕ−1 (T˜−n (A) ˜ 0 . Ez viszont az (5.1) rel´ Tñ ϕ(ω) ∈ A˜ és ϕ(ω) ∈ Ω ació szerint azzal ekvivalens, hogy n ϕ(T ω) ∈ A˜ és ω ∈ Ω0 . A fel´ırt azonosság tehát érvényes. Alkalmazva ezt az azonosságot mindegyik A˜j , 1 ≤ j ≤ k, halmazra nj paraméterrel, és véve az azonosság két oldal´ an lév˝o halmazok metszetét azt kapjuk, hogy ˜ 0 ). T −n1 ϕ−1 (A˜1 ) ∩ · · · ∩ T −nk ϕ−1 (A˜k ) ∩ Ω0 = ϕ−1 (T˜−n1 A˜1 ∩ · · · ∩ T˜−nk A˜k ∩ Ω Ezért a fenti azonosság két oldal´ an lev˝ o halmaz P val´ osz´ın˝ usége egyenl˝o. Az (5.2) azonosság k¨ ovetkezik ebb˝ol az azonosságból és a k¨ ovetkez˝ o két észrevételb˝ ol. P (T −n1 ϕ−1 (A˜1 ) ∩ · · · ∩ T −nk ϕ−1 (A˜k ) ∩ Ω0 ) = P (T −n1 ϕ−1 (A˜1 ) ∩ · · · ∩ T −nk ϕ−1 (A˜k )), mert P (Ω0 ) = 1. Másrészt ˜ 0 )) P (ϕ−1 (T˜−n1 A˜1 ∩ · · · ∩ T˜−nk A˜k ∩ Ω ˜ 0 ) = P˜ (T˜−n1 A˜1 ∩ · · · ∩ T˜−nk A˜k ) = P˜ (T˜−n1 A˜1 ∩ · · · ∩ T˜−nk A˜k ∩ Ω ˜ 0 ) = 1 rel´ a ϕ transzform´ ació mértéktart´ o tulajdonsága és a P˜ (Ω ació miatt. 60

Bevezetem egy invert´ alhat´ o dinamikus rendszer entr´ opiájájának a fogalm´ at. De ezt csak invert´ alhat´ o dinamikus rendszerek esetében fogom megtenni. A definici´ o bevezetése érdekében el˝ osz¨ or bebizony´ıtok egy egyszer˝ u lemmát. A lemma megfogalmazásában haszn´ alni fogom a k¨ ovetkez˝ o jelölést. Legyen (Ω, A, P, T ) egy invert´ alhat´ o dinamikus rendszer. Egy e dinamikus rendszerben definiált ξ val´ osz´ın˝ uségi v´ altoz´ o T n ξ eltoltj´ an n n a T ξ(ω) = ξ(T ω) val´ osz´ın˝ uségi v´ altoz´ ot értj¨ uk minden n = . . . , −1, 0, 1, . . . indexre. (Speci´ alisan T 0 ξ(ω) = ξ(ω).) Lemma az entr´ opia egy tulajdons´ ag´ ar´ ol. Legyen (Ω, A, P, T ) invert´ alhat´ o dinamikus rendszer, és legyen ξ(ω) egy A mérhet˝ o véges vagy megsz´ aml´ alhat´ oan végtelen értéket felvev˝ o val´ osz´ın˝ uségi v´ altoz´ o. Ekkor létezik az lim H(ξ|T −1 ξ, . . . , T −n ξ).

(5.3)

n→∞

hat´ arérték. Ha H(ξ) < ∞ akkor ez a hat´ arérték véges, és 1 H(ξ, T ξ, . . . , T n−1 ξ) n→∞ n

lim H(ξ|T −1 ξ, . . . , T −n ξ) = lim

n→∞

1 H(T −n+1 ξ, . . . , T −1 ξ, ξ, T ξ, . . . , T n−1 ξ). n→∞ 2n − 1

(5.4)

= lim

Bizony´ıt´ as. Az els˝ o fejezet eredményeib˝ol k¨ ovetkezik, hogy a H(ξ|T −1 ξ, . . . , T −k ξ) feltételes entr´ opia sorozat a k paraméter monoton csökken˝ o f¨ uggvénye. Ezért létezik a lim H(ξ|T −1 ξ, . . . , T −n ξ)

n→∞

határérték, és az véges, ha H(ξ) < ∞. Ebben az esetben fel´ırhatjuk a n−1 1X H(ξ) 1 H(ξ, T ξ, . . . , T n−1 ξ) = H(T k ξ|T k−1 ξ, . . . , T 0 ξ) + n n n k=1

=

1 n

n−1 X

H(ξ|T −1 ξ, . . . , T −k ξ) +

k=1

H(ξ) n

azonosságot. E formula els˝ o azonosság´ aban felhasználtuk az entr´ opia és feltételes entr´ opia els˝ o fejezetben bizony´ıtott tulajdonságait, a m´ asodik azonosságban pedig azt a tényt, hogy a (T k ξ, T k−1 ξ, . . . , ξ), illetve (ξ, T −1 ξ, . . . , T −k ξ) vektorok azonos eloszl´ as´ uak, k k−1 0 −1 −k ezért H(T ξ|T ξ, . . . , T ξ) = H(ξ|T ξ, . . . , T ξ) minden k = 0, 1, . . . indexre. Innen azt kapjuk, hogy ! n−1 X 1 1 H(ξ) lim H(ξ, T ξ, . . . , T n−1 ξ) = lim H(ξ|T −1 ξ, . . . , T −k ξ) + n→∞ n n→∞ n n k=1 −1

= lim H(ξ|T n→∞

61

ξ, . . . , T −1 ξ, . . . , T −n ξ)

azaz igaz az (5.4) formula els˝ o azonossága. Mivel H(T −n+1 ξ, . . . , T −1 ξ, ξ, T ξ, . . . , T n−1 ξ) = H(ξ, T ξ, . . . , T 2n−2 ξ) igaz az (5.4) formula m´ asodik azonossága is. Invert´ alhat´ o dinamikus rendszer entr´ opi´ aj´ anak a definici´ oja. Legyen adva egy (Ω, A, P, T ) invert´ alhat´ o dinamikus rendszer, és tekints¨ unk ezen egy olyan A mérhet˝ o véges vagy megsz´ aml´ alhat´ oan végtelen értéket felvev˝ o ξ val´ osz´ın˝ uségi v´ altoz´ ot. A ξ val´ osz´ın˝ uségi v´ altoz´ o T shift transzform´ aci´ o szerinti entr´ opi´ aja a H(T, ξ) = lim H(ξ|T −1 ξ, . . . , T −n ξ) n→∞

(5.5)

hat´ arérték. (Az el˝ oz˝ o lemma szerint ez a hat´ arérték létezik, és véges, ha H(ξ) < ∞.) A T shift transzform´ aci´ o entr´ opi´ aja a H(T ) = sup H(T, ξ)

(5.6)

ξ

kifejezéssel egyenl˝ o, ahol a szuprémumot az o ¨sszes A mérhet˝ o és véges sok értéket felvev˝ o ξ val´ osz´ın˝ uségi v´ altoz´ ora vessz¨ uk. Megjegyzés. L´ attuk, hogy a H(ξ) < ∞ esetben a H(T, ξ) mennyiséget a 1 H(T 0 ξ, . . . , T n−1 ξ) n→∞ n

H(T, ξ) = lim képlet seg´ıtségével is kifejezhetj¨ uk.

Egy invert´ alhat´ o dinamikus rendszer shift transzform´ aciójának az entr´ opiáját az irodalomban gyakran kissé m´ as, de ekvivalens m´ odon ´ırják le. Ismertetem ezt a definici´ ot is. El˝otte emlékeztetek arra, hogy egy (véges vagy megsz´ amlálhat´ o értéket felvev˝o) val´ osz´ın˝ uségi v´ altoz´ o természetes m´ odon meghat´ arozza a valósz´ın˝ uségi mez˝ o egy particióját. Nevezetesen, e partició elemei a val´ osz´ın˝ uségi mez˝ o azon (n´ıvó)halmazai, ahol a val´ osz´ın˝ uségi v´ altoz´ o egy el˝ o´ırt értéket vesz fel. Tov´ abbá a val´ osz´ın˝ uségi v´ altoz´ o entr´ opiája csak ezen particiót´ ol f¨ ugg. Másrészt egy (Ω, A, P ) val´ osz´ın˝ uségi mez˝ o minden A mérhet˝ o halmazokb´ ol ´ all´ o particiójához létezik olyan A mérhet˝ o ξ val´ osz´ın˝ uségi v´ altoz´ o, amely ezt a particiót határozza meg. Ez lehet˝ ové teszi, hogy egy dinamikus rendszer shift transzform´ aciójának az entr´ opiáját ne val´ osz´ın˝ uségi v´ altoz´ ok, hanem particiók seg´ıtségével definiáljuk, és az irodalomban gyakran ezt teszik. Megadom ezt a definici´ ot is, illetve ismertetem kapcsolat´ at az el˝ obb le´ırt definici´ oval. Az egyszer˝ uség kedvéért csak olyan ξ val´ osz´ın˝ uségi v´ altoz´ okkal, illetve nekik megfelel˝ o B particiókkal fogok foglalkozni, amelyekre H(ξ) < ∞. Legyen adva egy (Ω, A, P, T ) invert´ alhat´ o dinamikus rendszer. Vegy¨ uk észre, hogy amennyiben egy A mérhet˝ o ξ val´ osz´ın˝ uségi v´ altoz´ onak az Ω halmaz egy B particiója felel 62

meg, akkor a T n ξ val´ osz´ın˝ uségi v´ altoz´ onak a B particiónak az e partició Bj halmazainak a T n transzform´ ació szerinti T −n Bj ˝ osképeib˝ol ´ all´ o T −n B particici´ o felel meg. Ha adva vannak az Ω halmaz valamely C1 , . . . , Ck particiói, akkor jelölje C1 ∧ · · · ∧ Ck e particiók k¨ oz¨ os finom´ıt´ asát. Ez az ¨ osszes Cj1 (1)∩· · ·∩Cjk (k) alak´ u halmazból a´ll, ahol Cjs (s) ∈ Cs , 1 ≤ s ≤ k. Ha a ξ, H(ξ) < ∞, val´ osz´ın˝ uségi v´ altoz´ o a B particiót határozza meg, akkor ezzel a jelöléssel a (T n1 ξ, . . . , T nk ξ) vektornak a T −n1 B ∧ · · · ∧ T −nk B partició felel meg. Ha adva van az Ω halmaz egy olyan B = {B1 , B2 , . . . } particiója, amelyet egy ξ val´ osz´ın˝ uségi v´ altoz´ o határoz meg, akkor természetes a B partició T shift szerinti entr´ opióját a 1 H(T, B) = lim H(B ∧ · · · ∧ T −(n−1) B) n→∞ n és H(B ∧ · · · ∧ T −(n−1) B) = H(ξ, T ξ, . . . , T n−1 ξ) = −

X

j1 ,...,jn

g(P (Bj1 ∩ · · · ∩ T −(n−1) Bjn ))

képletek seg´ıtségével definiálni, ahol g(x) = x log x. Ekkor a H(T ) = sup H(T, B) B

képlet, ahol a szuprémumot az Ω halmaz ¨ osszes véges és A mérhet˝ o particiójára vessz¨ uk a T shift transzform´ ació el˝ obb bevezetett entr´ opiáját adja. Megfogalmazom az entr´ opia invari´ ans tulajdonság´ ar´ ol szól´ o eredményt. T´ etel izomorf dinamikus rendszerek entr´ opi´ aj´ anak egyenl˝ os´ eg´ er˝ ol. Legyen ˜ ˜ ˜ ˜ (Ω, A, P, T ) és (Ω, A, P , T ) két izomorf invert´ alhat´ o dinamikus rendszer. Ekkor a T és T˜ shift transzform´ aci´ ok entr´ opi´ aja egyenl˝ o, azaz H(T ) = H(T˜). Bizony´ıt´ as. A jobb megértés érdekében tekints¨ uk el˝ osz¨ or azt a speci´ alis esetet, amikor ˜ a két dinamikus rendszer az (Ω, Ω, ϕ) hármason kereszt¨ ul izomorf, ahol ϕ az Ω halmaz ˜ egy alkalmas k¨ olcsön¨ osen egyértelm˝ u leképezése a Ω halmazba. Azaz azt az esetet ˜ 0 , ϕ) hármasban Ω0 = Ω és tekintj¨ uk, amikor az izomorfia definici´ oját biztos´ıt´ o (Ω0 , Ω ˜0 = Ω ˜ halmazokat v´ Ω alaszthatunk. Ebben az esetben az Ω halmaz egy A mérhet˝ o B = {B1 , . . . , Br } véges particiójának ˜ ˜ ˜ feleltess¨ uk meg az Ω halmaz A mérhet˝ o B = {ϕ(B1 ), . . . , ϕ(Br )} mérhet˝ o particióját. Az izomorfia tulajdonságai miatt ekkor tetsz˝oleges n számra és 1 ≤ js ≤ r, 1 ≤ s ≤ n ˜j ∩ T˜−1 B ˜j ∩ · · · ∩ T˜−n B ˜j ). indexekre P (T −0 Bj0 ∩ T −1 Bj1 ∩ · · · ∩ T −n Bjn ) = P˜ (T˜−0 B 0 1 n Innen k¨ ovetkezik, hogy tetsz˝oleges A mérhet˝ o (véges sok értéket felvev˝o) ξ val´ osz´ın˝ uségi v´ altoz´ ohoz létezik olyan A˜ mérhet˝ o (véges sok értéket felvev˝o) η val´ osz´ın˝ uségi v´ altoz´ o, n n ˜ ˜ ˜ amelyre H(ξ, T ξ, . . . , T ξ) = H(η, T η, . . . , T η) minden n-re, ezért H(T, ξ) = H(T , η). ˜ Hasonl´ o ´ all´ıt´ as érvényes akkor is, ha az Ω halmaz és A mérhet˝ o particiók illetve a Ω halmaz és A˜ mérhet˝ o particiók szerepét felcserélj¨ uk. Ezért H(T ) = H(T˜). Az ´ altal´ anos esetben a fenti érvelést kissé finom´ıtani kell. Szimmetria okokb´ ol ˜ elég azt bel´ atni, hogy H(T ) ≤ H(T ), és ehhez elég azt bebizony´ıtani, hogy ha η egy 63

˜ halmazon definiált véges sok értéket felvev˝o A˜ mérhet˝ az Ω o val´ osz´ın˝ uségi v´ altoz´ o, akkor létezik olyan az Ω halmazon definiált véges sok értéket felvev˝ o A mérhet˝ o ξ val´ osz´ın˝ uségi v´ altoz´ o, amelyre H(T, ξ) = H(T˜, η). S˝ot azt is feltehetj¨ uk, hogy az η ˜ halmaznak egy olyan {B ˜1 , . . . , B ˜r , B ˜r+1 } parval´ osz´ın˝ uségi v´ altoz´ o n´ıvóhalmazai az Ω r S ˜j = Ω ˜ 0 , és B ˜r+1 = Ω ˜ \Ω ˜ 0 . Vezess¨ ticióját adj´ ak, amelyre B uk be az Ω halmazj=1

˜s ), ha 1 ≤ s ≤ r, és nak azt a {B1 , . . . , Br , Br+1 } particióját, amelyre Bs = ϕ−1 (B Br+1 = Ω \ Ω0 . Legyen ξ egy olyan val´ osz´ın˝ uségi v´ altoz´ o, amelynek n´ıvóhalmazai ezek a Bs , 1 ≤ s ≤ r + 1, halmazok. Azt ´ all´ıtom, hogy H(T, ξ) = H(T˜, η). S˝ot, az is igaz, hogy tetsz˝oleges n számra H(ξ, T ξ, . . . , T n ξ) = H(η, T˜η, . . . , Tñ η). Ehhez azt kell észrevenni, hogy az (5.2) azonosság miatt P (ϕ−1 (C˜j0 ) ∩ T −1 ϕ−1 (C˜j1 ) ∩ · · · ∩ T −n ϕ−1 (C˜jn )) = P˜ (C˜j0 ∩ T˜−1 C˜j1 ∩ · · · ∩ T˜−n C˜jn ), ha 1 ≤ js ≤ r minden 1 ≤ s ≤ n indexre, és a bizony´ıtand´ o azonosságban szerepl˝o két entr´ opia ezen val´ osz´ın˝ uségek f¨ uggvénye. (Azokat a tagokat, amelyekben a C˜r+1 vagy Cr+1 események szerepelnek elhagyhatjuk a megfelel˝ o entr´ opiák kisz´ amol´ asában, mert ez´ altal nulla val´ osz´ın˝ uség˝ u események f¨ uggvényeit hagyjuk ki a megfelel˝ o entr´ opiákat kifejez˝ o o¨sszegekb˝ ol. A tételt bel´ attuk. Annak érdekében, hogy a fenti tételt alkalmazni tudjuk sz¨ ukség¨ unk van olyan eredményre, amely lehet˝ ové teszi azt, hogy egy invert´ alhat´ o dinamikus rendszer shift transzform´ aciójának az entr´ opiáját kisz´ amoljuk. Egy ilyen eredmény megfogalmazásának az érdekében bevezetem a k¨ ovetkez˝ o definici´ ot. Egy val´ osz´ın˝ us´ egi v´ altoz´ o eltoltjai ´ altal gener´ alt σ-algebra definici´ oja. Legyen (Ω, A, P, T ) egy invert´ alhat´ o dinamikus rendszer, és ξ egy A mérhet˝ o val´ osz´ın˝ uségi j v´ altoz´ o. A ξ val´ osz´ın˝ uségi v´ altoz´ o és a T shift a ´ltal gener´ alt σ-algebr´ an a T ξ, −∞ < j < ∞, val´ osz´ın˝ uségi v´ altoz´ ok a ´ltal gener´ alt σ(T, ξ) = σ(T j ξ, −∞ < j < ∞), σ-algebr´ at értj¨ uk. T´ etel egy dinamikus rendszerben defini´ alt val´ osz´ın˝ us´ egi v´ altoz´ ok entr´ opi´ aj´ anak az ¨ osszehasonl´ıt´ as´ ar´ ol. Legyen (Ω, A, P, T ) invert´ alhat´ o dinamikus rendszer, ξ és η pedig két olyan A mérhet˝ o val´ osz´ın˝ uségi v´ altoz´ o, amelyek k¨ oz¨ ul ξ véges sok, η véges sok vagy megsz´ aml´ alhat´ oan végtelen sok értéket vesz fel, H(η) < ∞, és ξ σ(T, η) mérhet˝ o val´ osz´ın˝ uségi v´ altoz´ o. Ekkor H(T, ξ) ≤ H(T, η). K¨ ovetkezm´ eny. Legyen adva egy (Ω, A, P, T ) invert´ alhat´ o dinamikus rendszer, és legyen η olyan az Ω halmazon defini´ alt véges sok értéket felvev˝ o val´ osz´ın˝ uségi v´ altoz´ o, amelyre σ(T, η) = A. Ekkor H(T ) = H(T, η). Speci´ alisan, ha (Ω, A, P, T ) egy r ≥ 2 r P egész sz´ ammal és pj ≥ 0, 1 ≤ j ≤ r, pj = 1, paraméterekkel meghat´ arozott Bernoulli j=1

rendszer, akkor H(T ) = −

r P

pj log pj .

j=1

A k¨ ovetkezmény bizony´ıt´ asa. A tétel feltételeinek teljes¨ ulése esetén H(T, ξ) ≤ H(T, η) minden véges sok értéket felvev˝o és A mérhet˝ o ξ val´ osz´ın˝ uségi v´ altoz´ ora. Ezért a H(T ) 64

entr´ opiának az (5.6) formul´ aban megadott definici´ oja szerint H(T, η) = H(T ). Egy Bernoulli rendszer esetében definiáljuk az η(ω) = x0 , ha ω = (. . . , x−1 , x0 , x1 , . . . ) képlettel megadott val´ osz´ın˝ uségi v´ altoz´ ot. Ekkor σ(T, η) = A, ezért H(T ) = H(T, η). Tov´ abbá a Bernoulli rendszer definici´ oja miatt a T −n η, n = 0, ±1, . . . , val´ osz´ın˝ uségi −n 1 v´ altoz´ ok f¨ uggetlenek (és egyforma eloszl´ as´ uak), ezért H(η|T η, . . . , T η) = H(η), és r P H(T ) = h(T, η) = H(η) = − pj log pj . j=1

A fent megfogalmazott eredményekb˝ ol k¨ ovetkezik, hogy két r, és p1 , . . . , pr illetve r¯ és p¯1 , . . . , p¯r paraméterekkel definiált Bernoulli rendszer csak akkor lehet izomorf, ha az r r¯ P P entr´ opiájuk egyenl˝o, azaz, ha pj log pj = p¯j log p¯j . Kés˝obb be fogom bizony´ıtani j=1

j=1

a k¨ ovetkezmény egy olyan ´ altal´ anos´ıt´ asát, amely lehet˝ ové teszi a Bernoulli rendszerek izomorfi´ ajár´ ol szól´ o eredmény ´ altal´ anos´ıt´ asát olyan dinamikus rendszerekre is, amelyeket a Bernoulli rendszerekhez hasonlóan definiálunk, de megengedj¨ uk azt is, hogy a benne szerepl˝o r paraméter r = ∞ legyen. Ezel˝ ott azonban a shift transzform´ ació a´ltal gener´ alt σ-algebrár´ ol szól´ o tétel bizony´ıt´ asát ismertetem.

El˝osz¨ or érts¨ uk meg e tétel szemléletes tartalm´ at. Az entr´ opia szemléletesen azt adja meg, hogy egy val´ osz´ın˝ uségi v´ altoz´ o megismeréséhez mennyi inform´ ació sz¨ ukséges. Els˝o ránézésre azt v´ arnánk, hogy ha adva van egy (Ω, A, P, T ) invert´ alhat´ o dinamikus rendszer és egy ξ A mérhet˝ o val´ osz´ın˝ uségi v´ altoz´ o, akkor a ξ val´ osz´ın˝ uségi v´ altoz´ o megismeréséhez sokkal kevesebb inform´ ació kell, mint például az η = (ξ, T ξ, . . . , T 1000 ξ) véletlen vektor megismeréséhez. Ez az elképzelés azonban téves, mert nem a H(ξ) és H(η), hanem a H(T, ξ) és H(T, η) entr´ opiákat kell ¨ osszehasonl´ıtanunk. Az ut´ obbi 1 1 n n+1000 ξ) entr´ opiák pedig nagy n entr´ opiákat k¨ ozel´ıt˝ o n H(ξ, . . . , T ξ) és n H(ξ, . . . , T paraméterre m´ ar nagyon k¨ ozel vannak egym´ ashoz. A bizony´ıtand´ o tétel az e példa a´ltal sugallt képnek felel meg. Azt ´ all´ıtja, hogy ahhoz, hogy egy ξ val´ osz´ın˝ uségi v´ altoz´ ohoz tartozó ξ, T ξ, . . . sorozat tagjainak megismeréséhez sz¨ ukséges H(T, ξ) inform´ ació ne legyen több, mint egy η val´ osz´ın˝ uségi v´ altoz´ ohoz tartozó η, T η, . . . sorozat tagjainak megismeréséhez sz¨ ukséges H(T, η) inform´ ació elégséges azt feltenni, hogy ξ ∈ σ(T, η), azaz szemléletesen azt el˝ o´ırni, hogy a . . . , T −1 η, η, T η, . . . véletlen sorozat ismeretében ismerj¨ uk a ξ val´ osz´ın˝ uségi v´ altoz´ ot is. A bizony´ıt´ asban sz¨ ukség¨ unk van egy olyan eredményre, amely azt biztos´ıtja, hogy a ξ ∈ σ(T, η) esetben a ξ val´ osz´ın˝ uségi v´ altoz´ o n´ıvóhalmazait j´ ol tudjuk approxim´ alni a σ(T, η) σ-algebra bizonyos speci´ alis és kényelmesen haszn´ alhat´ o halmazaival. Ezért hasznos lesz számunkra a k¨ ovetkez˝ o lemma. Lemma σ-algebra elemeinek j´ o approxim´ aci´ oj´ ar´ ol. Legyen adva egy (Ω, A, P ) val´ osz´ın˝ uségi mez˝ o, és jel¨ olje A∆B = (A\B)∪(B \A) két A ∈ A és B ∈ A halmaz szimmetrikus differenci´ aj´ at. Vezess¨ uk be a ρ(A, B) = P (A∆B), A ∈ A, B ∈ A, f¨ uggvényt. Ekkor ρ(A, B) pszeudo metrika, (ρ(A, B) ≥ 0, de lehetséges, hogy ρ(A, B) = 0, noha A 6= B). Tov´ abb´ a ρ(A1 ∪ A2 , B1 ∪ B2 ) ≤ ρ(A1 , B1 ) + ρ(A2 , B2 ). Ha B ⊂ A egy halmaz algebra, és C = σ(B) a B halmaz algebra a ´ltal gener´ alt σ-algebra, akkor minden ε > 0 sz´ amhoz és C ∈ C halmazhoz létezik olyan B = B(ε, C) ∈ B halmaz, amelyre ρ(B, C) ≤ ε. 65

Bizony´ıt´ as. A ρ(·) f¨ uggvény pszeudo metrika, mert nyilván ρ(A, B) ≥ 0, ρ(A, B) = ρ(B, A), és a ρ(A, C) ≤ ρ(A, B) + ρ(B, C) rel´ ació is teljes¨ ul, mert mint k¨ onny˝ u ellenorizni, P (A \ C) ≤ P (A \ B) + P (B \ C), és P (C \ A) ≤ P (B \ A) + P (C \ B). ˝ Hasonl´ oan, ρ(A1 ∪A2 , B1 ∪B2 ) ≤ ρ(A1 , B1 )+ρ(A2 , B2 ), mert P ((A1 ∪A2 )\(B1 ∪B2 )) ≤ P (A1 \ B1 ) + P (A2 \ B2 ), és P ((B1 ∪ B2 ) \ (A1 ∪ A2 )) ≤ P (B1 \ A1 ) + P (B2 \ A2 ). A lemma utols´ o´ all´ıt´ asának igazolásához egy C ∈ C halmaznak egy B ∈ B halmazzal val´ o j´ o approxim´ alhat´ oság´ ar´ ol vezess¨ uk be az Ω halmaz részhalmazainak a k¨ ovetkez˝ oD osztály´ at. D = {D: D ∈ A, minden ε > 0 számhoz létezik olyan B ∈ B halmaz, amelyre P (B∆D) ≤ ε}. Azt kell megmutatni, hogy C ⊂ D. Mivel B ⊂ D, elég igazolni, hogy D σ-algebra, mert ez azt jelenti, hogy tartalmazza a B ´ altal gener´ alt σ-algebrát. Nyilv´ anval´ o, hogy D ∈ D esetén Ω \ D ∈ D, mert ha A ∈ A a D halmaznak j´ o k¨ ozel´ıtése a ρ távols´ ag szerint, akkor a P ((Ω \ D)∆(Ω \ A)) = P (D∆A) azonosság miatt az Ω \ A ∈ A halmaz j´ o k¨ ozel´ıtése az Ω \ D halmaznak a ρ távols´ ag szerint. Azt kell még ∞ S Dn ∈ D. bel´ atni, hogy amennyiben Dn ∈ D, minden n = 1, 2, . . . indexre akkor D = n=1

Ennek bizony´ıt´ asa érdekében tekints¨ unk egy rögz´ıtett ε > 0 számra egy olyan N S Dn halmazra P (D \ D(N ) ) ≤ 2ε . Ezenk´ıv¨ N = N (ε) indexet, amelyre a D(N ) = ul n=1

v´ alasszunk minden Dn halmazhoz egy olyan Bn ∈ B halmazt, amelyre P (Dn ∆Bn ) ≤ N S ε Bn halmazra B ∈ B. Ezenk´ıv¨ ul azt ´ all´ıtom, hogy P (B∆D) ≤ ε. . Ekkor a B = n+1 2

Val´ oban,

n=1

P (B∆D) ≤ P (B∆D

(N )

) + P (D \ D

(N )

)≤

N X

n=1

P (Bn ∆Dn ) + P (D \ D(N ) ) ≤ ε.

Mivel ilyen konstrukci´ o minden ε > 0-ra elvégezhet˝ o, innen k¨ ovetkezik, hogy D ∈ D. A lemmát bel´ attuk. A most bizony´ıtott lemma seg´ıtségével bel´ atjuk a k¨ ovetkez˝ o eredményt. T´ etel v´ eges sok ´ ert´ eket felvev˝ o val´ osz´ın˝ us´ egi v´ altoz´ o j´ o approxim´ alhat´ os´ ag´ ar´ ol. Legyen adva egy (Ω, A, P ) val´ osz´ın˝ uségi mez˝ o, egy B ⊂ A halmaz algebra, és az Ω halmaznak egy olyan D véges sok elemb˝ ol a ´ll´ o partici´ oja, amely partici´ o elemei benne vannak a B algebra a ´ltal gener´ alt C = σ(B) σ-algebr´ aban. Ekkor minden ε > 0 sz´ amhoz létezik az Ω halmaznak egy olyan a B algebra véges sok eleméb˝ ol a ´ll´ o E partici´ oja, amely j´ ol k¨ ozelıti a D partici´ ot a k¨ ovetkez˝ o értelemben. Ha ξ olyan val´ osz´ın˝ uségi v´ altoz´ o, amelynek adott értéket felvev˝ o n´ıv´ ohalmazai a D partici´ o elemei, ζ olyan val´ osz´ın˝ uségi v´ altoz´ o, amelynek adott értéket felvev˝ o n´ıv´ ohalmazai a E partici´ o elemei, akkor a ξ val´ osz´ın˝ uségi v´ altoz´ onak a ζ val´ osz´ın˝ uségi v´ altoz´ o szerinti H(ξ|ζ) feltételes entr´ opi´ aja teljes´ıti a H(ξ|ζ) ≤ ε egyenl˝ otlenséget. 66

A tétel ´ all´ıt´ asának jobb megértése érdekében tekints¨ uk a k¨ ovetkez˝ o példát. Legyen az (Ω, A, P ) val´ osz´ın˝ uségi mez˝ o a [0, 1) intervallum, rajta a Borel σ-algebrával és a Lebesgue mértékkel, mint val´ osz´ın˝ uségi mértékkel. Tekints¨ uk ezen a téren azt a B algebr´ at, amelynek elemei olyan halmazok, amelyek véges sok balról zárt, jobbról ny´ılt, racionális végpont´ u√ intervallum uni´ ojaként ´ all´ıthat´ oak el˝ o. Vegy¨ uk ezenk´ıv¨ ul [0, 1) in√ 2 2 ol ´ all´ o D particióját. Ezen partervallum D1 = [0, 2 ), D2 = [ 2 , 1) intervallumokb´ tició elemei nincsenek benne a B algebrában, csak az ´ altala gener´ alt C σ-algebrában. Ezért egy olyan ξ val´ osz´ın˝ uségi v´ altoz´ o, amelynek n´ıvóhalmazai a D1 és D2 halmaz nem tekinthet˝ o u ´gy, mint egy olyan val´ osz´ın˝ uségi v´ altoz´ o, amelynek n´ıvóhalmazai a B algebrában vannak. De az j´ ol megk¨ ozel´ıthet˝ o egy ilyen val´ osz´ın˝ uségi v´ altoz´ oval a k¨ ovetkez˝ o értelemben. Minden ε > 0 számhoz létezik az Ω halmaznak olyan B-beli halmazokb´ ol ´ all´ o véges (ak´ ar két elem˝ u) particiója u ´gy, hogy egy olyan ζ val´ osz´ın˝ uségi v´ altoz´ ora, amelynek a n´ıvóhalmazai ezen partició elemei H(ξ|ζ) < ε. A tétel azt a´ll´ıtja, hogy hasonló eredmény érvényes ´ altal´ anosabb esetben is. ´ A tétel bizony´ıt´ asa. Alljon a D partició valamely D1 , . . . , Dr elemekb˝ ol. Feltehetj¨ uk, hogy P (Di ) > 0 minden 1 ≤ i ≤ r indexre. El˝osz¨ or azt bizony´ıtom be, hogy minden (az ε > 0, r és P (Di ) > 0, 1 ≤ i ≤ r, számokt´ ol f¨ ugg˝oen) elég kicsi δ > 0 számra igaz a k¨ ovetkez˝ o ´ all´ıt´ as. Ha E1 , . . . , Er az Ω halmaz egy olyan particiója, amelyre P (Di ∆Ei ) ≤ δ minden 1 ≤ i ≤ r számra, akkor egy olyan ξ, ζ val´ osz´ın˝ uségi v´ altoz´ o párra, amelyek k¨ oz¨ ul a ξ val´ osz´ın˝ uségi v´ altoz´ o n´ıvóhalmazai a Di , a ζ val´ osz´ın˝ uségi v´ altozó n´ıvóhalmazai pedig az Ei halmazok, 1 ≤ i ≤ r, teljes¨ ul a H(ξ|ζ) < ε egyenl˝otlenség. Ezen ´ all´ıt´ as igazolása érdekében vezess¨ uk be a g(x) = x log x, ha x > 0, g(0) = 0, f¨ uggvényt. Mivel g(0) = g(1) = 0, g(x) folytonos f¨ uggvény, g(x) ≤ 0, ha 0 ≤ x ≤ 1, ε ezért létezik olyan δ0 > 0 szám, amelyre − r < g(x) ≤ 0, ha 0 ≤ x ≤ δ0 vagy 1 − δ0 ≤ x ≤ 1. A bizony´ıtand´ o ´ all´ıt´ as indokl´ asa azon az észrevételen fog alapulni, hogy ha a P (Di ∆Ei ) val´ osz´ın˝ uségek nagyon kicsik minden i indexre, akkor a P (Di |Ei ) feltételes val´ osz´ın˝ uségek majdnem eggyel, és a P (Di |Ej ), i 6= j, feltételes val´ osz´ın˝ uségek majdnem null´ aval egyenl˝oek. Ezért a g(P (Di |Ej )) mennyiségek nagyon kicsik minden (i, j) párra. Mivel a minket érdekl˝ o feltételes entr´ opia fel´ırhat´ o ilyen kifejezések véges sok tagb´ ol a´ll´ o lineáris kombinációjaként, innen k¨ onnyen levezethet˝ o a k´ıvánt egyenl˝otlenség. A részletes bizony´ıt´ asban tekints¨ uk az Ω halmaz egy olyan E1 , . . . , Er particióját, δ0 amelyre P (Di ∆Ei ) ≤ δ a δ = 2 min P (Di ) számmal minden 1 ≤ i ≤ r indexre. Ekkor, 0≤i≤r

i) ert P (Di ) ≤ 12 P (Ei ) mivel P (Di ) ≤ P (Ei )+P (Di ∆Ei ) ≤ P (Ei )+δ ≤ P (Ei )+ P (D 2 , ez´ minden 1 ≤ i ≤ r indexre. Innen P (Ei ) − P (Di ∩ Ei ) ≤ P (Di ∆Ei ) ≤ δ ≤ δ0 P (Ei ), tehát P (Di |Ei ) ≥ 1 − δ0 minden 1 ≤ i ≤ r indexre, és P (Dj |Ei ) ≤ 1 − P (Di |Ei ) ≤ δ0 , ha i 6= j. Ezért − rε ≤ g(Di |Ej ) ≤ 0 minden 1 ≤ i, j ≤ r indexre, és két olyan ξ és ζ val´ osz´ın˝ uségi v´ altoz´ ora, amelyeknek a Di illetve Ei , 1 ≤ i ≤ r, halmazok a n´ıvóhalmazai

H(ξ|ζ) = −

r r X X i=1 j=1

P (Ej )g(P (Di |Ej ) ≤ −

r r X X

ε P (Ej ) = ε. r i=1 j=1

Ezért elég bel´ atni, hogy az Ω halmaznak létezik olyan E1 , . . . , Er a B algebra elemeib˝ol ´ all´ o particiója, amelyre P (Di ∆Ei ) ≤ δ minden 1 ≤ i ≤ r indexre. Ezt igazoland´ o 67

¯i ∈ B, 1 ≤ i ≤ r, halmazokat, amelyekre P (Di ∆E ¯i ) ≤ λ v´ alasszunk el˝ osz¨ or olyan E minden 1 ≤ i ≤ r indexre egy kés˝obb megv´ alasztandó eléSg kis λ > 0 számmal. Ez ¯i ∩ E ¯j ) halmazt, és lehetséges az el˝ oz˝ o lemma szerint. Defini´ aljuk az N = (E 1≤i,j≤r, i6=j ¯i \ N , ha 1 ≤ i ≤ r − 1, és Er = Ω \ ( S Ei ). Ekkor E1 , . . . , Er az Ω legyen Ei = E 1≤i≤r−1

¯i ∩ E ¯ j ) ≤ P (E ¯i ∆Di ) + halmaz egy particiója a B algebra elemeivel. Tov´ abbá, mivel P (E ¯j ∆Dj )) ≤ 2λ, P (N ) ≤ r(r − 1)λ, ezért P (Ei ∆E ¯i ) ≤ P (N ) ≤ r(r − 1)λ minden P (E ¯ ¯i ∆Di ) ≤ r(r − 1)λ + λ, ha 1 ≤ i ≤ r − 1 indexre, ahonnan P (Ei ∆Di ) ≤ P (Ei ∆Ei ) + P (E r P 1 ≤ i ≤ r − 1, és P (Er ∆Dr ) = P ((Ω \ Er )∆(Ω \ Dr )) ≤ P (Ei ∆Di ) ≤ r[r(r − 1) + 1]λ. i=1

Innen k¨ ovetkezik, hogy ha a λ > 0 számot elég kicsinek v´ alasztjuk, akkor E1 , . . . , Er az Ω halmaz k´ıvánt tulajdonság´ u particióját adja. A tételt bel´ attuk.

K¨ ovetkezm´ eny. Legyen adva egy (Ω, A, P, T ) invert´ alhat´ o dinamikus rendszer, azon két ξ és η val´ osz´ın˝ uségi v´ altoz´ o, amelyek k¨ oz¨ ul ξ véges sok η pedig vagy véges sok vagy megsz´ aml´ alhat´ oan végtelen sok értéket vesz fel. Legyen ezenk´ıv¨ ul a ξ val´ osz´ın˝ uségi v´ altoz´ o mérhet˝ o az η val´ osz´ın˝ uségi v´ altoz´ o és T shift oper´ ator a ´ltal gener´ alt σ(T, η) σalgebr´ ara nézve. Ekkor minden ε > 0 sz´ amhoz létezik olyan M = M (ε, ξ, η) pozit´ıv egész −M 0 sz´ am, amelyre H(ξ|T η, . . . , T η, . . . , T M η) ≤ ε. Bizony´ıt´ as. A bizony´ıt´ asban az el˝ oz˝ o tételt alkalmazzuk u ´gy, hogy az Ω halmaz D particiójának a ξ val´ osz´ın˝ uségi v´ altoz´ o {ω: ξ(ω) = xj } alak´ u n´ıvóhalmazait v´ alasztjuk, és az al´ abb definiált B halmaz algebrával dolgozunk. Jelölje Y az η val´ osz´ın˝ uségi v´ altoz´ o értékkészletét, és adva két m ≥ 1 és n ≥ 1 szám definiáljuk az Y (m,n) = {(yj−m , . . . , yjn ): yjs ∈ Y, −m ≤ s ≤ n} halmazt. Adva egy U ⊂ Y (m,n) halmaz, definiáljuk az U halmaznak az η(ω) val´ osz´ın˝ uségi v´ altoz´ o és a T shift oper´ ator hatványai ´ altal meghat´ arozott ˝ osképét a Tm,n U = {ω: (T −m η(ω), . . . , T n η(ω)) ∈ U }

(m,n) képlet seg´ }. A B halmazrendszert a Sıtségével, és legyen Um,n = {Tm,n U : U ⊂ Y B= Um,n képlettel definiáljuk. Nem nehéz bel´ atni, hogy B halmaz algebra, és 1≤m,n<∞

az a´ltala gener´ alt σ(B) σ-algebra megegyezik a σ(T, η) σ-algebrával. Mivel feltételeink szerint ξ σ(T, η) mérhet˝ o, ezért az el˝ oz˝ o tétel alapj´ an minden ε > 0 számra létezik az Ω halmaznak olyan a B algebra elemeib˝ ol ´ all´ o E véges particiója, amelyre igaz, hogy egy olyan ζ val´ osz´ın˝ uségi v´ altoz´ ora, amelynek a a n´ıvóhalmazai az E partició elemei H(ξ|ζ) ≤ ε. Mivel ζ véges sok értéket vesz fel, és minden értékét egy olyan halmazon veszi fel, amely eleme a Um,n halmazoszt´ alynak, ha m ≥ m0 és n ≥ n0 alkalmas m0 és n0 számokkal, ezért létezik olyan M szám, és olyan g(u−M , . . . , u0 , . . . , uM ) f¨ uggvény, amelyekre ζ = g(T −M η, . . . , T 0 η, . . . , T M η). Ezért, illetve a feltételes entr´ opia tulajdonságai alapj´ an ε ≥ H(ξ|ζ) ≥ H(ξ|ζ, T −M η, . . . , T 0 η, . . . , T M η) = H(ξ|T −M η, . . . , T 0 η, . . . , T M η). 68

Mivel ilyen konstrukci´ ot minden ε > 0 számra tudunk csinálni a k¨ ovetkezményt bel´ attuk. A most igazolt k¨ ovetkezmény seg´ıt az al´ abbi bizony´ıt´ asban. Az egy dinamikus rendszerben defini´ alt val´ osz´ın˝ uségi v´ altoz´ ok entr´ opi´ aj´ anak o ¨sszehasonl´ıt´ as´ ar´ ol sz´ ol´ o tétel bizony´ıt´ asa. R¨ ogz´ıts¨ unk egy ε > 0 számot, és v´ alasszunk egy olyan M > 0 egész számot, amelyre H(ξ|T −M η, . . . , T 0 η, . . . , T M η) ≤ ε. Az el˝ obb megfogalmazott K¨ ovetkezmény eredménye szerint ilyen M szám létezik. Ilyen v´ alasztással érvényesek a k¨ ovetkez˝ o becslések. H(T 0 ξ, . . . , T n−1 ξ) ≤ H(T 0 ξ, . . . , T n−1 ξ, T −M η, . . . , T n−1+M η) = H(T 0 ξ, . . . , T n−1 ξ|T −M η, . . . , T n−1+M η) + H(T −M η, . . . , T n−1+M η), és 0

H(T ξ, . . . , T

=

n−1 X j=0

n−1

ξ|T

−M

η, . . . , T

n−1+M

η) ≤

n−1 X

H(T j ξ|T −M η, . . . , T n−1+M η)

j=0

H(ξ|T −M −j η, . . . , T n−1+M −j η) ≤ nH(ξ|T −M η, . . . , T M η) ≤ nε.

Innen

1 1 H(T 0 ξ, . . . , T n−1 ξ) ≤ H(T −M η, . . . , T n−1+M η) + ε n n minden n ≥ 0 számra, ahonnan n → ∞ határ´ atmenettel kapjuk, hogy H(T, ξ) ≤ H(T, η) + ε. Mivel ez az egyenl˝otlenség minden ε > 0 számra igaz, innen k¨ ovetkezik a tétel ´ all´ıt´ asa. Bebizony´ıtottuk egy dinamikus rendszerben definiált val´ osz´ın˝ uségi v´ altoz´ ok entrópiájának ¨ osszehasonl´ıt´ asár´ ol szól´ o tétel egy k¨ ovetkezményét, amely lehet˝ ové tette bizonyos dinamikus rendszerek entr´ opiájának a kisz´ amol´ asát. Ismertetem ennek az eredménynek egy enyhe ´ altal´ anos´ıt´ asát, amely hasonló eredményt fogalmaz meg nem feltétlen¨ ul véges sok értéket felvev˝o val´ osz´ın˝ uségi v´ altoz´ ok esetében. A bizony´ıt´ asban sz¨ ukség¨ unk van az al´ abbi lemmára, amely egy dinamikus rendszer entr´ opiájának egy az eredeti definici´ ot´ ol kissé eltér˝ o jellemzését adja. Lemma az entr´ opia jellemz´ es´ er˝ ol. Egy (Ω, A, P, T ) invert´ alhat´ o dinamikus rendszer T shift transzform´ aci´ oj´ anak az entr´ opi´ aj´ at ki lehet fejezni az (5.6) kifejezéshez hasonl´ o m´ odon, u ´gy mint H(T ) = sup H(T, ξ), ξ

ahol a szuprémumot az o ¨sszes olyan A mérhet˝ o és véges sok vagy megsz´ aml´ alhat´ oan végtelen sok értéket felvev˝ o ξ val´ osz´ın˝ uségi v´ altoz´ ora vessz¨ uk, amelyekre H(ξ) < ∞. Bizony´ıt´ as. Legyen ξ olyan véges vagy megsz´ amlálhat´ oan végtelen sok értéket felvev˝o A mérhet˝ o val´ osz´ın˝ uségi v´ altoz´ o, amelyre H(ξ) < ∞. A lemma bizony´ıt´ asához elegend˝ o 69

bel´ atni, hogy minden ε > 0 számhoz létezik olyan véges sok értéket felvev˝o η = η(ε) val´ osz´ın˝ uségi v´ altoz´ o, amelyre H(T, ξ) ≤ H(T, η) + ε. Azt mutatom meg, hogy létezik olyan véges sok értéket felvev˝o A mérhet˝ o η val´ osz´ın˝ uségi v´ altoz´ o, amelyre H(ξ|T ξ, . . . , T n ξ) ≤ H(η|T η, . . . , T n η) + ε minden n számra, mert innen n → ∞ határ´ atmenettel megkapjuk a k´ıvánt egyenl˝otlenséget. Ezen ´ all´ıt´ as igazolása érdekében jegyezz¨ uk meg, hogy mint az els˝ o fejezetben láttuk létezik olyan véges sok értéket felvev˝o g(x) f¨ uggvény, amelyre az η = g(ξ) val´ osz´ın˝ uségi v´ altoz´ o teljes´ıti a H(ξ) ≤ H(η) + ε egyenl˝otlenséget. Ebb˝ ol az egyenl˝otlenségb˝ol az is k¨ ovetkezik, hogy H(ξ|η) = H(ξ, η) − H(η) = H(ξ) − H(η) ≤ ε, és H(ξ|T ξ, . . . , T n ξ) = H(ξ, η|T ξ, . . . , T n ξ) = H(ξ|η, T ξ, . . . , T n ξ) + H(η|T ξ, . . . , T n ξ) ≤ H(ξ|η) + H(η|T η, . . . , T n η) ≤ H(η|T η, . . . , T n η) + ε, és ezt kellett bel´ atnunk. E számol´ asban kihasználtuk, hogy mivel a (T η, . . . , T n η) = n (g(T ξ), . . . , g(T ξ)) véletlen vektor f¨ uggvénye a (T ξ, . . . , T n ξ) véletlen vektornak, ezért H(η|T ξ, . . . , T n ξ) ≤ H(η|T η, . . . , T n η). Hasonl´ oan H(ξ|η, T ξ, . . . , T n ξ) ≤ H(ξ|η). A lemmát bel´ attuk. Megfogalmazom az egy dinamikus rendszerben definiált val´ osz´ın˝ uségi v´ altoz´ ok entrópiájának ¨ osszehasonl´ıt´ asár´ ol szól´ o tétel k¨ ovetkezményének az al´ abbi, az eredetinél kissé élesebb v´ altozat´ at. T´ etel az entr´ opia egy tulajdons´ ag´ ar´ ol Legyen ξ egy olyan véges vagy megsz´ aml´ alhat´ oan végtelen sok értéket felvev˝ o val´ osz´ın˝ uségi v´ altoz´ o egy (Ω, A, P, T ) invert´ alhat´ o dinamikus rendszerben, amelyre H(ξ) < ∞, és σ(T, ξ) = A. Ekkor H(T ) = H(T, ξ). Bizony´ıt´ as. Az el˝ oz˝ o lemma alapj´ an H(T, ξ) ≤ H(T ). Másrészt azt is láttuk, hogy mivel σ(T, ξ) = A, ezért H(T, η) ≤ H(T, ξ) tetsz˝oleges véges sok értéket felvev˝o η val´ osz´ın˝ uségi v´ altoz´ ora. Ezért H(T, ξ) = H(T ). Megjegyzés. Az el˝ oz˝ o tételben megengedt¨ uk azt, hogy ξ végtelen sok értéket vegyen fel, de megk¨ ovetelt¨ uk a H(ξ) < ∞ rel´ ació teljes¨ ulését. E nélk¨ ul a feltétel nélk¨ ul az a´ll´ıt´ as nem igaz, amint a k¨ ovetkez˝ o egyszer˝ u példa mutatja. Legyen X egy megsz´ amlálhat´ o halmaz, jelölje X az X halmaz részhalmazaib´ ol ´ all´ o σ-algebrát, és vezess¨ unk be az (X, X ) téren egy olyan P val´ osz´ın˝ uségi mértéket, amelyre a ξ(x) = x, x ∈ X, val´ osz´ın˝ uségi v´ altoz´ o entr´ opiája H(ξ) = ∞. Ekkor tekinthetj¨ uk az (X, X , P, T ) invert´ alhat´ o dinamikus rendszert, ahol T az identit´ as oper´ ator. Nem nehéz bel´ atni, hogy ebben a dinamikus rendszerben H(T, ξ) = ∞, m´ıg H(T ) = 0. A fenti vizsgálatokban csak invert´ alhat´ o dinamikus rendszerekkel foglalkoztunk. Nem nehéz a most bizony´ıtott tételhez hasonló eredményt bizony´ıtani a´ltal´ anos, nem feltétlen¨ ul invert´ alhat´ o dinamikus rendszerekre is, de ezek jelent˝osége kisebb. 70

´ Altal´ anos esetben az Egy dinamikus rendszerben defini´ alt val´ osz´ın˝ uségi v´ altoz´ ok entr´ opi´ aj´ anak o ¨sszehasonl´ıt´ as´ ar´ ol szól´ o tételnek azt a feltételét, amely szerint a ξ val´ osz´ın˝ uségi v´ altoz´ o σ(T, η) mérhet˝ ou ´jra kell értelmezni. Az ´ altal´ anos esetben a σ(T, η) σ-algebrát u ´gy definiáljuk, mint a T n ξ, n = 0, 1, 2 . . . , val´ osz´ın˝ uségi v´ altoz´ ok a´ltal −n gener´ alt σ-algebrát, hiszen a T , n = 1, 2, . . . oper´ atorokat nem mindig tudjuk definialni. Ez er˝ ´ osebb megszor´ıt´ ast jelent, mint az invert´ alhat´ o dinamikus rendszerek esetében megfogalmazott feltétel. Másrészt minden dinamikus rendszernek létezik u ´gynevezett természetes kiterjesztése, amely invert´ alhat´ o dinamikus rendszer. Az, hogy két kiterjesztett dinamikus rendszer természetes kiterjesztése izomorf legyen egym´ assal az eredeti dinamikus rendszerek izomorfi´ ajának sz¨ ukséges, de nem elégséges feltétele. Így például, ha vesz¨ unk két féloldali Bernoulli rendszert, akkor ezek természetes kiterjesztése két Bernoulli rendszer ugyanazokkal a paraméterekkel. A féloldali Bernoulli rendszerek izomorfi´ ajáb´ ol azonnal k¨ ovetkezik azok természetes kiterjesztésének az izomorfi´ aja, de ennek az a´ll´ıt´ asnak a megford´ıt´ asa nem igaz. Kieg´ esz´ıt´ es. Bernoulli rendszerek vizsg´ alat´ aban felmer¨ ult unitér oper´ atorok izomorfi´ aj´ anak a vizsg´ alata. Invert´ alhat´ o dinamikus rendszerek izomorfi´ ajának vizsgálatában felmer¨ ult a k¨ ovetkez˝ o gondolat. Ha adva van egy (Ω, A, P, T ) invert´ alhat´ o dinamikus rendszer, akkor természetes m´ odon definiálhatjuk az (Ω, A, P ) val´ osz´ın˝ uségi mez˝ on definiált négyzetesen integrálhat´ o f¨ uggvények ´ altal meghat´ arozott L2 (Ω, A, P ) Hilbert téren a k¨ ovetkez˝ oU unitér oper´ atort: U f (x) = f (T x) minden f ∈ L2 (Ω, A, P ) f¨ uggvényre. Nem nehéz bel´ atni, hogy mivel T mértéktart´ o és invert´ alhat´ o, ezért U val´ oban unitér oper´ ator. Tov´ abbá, ha két dinamikus rendszer izomorf, akkor az ´ altaluk meghat´ arozott U unitér oper´ atorok is izomorfak, azaz ha (Ω1 , A1 , P1 , T1 ) és (Ω2 , A2 , P2 , T2 ) két izomorf invert´ alhat´ o dinamikus rendszer, és U1 és U2 a nekik megfelel˝ o unitér oper´ ator, akkor az L2 (Ω1 , A1 , P1 ) és L2 (Ω2 , A2 , P2 ) Hilbert tereknek létezik egy olyan G izomorfi´ aja, amelyre G(U1 (f )) = U2 (G(f )) minden f ∈ L2 (Ω1 , A1 , P1 ) f¨ uggvényre.

Be lehet bizony´ıtani ezen eredmény seg´ıtségével, hogy bizonyos dinamikus rendszerek nem izomorfak. Felmer¨ ult az a kérdés, hogy ez az eredmény seg´ıtséget ny´ ujt-e Bernoulli rendszerek izomorfi´ ajának a vizsgálatában. Kider¨ ult, hogy a v´ alasz nemleges, mert bármely két Bernoulli rendszerre az ´ altaluk a fenti m´ odon definiált U unitér oper´ atorok izomorfak egym´ assal. Ismertetem ennek az ´ all´ıt´ asnak a bizony´ıt´ asát. Az a´ll´ıt´ as pontos megfogalmazása érdekében bevezetem a k¨ ovetkez˝ o jelöléseket. R¨ ogz´ıts¨ unk egy pozit´ıv egész r számot és r darab olyan pj > 0, 1 ≤ j ≤ r, számot, r P ¯ A, P¯ ) val´ amelyekre pj = 1. Defini´ aljuk seg´ıtség¨ ukkel azt az (X, osz´ın˝ uségi mez˝ ot, j=1

¯ = {1, . . . , r}, A az X ¯ halmaz ¨ amelyre X osszes részhalmaz´ ab´ ol a´ll, és P¯ ({j}) = pj , ¯ 1 ≤ j ≤ r. Tekints¨ uk ennek a val´ osz´ın˝ uségi mez˝ onek (Xl , Al , P¯l ) példányait minden l = 0, ±1, ±2, . . . egész számra, és vegy¨ uk ezek (X, A, P ) direkt szorzatát. Azaz a´lljon az X halmaz az ¨ osszes x = (. . . , i−1 , i0 , i1 , . . . ), ij ∈ {1, . . . , r} minden −∞ < j < ∞ indexre, sorozatb´ ol, legyen A a Al σ-algebrák, P a P¯l mértékek direkt szorzata az X 71

téren, l = . . . , −1, 0, 1, . . . . Speciálisan minden m ≥ 0, n ≥ 0 számp´ arra P (x: {x = n Q (. . . , i−1 , i0 , i1 , . . . ): il = jl , ha − m ≤ l ≤ n}) = p(jl ), ha 1 ≤ jl ≤ r minl=−m

den −m ≤ l ≤ n indexre. Defini´ aljuk tov´ abbá egy x = (. . . , i−1 , i0 , i1 , i2 , . . . ) ∈ X pont T x eltoltj´ at a T x = (. . . , i−2 , i−1 , i0 , i1 , . . . ) képlettel, és adva egy f (x) (mérhet˝ o) f¨ uggvény az (X, A, P ) téren legyen U f (x) = f (T x). Nem nehéz bel´ atni, hogy ha az U transzform´ ació értelmezési tartomány´ at megszor´ıtjuk az (X, A, P ) téren négyzetesen integrálhat´ o f¨ uggvényekre, akkor U egy unitér transzform´ ació az L2 (X, A, P ) Hilbert térben. Igaz tov´ abbá az al´ abbi tétel.

T´ etel unit´ er oper´ atorok izomorfi´ aj´ ar´ ol. Tekints¨ uk minden r = 1, 2, . . . sz´ amra és r P pj > 0, pj = 1, 1 ≤ j ≤ r, vektorra az el˝ obb bevezetett L2 (X, A, P ) Hilbert teret és a j=1

rajta defini´ alt U unitér oper´ atort. Ezek az oper´ atorok izomorfak az r és pj , 1 ≤ j ≤ r, sz´ amok tetsz˝ oleges v´ alaszt´ asa esetén.

A bizony´ıt´ as lényeges része az L2 (X, A, P ) Hilbert tér egy olyan ortonormált bázis´ anak a megadása, amelyben az U oper´ ator hatása j´ ol láthat´ o. Ennek érdekében ¯ A, P¯ ) teret, tekints¨ uk az (X, A, P ) val´ osz´ın˝ uségi mez˝ o definici´ oja sor´ an bevezetett (X, illetve az ezen téren értelmezett f¨ uggvények r-dimenziós K(r) Euklideszi terét a (ϕ, ψ) = r P pj xj yj , ha ϕ = (x1 , . . . , xr ) ∈ K(r), ψ = (y1 , . . . , yr ) ∈ K(r) skal´ ar szorzatttal. j=1

Válasszunk a K(r) Euklideszi térben egy olyan (ϕ1 , . . . , ϕr ) ortonormált bázist, amelynek els˝ o eleme ϕ1 = (1, . . . , 1), az {1, . . . , r} halmazon definiált azonosan 1 f¨ uggvény. Jelölje V az ¨ osszes olyan v = (vl , −∞ < l < ∞) sorozat terét, amelyre vl ∈ {1, . . . , r} minden −∞ < l < ∞ indexre, és a v sorozat elemei csak véges sok 1-t˝ ol k¨ ul¨ onböz˝ o koordin´ at´ at tartalmaznak. Bevezetem a k¨ ovetkez˝ o uv a v ∈ V sorozatokkal indexelt ∞ Q az (X, A, P ) téren definiált f¨ uggvényeket: uv (. . . , i−1 , i0 , i1 , . . . ) = ϕvl (il ). Ezek l=−∞

a szorzatok j´ ol definiáltak, mert csak véges sok tényez˝ ob˝ ol ´ allnak. Ugyanis ϕvl (il ) = ϕ1 (il ) = 1 véges sok l index kivételével. A k¨ ovetkez˝ o lemmát fogom bebizony´ıtani.

Lemma ortonorm´ alt b´ azisok l´ etez´ es´ er˝ ol. Az el˝ obb defini´ alt uv (·), v ∈ V , f¨ uggvények egy¨ uttese teljes ortonorm´ alt rendszert alkot az L2 (X, A, P ) térben. A lemma bizony´ıt´ asa. K¨ onnyen láthat´ o, hogy az uv (·), v ∈ V , f¨ uggvények ortonorm´ altak. Ugyanis véve két v = (. . . , v−1 , v0 , v1 , . . . ) ∈ V és v¯ = (. . . , v¯−1 , v¯0 , v¯1 , . . . ) ∈ ∞ Q V vektort és egy x ∈ X pontot, fel´ırhatjuk az uv (x)uv¯ (x) = ϕvl (x(l))ϕv¯l (x(l)) l=−∞

azonosságot, ahol x(l) = il , ha x = (. . . , −i1 , i0 , i0 , . . . ). Teh´ at az uv (x)uv¯ (x) kifejezés faktoriz´ al´ odik. S˝ot ez a szorzat csak véges sok tagb´ ol ´ all, mert ϕvl (x) = ϕ1 (x) ≡ 1, és ϕv¯l (x) = ϕ1 (x) ≡ 1 véges sok l index kivételével. A P val´ osz´ın˝ uségi mérték szintén faktoriz´ al´ odik, és innen azt kapjuk, hogy Z ∞ Z Y (uv , uv¯ ) = uv (x)uv¯ (x)P ( dx) = ϕvl (x(l))ϕv¯l (x(l))P¯l ( dx(l)) l=−∞

72

=

∞ Y

l=−∞

r X

pi ϕvl (i)ϕv¯l (i)

i=1

!

=

∞ Y

δ(vl , v¯l ) = δ(v, v¯),

l=−∞

ahol δ(i, j) = 0, ha i 6= j, δ(i, j) = 1, ha i = j, és hasonlóan δ(v, v¯) = 0, ha v 6= v¯, és δ(v, v¯) = 1, ha v = v¯. Adva két m > 0 és n > 0 egész szám jelölje Qm,n az L2 (X, A, P ) Hilbert tér azon alterét, amely az olyan u(x), x ∈ X, f¨ uggvényekb˝ ol ´ all, amelyek az x = (. . . , i1 , i0 , i1 , . . . ) argumentumnak csak az ij , −m ≤ j ≤ n, koordin´ at´ ait´ ol f¨ uggnek, és jelölje Vm,n ⊂ V azon v = (vl , −∞ < l < ∞) ∈ V sorozatok halmaz´ at, amelyekre vl = 1, ha l < −m vagy l > n. Ekkor az uv (·), v ∈ Vm,n f¨ uggvények (rn+m+1 elemb˝ol a´ll´ o) rendszere n+m+1 egy teljes ortonormált rendszert alkot a Qm,n (r dimenzi´ os) Euklideszi térben. Ezért annak bizony´ıt´ asához,hogy az uv (·), v ∈ V , f¨ uggvények teljes ortonormált rendszert Salkotnak az L2 (X, A, P ) Hilbert térben elég azt megmutatni, hogy a Qm,n alterek Qm,n uniója minden¨ utt s˝ ur˝ u halmaz az L2 (X, A, P ) Hilbert térben. S˝ot, ezt 0<m,n<∞ S arra az ´ all´ıt´ asra lehet reduk´ alni, hogy a B = Am,n halmaz, ahol Am,n a Qm,n 0<m,n<∞

altér f¨ uggvényeinek n´ıvóhalmazai ´ altal gener´ alt σ-algebra, s˝ ur˝ u az A σ-algebrában. Ez azt jelenti, hogy minden ε > 0 számhoz és A ∈ A halmazhoz létezik olyan B ∈ B halmaz, amelyre P (A∆B) < ε. (Itt A∆B az A és B halmaz szimmetrikus differenciáját jelöli.) Ugyanis innen k¨ ovetkezik, hogy véges uggvényének a S sok Ai ∈ A halmaz indikátor f¨ Qm,n f¨ uggvényhalmaznak (az L2 norma szelineáris kombinációja benne van a 0<m,n<∞

rinti) lez´ artj´ aban. De akkor az ilyen alak´ u f¨ uggvények lezártja, ami egyenl˝o L2 (X, A, P ) Hilbert térrel, szintén benne van ebben a f¨ uggvényosztályban.

Viszont az, hogy a B halmazoszt´ aly s˝ ur˝ u a A σ-algebrában k¨ ovetkezik a Lemma σ-algebra elemeinek j´ o approxim´ aci´ oj´ ar´ ol eredményéb˝ ol. Ugyanis B halmaz algebra, és A az ´ altala gener´ alt σ-algebra. A lemmát bel´ attuk. Bel´ atjuk a tételt ezen lemma seg´ıtségével. ´ Az unitér oper´ atorok izomorfi´ aj´ ar´ ol sz´ ol´ o tétel bizony´ıt´ asa. Alljon a V0 ⊂ V halmaz azon v = (vl , −∞ < l < ∞) ∈ V sorozatokból, amelyekre vl = 1, ha l < 0, és v0 6= 1. A V0 halmaz megsz´ amlálhat´ o, ezért megadhat´ o V0 = {v (1) , v (2) , . . . } alakban. Defini´ aljuk az un = uv(n) ∈ L2 (X, A, P ), n = 1, 2, . . . , f¨ uggvényeket, és ezenk´ıv¨ ul az u0 = uv(0) f¨ uggvényt, ahol v (0) = (vl = 1, −∞ < l < ∞) ∈ V , azaz a csupa 1 koordin´ at´ ab´ ol a´ll´ o (o) k v ∈ V sorozat. Defini´ aljuk a T v (shift) transzform´ aciót minden v ∈ V sorozatra és −∞ < k < ∞ számra a T k v = (vl−k , −∞ < l < ∞), ha v = (vl , −∞ < l < ∞) képlet seg´ıtségével. Tov´ abbá vezess¨ uk be a k¨ ovetkez˝ o jelöléseket. Defini´ aljuk az un,k = uT k v(n) f¨ uggvényeket minden n = 1, 2, . . . és −∞ < k < ∞ számp´ arra. (Teh´ at speci´ alisan ∞ S un = un,0 ). Ekkor nem nehéz bel´ atni, hogy mivel V \ {v (0) } = {T k v, v ∈ V0 }, és k=−∞

(0)

ebben az unióban minden v ∈ V \{v } vektor pontosan egyszer van felsorolva. Ezért az u0 , un,k , 1 ≤ n < ∞, −∞ < k < ∞, f¨ uggvényrendszer megegyezik az el˝ oz˝ o lemmában tekintett uv (·), v ∈ V , f¨ uggvények rendszerével, és teljes ortonormált rendszert alkot. 73

Továbbá U u0 = u0 , és U un,k = un,k+1 minden 1 ≤ n < ∞ és −∞ < k < ∞ indexekre. Az U transzform´ ació ezen jellemzésének seg´ıtségével k¨ onnyen be tudjuk látni a tételt. Tekints¨ unk egy H szepar´ abilis Hilbert teret valamely ortonormált bázissal, amelynek elemeit indexelj¨ uk az el˝ oz˝ oleg vizsgált esethez hasonlóan u ´gy, hogy g0 , gn,k , 1 ≤ ¯ oper´ n < ∞, −∞ < k < ∞. Defini´ aljuk a H Hilbert téren a k¨ ovetkez˝ o U atort: ¯ g0 = g 0 , U ¯ gn,k = gn,k+1 , ha 1 ≤ n < ∞, −∞ < k < ∞. Nem nehéz bel´ U atni, hogy ¯ unitér oper´ ¯ −1 gn,k = gn,k−1 , és U ¯ −1 g0 = g0 .) Tov´ U ator. (U abbá a G: un,k → gn,k , 1 ≤ n < ∞, −∞ < k < ∞ és G: u0 → g0 leképezés az L2 (X, A, P ) térnek és a H ¯ unitér oper´ Hilbert térnek egy olyan izomorfi´ aját definiálja, amely az U és U atorok ¯ izomorfi´ aját is biztos´ıtja. Mivel az ebben az izomorfi´ aban szerepl˝o H Hilbert tér és U oper´ ator megv´ alaszt´ asa nem f¨ uggött az (X, A, P, T ) Bernoulli rendszer definici´ ojában szerepl˝o r és pj , 1 ≤ j ≤ r, paraméterekt˝ ol, innen k¨ ovetkezik a tétel a´ll´ıt´ asa. Megjegyzés. Kidolgozt´ ak a Hilbert téren definiált unitér (vagy o¨nadjung´ alt, vagy a´ltal´ anosabban u ´gynevezett norm´ alis) oper´ atorok spektr´ al elméletét, amely j´ ol le´ırja az ´ uk meg, hogyan ´ırja le ezen elmélet az egy Bernoulli ilyen oper´ atorok szerkezetét. Erts¨ rendszerben el˝ obb definiált és vizsgált U unitér oper´ atort. Annak érdekében, hogy jobban megérts¨ uk egy Hilbert téren definiált oper´ ator viselkedését, érdemes a Hilbert teret felbontani az oper´ ator invari´ ans altereinek direkt ¨ osszegére. Az el˝ oz˝ o tételben tulajdonképpen egy ilyen felbontást konstru´ altunk. Az L2 (X, A, P ) teret felbontottuk K0 , K1 , . . . ortogon´ alis U -invari´ ans alterek o¨sszegére a k¨ ovetkez˝ o m´ odon. K0 az u0 vektor ´ altal gener´ alt (1 dimenzi´ os) altér, Kn pedig az un,k , k = 0, ±1, ±2, . . . , vektorok ´ altal gener´ alt altér minden n = 1, 2, . . . számra. Az U oper´ ator megszor´ıt´ asát a Kn altérre az U un,k = un,k+1 , k = 0, ±1, ±2 . . . , képlet ´ definiálja. Erdemes megjegyezni, hogy az U oper´ ator megszor´ıt´ asa valamelyik Kn ¯ altérre izomorf a k¨ ovetkez˝ o U oper´ atorral. Tekints¨ uk a G = L2 ([0, 1), B, λ) Hilbert teret, ahol B a Borel σ-algebra, λ pedig a Lebesgue mérték a [0, 1) intervallumon. Defini´ aljuk i2πx ¯ az U oper´ atort, mint az f (x) = e f¨ uggvénnyel val´ o szorzást a G Hilbert térben, ¯ g(x) = ei2πx g(x), ha g(x) ∈ L2 ([0, 1), B, λ). Ekkor felhasználva, hogy a azaz legyen U gk (x) = ei2πkx , k = 0, ±1, . . . , f¨ uggvények egy teljes ortonormált rendszert alkotnak az ¯ gk = gk+1 minden k = 0, ±1, ±2, . . . indexre, meg tudjuk L2 ([0, 1), B, λ) térben, és U mutatni, hogy az un,k → gk , k = 0, ±1, ±2, . . . , leképezés izomorfi´ at létes´ıt az Kn és ¯ G Hilbert terek és a rajtuk definiált U és U unitér oper´ atorok k¨ oz¨ ott. Ezt a tényt felhasználva a k¨ ovetkez˝ o az L2 (X, A, P ) Hilbert térrel és U unitér oper´ atorral izomorf + rendszert tudjuk definiálni. Vegy¨ uk az L2 ([0, ∞), B, λ ) Hilbert teret, ahol B a Borel σ-algebra [0, ∞) félegyenesen, λ+ a Lebesgue mérték a [0, ∞) félegyenesen plusz a {0} pontba koncentr´ alt egység mérték. Akkor az f (x) = ei2πx f¨ uggvénnyel val´ o szorzás az + L2 ([0, ∞), B, λ ) térben izomorf az U oper´ atorral. Ez az ´ all´ıt´ as tekinthet˝ ou ´gy is, mint az U oper´ ator implicit m´ odon megadott spektr´ al el˝ oáll´ıt´ asa.

74

6. A Shannon–McMillan–Breiman t´ etel. Ebben a fejezetben a Shannon–McMillan–Breiman tételt, az inform´ acióelmélet egyik klasszikus eredményét ismertetem. Ez az eredmény nagy n számokra hasznos jellemzést ad egy véges vagy megsz´ amlálhat´ o sok értéket felvev˝o, diszkrét idej˝ u stacionárius sztochasztikus folyamat n hossz´ us´ ag´ u szeleteinek tipikus értékeire. A tétel megfogalmazása érdekében felidézek el˝ obb néh´ any fontos fogalmat és eredményt. Diszkr´ et idej˝ u stacion´ arius sztochasztikus folyamat definici´ oja. Legyen adva ξn , −∞ < n < ∞, val´ osz´ın˝ uségi v´ altoz´ ok egy sorozata egy (Ω, A, P ) val´ osz´ın˝ uségi mez˝ on. Azt mondjuk, hogy ez a sorozat diszkrét idej˝ u stacion´ arius sztochasztikus folyamat, ha minden −∞ < n1 < n2 < · · · < nk < ∞ és m ≥ 1 egész sz´ amokra a (ξn1 , ξn2 , . . . , ξnk ) és (ξn1 +m , ξn2 , . . . , ξnk +m ) véletlen vektorok eloszl´ asa megegyezik. A diszkrét idej˝ u stacionárius sztochasztikus folyamatok és az invert´ alhat´ o dinamikus rendszerek szoros kapcsolatban ´ allnak egym´ assal. Ha vesz¨ unk egy dinamikus rendszerben egy ξ(ω) val´ osz´ın˝ uségi v´ altoz´ ot és annak ¨ osszes ξn (ω) = T n ξ(ω) = ξ(T n (ω), n = 0, ±1, ±2, . . . , eltoltj´ at, akkor ezen eltoltak sorozata egy diszkrét idej˝ u stacionárius sztochasztikus folyamat. Ennek igazolásához azt kell megérteni, hogy {ω: (ξ(T n1 +m (ω), . . . , T nk +m (ω)) ∈ A} = T −m {ω: (ξ(T n1 (ω), . . . , T nk (ω)) ∈ A}, és T mértéktart´ o leképezés. Azért, hogy az el˝ oz˝ o´ all´ıt´ as megford´ıt´ asát is megfogalmazzam, definiálni fogok u ´gynevezett speciális dinamikus rendszereket, amelyek invert´ alhat´ o dinamikus rendszerek, és definiálni fogok minden speciális dinamikus rendszerre ξ¯n , osz´ın˝ uségi v´ altoz´ oknak egy sorozatát, amelyet e rendξ¯n = T n ξ¯0 , −∞ < n < ∞, val´ szer ´ altal induk´ alt sorozatnak fogok nevezni. A fenti képletben T n a tekintett speci´ alis dinamikus rendszer shift transzform´ aciójának az n-ik hatványa. Meg fogom mutatni, hogy minden ξn , −∞ < n < ∞, diszkrét idej˝ u stacionárius sztochasztikus folyamathoz tudunk egy olyan speci´ alis dinamikus rendszert konstru´ alni, amelyre az a´ltala induk´ alt n¯ ¯ ¯ osz´ın˝ uségi v´ altoz´ ok sorozatának és az eredeti ξn , −∞ < n < ∞, ξn , ξn = T ξ0 , val´ val´ osz´ın˝ uségi v´ altoz´ o sorozatnak az eloszl´ asa megegyezik. Az ´ all´ıt´ as pontos megfogalmaz´ asának az érdekében bevezetem a k¨ ovetkez˝ o definici´ ot. Speci´ alis dinamikus rendszerek ´ es ´ altaluk induk´ alt val´ osz´ın˝ us´ egi v´ altoz´ ok ±∞ sorozat´ anak a definici´ oja. Jel¨ olje R az R sz´ amegyenes (pozit´ıv vagy negat´ıv) egész sz´ amokkal indexelt péld´ anyainak a direkt szorzat´ at, azaz az x = (. . . , x−1 , x0 , x1 , . . . ) két ir´ anyban végtelen, val´ os sz´ amokb´ ol a ´ll´ o sorozatok halmaz´ at, és jel¨ olje B±∞ a Borel σ±∞ algebr´ at az R halmazon. Vezess¨ uk be a (baloldali eltol´ ast jelent˝ o) T x = T (. . . , x−1 , x0 , x1 , . . . ) = (. . . , x−2 , x−1 , x0 , . . . ),

x ∈ R±∞

shift transzform´ aci´ ot az R±∞ téren. Egy P¯ val´ osz´ın˝ uségi mértéket az (R±∞ , B±∞ ) −1 téren T invari´ ansnak nevez¨ unk, ha P¯ (T (A)) = P¯ (A) minden A ∈ B±∞ halmazra. Egy (R±∞ , B±∞ , P¯ , T ) rendszert a fent defini´ alt R±∞ , B±∞ , P¯ és T menyiségekkel, ahol P¯ T invari´ ans val´ osz´ın˝ uségi mérték az (R±∞ , B±∞ ) téren speci´ alis dinamikus 75

rendszernek nevez¨ unk. Adva egy (R±∞ , B±∞ , P¯ , T ) speci´ alis dinamikus rendszer, a ξ¯n (x) = xn , −∞ < n < ∞, x = (. . . , x−1 , x0 , x1 , . . . ), val´ osz´ın˝ uségi v´ altoz´ ok sorozat´ at a rendszer a ´ltal induk´ alt val´ osz´ın˝ uségi v´ altoz´ ok sorozat´ anak fogjuk nevezni. (Nyilv´ an ξ¯n (x) = ξ¯0 (T n x)) minden x ∈ R±∞ pontra és n = 0, ±1, . . . sz´ amra.) Nem nehéz látni, hogy egy speciális dinamikus rendszer invert´ alhat´ o dinamikus rendszer. Tov´ abbá igaz a k¨ ovetkez˝ o lemma. Lemma diszkr´ et idej˝ u stacion´ arius sztochasztikus folyamatok ´ es invert´ alhat´ o dinamikus rendszerek kapcsolat´ ar´ ol. Legyen (Ω, A, P, T ) invert´ alhat´ o dinamikus rendszer, és ξ egy az (Ω, A, P ) mez˝ on értelmezett val´ osz´ın˝ uségi v´ altoz´ o. Ekkor a ξn = T n ξ, n = . . . , −1, 0, 1, . . . , val´ osz´ın˝ uségi v´ altoz´ ok sorozata egy diszkrét idej˝ u stacion´ arius sztochasztikus folyamat. Megford´ıtva, minden ξn , −∞ < n < ∞, diszkrét idej˝ u stacion´ arius sztochasztikus ±∞ ±∞ ¯ folyamathoz létezik olyan (R , B , P , T ) speci´ alis dinamikus rendszer, amelyre a speci´ alis dinamikus rendszer a ´ltal induk´ alt ξ¯n , −∞ < n < ∞, val´ osz´ın˝ uségi v´ altoz´ ok sorozat´ anak és a ξn , −∞ < n < ∞, val´ osz´ın˝ uségi v´ altoz´ o sorozatnak az eloszl´ asa megegyezik. Bizony´ıt´ as. A lemma els˝ o fele nyilvánval´ o. A lemma m´ asodik felének a bizony´ıt´ asában ±∞ ±∞ ¯ definiálni kell a lemma feltételeit kielég´ıt˝ o (R , B , P , T ) speci´ alis dinamikus rendszert. Ebben a definici´ oban a P¯ val´ osz´ın˝ uségi mértéket kell alkalmas m´ odon megadni. Ennek érdekében tekints¨ uk azt az (Ω, A, P ) val´ osz´ın˝ uségi mez˝ ot, ahol a ξn (ω) val´ osz´ın˝ uségi v´ altoz´ ok vannak definiálva, és definiáljuk a k¨ ovetkez˝ o U : Ω → R±∞ (mérhet˝ o) ¯ leképezést: U (ω) = (. . . , ξ−1 (ω), ξ0 (ω), ξ1 (ω), . . . ). Legyen P a P mérték ezen U transzformáció szerinti ˝ osképe az (R±∞ , B±∞ ) téren, azaz legyen P¯ (A) = P ({ω: U (ω) ∈ A}) ±∞ minden A ∈ B halmazra. Meg fogjuk mutatni, hogy a ξn , −∞ < n < ∞, sorozat stacionarit´ asáb´ ol k¨ ovetkezik, hogy a P¯ mérték T invari´ ans, azaz (R±∞ , B±∞ , P¯ , T ) ezzel a P¯ mértékkel val´ oban speciáis dinamikus rendszer. Tov´ abbá a P¯ mérték definici´ ojáb´ ol ¯ az is k¨ ovetkezik, hogy a ξn , −∞ < n < ∞, és a ξn , −∞ < n < ∞, val´ osz´ın˝ uségi v´ altoz´ ok sorozatainak az egy¨ uttes eloszl´ asai megegyeznek. Be kell még látni, hogy a P¯ mérték val´ oban T invari´ ans, azaz definiálva a Q(A) = −1 P¯ (T A), A ∈ B±∞ , mértéket P¯ (A) = Q(A) minden A ∈ B±∞ halmazra. Ez az azonosság igaz a ξn , n = . . . , −1, 0, 1, . . . , val´ osz´ın˝ uségi v´ altoz´ o sorozat stacionarit´ asa ±∞ miatt a k¨ ovetkez˝ o speci´ alis alak´ uA∈B (henger)halmazokra. A = A(n1 , . . . , nk , B) = {x = (. . . , x1 , x0 , x1 , . . . ): (xn1 , . . . , xnk ) ∈ B},

ahol n1 , . . . , nk tetsz˝oleges egész számok, és B tetsz˝oleges Borel mérhet˝ o halmaz az Rk k-dimenziós Euklideszi térben. Ugyanis P¯ (A) = P ((ξn1 , . . . , ξnk ) ∈ B), és Q(A) = P ((ξn1 +1 , . . . , ξnk +1 ) ∈ B) ebben az esetben. Viszont az ilyen alak´ u halmazok egy olyan halmaz algebrát alkotnak, amely gener´ alja a B±∞ σ-algebrát. Mivel egy mérték kiterjesztése egy halmaz algebrár´ ol az ´ altala gener´ alt σ-algebrára egyértelm˝ u, innen k¨ ovetkezik, hogy P¯ (A) = Q(A) minden A ∈ B±∞ halmazra, amint azt a´ll´ıtottuk. A fenti lemma lehet˝ ové teszi, hogy a dinamikus rendszerek elméletének az eredményeit alkalmazzuk diszkrét idej˝ u stacionárius sztochasztikus folyamatok vizsgálatában. 76

A dinamikus rendszerek elméletének egyik legfontosabb eredménye az ergod tétel. Ezt k´ıvánom megfogalmazni. Ez el˝ ott be kell vezetni néh´ any definici´ ot. Dinamikus rendszer invari´ ans halmazainak a definici´ oja. Egy (Ω, A, P, T ) dinamikus rendszer valamely A ∈ A halmaz´ at e rendszer invari´ ans halmaz´ anak nevez¨ unk, ha T −1 (A) = A. Ezt az azonoss´ agot u ´gy értj¨ uk, hogy a benne szerepl˝ o két halmaz szimmetrikus differenci´ aj´ anak nulla a P mérték szerinti val´ osz´ın˝ usége. Sz¨ ukség¨ unk lesz a k¨ ovetkez˝ o egyszer˝ u lemmára. Lemma az invari´ ans halmazok viselked´ es´ er˝ ol. Egy dinamikus rendszer invari´ ans halmazai σ-algebr´ at alkotnak, azaz, ha A invari´ ans halmaz akkor annak komplementere, ∞ ∞ T S An halmazok An és Ω \ A is az, és ha A1 , A2 , . . . invari´ ans halmazok, akkor a n=1

is invari´ ansak.

n=1

Bizony´ıt´ as. Az ´ all´ıt´ as egyszer˝ u k¨ ovetkezménye a T −1 inverz transzform´ ació tulajdonságainak. Adva egy (Ω, A, P, T ) dinamikus rendszer jelölje I ⊂ A az invari´ ans halmazok σ-algebráját, és vezess¨ uk be a k¨ ovetkez˝ o definici´ ot. Ergodikus dinamikus rendszerek definici´ oja. Egy (Ω, A, P, T ) dinamikus rendszert ergodikusnak nevez¨ unk, ha e rendszer invari´ ans halmazainak I σ-algebr´ aja trivi´ alis a k¨ ovetkez˝ o értelemben. Minden A ∈ I halmazra P (A) = 0 vagy P (A) = 1. Ergod t´ etel. Legyen (Ω,RA, P, T ) egy dinamikus rendszer, U (ω) egy A mérhet˝ o val´ os érték˝ u f¨ uggvény, amelyre Ω |U (ω)|P ( dω) < ∞. Ekkor n−1 1X lim U (T j ω) = E(U |I)(ω) n→∞ n j=0

a P mérték szerint majdnem minden ω ∈ Ω pontra,

ahol I az invari´ ans halmazok σ-algebr´ aja, és E(·|I) az I σ-algebra szerinti feltételes v´ arhat´ o értéket jel¨ oli. Ha az (Ω, A, P, T ) dinamikus rendszer R ergodikus, akkor a képlet egyszer˝ us¨ odik, mert ebben az esetben E(U |I)(ω) = EU = U (ω)P ( dω). A fentiekben dinamikus rendszerek ergodicit´ asát definiáltuk. De diszkrét idej˝ u stacion´ arius sztochasztikus folyamatok ergodicit´ asát is természetes m´ odon lehet definiálni. Annak érdekében, hogy megadjuk azt, hogy egy ξn , −∞ < n < ∞, diszkrét idej˝ u sta±∞ ±∞ ¯ cion´ arius sztochasztikus folyamat mikor ergodikus tekints¨ uk azt az (R , B ,P,T) speciális dinamikus rendszert, amelyre a speciális dinamikus rendszer a´ltal induk´ alt ξ¯n , −∞ < n < ∞, val´ osz´ın˝ uségi v´ altoz´ ok sorozatának és a ξn , −∞ < n < ∞, val´ osz´ın˝ uségi v´ altoz´ o sorozatnak az eloszl´ asa megegyezik. (Láttuk, hogy ilyen speciális dinamikus rendszer létezik.) Akkor mondjuk, hogy a ξn , −∞ < n < ∞, diszkrét idej˝ u stacionárius ±∞ ±∞ ¯ sztochasztikus folyamat ergodikus, ha a fenti tulajdonság´ u (R , B , P , T ) speci´ alis dinamikus rendszer ergodikus. Mivel a ξn , −∞ < n < ∞, és a ξ¯n , −∞ < n < ∞, sorozatok eloszl´ asa megegyezik, ez a két sorozat ugyanolyan val´ osz´ın˝ uségszám´ıt´ asi törvényeket 77

teljes´ıt. Ez lehet˝ ové teszi, hogy diszkrét idej˝ u stacionárius sztochasztikus folyamatok vizsgálatát visszavezess¨ uk invert´ alhat´ o dinamikus rendszerek vizsgálatára, ahol alkalmazhatjuk az ergod tételt is. Tekints¨ unk egy olyan diszkrét idej˝ u ξn , −∞ < n < ∞, stacionárius sztochasztikus folyamatot, amelyben a ξn val´ osz´ın˝ uségi v´ altoz´ ok értékeit egy véges vagy megsz´ amlálhatóan végtelen X halmazban veszik fel, és definiáljuk ennek entr´ opiáját. Az egyszer˝ ubb jelölés érdekében feltehetj¨ uk, hogy X a val´ os számok egy részhalmaza. Olyan definici´ ot fogunk adni, amely ¨ osszhangban van a dinamikus rendszerek esetében definiált H(T, ξ) entr´ opia definici´ oval valamint a diszkrét idej˝ u stacionárius sztochasztikus folyamatok és az invert´ alhat´ o dinamikus rendszerek k¨ oz¨ otti kapcsolattal. Legyen H(ξn , −∞ < n < ∞) = lim H(ξ0 |ξ−1 , . . . , ξ−n ), n→∞

(6.1)

ahol H(ξ0 |ξ−1 , . . . , ξ−n ) az els˝ o fejezetben bevezetett feltételes entr´ opia. Az, hogy a (6.1) formul´ aban szerepl˝o limeszek val´ oban léteznek hasonlóan mutathat´ o meg, mint ahogy a H(T, ξ) entr´ opia definici´ ojának a jogosság´ at indokoltuk az 5. fejezetben. Tov´ abbá nem nehéz bel´ atni, hogy H(ξn , −∞ < n < ∞) = lim n1 H(ξ0 , ξ−1 , . . . , ξ−n+1 ), ha n→∞

H(ξ1 ) < ∞. (Azt is ´ all´ıtjuk, hogy a H(ξ1 ) < ∞ esetben ez a véges határérték létezik.) Egyébként szoros kapcsolat van a diszkrét idej˝ u stacionárius sztochasztikus folyamatok és invert´ alhat´ o dinamikus rendszerek entr´ opiája k¨ oz¨ ott. Legyen ξn , −∞ < n < ∞, olyan diszkrét idej˝ u stacionárius sztochasztikus folyamat, amelyben a ξn val´ osz´ın˝ uségi v´ altoz´ ok értékeiket egy véges vagy megsz´ amlálhat´ oan végtelen X halmazban ±∞ ±∞ ¯ veszik fel. Tekints¨ uk azt a (R , B , P , T ) speciális dinamikus rendszert, amelyre a speciális dinamikus rendszer ´ altal induk´ alt ξ¯n , −∞ < n < ∞, val´ osz´ın˝ uségi v´ altoz´ ok sorozatának és a ξn , −∞ < n < ∞, val´ osz´ın˝ uségi v´ altoz´ o sorozatnak az eloszl´ asa megegyezik. Ekkor H(ξn , −∞ < n < ∞) = H(T, ξ¯0 ). Pontosabban egy apró technikai kellemetlenség elker¨ ulése végett érdemes a ξ¯n val´ osz´ın˝ uségi v´ altoz´ ok definici´ oját kissé ¯ m´ odos´ıtani. A ξn val´ osz´ın˝ uségi v´ altoz´ ok ugyanis, — legal´ abbis formálisan, — nem véges vagy megsz´ amlálhat´ oan sok értéket vesznek fel. E val´ osz´ın˝ uségi v´ altoz´ ok értékkészlete az R számegyenes. De mivel P (ξn ∈ X) = 1, ett˝ol a kellemetlenségt˝ol egyszer˝ uen meg tudunk szabadulni. Arra az (R±∞ , B±∞ , P¯ , T ) speciális dinamikus rendszerre, amelyet most tekintett¨ unk P¯ (X ±∞ ) = 1, ahol X ±∞ = {(. . . , xj−1 , xj0 , xj1 , . . . ): xjn ∈ X, −∞ < n < ∞}. Ezért a tekintett (R±∞ , B±∞ , P¯ , T ) speci´ alis dinamikus rendszert helyettes´ıthetj¨ uk az (X ±∞ , B±∞ , P¯ , T ) (invert´ alhat´ o) dinamikus rendszerrel, ahol B±∞ a kor´ abban definiált B±∞ (Borel) σ-algebra, és P¯ a kor´ abban definiált P¯ mérték ±∞ megszor´ıt´ asa az X halmazra. Az e rendszer ´ altal induk´ alt ξ¯n = T n ξ¯0 val´ osz´ın˝ uségi v´ altoz´ okat a kor´ abbi esethez hasonlóan definiáljuk. Ezzel a m´ odos´ıt´ assal k¨ ozvetlen¨ ul láthat´ o, hogy H(ξn , −∞ < n < ∞) = H(T, ξ¯0 ). A Shannon–McMillan–Breiman tétel megfogalmazása el˝ ott teszek egy rövid kitér˝ ot. Gyakran val´ osz´ın˝ uségi v´ altoz´ oknak olyan ξn , n ≥ 0 sorozataival kell foglalkoznunk, amelyek hasonlóan viselkednek a diszkrét idej˝ u stacionárius sztochasztikus folyamatokhoz, de csak nem negat´ıv n indexekre vannak definiálva. Az ilyen sorozatokat féloldali diszkrét idej˝ u stacionárius sztochasztikus folyamatoknak fogom nevezni. Megfogalmazom, hogy ez pontosan mit jelent, és megmutatom, hogy az ilyan sorozatok vizsgálata 78

visszavezethet˝ o a hagyományos diszkrét idej˝ u stacionárius sztochasztikus folyamatok vizsgálatához. El˝osz¨ or bevezetem a k¨ ovetkez˝ o fogalmat. F´ eloldali diszkr´ et idej˝ u stacion´ arius sztochasztikus folyamat definici´ oja. Legyen adva ξn , n = 0, 1, 2, . . . , val´ osz´ın˝ uségi v´ altoz´ ok egy sorozata egy (Ω, A, P ) val´ osz´ın˝ uségi mez˝ on. Azt mondjuk, hogy ez a sorozat féloldali diszkrét idej˝ u stacion´ arius sztochasztikus folyamat, ha minden 0 ≤ n1 < n2 < · · · < nk < ∞ és m ≥ 1 egész sz´ amokra a (ξn1 , ξn2 , . . . , ξnk ) és (ξn1 +m , ξn2 , . . . , ξnk +m ) véletlen vektorok eloszl´ asa megegyezik. A k¨ ovetkez˝ o lemma kapcsolatot teremt féloldali diszkrét idej˝ u és diszkrét idej˝ u stacionárius sztochasztikus folyamatok k¨ oz¨ ott. Lemma f´ eloldali diszkr´ et idej˝ u´ es diszkr´ et idej˝ u stacion´ arius sztochasztikus folyamatok kapcsolat´ ar´ ol. Legyen ξn , n = 0, 1, 2, . . . , egy féloldali diszkrét idej˝ u stacion´ arius sztochasztikus folyamat egy (Ω, A, P ) val´ osz´ın˝ uségi mez˝ on. Létezik olyan diszkrét idej˝ u ξ¯n , −∞ < n < ∞, stacion´ arius sztochasztikus folyamat egy alkalmas ¯ A, ¯ P¯ ) val´ (Ω, osz´ın˝ uségi mez˝ on, amelyre a ξn , n = 0, 1, 2, . . . , és ξ¯n , n = 0, 1, 2, . . . , sorozatok eloszl´ asa megegyezik. ¯ A, ¯ P¯ ) = (R±∞ , B±∞ , P¯ ) a kor´ A lemma bizony´ıt´ asa. Legyen (Ω, abban definiált R±∞ halmazzal és B±∞ σ-algebrával és egy alkalmasan definiált P¯ val´ osz´ın˝ uségi mértékkel. Legyen tov´ abbá ξ¯n (x) = xn , −∞ < n < ∞, ha x = (. . . , x−1 , x0 , x1 , . . . ) ∈ R±∞ . A P¯ mérték definiál´ asa érdekében vegy¨ uk észre, hogy P (ξn1 ∈ B1 , . . . , ξnk ∈ Bk ) = P (ξn1 +p ∈ B1 , . . . , ξnk +p ∈ Bk ) nem negat´ıv egész számok minden monoton növekv˝o 0 ≤ n1 < · · · < nk véges sorozatára, tetsz˝oleges p ≥ −n1 egész számra és a számegyenesen Borel mérhet˝ o B1 , . . . , Bk halmazokra. Defini´ aljuk a P¯ mértéket el˝ osz¨ or bizonyos speci´ alis halmazokra a P¯ ((. . . , x1 , x0 , x1 , . . . ): xn1 ∈ B1 , . . . , xnk ∈ Bk ) = P (ξ0 ∈ B1 , . . . , xnk −n1 ∈ Bk )

= P (ξn1 +p ∈ B1 , . . . , ξnk +p ∈ Bk ) (6.2) képlet seg´ıtségével. E képletben −∞ < n1 < n2 < · · · < nk < ∞ egész számok, p ≥ −n1 , és B1 , . . . , Bk Borel mérhet˝ o halmazok a számegyenesen. (Megengedj¨ uk, hogy nj < 0 legyen bizonyos j indexekre.) Ha a fenti képletekben az xj koordin´ at´ akat val´ osz´ın˝ uségi v´ altoz´ oknak tekintj¨ uk, akkor (6.2) képletben ezek véges dimenzi´ os eloszl´ asait konzisztens m´ odon definiáltuk. Ezért Kolmogorov tétele alapj´ an létezik (egyetlen) olyan P¯ ±∞ ±∞ mérték az (R , B ) téren, amely teljes´ıti a (6.2) formul´ at tetsz˝oleges −∞ < n1 < n2 < · · · < nk < ∞, p > −n1 egész számokra és B1 , . . . , Bk Borel mérhet˝ o halmazokra a számegyenesen. (A val´ osz´ın˝ uségszám´ıt´ as alaptételének egy lehetséges megfogalmazását alkalmaztuk.) Nem nehéz bel´ atni, hogy az ´ıgy konstru´ alt (R±∞ , B±∞ , P¯ ) val´ osz´ın˝ uségi ¯ mez˝ o és ξn , −∞ < n < ∞, val´ osz´ın˝ uségi v´ altoz´ ok teljes´ıtik a lemma a´ll´ıt´ asát. R´ atérek a Shannon–McMillan–Breiman tétel ismertetésére. Ezen eredmény két ekvivalens verzióját fogom megfogalmazni. Az els˝ o verzió invert´ alhat´ o dinamikus rendszerek, a m´ asodik verzió diszkrét idej˝ u stacionárius sztochasztikus folyamatok viselkedésér˝ ol fog szólni. 79

A Shannon–McMillan–Breiman t´ etel invert´ alhat´ o dinamikus rendszerekre. Legyen (Ω, A, P, T ) egy ergodikus invert´ alhat´ o dinamikus rendszer, és legyen azon adva egy olyan ξ val´ osz´ın˝ uségi v´ altoz´ o, amely értékeit egy véges vagy megsz´ aml´ alhat´ o X = {x1 , x2 , . . . } halmazon veszi fel, és H(ξ) < ∞. Vezess¨ uk be a ξn = T n ξ, −∞ < n < ∞, val´ osz´ın˝ uségi v´ altoz´ okat, és defini´ aljuk minden n = 1, 2, . . . sz´ amra a pn (xj0 , . . . , xjn−1 ) = P (ξ0 = xj0 , . . . , ξn−1 = xjn−1 ) f¨ uggvényt, ahol xjs ∈ X minden 1 ≤ s ≤ n − 1 indexre. Ekkor lim −

n→∞

1 log pn (ξ0 , . . . , ξn−1 ) = H(T, ξ) n

1 val´ osz´ın˝ uséggel,

(6.3)

ahol a H(T, ξ) entr´ opi´ at az (5.5) képletben defini´ altuk. A Shannon–McMillan–Breiman t´ etel diszkr´ et idej˝ u stacion´ arius sztochasztikus folyamatokra. Legyen ξn , −∞ < n < ∞, egy olyan diszkrét idej˝ u, ergodikus stacion´ arius sztochasztikus folyamat, amelyre a ξn val´ osz´ın˝ uségi v´ altoz´ ok értékeiket egy véges vagy megsz´ aml´ alhat´ o X = {x1 , x2 , . . . } halmazon veszik fel, és H(ξn ) < ∞. Vezess¨ uk be minden n = 1, 2, . . . sz´ amra a pn (xj0 , . . . , xjn−1 ) = P (ξ0 = xj0 , . . . , ξn−1 = xjn−1 ) f¨ uggvényt, ahol xjs ∈ X minden 1 ≤ s ≤ n − 1 indexre. Ekkor lim −

n→∞

1 log pn (ξ0 , . . . , ξn−1 ) = H(ξn , −∞ < n < ∞) n

1 val´ osz´ın˝ uséggel,

ahol a H(ξ, −∞ < n < ∞) entr´ opi´ at az (6.1) képletben defini´ altuk. Megjegyzés. A ξn sorozat stacionarit´ asa miatt a pn (·) f¨ uggvények definici´ oját pn (xj0 , . . . , xjn−2 , xjn−1 ) = P (ξ−n−1 = xj0 , . . . , ξ−1 = xjn−2 , ξ0 = xjn−1 ) alakban is ´ırhattuk volna. Az, hogy egy ξn , −∞ < n < ∞, értékeiket egy véges vagy megsz´ amlálhat´ o X halmazon felvev˝o val´ osz´ın˝ uségi v´ altoz´ okb´ ol ´ all´ o sztochasztikus folyamat teljes´ıti a Shannon–McMillan–Breiman tételt heurisztikusan u ´gy interpretálhat´ o, hogy meg lehet adni a sztochasztikus folyamat értékeinek egy olyan ‘tipikus sorozatokból a´ll´ o’ 1 va±∞ ±∞ lósz´ın˝ uség˝ u X0 ⊂X részhalmaz´ at u ´gy, hogy nagy n számokra j´ o aszimptotikus formula adható annak val´ osz´ın˝ uségére, hogy a sztochasztikus folyamat megszor´ıt´ asa a 0 és n − 1 index˝ u koordin´ at´ ak k¨ ozé megegyezik egy el˝ o´ırt tipikus sorozat megszor´ıt´ asával a 0 és n − 1 koordin´ at´ ak k¨ ozé. Ez a val´ osz´ın˝ uség minden tipikus x ∈ X0±∞ sorozatra k¨ ozel´ıt˝ oleg egyenl˝o; exponenciálisan kicsi, és logaritmus´ anak a − n1 -szerese k¨ or¨ ulbel¨ ul a sztochasztikus folyamat entr´ opiájával egyenl˝o. A diszkrét idej˝ u stacionárius sztochasztikus folyamatokra megfogalmazott Shannon–McMillan–Breiman tétel egyszer˝ uen k¨ ovetkezik az invert´ alhat´ o dinamikus rendszerekr˝ ol szól´ o Shannon–McMillan–Breiman tételb˝ ol. Val´ oban, adva egy olyan ξn , −∞ < n < ∞, diszkrét idej˝ u, ergodikus stacionárius sztochasztikus folyamat, amelyre 80

a ξn val´ osz´ın˝ uségi v´ altoz´ ok értékeiket egy véges vagy megsz´ amlálhat´ o X = {x1 , x2 , . . . } halmazon veszik fel, és H(ξn , −∞ < n < ∞) < ∞, tekints¨ uk azt az (R±∞ , B±∞ , P¯ , T ) speciális dinamikus rendszert, amelyre a speciális dinamikus rendszer a´ltal induk´ alt ξ¯n , −∞ < n < ∞, val´ osz´ın˝ uségi v´ altoz´ ok sorozatának és a ξn , −∞ < n < ∞, val´ osz´ın˝ uségi v´ altoz´ o sorozatnak az eloszl´ asa megegyezik. Pontosabban, ezt a speci´ alis dinamikus rendszert kissé m´ odos´ıtjuk, felhasználva, hogy olyan val´ osz´ın˝ uségi v´ altoz´ okat tekint¨ unk, ±∞ ±∞ ¯ amelyek értékeiket az X halmzaban veszik fel. Ezért az (X ,B , P , T ) dinamikus ¯ rendszert vessz¨ uk, és ebben a ξn , −∞ < n < ∞, sorozatra alkalmazzuk a Shannon– McMillan–Breiman tételt. Ezt fel´ırhatjuk P ((. . . , ξ¯−1 (ω), ξ¯0 (ω), ξ¯1 (ω), . . . ) ∈ D) = 1 alakban, ahol D = {(. . . , xj−1 , xj0 , xj1 , . . . ) ∈ X ±∞ : lim − n→∞

1 log pn (xj0 , . . . , xjn−1 ) = H(T, ξ¯0 )}. n

Mivel a ξ¯n , −∞ < n < ∞ és ξn , −∞ < n < ∞, véletlen sorozatok eloszl´ asa megegyezik, ¯ = 1, ahol és H(T, ξ¯0 ) = H(ξn , −∞ < n < ∞) P ((. . . , ξ−1 (ω), ξ0 (ω), ξ1 (ω), . . . ) ∈ D) ¯ ¯ a D halmazt hasonlóan definiáljuk a D halmazhoz, csak a H(T, ξ0 ) mennyiséget a H(ξn , −∞ < n < ∞) mennyiséggel helyettes´ıtj¨ uk benne. Ez viszont azt jelenti, hogy a Shannon–McMillan–Breiman tétel diszkrét idej˝ u, ergodikus stacionárius sztochasztikus folyamatokra is érvényes. A Shannon–McMillan–Breiman tételt invert´ alhat´ o dinamikus rendszerekre fogjuk bizony´ıtani. Annak érdekében, hogy a bizony´ıt´ ast jobban megérts¨ uk tekints¨ uk el˝ osz¨ or azt a két speci´ alis esetet, amikor a ξn = T n ξ, −∞ < n < ∞, sorozat vagy a) f¨ uggetlen, egyforma eloszl´ as´ u val´ osz´ın˝ uségi v´ altoz´ ok sorozata vagy b) egy stacionárius Markov n−1 Q p(xjs ), ahol p(xjs ) = P (ξ = xjs ). Ezért lánc. Az a) esetben pn (xj0 , . . . , xjn−1 ) = s=0

− n1 log pn (ξ0 , . . . , ξn−1 ) = − n1

n−1 P

log p(ξs ). A nagy számok er˝ os törvénye szerint ez P az a´tlag 1 val´ osz´ın˝ uséggel konvergál a −E log p(ξ) = − P (ξ = xj ) log P (ξ = xj ) = H(ξ) = H(T, ξ) ¨ osszeghez, ha n → ∞, és az a) esetben ezt kellett bel´ atni. A b) esetben hasonló az indokl´ as, csak ekkor az ergod tételt kell alkalmazni a nagy számok törvénye helyett. Egy olyan ξn , −∞ < n < ∞, Markov láncot tekint¨ unk, ±∞ ±∞ amely az (X ,B , P, T ) téren van definiálva alkalmas P val´ osz´ın˝ uségi mértékkel, a szok´ asos T (. . . , xj−1 , xj0 , xj1 , . . . ) = (. . . , xj0 , xj1 , xj2 , . . . ) shift transzform´ acióval, és ξn (x) = xjn , −∞ < n < ∞, ha x = (. . . , xj−1 , xj0 , xj1 , . . . ). Jelölje q(x) = P (ξn = x), x ∈ X, a stacionárius Markov lánc egy dimenzi´ os eloszl´ asait, és r(¯ x|x) = P (ξn+1 = x ¯|ξn = x), x, x ¯ ∈ X, a Markov lánc ´ atmenet val´ osz´ın˝ uségeit. Ekkor s=0

pn (xj0 , . . . , xjn−1 ) = q(xj0 )

n−2 Y s=0

r(xjs+1 |xjs ),

ahonnan n−2 1 1 1X log r(T s ξ1 |T s ξ0 ). − log pn (ξ0 , . . . , ξn−1 ) = − log q(ξ0 ) − n n n s=0

81

Ezért az ergod tételb˝ ol az U (x) = − log r(xj1 |xj0 ), ha x = (. . . , xj−1 , xj0 , xj1 , . . . ) f¨ uggvény v´ alaszt´ assal azt kapjuk, hogy lim − n1 log pn (ξ0 , . . . , ξn−1 ) = −E log r(ξ1 |ξ0 ) n→∞

1 val´ osz´ın˝ uséggel. A bizony´ıt´ as befejezéséhez az −E log r(ξ1 |ξ0 ) = H(T, ξ0 ) azonosságot kell még igazolni. Viszont H(ξn |ξn−1 , . . . , ξ0 ) X =− P (ξ0 = xj0 , . . . ξn = xjn ) log P (ξn = xjn |ξn−1 = xjn−1 , . . . , ξ0 = xj0 ) xj0 ,...,xjn

=−

X

xj0 ,...,xjn

P (ξ0 = xj0 , . . . ξn = xjn ) log P (ξn = xjn |ξn−1 = xjn−1 )

= −E log r(ξn |ξn−1 ) = −E log r(ξ1 |ξ0 ) minden n ≥ 1 számra a Markov tulajdonság és a stacionarit´ as miatt. Innen H(T, ξ0 ) = lim H(ξn |ξn−1 , . . . , ξ0 ) = −E log r(ξ1 |ξ0 ). n→∞

Markov láncok esetében a Shannon–McMillan–Breiman bizony´ıt´ asa azon alapult, hogy a − n1 log pn (ξ0 , . . . , ξn−1 ) kifejezést felbontottuk egy olyan o¨sszegre, amelyre alkalmazni lehetett az ergod tételt. Az ´ altal´ anos eset bonyolultabb. Ekkor a vizsgált kifejezést egy hasonló ¨ osszegre plusz egy elhanyagolhat´ oan kis hibatagra lehet felbontani. De ahhoz, hogy ezt a hibatagot j´ ol meg tudjuk becs¨ ulni sz¨ ukség¨ unk van a martingálok elméletének néh´ any fontos eredményére. A k´ıvánt felbontás megtal´ al´ asának az érdekében vezess¨ uk be a tekintett ξn (x), −∞ < n < ∞ val´ osz´ın˝ uségi v´ altoz´ o sorozat k¨ ovetkez˝ o f¨ uggvényeit. pk+1 (ξ−k (ω), . . . , ξ0 (ω)) , pk (ξ−k (ω), . . . , ξ−1 (ω)) g0 (ω) = − log p1 (ξ0 (ω)).

gk (ω) = − log

k ≥ 1,

(6.4)

Az egyértelm˝ u definici´ o érdekében definiáljuk a gk (ω) f¨ uggvényt, mint gk (ω) = 0, ha pk (ξ−k (ω), . . . , ξ−1 (ω)) = 0, és ezért pk+1 (ξ−k (ω), . . . , ξ−1 (ω), ξ0 (ω)) = 0. Mivel ennek az eseménynek nulla a val´ osz´ın˝ usége, nincs k¨ ul¨ on¨ osebb jelent˝osége annak, hogy ebben az esetben hogyan definiáljuk a gk (ω) f¨ uggvényt. Hasonl´ o megjegyzést lehet tenni a kés˝obb definiálandó fkj (ω) f¨ uggvényr˝ol is. Ezzel a jelöléssel −

1 log pn (ξ0 (ω), . . . , ξn−1 (ω)) n n−1 n−1 1 1X 1X pk+1 (ξ0 (ω), . . . , ξk (ω)) = − log p1 (ξ0 (ω)) − = log gk (T k ω). n n pk (ξ0 (ω), . . . , ξk−1 (ω)) n k=1

k=0

82

Be fogjuk látni a marting´ alelmélet seg´ıtségével, hogy lim gk (ω) = g∞ (ω) 1 val´ osz´ın˝ uk→∞

séggel egy alkalmas g∞ (ω) f¨ uggvénnyel, emelyre Eg∞ (ω) = H(T, ξ). Ez azt sugallja, hogy −

n−1 1 1X g∞ (T k ω) + elhanyagolhat´ oan kicsi hiba. (6.5) log pn (ξ0 (ω), . . . , ξn−1 (ω)) = n n k=0

Nem trivi´ alis érvek seg´ıtségével be lehet látni, hogy ez val´ oban ´ıgy van. Az utols´ o formul´ ab´ ol és az ergod tétel k¨ ovetkezik a Shannon–McMillan–Breiman tétel. A pontos bizony´ıt´ as kidolgoz´ asának az érdekében el˝ osz¨ or felidézem a marting´ al elmélet számunkra legfontosabb eredményeit. Marting´ al, szubmarting´ al ´ es szupermarting´ al definici´ oja. Legyen adva σ-algebr´ ak F1 ⊂ F2 ⊂ F3 ⊂ · · · n¨ ovekv˝ o sorozata egy (Ω, A, P ) val´ osz´ın˝ uségi mez˝ on, amelyre teljes¨ ul az Fn ⊂ A tulajdons´ ag minden n = 1, 2, . . . sz´ amra. Legyen adva ezen k´ıv¨ ul Fn mérhet˝ o ξn (ω), E|ξn (ω)| < ∞, val´ osz´ın˝ uségi v´ altoz´ ok sorozata. Azt mondjuk, hogy a (ξn (ω), Fn ), n = 1, 2, . . . , p´ arok sorozata marting´ alt alkot, ha teljes¨ ul az E(ξn+1 (ω)|Fn ) = ξn (ω)

1 val´ osz´ın˝ uséggel minden n = 1, 2, . . . sz´ amra

azonoss´ ag. A fent defini´ alt sorozat szubmarting´ al, ha E(ξn+1 (ω)|Fn ) ≥ ξn (ω)

1 val´ osz´ın˝ uséggel minden n = 1, 2, . . . sz´ amra,

és szupermarting´ al, ha E(ξn+1 (ω)|Fn ) ≤ ξn (ω)

1 val´ osz´ın˝ uséggel minden n = 1, 2, . . . sz´ amra.

Ha adva van ξn (ω), E|ξn (ω)| < ∞, n = 1, 2, . . . , val´ osz´ın˝ uségi v´ altoz´ ok sorozata egy (Ω, A, P ) val´ osz´ın˝ uségi mez˝ on, de nincsenek defini´ alva a Fn σ-algebr´ ak, akkor e sorozatot marting´ alnak, szubmarting´ alnak illetve szupermarting´ alnak nevezz¨ uk, ha a (ξn , Fn ) sorozat az Fn = σ(ξk , 1 ≤ k ≤ n) σ-algebra sorozat v´ alaszt´ assal marting´ al, szubmarting´ al illetve szupermarting´ al. 1. megjegyzés. A fenti definici´ oban az E|ξn (ω)| < ∞ feltételt azért tett¨ uk, hogy beszélhess¨ unk a tekintett feltételes v´ arhat´ o értékekr˝ ol. Ezt a feltételt lehet gyeng´ıteni, elég például azt megk¨ ovetelni, hogy EXn− < ∞, n = 1, 2, . . . , ahol x− = − min(x, 0). 2. megjegyzés. Ha a (ξn , Fn ) sorozat marting´ al, szubmartingál, illetve szupermartingál, akkor a ξn sorozat marting´ al, szubmartingál illetve szupermartingál a fent megadott értelemben is, azaz akkor, ha az Fn σ-algebrákat a Gn = σ(ξk , 1 ≤ k ≤ n) ⊂ Fn σ-algebrákkal helyettes´ıtj¨ uk. Ez egyszer˝ uen láthat´ o a feltételes v´ arhat´ o érték alapvet˝ o tulajdonságainak a seg´ıtségével. 3. megjegyzés. A szubmartingál és szupermartingál elnevezés hátterében a marting´ alok kapcsolata van a harmonikus f¨ uggvényekkel. A marting´ alok a harmonikus f¨ uggvények 83

természetes megfelel˝ oi. Egy f¨ uggvény akkor harmonikus, ha értéke egyenl˝o e f¨ uggvény k¨ orintegráljával tetsz˝oleges a görbét k¨ ozrefogó zárt görbén. Ha egyenl˝otlenség helyett nagyobb vagy egyenl˝o ´ all, akkor szuperharmonikus f¨ uggvényr˝ol beszél¨ unk, és ez felel meg a szupermartingálnak. Hasonl´ oan, ha egyenl˝oség helyett kisebb vagy egyenl˝ o a´ll, akkor szubharmonikus f¨ uggvényr˝ol beszél¨ unk, és ennek a szubmartingál felel meg. Bizonyos 1 val´ osz´ın˝ uség˝ u marting´ al konvergencia tételekre és marting´ al egyenl˝otlenségekre lesz sz¨ ukség¨ unk, illetve olyan eredményekre, amelyek arról szólnak, hogy hogyan lehet marting´ alokb´ ol vagy szubmartingálokb´ ol konvex f¨ uggvények seg´ıtségével szubmartingálokat konstru´ alni. A k¨ ovetkez˝ o konvergencia tételt fogjuk haszn´ alni. T´ etel marting´ alok ´ es szubmarting´ alok 1 val´ osz´ın˝ us´ egi konvergenci´ aj´ ar´ ol. Legyen (ξn (ω), Fn ), n = 1, 2, . . . , marting´ al egy (Ω, A, P ) val´ osz´ın˝ uségi mez˝ on. Ekkor az E|ξn (ω)|, n = 1, 2, . . . , sorozat monoton n¨ ovekszik. Ha ez a sorozat korl´ atos, azaz létezik olyan K < ∞ sz´ am, amelyre E|ξn (ω)| ≤ K minden n = 1, 2, . . . sz´ amra, akkor 1 val´ osz´ın˝ uséggel létezik a ξ∞ (ω) = lim ξn (ω) hat´ arérték. Ezenk´ıv¨ ul érvényes n→∞

az E|ξ∞ (ω)| ≤ K egyenl˝ otlenség is ugyanazzal a K < ∞ konstanssal. Ha (ξn (ω), Fn ), n = 1, 2, . . . , olyan szubmarting´ al egy (Ω, A, P ) val´ osz´ın˝ uségi mez˝ on, amelyre sup E|ξn (ω)| ≤ K alkalmas K < ∞ konstanssal, akkor 1 val´ osz´ın˝ uséggel n

létezik a ξ∞ (ω) = lim ξn (ω) hat´ arérték, és ez a hat´ arérték teljes´ıti az E|ξ∞ (ω)| ≤ K n→∞ egyenl˝ otlenséget. Szubmarting´ alok szuprémuma teljes´ıti a k¨ ovetkez˝ o momentum egyenl˝otlenséget. T´ etel szubmarting´ alok szupr´ emum´ anak a momentumair´ ol. Legyen (ξn , Fn ), P (ξn ≥ 0) = 1, n ≥ 1, nem negat´ıv szubmarting´ al. Ekkor r r r sup Eξnr minden r > 1 val´ os sz´ amra, E sup ξn ≤ r − 1 n≥1 n≥1 és

E sup ξn n≥1

≤

e e + sup Eξn log+ ξn e − 1 e − 1 n≥1

az r = 1 esetben, ahol log+ x = max(log x, 0). Igaz a Jensen egyenl˝otlenség k¨ ovetkez˝ o, feltételes v´ arhat´ o értékekr˝ ol szól´ o alakja. A Jensen egyenl˝ otlens´ eg felt´ eteles v´ arhat´ o ´ ert´ ekekr˝ ol. Legyen adva egy ξ(ω) val´ osz´ın˝ uségi v´ altoz´ o és egy Φ(x), −∞ < x < ∞, konvex f¨ uggvény, amelyekre teljes¨ ulnek az E|ξ(ω)| < ∞ és E|Φ(ξ(ω)| < ∞ feltételek egy (Ω, A, P ) val´ osz´ın˝ uségi mez˝ on, valamint egy F ⊂ A σ-algebra. Ekkor E(Φ(ξ(ω)|F)) ≥ Φ (E(ξ(ω)|F))

1 val´ osz´ın˝ uséggel.

Ez az egyenl˝ otlenség akkor is érvényes, ha a Φ(·) konvex f¨ uggvény egy a ≤ x ≤ b intervallumban van defini´ alva, és P (a ≤ ξ ≤ b) = 1, ahol −∞ ≤ a < b ≤ ∞ tetsz˝ oleges val´ os sz´ amok. 84

A feltételes v´ arhat´ o értékekr˝ ol szól´ o Jensen egyenl˝otlenség érvényessége azon m´ ulik, hogy a v´ arhat´ o értékhez hasonlóan a feltételes v´ arhat´ o érték is kisz´ amolható alkalmas val´ osz´ın˝ uségi mérték szerinti integrál seg´ıtségével, csak ebben az esetben egy u ´gynevezett regul´ aris feltételes eloszl´ asf¨ uggvény szerint kell integrálni. Sz´ amunkra ez az eredmény az al´ abbi k¨ ovetkezménye miatt lesz érdekes. Lemma marting´ alok, szubmarting´ alok ´ es szupermarting´ alok konvex f¨ uggv´ enyeir˝ ol. a) Ha (ξn , Fn ), n = 1, 2, . . . , marting´ al, Φ(x) konvex f¨ uggvény, és E|Φ(ξn )| < ∞ minden n = 1, 2, . . . sz´ amra, akkor (Φ(ξn ), Fn ), n = 1, 2, . . . , szubmarting´ al. b) Ha (ξn , Fn ), n = 1, 2, . . . , szubmarting´ al, Φ(x), monoton n¨ ovekv˝ o konvex f¨ uggvény, és E|Φ(ξn )| < ∞ minden n = 1, 2, . . . sz´ amra, akkor (Φ(ξn ), Fn ), n = 1, 2, . . . , szubmarting´ al. c) Ha (ξn , Fn ), n = 1, 2, . . . , szupermarting´ al, Φ(x) monoton cs¨ okken˝ o konvex f¨ uggvény, és E|Φ(ξn )| < ∞ minden n = 1, 2, . . . sz´ amra, akkor (Φ(ξn ), Fn ), n = 1 ,2, . . . , szubmarting´ al. A fenti a ´ll´ıt´ asok akkor is érvényesek, ha a Φ(·) f¨ uggvény egy a ≤ x ≤ b intervallumban van defini´ alva, és P (a ≤ ξn ≤ b) = 1 minden n = 1, 2, . . . sz´ amra, ahol a −∞ ≤ a < b ≤ ∞ sz´ amok tetsz˝ olegesek. Bizony´ıt´ as. Az a) esetben E(Φ(ξn+1 )|Fn ) ≥ Φ(E(ξn+1 |Fn )) = Φ(ξn ) 1 val´ osz´ın˝ uséggel a Jensen egyenl˝otlenség és a marting´ al tulajdonság miatt. A b) esetben E(Φ(ξn+1 )|Fn ) ≥ Φ(E(ξn+1 |Fn )) 1 val´ osz´ın˝ uséggel, és mivel E(ξn+1 |Fn ) ≥ ξn , és Φ(·) monoton n˝ovekv˝o f¨ uggvény, ezért Φ(E(ξn+1 |Fn )) ≥ Φ(ξn ) 1 val´ osz´ın˝ uséggel. Ezekb˝ol az egyenl˝otlenségekb˝ol k¨ ovetkezik a b) rész ´ all´ıt´ asa. A c) rész bizony´ıt´ asa hasonló. Felidézek még egy eredményt arr´ ol, hogy hogyan lehet kisz´ amolni egy val´ osz´ın˝ uségi v´ altoz´ o f¨ uggvényének a v´ arhat´ o értékét. Azért idézem fel ezt az eredményt, mert kés˝obb sz¨ ukség¨ unk lesz rá. Az ismertetend˝ o formula val´ ojában a Stieltjes integrálokra vonatkoz´ o parci´ alis integrál´ as egy alkalmazása. Egy a v´ arhat´ o´ ert´ ek kisz´ amol´ as´ ar´ ol sz´ ol´ o formula. Legyen ξ olyan val´ osz´ın˝ uségi v´ altoz´ o, amelyre P (ξ ≥ 0) = 1. Jel¨ olje F (x) = P (ξ < x), 0 ≤ x < ∞, a ξ val´ osz´ın˝ uségi v´ altoz´ o elosz´ asf¨ uggvényét, és legyen G(x) = 1 − F (x) = P (ξ ≥ x). Tekints¨ unk egy monoton, folytonos H(x) f¨ uggvényt az x ≥ 0 félegyenesen, amelyre H(0) = 0. Ekkor EH(ξ) =

Z

0

∞

H(x)F ( dx) = −

Z

∞

0

H(x)G( dx) =

Z

∞

G(x)H( dx).

0

R´ atérek a Shannon–McMillan–Breiman tétel bizony´ıt´ asára. El˝osz¨ or annak a k¨ ovetkez˝ o gyengébb formáját bizony´ıtom. A Shannon–McMillan–Breiman t´ etel egy gyeng´ ebb alakja. Igaz az invert´ alhat´ o dinamikus rendszerekre kor´ abban megfogalmazott Shannon–McMillan–Breiman tétel 85

abban a speci´ alis esetben, ha a tételben tekintett ξ val´ osz´ın˝ uségi v´ altoz´ o értékeit egy véges X = {x1 , x2 , . . . , xr } halmazon veszi fel. Részletesebben megfogalmazva ebben az esetben a (6.4) formul´ aban a ξk (ω) sorozat seg´ıtségével defini´ alt gk (ω), k = 0, 1, 2, . . . , val´ osz´ın˝ uségi v´ altoz´ ok teljes´ıtik a k¨ ovetkez˝ o két rel´ aci´ ot. a) Majdnem minden ω ∈ Ω pontban teljes¨ ul a lim gk (ω) = g∞ (ω) rel´ aci´ o egy alkalmas k→∞

g∞ (ω) val´ osz´ın˝ uségi v´ altoz´ oval. b) E sup gk (ω) < ∞. k≥1

Tov´ abb´ a, ha adva van egy (Ω, A, P, T ) ergodikus invert´ alhat´ o dinamikus rendszer és azon egy olyan ξ val´ osz´ın˝ uségi v´ altoz´ o, amely értékeit egy véges vagy megsz´ aml´ alhat´ oan végtelen X = {x1 , x2 , . . . } halmazon veszi fel akkor vezess¨ uk be a ξk = T k ξ, −∞ < k < ∞, val´ osz´ın˝ uségi v´ altoz´ okat. Ha az ezen ξk val´ osz´ın˝ uségi v´ altoz´ ok a ´ltal a (6.4) formul´ aban defini´ alt gk (ω), k = 0, 1, 2, . . . , val´ osz´ın˝ uségi v´ altoz´ ok teljes´ıtik a fent megfogalmazott a) és b) rel´ aci´ okat akkor a ξn , −∞ < n < ∞, sorozat teljes´ıti a (6.3) formul´ at. Feladat. Bizony´ıtsuk be, hogy az a) és b) rel´ aciók teljes¨ ulése esetén a (6.3) formul´ anak az a v´ altozata is igaz, amelyben az 1 val´ osz´ın˝ uségi konvergencia helyett L1 norm´ aban val´ o konvergenci´ at k¨ ovetel¨ unk meg. Az el˝ oz¨ oleg megfogalmazott tétel lényegében a Shannon–McMillan–Breiman tétel ˝ eredetileg csak véges sok értéket felvev˝o eredeti, Breiman ´ altal bizony´ıtott alakja. O val´ osz´ın˝ uségi v´ altoz´ ok sorozatára bizony´ıtotta be az ´ all´ıt´ ast, mert csak ebben az esetben tudta igazolni az a) és b) rel´ aciót. (A f˝ o nehézséget a b) rel´ ació igazolása jelenti.) El˝osz¨ or Kai Lai Chung publik´ alt eredményt arr´ ol, hogy ez a b) tulajdonság, és ´ıgy a Shannon–McMillan–Breiman tétel az ´ altal´ anos esetben is érvényes (A note on the ergodic theorem of information theory. Ann. Math. Statist. 32, 612–614 (1961)), de az o˝ bizony´ıt´ asa hibás. Mi ehelyett Andrew R. Barron The strong ergodic theorem for densities: Generalized Shannon–McMillan–Breiman theorem, (The Annals of Probability (1985) Vol. 13 No.4 1292–1303) cikkének a seg´ıtségével fogjuk bizony´ıtani, hogy az a) és b) rel´ aciók és ´ıgy a Shannon–McMillan–Breiman tétel érvényes az a´ltal´ anos esetben is. Barron eredményének m´ as érdekes k¨ ovetkezménye is van. A Shannon–McMillan–Breiman tétel gyengébb alakj´ anak a bizony´ıt´ asa. El˝osz¨ or az a) és b) rel´ aciót bizony´ıtjuk be abban az esetben, ha a ξ val´ osz´ın˝ uségi v´ altoz´ o X értékkészlete véges halmaz. Ennek érdekében bevezetj¨ uk a k¨ ovetkez˝ o mennyiségeket. pk+1 (ξ−k (ω), . . . , ξ−1 (ω), xj ) pk (ξ−k (ω), . . . , ξ−1 (ω)) = − log P (ξ0 = xj |ξ−k (ω), . . . , ξ−1 (ω)),

fkj (ω) = − log

k ≥ 1, xj ∈ X.

R¨ ogz´ıts¨ unk egy j, 1 ≤ j ≤ r, számot (az r szám az X = {x1 , . . . , xr } halmaz definici´ ojában jelent meg), és vezess¨ uk be az ηk = ηkj = P (ξ0 = xj |ξ−k (ω), . . . , ξ−1 (ω)), k = 1, 2, . . . , val´ osz´ın˝ uségi v´ altoz´ okat és Fk = σ(ξ−1 , . . . , ξ−k ) σ-algebrákat. Az (ηk , Fk ), 86

k = 1, 2, . . . rendszer marting´ al. Ismertetem e tény elemi bizony´ıt´ asát, de el˝ otte egy megjegyzésben le´ırom, hogy hogyan k¨ ovetkezik ez a tény ´ altal´ anosabb, j´ ol ismert és egyszer˝ uen igazolható eredményekb˝ ol. Megjegyzés. Legyen F1 ⊂ F2 ⊂ · · · n˝ovekv˝o σ-algebráknak egy sorozata, és ξ, E|ξ| < ∞, egy val´ osz´ın˝ uségi v´ altoz´ o egy (Ω, A, P ) val´ osz´ın˝ uségi mez˝ on. Ekkor az (E(ξ|Fn ), Fn ), n = 1, 2, . . . , rendszer marting´ al. Speciálisan, ha ξ egy A ⊂ A halmaz indikátorf¨ uggvénye (A = {ω: ξ0 = xj } v´ alaszt´ assal), akkor ez az eredmény speci´ alis esetként tartalmazza az el˝ obb megfogalmazott ´ all´ıt´ ast. Ha nem k´ıvánunk hivatkozni a fenti eredményre, akkor az el˝ obb definiált rendszer marting´ al tulajdonság´ at megkapjuk az al´ abbi számol´ asok seg´ıtségével. Az {ω: ξ−k (ω) = xjk , . . . , ξ−1 (ω) = xj1 } halmazon X E(ηk+1 |ξ−k = xjk , . . . , ξ−1 = xj1 ) = P (ξ−k−1 = x|ξ−k = xjk , . . . , ξ−1 = xj1 ) x∈X

P (ξ0 = xj |ξ−k−1 = x, ξ−k = xjk . . . , ξ−1 = xj1 ) P (ξ0 = xj , ξ−k = xjk , . . . , ξ−1 = xj1 ) = ηk . = P (ξ−k = xjk , . . . , ξ−1 = xj1 )

Tov´ abbá Eηk = E|ηk | ≤ 1. Ezért a marting´ al konvergenciatétel alapj´ an 1 val´ osz´ın˝ uj séggel létezik az η∞ (ω) = lim ηk (ω), és ´ıgy a logaritmus f¨ uggvény folytonossága miatt az

j f∞ (ω)

= lim

k→∞

fkj (ω)

k→∞

határérték, bár nem tudjuk kiz´ arni annak a lehet˝ oségét, hogy

j az f∞ (ω) határérték végtelen. Mivel fkj (ω) = gk (ω) az {ω: ξ0 (ω) = xj } halmazon, innen k¨ ovetkezik, hogy az esetleg végtelen g∞ (ω) = lim gk (ω) határérték is létezik k→∞

1 val´ osz´ın˝ uséggel. Annak érdekében, hogy bel´ assuk a b) rel´ aciót, j´ o becslést adunk a P (sup gk (ω) > λ) k≥1

val´ osz´ın˝ uségre minden λ ≥ 0 számra. Írjuk fel a X r j P sup gk (ω) > λ = P ω: sup fk (ω) > λ ∩ {ω: ξ0 (ω) = xj } k≥1

=

j=1 ∞ r X X

j=1 k=1

azonosságot, ahol Fj,k =

k≥1

P (Fj,k ∩ {ω: ξ0 (ω) = xj })

ω: max

=

Z

1≤p
fpj (ω)

≤ λ,

fkj (ω)

>λ

R¨ ogz´ıtett j számra az Fj,k halmazok, k = 1, 2, . . . , diszjunktak, és mivel Fj,k ∈ Fk = σ(ξ−1 (ω), . . . , ξ−k (ω)) Z P (ξ0 (ω) = xj |ξ−1 (ω), . . . , ξ−k (ω))P ( dω) P (Fj,k ∩ {ω: ξ0 (ω) = xj }) = Fj,k

Fj,k

e

−fkj (ω)

P ( dω) ≤

87

Z

Fj,k

e−λ P ( dω) = e−λ P (Fj,k ).

Innen X ∞ r X P sup gk (ω) > λ = P (Fj,k ∩ {ω: ξ0 (ω) = xj }) k≥1

j=1 k=1

≤ e−λ

∞ r X X j=1

P (Fj,k )

k=1

!

≤ re−λ

minden λ > 0 számra. Ebb˝ ol az egyenl˝otlenségb˝ol k¨ ovetkezik a b) rel´ ació. R´ atérek a Shannon–McMillan–Breiman tétel bizony´ıt´ asára az a) és b) rel´ ació seg´ıtségével. Mivel lim gk (ω) = g∞ (ω) 1 val´ osz´ın˝ uséggel, a b) rel´ ació és a dominált k→∞

konvergencia tétel (Lebesgue tétel) alapj´ an azt kapjuk, hogy Eg∞ (ω) = lim Egk (ω) = k→∞

lim H(ξ0 |ξ−1 , . . . , ξ−k ) = H(T, ξ). Ez speciálisan azt is jelenti, hogy g∞ (ω) 1 val´ osz´ı-

k→∞

n˝ uséggel véges. A (6.5) formul´ at pontosan megfogalmazva azt ´ırhatjuk, hogy

n−1 n−1 1 1X 1X k − log pn (ξ0 (ω), . . . , ξn−1 (ω)) = g∞ (T ω) + (gk (T k ω) − g∞ (T k (ω)). n n n k=0

k=0

Tov´ abbá az ergod tétel alapj´ an n−1 1X g∞ (T k ω) = Eg∞ (ω) = H(T, ξ) n→∞ n

lim

1 val´ osz´ın˝ uséggel.

k=0

Ezért a tétel bizony´ıt´ asának befejezéséhez elég megmutatni, hogy n−1 1X lim (gk (T k ω) − g∞ (T k (ω)) = 0 1 val´ osz´ın˝ uséggel. n→∞ n k=0

Ennek érdekében vezess¨ uk be a GN (ω) = sup |gk (ω) − g∞ (ω)|, N = 1, 2, . . . , val´ osz´ın˝ uk≥N

ségi v´ altoz´ okat, és bizony´ıtsuk be, hogy lim EGN (ω) = 0. Val´ oban, lim GN (ω) = 0 N →∞

N →∞

1 val´ osz´ın˝ uséggel, GN (ω) ≤ sup gk (ω)+g∞ (ω) minden N indexre, és mivel E[sup gk (ω)+ k≥1

k≥1

g∞ (ω)] < ∞ a dominált konvergencia tételb˝ ol k¨ ovetkezik a k´ıvánt a´ll´ıt´ as. Ezért az ergod tétel seg´ıtségével a k¨ ovetkez˝ o becslést tudjuk tenni. Vegy¨ unk egy tetsz˝oleges N ≥ 1 egész számot. Ekkor n−1 n−1 1 X 1X k k (gk (T ω) − g∞ (T (ω)) ≤ lim sup |gk (T k ω) − g∞ (T k (ω))| lim sup n n→∞ n→∞ n k=0

k=0

≤ lim sup n→∞

88

1 n

n−1 X k=0

GN (T k ω) = EGN (ω)

1 val´ osz´ın˝ uséggel. Mivel lim EGN (ω) = 0, innen N →∞

n−1 1 X k k lim (gk (T ω) − g∞ (T (ω)) = 0 1 val´ osz´ın˝ uséggel, n→∞ n k=0

és ezt kellett bel´ atnunk.

R´ atérek a Shannon–McMillan–Breiman tétel ´ altal´ anos alakj´ anak a bizony´ıt´ asára. Elég azt megmutatni, hogy a tétel gyengébb alakj´ anak megfogalmazásában szerepl˝o a) és b) rel´ ació az ´ altal´ anos esetben is érvényes, és nemcsak akkor, ha ξ véges sok értéket vesz fel. Ezt a k¨ ovetkez˝ o eredmény seg´ıtségével fogom bizony´ıtani. Becsl´ es Radon–Nikodym deriv´ altak n¨ ovekv˝ o σ-algebr´ akra vonatkoz´ o viselked´ es´ er˝ ol. Legyen adva egy (X, A) mérhet˝ o tér és azon n¨ ovekv˝ o σ-algebr´ ak F1 ⊂ F2 ⊂ · · · ⊂ A sorozata. Jel¨ olje F∞ a Fn , n = 1, 2, . . . , σ-algebr´ ak uni´ oja a ´ltal gener´ alt σalgebr´ at. Legyen P és Q két olyan val´ osz´ın˝ uségi mérték az (X, F∞ ) téren, amelyeknek az Fn σ-algebr´ akra vett Pn és Qn megszor´ıt´ asaira Pn abszolut folytonos a Qn mértékre dPn a Pn mérték Qn mérték szerinti nézve minden n = 1, 2, . . . indexre, és jel¨ olje ρn = dQ n Radon–Nikodym deriv´ altj´ at. (Nem tessz¨ uk fel, hogy P abszolut folytonos a Q mértékre nézve az F∞ σ-algebr´ an is.) Ekkor létezik a ρ∞ (ω) = lim ρn (ω) hat´ arérték P majdnem n→∞ minden ω ∈ X pontban. Az E log ρn f¨ uggvény az n index monoton n¨ ovekv˝ o f¨ uggvénye. Ha lim E log ρn < ∞, akkor lim E log ρn = E log ρ∞ , és n→∞

n→∞

E sup | log ρn | ≤ eE log ρ∞ + e + 2 = e lim E log ρn + e + 2. n→∞

n

(6.6)

A most megfogalmazott eredményben tekintett v´ arhat´ o értékeket a P mérték szerint vett¨ uk. El˝osz¨ or megmutatom, hogyan bizony´ıthat´ o ezen eredmény seg´ıtségével a Shannon– McMillan–Breiman tétel az ´ altal´ anos esetben. A Shannon–McMillan–Breiman tétel bizony´ıt´ asa az el˝ oz˝ o Radon–Nikodym deriv´ altakr´ ol ±∞ ±∞ ¯ sz´ ol´ o becslés seg´ıtségével. Feltehetj¨ uk, hogy az (X , A , T, P ) invert´ alhat´ o dinamikus rendszerben dolgozunk, ahol X ±∞ az ¨ osszes ω = (. . . , xj−1 , xj0 , xj1 , . . . ), xjn ∈ X minden −∞ < n < ∞ indexre, két irányban végtelen X halmazbeli elemekb˝ ol a´ll´ o sorozat, A±∞ a Borel σ-algebra ezen a halmazon, a T shift transzform´ ació a baloldali eltol´ as az X ±∞ téren, azaz egy ω = (. . . , xj−1 , xj0 , xj1 , . . . ) ∈ X ±∞ pontra T ω = (. . . , xj0 , xj1 , xj2 , . . . ), P¯ egy alkalmas ergodikus val´ osz´ın˝ uségi mérték ezen a téren. A (6.3) rel´ aciót a k¨ ovetkez˝ o képlettel definiált ξn , −∞ < n < ∞, val´ osz´ın˝ uségi v´ altoz´ okra akarjuk bizony´ıtani: ξn (ω) = xjn , −∞ < n < ∞, az ω = (. . . , xj−1 , xj0 , xj1 , . . . ) pontban. Ezzel a jelöléssel ξ(ω) = ξ0 (ω) a tétel megfogalmazásában. Val´ oban, tekintve a tételben eredetileg vizsgált (X, A, T, P ) dinamikus rendszert és a rajta definiált ξn = T n ξ, −∞ < n < ∞, val´ oszín˝ uségi v´ altoz´ okat vezess¨ uk be −1 0 1 ±∞ az Ω tér U (ω) = (. . . , T ξ(ω), T ξ(ω), T ξ(ω), . . . ) leképezését az X térbe. Ezut´ an 89

definiáljuk a P¯ val´ osz´ın˝ uségi mértéket, mint a P mértéknek az U transzform´ ació szerinti osképét, azaz legyen P¯ (A) = P ({ω: U (ω) ∈ A}) minden A ∈ A±∞ halmazra. Be lehet ˝ látni, hogy ily m´ odon egy invert´ alhat´ o (X ±∞ , A±∞ , T, P ) dinamikus rendszert kapunk, amely ergodikus, ha az eredeti (Ω, A, T, P ) rendszer az volt, és az ebben a rendszerben definiált ξn = T n ξ0 , −∞ < n < ∞, val´ osz´ın˝ uségi v´ altoz´ ok egy¨ uttes eloszl´ asa megegyezik az eredeti ξn , −∞ < n < ∞, val´ osz´ın˝ uségi v´ altoz´ ok egy¨ uttes eloszl´ asával. Ezért elég a bizony´ıtand´ o (6.3) formul´ at ebben az u ´j rendszerben bel´ atni. Elég azt megmutatni, hogy a (6.4) formul´ aban a most bevezetett ξn val´ osz´ın˝ uségi v´ altoz´ ok seg´ıtségével definiált gk (ω) f¨ uggvények teljes´ıtik a Shannon–McMillan–Breiman tétel gyengébb alakj´ anak megfogalmazásában szerepl˝o a) és b) rel´ aciókat. Ezt a Becslés Radon–Nikodym deriv´ altak n¨ ovekv˝ o σ-algebr´ akra vonatkoz´ o viselkedésér˝ ol eredménye seg´ıtségével fogom igazolni a k¨ ovetkez˝ o szereposztással. ±∞ ±∞ Az (X , A ) mérhet˝ o térben fogunk dolgozni, és a Fn σ-algebrákat u ´gy fogjuk definiálni, mint az olyan (mérhet˝ o) halmazokb´ ol ´ all´ o σ-algebrákat, amelyek az ω = (. . . , xj−1 , xj0 , xj1 , . . . ) pontoknak csak az xj−n , xj−n+1 , . . . , xj0 koordin´ at´ ait´ ol f¨ uggnek. Részletesebben fogaln mazva vezess¨ uk be az X = {(xj0 , . . . , xjn ) . . . xjs ∈ X, minden 0 ≤ s ≤ n indexre} halmazt, és definiáljuk minden x ¯ = (¯ xj0 , . . . , x ¯jn ) ∈ X n pontra az A(¯ x) = {ω = (. . . , xj−1 , xj0 , xj1 , . . . ): xj−s = x ¯jn−s , 0 ≤ s ≤ n} ∈ A±∞ halmazt. Az Fn σ-algebra megegyezik az ilyen A(¯ x) halmazok a´ltal gener´ alt σ-algebrával. Az Fn , n = 1, 2, . . . , σ-algebrák ´ altal gener´ alt F∞ σ-algebra az olyan A ∈ A±∞ halmazokb´ ol ´ all, amelyekre az ω ∈ A rel´ ació teljes¨ ulése vagy nem teljes¨ ulése egy ω = (. . . , xj−1 , xj0 , xj1 , . . . ) pontra csak az ω pont xjs , s ≤ 0, koordin´ at´ ait´ ol f¨ ugg. A P mértéket u ´gy definiálom a F∞ σ-algebrán, mint a P¯ mérték megszor´ıt´ asát erre a σ-algebrára, tehát a P ({ω = (. . . , xj−1 , xj0 , xj1 , . . . ): xj−n = x ¯jn , . . . , xj−1 = x ¯j1 , xj0 = x ¯j0 }) ¯ = P (ξ−n = x ¯jn , . . . , ξ−1 = x ¯j1 , ξ0 = x ¯ j0 ) képlet érvényes minden n = 1, 2, . . . számra, és minden x ¯js ∈ X, 0 ≤ s ≤ n, pontokból all´ ´ o n hossz´ us´ ag´ u sorozatra. Ez a képlet egyértelm˝ uen definiálja a P mértéket a F∞ σ-algebrán. A Q mértéket a F∞ σ-algebrán Q({ω = (. . . , xj−1 , xj0 , xj1 , . . . ): xj−n = x ¯jn , . . . , xj−1 = x ¯j1 , xj0 = x ¯j0 }) = P¯ (ξ−n = x ¯jn , . . . , ξ−1 = x ¯j1 )P (ξ0 = x ¯ j0 ) képlet definiálja, amely érvényes minden n = 1, 2, . . . számra, és minden x ¯js ∈ X, 0 ≤ s ≤ n, pontokból ´ all´ o sorozatra. 90

A Pn mérték, azaz a P mérték megszor´ıt´ asa az Fn σ-algebrára abszolut folytonos a Qn mértékre, a Q mérték megszor´ıt´ asára az Fn σ-algebrára, és fel tudjuk ´ırni a Radon– Nikodym deriváltj´ at. Nevezetesen ρn (ω) =

P (ξ−n = xj−n , . . . , ξ−1 = xj−1 , ξ0 = xj0 ) Pn ( dω) = Qn ( dω) P (ξ−n = xj−n , . . . , ξ−1 = xj−1 )P (ξ0 = xj0 ) pn+1 (ξ−n (ω), . . . , ξ−1 (ω), ξ0 (ω)) = , pn (ξ−n (ω), . . . , ξ−1 (ω))p1 (ξ0 (ω))

ha ω = (. . . , xj−1 , xj0 , xj1 , . . . ). Innen pn+1 (ξ−n (ω), . . . , ξ−1 (ω), ξ0 (ω)) − E log p1 (ξ0 (ω)) pn (ξ−n (ω), . . . , ξ−1 (ω)) = −H(ξ0 |ξ−1 , . . . , ξ−n ) + H(ξ0 ),

E log ρn = E log

és ennek a kifejezésnek van egy az n indext˝ ol nem f¨ ugg˝o fels˝o korl´ atja, ha H(ξ0 ) < ∞. Ezért ebben az esetben érvényes a (6.6) becslés. Tov´ abbá, mivel gk (ω) = − log ρk (ω) − log p1 (ξ0 (ω)) minden k = 1, 2, . . . indexre, E sup gk (ω) ≤ E sup | log ρk (ω)| + H(ξ0 ), és k≥1

k≥1

a (6.6) formul´ ab´ ol k¨ ovetkezik a b) rel´ ació a H(ξ) < ∞ esetben. Tov´ abbá, lim gk (ω) = k→∞

− lim log ρk (ω) − log p1 (ξ0 (ω)) = − log ρ∞ (ω) − log p1 (ξ0 (ω)) 1 val´ osz´ın˝ uséggel, azaz az k→∞

a) rel´ ació is teljes¨ ul. A Shannon–McMillan–Breiman tételt a Becslés Radon–Nikodym deriv´ altak n¨ ovekv˝ o σ-algebr´ akra vonatkoz´ o viselkedésér˝ ol eredménye seg´ıtségével bel´ attuk. A Becslés Radon–Nikodym deriv´ altak n¨ ovekv˝ o σ-algebr´ akra vonatkoz´ o viselkedésér˝ ol eredményének a bizony´ıt´ asában a f˝ o nehézség az E sup | log ρn (ω)| v´ arhat´ o érték n

becslése. Vezess¨ uk be a log− x = − min(log x, 0) és log+ x = max(log x, 0) f¨ uggvényeket. Fel´ırhatjuk az E sup | log ρn (ω)| ≤ E sup log+ ρn (ω) + E sup log− ρn (ω) n

n

n

1 1 = E sup log− + E sup log+ ρn (ω) ρn (ω) n n egyenl˝otlenséget. Az ezen egyenl˝otlenség jobboldal´ an lev˝ o két tagot fogom megbecs¨ ulni. E két tag becslése m´ as m´ odszereket igényel. Az els˝ o tag becslésében hasznos a k¨ ovetkez˝ o lemma. Egy marting´ al tipus´ u egyenl˝ otlens´ eg val´ osz´ın˝ us´ egi v´ altoz´ ok szupr´ emum´ anak a v´ arhat´ o´ ert´ ek´ er˝ ol. Legyen Zn , Zn ≥ 0, n = 1, 2, . . . , nem negat´ıv szupermarting´ al. Ekkor E sup log− Zn ≤ e + e sup E log− Zn . n

n

91

Bizony´ıt´ as. R¨ ogz´ıts¨ nk egy r > 1 számot, és vezess¨ uk be az Yn = φ(Zn ), n = 1, 2, . . . , val´ osz´ın˝ uségi v´ altoz´ ok sorozatát, ahol φ(x) = φr (x) = max(1, (log− x)1/r ). Azt a´ll´ıtom, hogy az Yn , n = 1, 2, . . . , sorozat szubmartingál. Mivel φ(x), x ≥ 1, monoton csökken˝ o f¨ uggvény, a Lemma marting´ alok, szubmarting´ alok és szupermarting´ alok konvex f¨ uggvényeir˝ ol eredménye alapj´ an ennek igazolásához elég megmutatni, hogy a φ(x) f¨ uggvény konvex. A φ(x) f¨ uggvény speci´ alis alakja miatt d2 φ(x) 1 ehhez elegend˝ o azt ellen˝ orizni, hogy dx2 ≥ 0 a 0 < x < e intervallumon. Viszont 2

φ(x) 1 = − rx (− log x)(1−r)/r , és d dx = ezen az intervallumon φ(x) = (− log x)1/r , dφ(x) 2 dx r−1 1 (1−2r)/r as utols´ o lépésében felhasználtuk, [− log x − r ] ≥ 0. (E számol´ rx2 (− log x) r−1 1 hogy − log x ≥ 1 > r , ha 0 < x < e .)

Mivel log− Zn ≤ φ(Zn )r ≤ 1 + log− Zn minden n = 1, 2, . . . számra, ezért a Tétel szubmarting´ alok szuprémum´ anak a momentumair´ ol eredménye alapj´ an r r − r sup Eφ(Zn )r E sup log Zn ≤ E sup φ(Zn ) ≤ r−1 n n n r r ≤ sup(1 + E log− Zn ). r−1 n

Innen r → ∞ határ´ atmenettel megkapjuk a lemma ´ all´ıt´ asát. A Radon–Nikodym deriv´ altak n¨ ovekv˝ o σ-algebr´ akra vonatkoz´ o viselkedésér˝ ol sz´ ol´ o becslés 1 bizony´ıt´ asa. El˝osz¨ or azt mutatom meg, hogy az ( ρn , Fn ), n = 1, 2, . . . , rendszer szuperosz´ın˝ uségi v´ altoz´ ok 1 val´ osz´ın˝ uséggel definiálva vannak, mert marting´ al. (Az ρn1(ω) val´ P ({ω: ρn (ω) = 0}) = 0.) Ennek érdekében vegy¨ uk észre, hogy a (ρn , Fn ), n = 1, . . . , rendszer marting´ Az igazoland´ o marting´ al tulajdonság azt jelenti R R al a Q mérték szerint. ugyanis, hogy A ρn (ω)Q( dω) = A ρn+1 (ω)Q( dω) minden A ∈ Fn halmazra. Ez az azonosság viszont igaz, mert annak mind a két oldala P (A)-val egyenl˝o. (Felhasználtuk, hogy A ∈ Fn esetén A ∈ Fn+1 .) Vezess¨ uk be a k¨ ovetkez˝ o g(x) f¨ uggvényt: g(x) = 1, ha x > 0, és g(0) = 0. A g(·) f¨ uggvény konk´ av a [0, ∞) félegyenesen, ρn (ω) ≥ 0 minden ω ∈ X pontban, és n = 1, 2, . . . indexre. Tov´ abbá g(ρn (ω)) = I({ρn (ω) > 0}), ahol I(A), A ∈ A, az A halmaz indikátorf¨ uggvényét jelöli. A fenti tulajdonságokb´ ol k¨ ovetkezik, hogy az (I({ρn (ω) > 0}), Fn ), n = 1, 2, . . . , sorozat szupermartingál a Q mérték szerint. Azt a´ll´ıtom, hogy abból, hogy az (I({ρn (ω) > 0}), Fn ), n = 1, 2, . . . , sorozat szupermarting´ al a Q mérték szerint, k¨ ovetkezik,hogy az ( ρn1(ω) , Fn ), n = 1, 2, . . . , rendszer szupermartingál (a P m´ all´ıt´ as ekvivalens.) Ehhez elegend˝ o R ojában a két ´ R erték szerint). (Val´ ¯ minden A ∈ Fn megmutatni, hogy A ρn1(ω) P ( dω) = A I({ρn (ω) > 0}Q( dω) = Q(A) R 1 ¯ ˜ P ( dω) = Q(A) halmazra, ahol Q(A) = Q(A ∩ {ω: ρn (ω) > 0}), és hasonlóan A ρn+1 (ω)

˜ minden A ∈ Fn halmazra, ahol Q(A) = Q(A ∩ {ω: ρn+1 (ω) > 0}). Ugyanis az, 1 hogy az ( ρn (ω) , Fn ), n = 1, 2, . . . , rendszer szupermartingál u ´gy is megfogalmazhat´ o, R R 1 1 hogy A ρn (ω) P ( dω) ≥ A ρn+1 (ω) P ( dω) minden A ∈ Fn halmazra, m´ıg az, hogy az 92

(I({ρn (ω) > 0}), Fn ),R n = 1, 2, . . . , sorozat szupermarting´ al a Q mérték szerint azt R ˜ ¯ jelenti, hogy Q(A) = A I({ρn (ω) > 0})Q( dω) ≥ A I({ρn+1 (ω) > 0})Q( dω) = Q(A) minden A ∈ Fn halmazra. R ¯ Viszont tudjuk, hogy R P (A) = A ρnR(ω)Q( dω) minden A ∈ Fn halmazra. Innen ¯ dω) minden Fn mérhet˝ az is k¨ ovetkezik, hogy u(ω)P ( dω) = u(ω)ρn (ω)Q( o, nem I(A)(ω) uggvényre negat´ıv u(·) f¨ uggvényre. Alkalmazzuk ezt a formul´ at az u(ω) = ρn (ω) f¨ R 1 ¯ valamely A ∈ Fn halmazzal. Azt kapjuk, hogy A ρn (ω) P ( dω) = Q(A), és ez volt az els˝ o bizony´ıtand´ o ´ all´ıt´ as. A m´ asodik bizony´ıtand´ o ´ all´ıt´ ast egyszer˝ uen megkapjuk az els˝ ob˝ ol, ha azt az n + 1 indexre alkalmazzuk az n index helyett, és felhasználjuk azt, hogy A ∈ Fn+1 , ha A ∈ Fn . A fenti rel´ aciókb´ ol az is k¨ ovetkezik, hogy E| ρ1n | = E ρ1n = Q(ω: ρn (ω) > 0) ≤ 1. Ezért a marting´ al konvergenciatételt alkalmazhatjuk a (− ρ1n , Fn ) szubmartingálra, és osz´ın˝ uséggel konvergál. Innen az is k¨ ovetkezik, azt kapjuk, hogy az ρn1(ω) sorozat 1 val´ hogy a ρn (ω) sorozat 1 val´ osz´ın˝ uséggel konvergál, de határértéke lehet végtelen is. Másrészt alkalmazhatjuk az Egy marting´ al tipus´ u egyenl˝ otlenség val´ osz´ın˝ uségi v´ altoz´ ok szuprémum´ anak a v´ arhat´ o értékér˝ ol eredményét az ( ρ1n , Fn ) szupermartingálra, és az a E sup log− n

1 1 ≤ e + e sup E log− = e + e sup E log+ ρn (ω) ρn (ω) ρn (ω) n n

egyenl˝otlenséget adja. Tov´ abbá E log+ ρn (ω) = E log ρn (ω) + E log− ρn (ω) = E log ρn (ω) + EQ ρn (ω) log− ρn (ω), ahol EQ a Q mérték szerinti v´ arhat´ o értéket jelöli. (A 0 log 0 = 0 konvenci´ ot alkalmazzuk.) Mivel x log x ≥ − 1e , minden x ≥ 0 számra ρn (ω) log− ρn (ω) ≤ 1e , és emiatt E log+ ρn (ω) ≤ E log ρn (ω) + 1e . Ezért az el˝ obb bizony´ıtott szuprémum egyenl˝otlenségnek igaz az al´ abbi k¨ ovetkezménye. E sup log− n

1 ≤ e + 1 + e sup E log ρn (ω). ρn (ω) n

(6.7)

(A (6.7) képlet el˝ ott végzett számol´ asok célja az volt, hogy olyan egyenl˝otlenséget bizony´ıtsunk, amelyben az E log ρn (ω) és nem az E log+ ρn (ω) mennyiségek seg´ıtségével adunk fels˝o becslést.) Azt ´ all´ıtom, hogy igaz az E sup log+ n

1 ≤1 ρn (ω)

(6.8)

egyenl˝otlenség is. Ezt az al´ abbi Ionescu Tulce´ at´ ol származó érvelés seg´ıtségével bizony´ıtom be. A (6.8) formula igazolása érdekében vezess¨ uk be a G(t) = P (sup log+ ρn1(ω) > t) n R∞ f¨ uggvényt, t ≥ 0, és ´ırjuk fel az E sup log+ ρn1(ω) = 0 G(t) dt azonosságot. (Az egy n

93

a v´ arhat´ o érték kisz´ amol´ as´ ar´ ol sz´ ol´ o formula eredményét alkalmazzuk a H(x) = x f¨ uggvény v´ alaszt´ asával.) Defini´ aljuk ezenk´ıv¨ ul az An,t = {ω: log ρn1(ω) > t, max ρk1(ω) ≤ k
t} halmazokat minden t > 0 számra és n = 1, 2, . . . indexre. R¨ ogz´ıtett t ≥ 0 számra + 1 az An,t halmazok diszjunktak, uniójuk az {ω: sup log ρn (ω) > t} halmaz, ezért G(t) = ∞ P

n

R Ezenk´ıv¨ ul An,t ∈ Fn , ahonnan P (An,t ) = An,t ρn (ω)Q( dω). Mivel n=1 R ρn (ω) < e−t az ω ∈ An,t pontokban, innen P (An,t ) ≤ An,t e−t Q( dω) = e−t Qn (An,t ), ∞ ∞ P P Q(An,t ) ≤ e−t minden t > 0 számra. Ezért P (An,t ) ≤ e−t és G(t) = P (An,t ).

n=1

n=1

1 E sup log ≤ ρn (ω) n +

amint ´ all´ıtottuk. A (6.7) és (6.8) formul´ ak alapj´ an E sup |ρn (ω)| = E sup log n

n

Z

∞

e−t dt = 1,

0

1 ≤ e sup E log ρn (ω) + e + 2. ρn (ω) n

(6.9)

Abból, hogy az ( ρn1(ω) , Fn ), n = 1, 2, . . . , rendszer szupermartingál, és − log x monoton csökken˝ o konvex f¨ uggvény k¨ ovetkezik, hogy a (log ρn (ω), Fn ), n = 1, 2, . . . , rendszer szubmartingál. Speciálisan az E log ρn (ω), n = 1, 2, . . . , sorozat monoton n˝o. Ha lim E log ρn (ω) < ∞, akkor a (6.9) formul´ ab´ ol és a dominált konvergencia tételb˝ ol n→∞

k¨ ovetkezik, hogy lim E log ρn (ω) = E log ρ∞ (ω), ahol ρ∞ (ω) = lim ρn (ω). (Ez a n→∞

n→∞

ρ∞ (ω) határérték 1 val´ osz´ın˝ uséggel létezik.) Innen és a (6.9) rel´ aciób´ ol k¨ ovetkezik a (6.6) formula. A tételt bel´ attuk.

A Shannon–McMillan–Breiman tétel j´ o becsést ad annak val´ osz´ın˝ uségére, hogy egy véges vagy megsz´ amlálhat´ o sok értéket felvev˝o val´ osz´ın˝ uségi v´ altoz´ okb´ ol a´ll´ o ergodikus, diszkrét idej˝ u stacionárius sztochasztikus folyamat egy hossz´ u szelete egy el˝ o´ırt tipikus értéket vesz fel. Hasonl´ o eredményeket v´ arhatunk akkor is, ha olyan ergodikus, diszkrét idej˝ u stacionárius sztochasztikus folyamatokat tekint¨ unk, amelyek olyan val´ osz´ın˝ uségi v´ altoz´ okb´ ol ´ allnak, amelyek értékeiket egy ´ altal´ anos térben veszik fel. Természetes azt v´ arni, hogy nagyon ´ altal´ anos feltételek mellett az ilyen diszkrét idej˝ u sztochasztikus folyamatok többv´ altoz´ os s˝ ur˝ uségf¨ uggvényei hasonló viselkedést mutatnak, mint az el˝ obb tekintett speci´ alis diszkrét idej˝ u stacionárius sztochasztikus folyamatok szeleteinak az eloszl´ asa. Annak érdekében, hogy pontosabban érts¨ uk, hogy mit jelent ez az a´ll´ıt´ as, megfogalmazok egy ilyen jelleg˝ u tényt kifejez˝ o eredményt. Legyen (X, A, µ) egy val´ osz´ın˝ uségi mez˝ o, ahol X egy teljes szepar´ abilis metrikus tér, és A a Borel σ-algebra ezen a téren. Vegy¨ uk e val´ osz´ın˝ uségi mez˝ onek az n = . . . , −1, 0, 1, . . . egész számokkal indexelt (Xn , An , µn ) példányait, és definiáljuk ezek (X ±∞ , A±∞ , µ∞ ) direkt szorzatát. Vezess¨ uk be ezenk´ıv¨ ul azon Fn ⊂ A±∞ , n = ±∞ ±∞ ∞ 1, 2, . . . , σ-algebrákat az (X , A , µ ) val´ osz´ın˝ uségi mez˝ on, amelyek az x = (. . . , x−1 , x0 , x1 , . . . ) ∈ X ±∞ 94

pontok x−n+1 , . . . , x−1 , x0 koordin´ at´ ait´ ol f¨ ugg˝o hengerhalmazokb´ ol a´llnak. Azaz Fn az {x = (. . . , x−1 , x0 , x1 , . . . ) ∈ X ±∞ : (x−n+1 , . . . , x0 ) ∈ B} alak´ u halmazokb´ ol a´ll egy n n n n B ∈ A halmazzal. E képletben A az (X, A) tér (X , A ) n-ik hatvány´ aban szerepl˝o An σ-algebra. jelölje µn a µ∞ mérték megszor´ıt´ asát a Fn σ-algebrára. Legyen adva egy ξn (x) = ξn (xn ), ha x = (. . . , x−1 , x0 , x1 , . . . ), −∞ < n < ∞, ergodikus, diszkrét idej˝ u stacionárius sorozat az (X ±∞ , A±∞ , µ∞ ) val´ osz´ın˝ uségi mez˝ on. A k¨ ovetkez˝ o tételben a (ξ1 , . . . , ξn ) vektor s˝ ur˝ uségf¨ uggvényének az aszimptotik´ ajára adunk j´ o becslést nagy n számokra alkalmas feltételek teljes¨ ulése esetén. Diszkr´ et idej˝ u stacion´ arius sztochasztikus folyamat v´ eges dimenzi´ os s˝ ur˝ us´ egf¨ uggv´ enyeinek egy Shannon–McMillan–Breiman t´ etel tipus´ u becsl´ ese. Te±∞ ±∞ ∞ kints¨ unk egy (X , A , µ ) val´ osz´ın˝ uségi mez˝ ot és azon egy az el˝ obb bevezetett alak´ u ξn (x) = ξn (xn ), x ∈ X ±∞ , ∞ < n < ∞, ergodikus, diszkrét idej˝ u stacion´ arius sztochasztikus folyamatot. Jel¨ olje P ezen (ξn (x), −∞ < n < ∞) sztochasztikus folyamat eloszl´ as´ at az (X ±∞ , A±∞ ) téren, és legyen Pn az Fn mérhet˝ o (ξ−n+1 , . . . , ξ0 ) vektor ±∞ eloszl´ asa az (X , Fn ) téren. Tegy¨ uk fel, hogy minden n = 1, 2, . . . indexre a Pn n mérték abszolut folytonos a µ mértékre nézve, és jel¨ olje pn (x) = pn (x−n+1 , . . . , x0 ) = Pn ( dx) ertéknek a µn mérték szerinti Radon–Nikodym µn ( dx) , x = (. . . , x−1 , x0 , x1 , . . . ), a Pn m´ R deriv´ altj´ at. Tegy¨ uk fel azt is, hogy a H = − log p1 (x)µ( dx) < ∞ rel´ aci´ o teljes¨ ul. Ekkor létezik a Z pn (x1 , . . . , xn ) lim − log µn ( dx1 , . . . , dxn ) = H(P, µ) n→∞ pn−1 (x1 , . . . , xn−1 ) hat´ arérték, és 0 ≤ H(P, µ) ≤ H. Tov´ abb´ a lim −

n→∞

1 log pn (ξ1 (x), . . . , ξn (x)) = H(P, µ) n

P majdnem minden x ∈ X ±∞ pontban.

E tétel bizony´ıt´ asát, amely nagyon hasonl´ıt az eredeti Shannon–McMillan–Breiman tétel bizony´ıt´ asához, elhagyom. Csak annyit jegyzek meg, hogy a bizony´ıt´ asban fontos szerepet j´ atszik a Becslés Radon–Nikodym deriv´ altak n¨ ovekv˝ o σ-algebr´ akra vonatkoz´ o viselkedésér˝ ol eredménye, és egy olyan (P, Q) val´ osz´ın˝ uségi mértékp´ art kell v´ alasztani, amellyel érdemes ezt az eredményt alkalmazni. Egyébként a Shannon–McMillan–Breiman tétel bizony´ıt´ asában alkalmazott mértékp´ arhoz hasonló (P, Q) mértékp´ art érdemes v´ alasztani. Andrew R. Barron az ezen jegyzetben is eml´ıtett The strong ergodic theorem for densities: Generalized Shannon–McMillan–Breiman theorem Probability (1985) Vol. 13 No.4 1292–1303) cikkében az el˝ obb megfogalmazott eredmény lehetséges a´ltal´ ano∞ s´ıt´ asaival foglalkozik. Azt a kérdést vizsgálja, hogy milyen ´ altal´ anosabb µ dominál´ o mértékek esetében marad érvényben a tétel f˝ o´ all´ıt´ asa.

95

tudjuk biztosítani a majdnem biztos nyerést, de nem érdemes akkor, ha ehhez

Recommend Documents