Kansrekening en Statistiek College 9 Dinsdag 12 Oktober
1 / 21
1 Kansrekening
Indeling: • Stelling van Bayes • Bayesiaans leren
2 / 21
Vraag: test
Een test op HIV is 90% betrouwbaar: als een persoon HIV heeft is de kans op een positieve uitslag 0.9, en als een persoon geen HIV heeft is de kans op een positieve uitslag 0.1. De kans op HIV is 0.05. Een dame ondergaat de test en de uitslag is positief. Wat is de kans dat zij HIV heeft?
3 / 21
Vraag: spam
De kans dat een email spam is, is 99%. Een spamfilter is 98% betrouwbaar: 98% van alle spam wordt als spam geclassificeerd en 2% van niet-spam wordt als spam geclassificeerd. Een email wordt als spam geclassificeerd. Hoeveel is de kans dat het daadwerkelijk spam is toegenomen door deze informatie?
4 / 21
Vraag: onderzoek
Uit genetisch onderzoek blijkt dat de werking van een medicijn 1% of 10% moet zijn. Het eerste percentage is waarschijnlijker: de kans dat 1% het correcte percentage is, is 0.55, en voor 10% is dat dus 0.45. Er wordt een steekproef genomen en de werking van het medicijn in de steekproef is 11%. Welke werking is op grond van de steekproef het meest waarschijnlijk: 1% of 10%?
5 / 21
Stelling van Bayes
6 / 21
Stelling van Bayes
Merk op: Uit P(A | B) =
P(A ∩ B) P(B)
P(B | A) =
P(A ∩ B) P(A)
volgt dat P(A ∩ B) = P(A | B)P(B) = P(B | A)P(A).
7 / 21
Stelling van Bayes
Vb. De kans dat een zekere kerncentrale oververhit raakt (O) is 1 · 10−7 , de kans dat er een lek (L) ontstaat is 1 · 10−8 , maar als er eenmaal een lek is, is de kans groot dat de centrale oververhit raakt: 0.1. Wat is de kans dat de centrale gaat lekken als hij oververhit raakt?
P(L | O) = Dus P(L | O) =
P(L ∩ O) P(O | L)P(L) = . P(O) P(O)
0.1 · 1 · 10−8 1 · 10−9 = = 0.01. 1 · 10−7 1 · 10−7
8 / 21
Stelling van Bayes St. (Speciaal geval van de Stelling van Bayes) Als H en E twee gebeurtenissen zijn, dan geldt: P(H|E ) =
P(H | E ) =
P(E | H)P(H) P(E | H)P(H) + P(E | H)P(H) P(E | H)P(H) P(E | H)P(H) + P(E | H)P(H)
Bew. Omdat P(H | E ) =
.
P(H ∩ E ) , P(E )
volgt de stelling uit de volgende twee obesevaties: P(E ) = P(E ∩ H) + P(E ∩ H) = P(E | H)P(H) + P(E | H)P(H). P(H ∩ E ) = P(E | H)P(H). Het bewijs voor H is analoog. Merk op: P(H | E ) + P(H | E ) = 1.
9 / 21
Stelling van Bayes
Vb. De kans dat een boek gekocht op internet illegaal is, is 0.00001. De kans dat een boek dat gedrukt wordt bij een uitgeverij een bladzijde mist is 0.0001. De kans dat een illegale kopie een bladzijde mist is 0.02. Wat is de kans dat een gekocht boek dat een bladzijde mist een illegale kopie is? H: het boek is illegaal, H: het boek is legaal. E : het boek mist een bladzijde. De kans dat een boek dat een bladzijde mist een illegale kopie is: P(H | E ) =
P(E | H)P(H) P(E | H)P(H) + P(E | H)P(H)
=
0.02 · 0.00001 = 0.002. 0.02 · 0.00001 + 0.0001 · 0.99999
10 / 21
Antwoord op een vraag: spam
Vb. De kans dat een email spam is, is 99%. Een spamfilter is 98% betrouwbaar: 98% van alle spam wordt als spam geclassificeerd en 2% van niet-spam wordt als spam geclassificeerd. Een email wordt als spam geclassificeerd. Wat is de kans dat het spam is? H: de email is spam. H: de email is geen spam. E : de email is als spam geclassificeerd.
P(H | E ) =
P(E | H)P(H) P(E | H)P(H) + P(E | H)P(H)
=
0.98 · 0.99 = 0.9998. 0.98 · 0.99 + 0.02 · 0.01
De kans dat het spam is is met 0.0098 toegenomen door deze informatie, een toename van ongeveer 1%. Als het filter slechts 49% betrouwbaar is neemt de kans dat een als spam geclassificeerde email spam is zelfs af: P(H | E ) =
0.49 · 0.99 = 0.9896. 0.49 · 0.99 + 0.51 · 0.01
11 / 21
Antwoord op een vraag: test
Een test op HIV is 90% betrouwbaar: als een persoon HIV heeft is de kans op een positieve uitslag 0.9, en als een persoon geen HIV heeft is de kans op een positieve uitslag 0.1. De kans op HIV is 0.05. Een dame ondergaat de test en de uitslag is positief. Wat is de kans dat zij HIV heeft? De gevraagde kans is P(HIV |POS). In de notatie van de Stelling van Bayes wordt dat H = HIV en E = POS. Met de Stelling van Bayes: P(HIV |POS) =
P(POS|HIV )P(HIV ) P(POS|HIV )P(HIV ) + P(POS|HIV )P(HIV )
Daarmee P(HIV |POS) =
.
0.9 · 0.05 = 0.32. 0.9 · 0.05 + 0.1 · 0.95
12 / 21
Antwoord op een vraag: onderzoek
Vb. Uit genetisch onderzoek blijkt dat de werking van een medicijn 1% of 10% moet zijn. Het eerste percentage is waarschijnlijker: de kans dat 1% het correcte percentage is, is 0.55, en voor 10% is dat dus 0.45. Er wordt een steekproef van 100 zieken genomen en de werking van het medicijn in de steekproef is 11%. Welke werking is op grond van de steekproef het waarschijnlijkste: 1% of 10%? H: de werking is 1%. H: de werking is 10%, E : de werking in de steekproef is 11%. P(H | E ) =
P(E | H)P(H) P(E | H)P(H) + P(E | H)P(H)
=
`100´ (0.01)11 (0.99)89 · 0.55 11 = 6 · 10−8 . `100´ ` ´ 11 89 · 0.55 + 100 (0.1)11 (0.9)89 · 0.45 (0.01) (0.99) 11 11 Dus P(H | E ) = (1 − 6 · 10−8 ) > 6 · 10−8 , en de hypothese dat 10% het correcte percentage is, is dus het meest waarschijnlijk.
13 / 21
Antwoord op een vraag: onderzoek
Vb. Hetzelfde voorbeeld als op de vorige zijde, behalve dat de werking van het medicijn in de steekproef nu 6% is en de kans dat 1% het correcte percentage is, 0.995 is. Voor 10% is dat dus 0.005. Welk percentage is nu het waarschijnlijkste? H: de werking is 1%. H: de werking is 10%, E : de werking in de steekproef is 6%. P(H | E ) =
P(E | H)P(H) P(E | H)P(H) + P(E | H)P(H)
=
`100´
(0.01)6 (0.99)94 · 0.995 6 = 0.6. `100´ ` ´ (0.01)6 (0.99)94 · 0.995 + 100 (0.1)6 (0.9)94 · 0.005 6 6 Dus P(H | E ) = 0.4, en de hypothese dat 1% het correcte percentage is, is het meest waarschijnlijk. Hoewel de uitkomst van de steekproef meer in overeenstemming is met 10%, doet het feit dat die hypothese veel onwaarschijnlijker wordt geacht dat effect weer teniet.
14 / 21
Stelling van Bayes: gelijke kansen
St. Als H en E twee gebeurtenissen zijn en de kans op H en op H zijn gelijk, dan geldt: P(H|E ) =
P(H | E ) =
P(E | H) P(E | H) + P(E | H) P(E | H) P(E | H) + P(E | H)
.
Bew. Het speciale geval van de Stelling van Bayes heeft de vorm: P(H|E ) =
P(H | E ) =
P(E | H)P(H) P(E | H)P(H) + P(E | H)P(H) P(E | H)P(H) P(E | H)P(H) + P(E | H)P(H)
.
Als P(H) = P(H) kunnen de factoren P(H) en P(H) tegen elkaar weggestreept worden.
15 / 21
Stelling van Bayes: gelijke kansen Vb. Twee enveloppen met kralen, waarvan 1 tevens e100 bevat:
•
•
•
•
•
•
•
e100 Iemand kiest willekeurig een envelop en biedt die te koop aan. • Hoeveel zou je moeten betalen? e50. Stel dat je eerst een willekeurige kraal uit de gekozen envelop mag nemen. • Als die kraal rose is, hoevel zou je dan moeten betalen? e60. • Als die kraal grijs is, hoevel zou je dan moeten betalen? e 300 ≈ 43. 7 De kans dat het de i e envelop is gegeven dat de kraal rose (r ) is: P(i | r ) =
P(r | i) . P(r | 1) + P(r | 2)
16 / 21
Stelling van Bayes St. (Stelling van Bayes) Als H1 , . . . , Hn een partitie van de uitkomstenruimte is en E een gebeurtenis, dan geldt voor elke i ≤ n: P(E | Hi )P(Hi ) . P(Hi | E ) = Pn j=1 P(E | Hj )P(Hj ) Bew. Merk op dat voor elke j ≤ n geldt: P(E | Hj ) =
P(E ∩ Hj ) P(Hj )
P(E ∩ Hj ) = P(E | Hj )P(Hj ).
Omdat H1 , . . . , Hn een partitie van de uitkomstenruimte is geldt P(E ) =
n X j=1
P(E ∩ Hj ) =
n X
P(E | Hj )P(Hj ).
j=1
Daarom P(Hi | E ) =
P(E ∩ Hi ) P(E | Hi )P(Hi ) P(E | Hi )P(Hi ) = Pn = Pn . P(E ) j=1 P(E ∩ Hj ) j=1 P(E | Hj )P(Hj )
17 / 21
Stelling van Bayes Vb. Een restaurant schenkt Bordeaux, Beaujolais en Merlot. Wanneer een gast geen keuze kan maken kiest de ober, kans 0.6 dat hij Bordeaux, 0.3 dat hij Beaujolais en 0.1 dat hij Merlot kiest. Bij elk van deze wijnen zijn er gasten die het niet smaakt. Stel dat de kans daarop voor Bordeaux, Beaujolais en Merlot respectievelijk 0.01, 0.04 en 0.2 is. Een gast krijgt een door de ober gekozen wijn en vindt die niet lekker. Wat is de kans dat het Bordeaux is? H1 : de wijn is Bordeaux, H2 : de wijn is Beaujolais, H3 : de wijn is Merlot. E : de gast vindt de wijn niet lekker. P(E | H1 )P(H1 ) 0.01 · 0.6 P(H1 | E ) = P3 = = 0.1578947. 0.01 · 0.6 + 0.04 · 0.3 + 0.2 · 0.1 P(E | H )P(H ) j j j=1 Wat is de kans dat het Beaujolais is? 0.04 · 0.3 P(E | H2 )P(H2 ) = = 0.3157895. P(H2 | E ) = P3 0.01 · 0.6 + 0.04 · 0.3 + 0.2 · 0.1 j=1 P(E | Hj )P(Hj ) Wat is de kans dat het Merlot is? P(E | H3 )P(H3 ) 0.2 · 0.1 P(H3 | E ) = P3 = 0.5263158. = 0.01 · 0.6 + 0.04 · 0.3 + 0.2 · 0.1 P(E | H )P(H ) j j j=1 Merk op: P(H1 | E ) + P(H2 | E ) + P(H3 | E ) = 1. 18 / 21
Bayesiaans leren
19 / 21
Bayesiaans leren Def. Bayesiaans leren heeft (in essentie) de volgende vorm: Er zijn een aantal hypotheses H1 , . . . , Hn die samen de uitkomstenruimte vormen. De hypotheses zijn meer of minder waarschijnlijk: de (initi¨ ele) bijbehorende verdeling is de a-priori verdeling, de kansen P(Hi ) zijn de a-priori kansen. Na het verkrijgen van nieuwe informatie/data/gebeurtenis E worden de kansen van de hypotheses aangepast volgens de stelling van Bayes: P(E | Hi )P(Hi ) . P(Hi | E ) = Pn j=1 P(E | Hj )P(Hj ) De kansen P(Hi | E ) zijn de a-posteriori kansen. De kansen P(E | Hi ) zijn de likelihoods van E . Leren: Op grond van telkens nieuwe data E1 , E2 , . . . wordt de verdeling van de hypotheses voortdurend aangepast, P0 , P1 , P2 , . . . : • P0 is de a-priori verdeling, waarbij P0 (Hi ) = P(Hi ). • Na het verkrijgen van data E1 wordt de nieuwe verdeling P1 , waarbij P1 (Hi ) = P0 (Hi | E1 ). • Na het verkrijgen van data E2 wordt de nieuwe verdeling P2 , waarbij P2 (Hi ) = P1 (Hi | E2 ). • Etc. 20 / 21
Finis
21 / 21
