Basisbegrippen Diagnostiek W.B. van den Hout Afdeling Medische Besliskunde 12 November 2014
Basisbegrippen diagnostiek Vandaag: Dichotome testen: positief of negatief Niet-dichotome testen
Op 17 December: besluitvorming Uitkomst voor de patiënt Beslisbomen Optimaal beleid
? 20% 0%
100%
-
+
0%
100% 3%
60%
Diagnostisch probleem Op uw eerste stage op een polikliniek chirurgie ziet u een jonge patiënt, die sinds een halve dag buikpijn heeft: heftig en continu pijn, gelokaliseerd op het punt van McBurney. U denkt aan een appendicitis acuta. Uit uw colleges over de acute buik herinnert u zich: • 90% van alle acute buik patiënten met appendicitis acuta heeft pijn op McBurney
Vraag: Hoe groot schat u de kans dat deze patiënt een appendicitis acuta heeft?
Diagnostisch probleem Uit uw colleges over de acute buik herinnert u zich: • 90% van alle acute buik patiënten met appendicitis acuta heeft pijn op McBurney • 15% van alle acute buik patiënten zonder appendicitis acuta heeft pijn op McBurney
Vraag: Hoe groot schat u de kans dat deze patiënt een appendicitis acuta heeft?
Diagnostisch probleem Uit uw colleges over de acute buik herinnert u zich: • 90% van alle acute buik patiënten met appendicitis acuta heeft pijn op McBurney • 15% van alle acute buik patiënten zonder appendicitis acuta heeft pijn op McBurney • 20% van alle acute buik patiënten heeft (achteraf) een appendicitis acuta
Vraag: Hoe groot schat u de kans dat deze patiënt een appendicitis acuta heeft?
Omkering van denken
Zo leert u
maar dit wordt klinisch van u verwacht!
Ziekte aanwezig Ziekte afwezig
Klachten Afwijkingen Test-uitslagen
Boeken-kennis !!!
Klachten Afwijkingen Test-uitslagen
Klinische Vraagsteling ???
Ziekte aan-, of afwezig?
Bayes’ theorema • Thomas Bayes (1701 –1761) • Engelse dominee en wiskundige • Theorema over conditionele kansen: Wat is de kans op X, als bekend is dat Y waar is? Wat is de kans dat het morgen regent, als het vandaag droog is? Hoe groot is de kans op ziekte, als de test positief is?
Probleem met positieve testuitslagen: – door zieken: TP = terecht positief – maar ook door niet‐zieken: FP = fout positief
TP Alle positieve testen
FP
Appendicitis
Iets anders
Se = 90%
Sp = 85%
Onderstaande weergave zou correct zijn als er evenveel zieken als niet zieken waren – als de a‐priori kans gelijk was aan 50%
TP Alle positieve testen
FP
Appendicitis
Iets anders
50%
50%
Maar de a‐priori kans is niet 50%, maar 20% – TP = – FP =
20% 80%
Se = 20% 90% (1‐Sp) = 80% 15%
= 18% = 12%
TP Alle positieve testen
FP
Appendicitis
Iets anders
20%
80%
22 Tabel: ziekte vs testuitslag A-priori kans Appendicitis = 20% Se = 90%, Sp = 85% Appendicitis Wel Pijn MB
Geen Pijn MB Totaal
0.9 0.2 =
TP 18%
0.1 0.2 =
FN 2%
20%
Iets anders 0.15 0.80 =
FP 12%
0.85 0.80 =
TN 68%
80%
Totaal 18% + 12% =
30% 2% + 68% =
70% 100%
22 Tabel: ziekte vs testuitslag A-priori kans Appendicitis = 20% Se = 90%, Sp = 85% Appendicitis Wel Pijn MB
Geen Pijn MB Totaal
0.9 0.2 =
Iets anders 0.15 0.80 =
18% 0.1 0.2 =
12% 0.85 0.80 =
2%
20%
Totaal 18% + 12% =
30% 2% + 68% =
68%
70%
80%
100%
22 Tabel: ziekte vs testuitslag Algemene versie met formules pZ0 = A-priori kans Appendicitis Appendicitis SeTP pZ0
Wel Pijn MB
Geen Pijn MB Totaal
(1-Se) FN pZ0
pZ0
Iets anders
Totaal
Se pZ + (1-Sp)(1FP pZ0 ) (1-Sp)(1- 0pZ ) 0 Sp TN (1- pZ0 )
(1- pZ0 )
(1-Se) pZ0 + Sp (1- pZ0 )
100%
22 Tabel: ziekte vs testuitslag Algemene versie met formules pZ0 = A-priori kans Appendicitis Appendicitis Se pZ0
Wel Pijn MB
(1-Se) pZ0
Geen Pijn MB Totaal
pZ0
Iets anders
Totaal
Se pZ0 + (1-Sp)(1- pZ0 ) (1-Sp)(1- pZ0 ) Sp (1- pZ0 )
(1- pZ0 )
(1-Se) pZ0 + Sp (1- pZ0 )
100%
Voorspellende waarde • Voorspellende waarde van een testuitslag = kans dat die test uitslag juist is • Positief voorspellende waarde = kans ziekte aanwezig, gegeven positieve testuitslag:
0
Z p 1
0 Zp pS e1 S 0 Z % p 0 6 e S % 2 P %1 PF 8 TP 1% 8 T 1
W V
Voorspellende waarde • Voorspellende waarde van een testuitslag = kans dat die test uitslag juist is • Negatief voorspellende waarde = kans ziekte afwezig, gegeven negatieve testuitslag: Sp 1-pZ0 TN VW- TN FN Sp 1-pZ0 1-Se pZ0 68% 97% 68% 2%
Betrouwbaar ziekte aantonen • Wanneer is een positieve testuitslag betrouwbaar? De positief voorspellende waarde is:
0
Z p 1
0 Zp pS e1 S
0
Z p e S
P PF TP T
W V
Deze is 100% als FP=0, dus als Sp = 100% • Betrouwbaar ziekte aantonen dus met een maximaal specifieke test (met weinig fout positieven)
Betrouwbaar ziekte uitsluiten • Wanneer is een negatieve testuitslag betrouwbaar? De negatief voorspellende waarde is:
0 Z p
e 0S Zp1 1 0 Z pp S1
p S
N NF TN T
W V
Deze is 100% als FN=0, dus als Se = 100% • Betrouwbaar ziekte uitsluiten dus met een maximaal sensitieve test (met weinig fout negatieven)
Likelihood Ratio • LRX van een testuitslag X voor een ziekte: = hoeveel maal vaker de testuitslag x voorkomt bij mensen mèt ziekte dan bij mensen zonder ziekte =
Kans op testuitslag X bij mensen mèt de ziekte Kans op testuitslag X bij mensen zonder de ziekte
• Als LRX > 1, dan vergroot dat de kans op ziekte Als LRX < 1, dan verkleint dat de kans op ziekte
Likelihood Ratio Voor positieve testuitslag: Kans op positieve test onder mensen mèt ziekte LR Kans op positieve test onder mensen zonder ziekte Se 0.90 6 1 1 Sp 1 0.85
Voor negatieve testuitslag: 1 - Se 1 - 0.90 LR- 0.12 1 Sp 0.85
Likelihood Ratio A-posteriori kans bij positieve test:
Teller en noemer delen door Se:
A-posteriori kans bij testuitkomst X:
TP VW TP FP
pZ0 Se pZ0 Se 1-pZ0 1 Sp pZ0 pZ0 1-pZ0
LR
pZ0 pZ X pZ0 1-pZ0
LR X
Likelihood Ratio LR-versie van Bayes voor de achterafkans op ziekte:
X
0
R L
0Z Z p p 1
0
X
Z p
Z p
Waarbij LR X Likelihood ratio van testuitslag X pZ X Achterafkans op ziekte, gegeven testuitslag X pZ0 Voorafkans op ziekte
Likelihood Ratio Bayes geeft het correcte midden tussen: 1. Testresultaat negeren Vasthouden aan de oorspronkelijke verwachting Tunnelvisie Test uitgevoerd om psychologische redenen of prognose?
2. A-priori kans negeren Base rate neglect Ook na een positieve test kan de diagnose nog steeds onwaarschijnlijk zijn.
Likelihood Ratio Appendicitis voorbeeld met positieve test: (Meneer Van Dalen wacht op antwoord)
pZ 0 0.20 LR pZ
Se 0.90 6 1 Sp 1 0.85 pZ 0 pZ 0 1 - pZ 0 0.20 0.20 0.8
6
0.20
0.20 1 - 0.20 LR 6 0.20 0.20 0.60 0.20 0.13 0.33
Likelihood Ratio Appendicitis voorbeeld met negatieve test: (Meneer Van Dalen wacht op antwoord)
pZ 0 0.20 1 Se 1 0.90 0.12 Sp 0.85 pZ 0 0.20 pZ pZ 0 1 - pZ 0 0.20 1 - 0.20 LR 0.12 0.20 0.20 0.20 0.03 0.20 6.8 7.0 0.20 0.8 0.12
LR
Post-test kans ook te berekenen met “nomogram” Appendicitis voorbeeld: Vooraf pZ0 = 0.20 LR+ = 6 → pZ+ = 60% LR- = 0.12 → pZ- = 3%
Likelihood Ratio Post-test kans op ziekte
100% 80% 60%
LR+ = 100 LR+ = 6 LR = 1 LR- = 0.12 LR- = 0.01
40% 20% 0% 0%
20% 40% 60% 80% Pre-test kans op ziekte
100%
Likelihood Ratio: odds versie Angelsaksisch:
Bijvoorbeeld:
kans odds = 1-kans odds kans = 1+odds
80% kans = 80:20 50% kans = 1:1 20% kans = 20:80 1% kans = 1:99 kleine kans ≈
= 4.00 odds = 1.00 odds = 0.25 odds = 0.01 odds odds
Likelihood Ratio LR-versie van Bayes voor de achterafkans op ziekte:
X R L
0 0 Z Z p p 1
0 Z p
X Z p
Waarbij LR X Likelihood ratio van testuitslag X pZ X Achterafkans op ziekte, gegeven testuitslag X pZ0 Voorafkans op ziekte
Likelihood Ratio: odds versie • Odds-versie van Bayes:
0
0Z Zp p1
X
X
R L
XZ Zp p 1
• Voor lage kansen geldt bij benadering: 0
X
X
Z p
R L
Z p
• Deze benadering overschat de verandering tussen de voorafkans en de achterafkans
Likelihood Ratio: odds versie
Post-test kans op ziekte
100% 80% 60%
Odds benadering LR+ = 6 LR = 1 LR- = 0.12 Odds benadering
40% 20% 0% 0%
20% 40% 60% 80% 100% Pre-test kans op ziekte
3 versies van Bayes’ theorema 1. Specifiek voor dichotome test: voorspellende waarde – Aparte formules voor VW+ en VW– Met 2x2 tabel
2. Likelihood ratio ook bruikbaar voor niet-dichotome test – Nomogram: makkelijk maar minder nauwkeurig – Algemene Bayes formule voor pZX
3. Odds-versie benadering – Alleen nauwkeurig voor kleine kansen – Overschat de verandering tussen vooraf- en achterafkans – Geef wel een snelle indicatie
Basisbegrippen Diagnostiek niet‐dichotoom W.B. van den Hout Afdeling Medische Besliskunde 12 november 2014
Vragen over vorige uur?
Basisbegrippen diagnostiek • Dichotome test – 2 uitslagen: positief of negatief
• Niet-dichotome testen – Drie of meer categorieën • Goedaardig / niet-diagnostisch / verdacht / kwaadaardig • Mate van zekerheid bij beeldvormende diagnostiek • ...
– Continu • Temperatuur, bloeddruk, serum concentratie, …
Labuitslagen: continu gezond vs. ziek 30% 25%
kans
20% 15% 10% 5% 0% 0
1
2
3
4
5
6
7
8
9 10 11 12 13 14 15 16 17
waarde
Labuitslagen: categorisch gezond 0% 0% 1% 4% 11% 21% 27% 21% 11% 4% 1% 0% 0% 0% 0% 0% 0% 0%
ziek 0% 0% 0% 0% 1% 2% 4% 8% 12% 15% 16% 15% 12% 8% 4% 2% 1% 0%
gezond vs. ziek 30% 25% 20% kans
waarde 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17
15% 10% 5% 0% 0
1
2
3
4
5
6
7
8
9
waarde
10 11 12 13 14 15 16 17
Labuitslagen: likelihood ratio gezond 0% 0% 1% 4% 11% 21% 27% 21% 11% 4% 1% 0% 0% 0% 0% 0% 0% 0%
ziek 0% 0% 0% 0% 1% 2% 4% 8% 12% 15% 16% 15% 12% 8% 4% 2% 1% 0%
vs.- ziek gezondgezond vs. ziek nu met LR's 30%
25
30%
25%25%
20
20%
20% kans
waarde 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17
15
15%
15%
10%
10 10% 5%
5%
5
0% 0
1
2
3
4
5
6
7
8
9
10 11 12 13 14 15 16 17
waarde
0%
0 0
1
2
3
4
5
6
7
8
9 10 11 12 13 14 15 16 17
Cytologie bij schildklierkanker Uitslag
Uiteindelijk kanker
Uiteindelijk benigne
Totaal
Maligne
14
2
16
Onzeker (“folliculair”)
5
18
23
Benigne
1
160
161
Totaal
20
180
200
Beleid na niet-dichotome test • Diagnostiek vaak niet-dichotoom Begrippen sensitiviteit en specificiteit niet te gebruiken
• Maar behandeling vaak wel dichotoom! Twee benaderingen: 1. Dichotomiseer de testuitslag met afkappunten Receiver Operating Characteristic (ROC) curve
2. Gebruik de likelihood ratio per testuitslag
Benadering 1: afkappunten • Diagnostiek vaak niet dichotoom ... maar gedichotomiseerd met een grenswaarde: – Ene kant van de grenswaarde is normaal (niet ziek) – Andere kant is abnormaal (ziek)
• Receiver Operating Characteristic (ROC) curve – Verband tussen TP en FP rate, afhankelijk van gekozen grenswaarde – Overgenomen van radar ingenieurs • Onderscheiden van ruis en signaal
ROC curve Grenswaarde
Niet ziek
Ziek
Testparameter
Fout Negatief (1-Se)
Fout Positief (1-Sp)
ROC curve
ROC curve
ROC curve De gekozen grenswaarde bepaalt het type fouten – – – –
Linksboven zou ideaal zijn, maar is onbereikbaar Rechtsboven = iedereen positief Linksonder = iedereen negatief Sensitiviteit en specificiteit omgekeerd evenredig • Grenswaarde laag: veel gezonden aangewezen als ziek (FP) • Grenswaarde hoog: veel zieken aangewezen als gezond (FN)
Oppervlakte onder ROC curve Maat voor onderscheidend vermogen van een test • • • •
Onafhankelijk van de gekozen grenswaarde Diagonaal = willekeurig → oppervlakte 0,5 is slecht Beoordeling afhankelijk van specifieke toepassing 1,0 – 0,9 = uitstekend 0,8 – 0,7 = redelijk 0,9 – 0,8 = goed 0,7 – 0,5 = slecht
Oppervlakte = 0.91
Cytologie bij schildklierkanker Uitslag
Uiteindelijk Uiteindelijk kanker Benigne
Maligne
14
2
Folliculair (onzeker)
5
18
Benigne
1
160
Totaal
20
180
•Als Follicular = ‘Maligne’
–Se = 19 / 20 = 95% –Sp =160 / 180= 89% •Als Follicular = ‘Benigne’
–Se = 14 / 20 = 70% –Sp =178 / 180= 99%
Cytologie bij schildklierkanker Als Follicular = ‘Maligne’
True positive rate (=Se)
1.0
0.8
0.6 0.4
Se = 19 / 20 = 95% Sp =160 / 180 = 89%
Als Follicular = ‘Benigne’
0.2
0.0
0.0
0.2
0.4
0.6
0.8
1.0
False positive rate (=1-Sp)
Se = 14 / 20 = 70% Sp =178 / 180 = 99%
Wat weegt zwaarder? 25% verschil sensitiviteit 10% verschil specificiteit
Optimale punt op ROC curve Meer sensitief (rechtsboven) testen als ... • Aversie tegen onderdiagnose (FN) “Niemand missen”
• Hoge prevalentie Velen op wie sensitiviteit van toepassing is
Meer specifiek (linksonder) testen als ... • Aversie tegen overdiagnose (FP) “Niemand lastig vallen”
• Lage prevalentie Velen op wie specificiteit van toepassing is
Optimale punt op ROC curve Bijvoorbeeld: screenen op borstkanker • Liefst specifiek testen, vanwege lage prevalentie • Toch maar sensitief testen om niemand te missen En daarna verdere testen om FPs te identificeren
Keuze ook afhankelijk van verdere zorgtraject: • Specifiek testen als de volgende stap een belastende behandeling is (“niet lastig vallen”) • Sensitief testen als de behandeling weinig belastend is, of als voorselectie vóór verdere specifieke testen
Benadering 1: afkappunten • Dichotomiseer de testuitslag met afkappunten • Bepaal ROC-curve: – Sensitiviteit en specificiteit voor ieder afkappunt
• Optimale afkappunt voor testuitslag nog onbepaald: – Afhankelijk van relatieve belang FP en FN – Afhankelijk van vooraf kans – In december meer daarover
Benadering 2: likelihood ratio’s Gebruik de likelihood ratio per testuitslag – Bepaal de voorafkans van de patiënt – Bepaal de likelihood ratio van de testuitslag – Bepaal de achteraf kans met Bayes’ theorema
Benadering 2: likelihood ratio’s Uitslag
LR* 0 2 / 4 1
Uiteindelijk Uiteindelijk kanker benigne
Maligne
14
2
0 8 1 / 2
Onzeker (“folliculair”)
5
18
0 8 1 / 8 1
Benigne
1
160
0 8 1 / 0 6 1
Totaal
20
180
= 63.0
0 2 / 5
= 2.5
0 2 / 1
* Gebruik hier niet meer de dichotome formules met Se en Sp!
= 0.06
Benadering 2: likelihood ratio’s Uitslag
14
0 8 1 / 2
Maligne
LR 0 2 / 4 1
Uiteindelijk Uiteindelijk kanker benigne 2
= 63.0
3 6
5 0 . 0 1
5 0 . 0
e n g i l a M
7 7 . 0
5 0 . 0
Z p
Stel 5% vooraf kans op kanker en een maligne testuitslag:
Benadering 2: likelihood ratio’s Uitslag
Uiteindelijk Uiteindelijk kanker benigne
Onzeker (“folliculair”)
5
18
LR 5/20 18/180
= 2.5
Stel 5% vooraf kans op kanker en een maligne testuitslag:
pZMaligne
0.05 0.05 1 - 0.05
0.12 2.5
Benadering 2: likelihood ratio’s Gebruik de likelihood ratio per testuitslag • Bepaal de vooraf kans van de patiënt • Bepaal de achteraf kans met Bayes’ theorema
Behandel bij voldoende hoge achteraf kans • Optimale afkappunt voor die achteraf kans nog onbepaald: Niet meer afhankelijk van de vooraf kans (is al verwerkt) Wel nog afhankelijk van relatieve belang FP en FN In december meer hierover
Niet-dichotome test 1. Dichotomiseer de testuitslag met afkappunten (ROC) • •
Toont sensitiviteit en specificiteit van beleid Geeft geen schatting van de achteraf kansSp Extreme labwaarde net als minder extreme
2. Gebruik de likelihood ratio per testuitslag •
Niet werken met Se en Sp omdat er meer dan twee uitslagen zijn
•
Geeft expliciete schatting van de achteraf kans
Besluitvorming 20% 0%
100%
-
+
0%
100% 3%
60%
• Diagnostiek: verandert kansen • Besluitvorming: Hoe zeker moet je zijn om te behandelen? Moet je wel testen?
Introductie Beslisbomen W.B. van den Hout Afdeling Medische Besliskunde 17 December 2014
Diagnostiek & Beleid Eerder op 12 November: Basisbegrippen diagnostiek
Vandaag: Beslisbomen Uitkomst voor de patiënt Optimaal beleid
? 20% 0%
100%
-
+
0%
100% 3%
60%
Ziek
Niet ziek
Test positief
TP
FP
Test negatief
FN
TN
Totaal
Totaal
100%
X
0
R L
0Z Z p p 1
0
X
Z p
Z p
Praktijk is ingewikkelder dan 2x2 • Meer dan twee mogelijke testuitslagen ROC curve of likelihood ratio’s
• Meer dan één mogelijke diagnose Uitkijken voor tunnelvisie Zoek testen die onderscheidend zijn
• Diagnostisch traject met meerdere testen A-priori van volgende test = a-posteriori van vorige
• Therapeutische consequenties Beslisbomen
Voorbeeld 1: Monty Hall 1
●
2
●
3
●
?
X
●
Beslisboom driedeuren probleem
Beslisboom driedeuren probleem Beslisboom – Structureert het probleem – Berekent verwachte uitkomst per strategie
Beslissingscriterium bepaalt optimale beslissing – Auto versus spijt
Goede beslissing geeft niet steeds de beste uitkomst! – Effectiviteit versus bijwerkingen
Beslisbomen –Structuur: • Keuzeknopen ■, kansknopen ●, eindknopen ◄ • Van links naar rechts ‘de loop der dingen’ –Getallen: • Kansen bij de kansknopen –Kans op een ‘tak’ is p1p2... • Uitkomsten bij de eindknopen –Analyseren en optimaliseren: • Verwachtingswaarde berekenen en
Beslisbomen: verwachting Algemeen: – Verwachtingswaarde = “het midden”
Bij verdeling met n verschillende uitkomsten: n
– Verwachtingswaarde pi Ui i 1
Bijvoorbeeld: – Loterij: kansen maal uitkomsten optellen – Dobbelsteen: 1 1 1 2 ... 1 6 3.5 6
6
6
Beslisbomen: verwachting Kansrekening – In 16e eeuw ontstaan, vanwege analyse kansspelen – Vooraf modelleren en doorrekenen van toeval 1 – Verwachtingswaarde pi Ui 1 2 ... 6 3.5 6 i 1 n
Statistiek – In 17e eeuw ontstaan, vanwege (levens)verzekeringen – Achteraf beschrijven en analyseren van gegevens 1 n 1 – Gemiddelde X i 1 2 3 4 4 4 6 6 3.8 n i 1 8
Voorbeeld 2: Reageren op risico?
Model expliciteert:
Structuur: kan ‘iets doen’ ook verslechteren? Parameters: schattingen kansen en uitkomsten
Maakt dilemma’s en inschattingen bespreekbaar
Voorbeeld 3: diagnostiek
Voorbeeld 3: diagnostiek
Voorbeeld 4: Dit college lopen? – Of toch uitslapen, sporten, studeren of stad in? – Beslisboom van te maken?
Beslisboom college lopen Structuur
Beslisboom college lopen Waardering van uitkomsten, schatting van kansen
Welke uitkomst vindt u het meest en minst wenselijk? 1. Leuk en zinvol 2. Saai en zinloos 3. Leuk en zinvol 4. Saai en zinloos
& & & &
Gelopen Gelopen Gemist Gemist
Geef de vier uitkomst een waardering (“utiliteit”) • Op schaal van 0.0 (= minst wenselijk) tot 1.0 (= meest wenselijk)
Hoe groot schat u de kans op “Leuk en zinvol” ?
Beslisboom college lopen Waardering van uitkomsten, schatting van kansen
Welke uitkomst vindt u het meest en minst wenselijk? 1. Leuk en zinvol 2. Saai en zinloos 3. Leuk en zinvol 4. Saai en zinloos
& & & &
Gelopen Gelopen Gemist Gemist
Kans “Leuk en zinvol”
1.0 0.0 0.7 0.7
(TP) (FP) (FN) (TN)
p_OK = 50%
Beslisboom college lopen Doorrekenen
Verwachte waarde van “Ja” = 0.5 1.0 + 0.5 0.0 = 0.50
Verwachte waarde van “Neen” = 0.5 0.7 + 0.5 0.7 = 0.70
Beslisboom college lopen Effect van p_OK = a-priori kans “leuk en zinvol”
* NB: dit soort analyse met grafieken hoeft u niet zelf te kunnen uitvoeren, maar wel interpreteren
Beslisboom college lopen Optimale beslissing
– Wel college lopen heeft een hogere verwachtingswaarde als de kans op een leuk & zinvol college minimaal 70% is. – Is het mogelijk die kans te voorspellen?
Beslisboom college lopen Mogelijke test
Mogelijke test – Ga naar het 1e college – Is ‘t niks, dan niet naar 2e college
Stel – Kans 2e college goed als 1e college goed = 80% – Kans 2e college slecht als 1e college slecht = 90%
Beslisboom college lopen Met 1e college als test voor het 2e college
Beslisboom college lopen Effect van p_OK = a-priori kans “leuk en zinvol”
Beslisboom college lopen Optimale beslissing hangt niet alleen af van de kansen • A-priori kans, sensitiviteit, specificiteit
Maar ook van de waardering van de uitkomsten • Waardering voor TP, FP, FN, FN: subjectief
Diagnostische problemen worden al gauw lastig • Meerdere testen in verschillende volgordes • Verbazingwekkend dat we dat zonder formele analyse kunnen
Voorbeeld 5 Acuut Aneurysma Aortae Abdominalis (AAAA)
U verdenkt een 76-jarige man in slechte conditie van een gebarsten aneurysma: Bij niet behandeld AAAA overlijdt de patiënt Met operatie is de overlevingskans zo'n 40% Bij negatieve laparotomie is sterfte zo'n 5% Wel of niet opereren? Als u zeker wist dat het ging om een AAAA? Als u zeker wist van niet? Bij een kans op AAAA van 10%?
Beslisboom AAAA Optimaliseer verwachte waarde = kans op overleven
Beslisboom AAAA Met kans op AAAA = 10% Verwachte overleving bij operatie = 0.10 0.40 + 0.90 0.95 = 0.895
Verwachte overleving bij afwachten = 0.10 0.00 + 0.90 1.00 = 0.900
Beslisboom AAAA
Kans om te overleven
Sensitiviteitsanalyse* voor kans op AAAA
Behandeldrempel 11%
* NB: dit soort analyse met grafieken hoeft u niet zelf te kunnen uitvoeren, maar wel interpreteren
Beslisboom AAAA Strategiekeuze
Als u moest kiezen tussen wel of niet opereren: • Opereren biedt een betere overleving als de kans op een AAAA groter is dan de ‘behandeldrempel’: pAAAA > 11% Dus … zelfs als de kans op een andere oorzaak voor de klachten bijna 9 keer zo groot is als de kans op een AAAA, dan nog is operatie voor AAAA de juiste keus!
Beslisboom AAAA Diagnostiek
Uw patiënt geeft meer en meer pijn en de bloeddruk lijkt te dalen, misschien door een vagale collaps. Kans op AAAA schat u nu in op 50%. De CT-scan, die u graag zou gebruiken, is in revisie. De dienstdoende radioloog biedt aan een echo te doen, maar geeft aan dat die echo (door lucht in de darmen) niet zo betrouwbaar is voor zo'n aneurysma. De sensitiviteit is ongeveer 80%, specificiteit 90%. – Wilt u gebruik maken van die echo?
Beslisboom AAAA Diagnostiek
– Voorafkans 50% – Sensitiviteit 0.80 – Specificiteit 0.90
Likelihood ratio’s van echo voor AAAA: – LR = kans bij zieken / kans bij gezonden – LR+ = Se / (1 – Sp) = 0.80 / 0.10 = 8.0 – LR- = (1 – Se) / Sp = 0.20 / 0.90 = 0.22
Wilt u gebruik maken van die echo?
Beslisboom AAAA Diagnostiek
– Voorafkans 50% – LR+ = 8.0 – LR- = 0.22
Achterafkansen op AAAA: – pZ – pZ-
pZ0
pZ0 1-pZ0
LR
pZ0
pZ0 1-pZ0
LR-
0.50 0.50 1-0.50
0.89 8.0
0.50 0.50 1-0.50
Wilt u gebruik maken van die echo?
0.18 0.22
Beslisboom AAAA Diagnostiek
Zonder aanvullende diagnostische informatie – Behandeldrempel D = 0.11 – Kans op AAAA ingeschat op 0.50 > D – Beter wel opereren (als je geen diagnostiek hebt)
Met diagnostische informatie – Achterafkans na positieve test: pZ+ = 0.89 > D – Achterafkans na negatieve test: pZ- = 0.18 > D
Wilt u gebruik maken van die echo?
Beslisboom AAAA Diagnostiek Niet behandelen 0%
“Echo bereik” als pZ0 = 0.50 Test-
11% 18%
Test+
50%
89%
100%
Een negatieve testuitslag is niet “krachtig” genoeg om de vooraf kansschatting van 50% omlaag te brengen tot onder de behandeldrempel.
Beslisboom AAAA Diagnostiek
Algemeen: • Kan ik, bij een voorgenomen strategie, een testuitslag krijgen, die mij van mijn voornemen afbrengt? doordat mijn kansschatting aan de andere kant van de behandeldrempel terecht komt Dat hangt af van de voorafkans op ziekte
• Zo nee: Testen niet zinvol Zelfs gevaarlijk door FP en FN uitslagen
Beslisboom AAAA Diagnostiek en therapie
Beslisboom AAAA Sensitiviteitsanalyse* voor kans op AAAA
Kans om te overleven
Testen alleen beter tussen 2% en 36%
Testen slechter dan afwachten vanwege FP (Sp=90%)
Testen slechter dan operatie vanwege FN (Se=80%)
Beslisboom AAAA
Kans om te overleven
Strategiekeuze afhankelijk van kans op AAAA
Beslisboom diagnostiek en therapie
Zonder diagnostiek: – Bij lage kans afwachten – Bij hoge kans behandelen – Drempel afhankelijk van “kosten en baten”
Met diagnostiek: – Vergelijk de achterafkans op ziekte met behandeldrempel – Alleen bij intermediaire kans testen – Intermediaire range bepaald door • Kosten en baten van behandeling en test • Accuratesse van de test
Test‐ en Behandeldrempel W.B. van den Hout Afdeling Medische Besliskunde 17 December 2014
Vragen?
Opmerking 1 Wanneer doe je nou zo’n beslissingsanalyse? 1. Continu – Als niet expliciet, dan wel impliciet intuïtief in je hoofd
2. Niet voor die ene patiënt – Tenzij je de tijd hebt en het levensbedreigend is
3. Wel voor situaties die veel voorkomen – Evaluatie van diagnostische trajecten • Te ingewikkeld voor intuïtieve benadering
– Opstellen van richtlijnen
Opmerking 2 Waardering uitkomsten cariës diagnostiek 100% Best
TN Terecht negatief Geen vulling
TP Terecht positief Wel vulling
FP Fout positief Wel vulling
FN Fout negatief Nu geen vulling
Slechtst 0%
Opmerking 2 Waardering uitkomsten cariës diagnostiek 100% Best
TN Terecht negatief Geen vulling
TP Terecht positief Wel vulling
FP Fout positief Wel vulling
FN Fout negatief Nu geen vulling
Slechtst 0%
Opmerking 2 Waardering uitkomsten cariës diagnostiek 100% Best
TN Terecht negatief Geen vulling
TP Terecht positief Wel vulling
FP Fout positief Wel vulling
FN Fout negatief Nu geen vulling
Slechtst 0%
Behandeldrempel Klinische vraag: – Hoe zeker moet ik zijn van de ziekte, voordat ik overga tot behandeling, wetende dat elke behandeling zowel voor- als nadelen heeft?
Voorbeelden: – AAAA operatie, hernia-chirurgie, cholecystectomie, knie-arthroscopie, antistolling, sinaasappels eten, ...
Behandeldrempel Iedere behandeling heeft zijn: • Voordeel = vermindering van schade door de ziekte Kan dus alleen optreden bij aanwezigheid van die ziekte
• Nadeel = gezondheidsschade door behandeling zelf Bij mensen met en zonder de ziekte Meest duidelijk bij mensen zonder ziekte
Behandeldrempel Bij zekerheid over ziekte: – Bij mensen met ziekte is gemiddeld het voordeel van behandeling groter dan het nadeel (anders is behandeling geen valide optie) – Bij mensen zonder ziekte alleen behandelingsnadeel
Bij onzekerheid over ziekte: – Hoge kans op ziekte: meer baat dan schade – Lage kans op ziekte: meer schade dan baat
Hoe zeker moet je zijn van ziekte om te behandelen?
Behandeldrempel Behandelen als de kans op ziekte groter is dan: C D = C + B
Waarbij D = Behandeldrempel B = “Benefit” van behandeling = verschil tussen wel en niet behandelen bij mensen met de zieke (inclusief schade) C = “Cost” van behandeling = verschil tussen wel en niet behandelen
Behandeldrempel Behandelen als de kans op ziekte groter is dan: C D = C + B
Meer behandelen bij gunstigere kosten-baten: – behandel iedereen alsCost = 0 of Benefit > 0
(D =
0%) – behandel niemand als Cost > 0 of Benefit = 0
(D =
100%) – behandel vanaf 50% als Benefit
(D = 50%)
Cost =
Afleiding van behandeldrempel* * Geen tentamenstof
Waarde(Wel behandelen) = p UTP + (1-p) UFP Waarde(Niet behandelen) = p UFN + (1-p) UTN
Afleiding van behandeldrempel* * Geen tentamenstof
Wanneer is het even goed om wel/niet te behandelen? Waarde(Wel behandelen)
= Waarde(Niet
behandelen) p UTP + (1-p) UFP = p UFN + (1-p) UTN
p (UTP - UFN) = (1-p) (UTN - UFP) p Benefit = (1-p) Cost p (Cost + Benefit) = Cost
Behandeldrempel voor AAAA U verdenkt een 76-jarige man in slechte conditie van een AAAA: Bij niet behandeld AAAA overlijdt de patiënt Mét operatie is de overlevingskans zo'n 40% Bij negatieve laparotomie is sterfte zo'n 5%
In termen van overlevingskans: • Wat is de Benefit B ? = UTP - UFN • Wat is de Cost C ? = UTN - UFP • Wat is de behandeldrempel D = C/(C+B)?
Behandeldrempel voor AAAA U verdenkt een 76-jarige man in slechte conditie van een AAAA: Bij niet behandeld AAAA overlijdt de patiënt Mét operatie is de overlevingskans zo'n 40% Bij negatieve laparotomie is sterfte zo'n 5%
• In mensen met AAAA stijgt de overlevingskans door opereren van 0% naar 40%:
Benefit B = 40% – 0% = 40% • In mensen zonder AAAA daalt de overlevingskans door opereren van 100% naar 95%:
Cost C = 100% – 95% = 5% • Behandeldrempel:
D = C/(C+B) = 5 / (5+40) = 11%
Behandeldrempel voor AAAA U verdenkt een 76-jarige man in slechte conditie van een AAAA: Bij niet behandeld AAAA overlijdt de patiënt Mét operatie is de overlevingskans zo'n 40% Bij negatieve laparotomie is sterfte zo'n 5% Cost C
Benefit B
Gebruik behandeldrempel Behandel als de kans op ziekte groter is dan C D = C + B
• Getalsmatige formalisering van “als de voordelen opwegen tegen de nadelen” • Bruikbaar voor een snelle afweging als men geen tijd / zin / expertise heeft voor een beslisboom • Eventueel literatuur search nodig voor data
Gebruik behandeldrempel Behandel als de kans op ziekte groter is dan C D = C + B
• Alleen gebruiken in het normale geval waarin: Cost 0 en Benefit 0 want dan: 0% C / (C + B) 100% • Anders de behandeldrempel niet gebruiken, maar goed kijken naar de Cost en Benefit: Als Cost 0 en Benefit < 0: niemand behandelen Als Cost < 0 en Benefit 0: iedereen behandelen Als Cost < 0 of Benefit < 0: raar, check je probleem!
Gebruik behandeldrempel Behandel als de kans op ziekte groter is dan C D = C + B
• Bruikbaar als voor- en nadelen van behandeling beide gemeten in één soort uitkomst • Anders niet in één breuk te vatten • Overleving of morbiditeit of “tevredenheid” of kosten of … • Indien verschillende uitkomsten: weging (bijv. “QALYs”)
• Bruikbaar mét en zonder diagnostiek: • Geen diagnostiek: vergelijk D met de prevalentie • Met diagnostiek: vergelijk D met de achteraf kans
Behandeldrempel voor AAAA Test range is van 2% tot 36% – Bij een voorafkans van 50% is een negatieve testuitslag niet “krachtig” genoeg, om de achterafkans onder de behandeldrempel te brengen. – Bij een voorafkans van 1% is een positieve testuitslag niet “krachtig” genoeg, om de achterafkans boven de behandeldrempel te brengen. Niet behandelen 0%
“Echo bereik” als pZ0 = 0.50 Test-
11%
18%
Test+
50%
89%
100%
Beslisboom AAAA Sensitiviteitsanalyse voor kans op AAAA Test drempel 2%
Kans om te overleven
Behandeldrempel D = 11%
Test-Behandeldrempel 36% Ook wel behandeldrempel genoemd
Gebruik behandeldrempel Gebruik zonder diagnostiek: – Definitie: • Behandeldrempel = de kans op ziekte waarbij ‘niemand behandelen’ even goed is als ‘iedereen behandelen’
– Vergelijk de kans op ziekte met D = Cost / (Cost + Benefit)
Gebruik mét diagnostiek: – Definitie van test range: • Testdrempel = de kans waarbij ‘niemand behandelen’ even goed is als ‘testen’ • Behandeldrempel = de kans waarbij ‘testen’ even goed is als ‘iedereen behandelen’ (ook wel de test-behandel drempel)
– Vergelijk de achterafkans met de waarde van D = C /
Loterij Een vriend nodigt u uit mee te doen aan een loterij: – – – –
Een lot kost € 25 Er zijn 1.000.000 loten Er is één hoofdprijs van € 10.000.000 Er zijn 10 tweede prijzen van € 100.000
U zit net even niet krap bij kas • Heeft u ooit meegedaan in een loterij? • Zo ja/neen, waarom wel/niet? • Zou u meedoen aan deze loterij?
Loterij Zou u meedoen aan deze loterij: – – – –
Een lot kost € 25 Er zijn 1.000.000 loten Er is één hoofdprijs van € 10.000.000 Er zijn 10 tweede prijzen van € 100.000
Maak nu een beslisboom: – Expliciteer de mogelijke keuzes, gebeurtenissen, en monetaire uitkomsten – Bereken de verwachte uitkomst van iedere keuze
Loterij: beslisboom
Loterij: kansen en uitkomsten
Verwacht Nut – Expected Utility Het Verwacht Nut (EU = Expected Utility) is de som van de producten van kansen uitkomsten: EU(lot kopen) = p1 U1 + p2 U2 + … + pn Un = 0,000001 10.000.000 + 0,000010 100.000 + 0,999989 0 = 10 + 1 + 0 = € 11
Verwacht Nut – Expected Utility Verwachte waarde = 0.000001 10,000,000 + 0.000010 100,000 + 0.999989 0 = 11
Verwachte waarde = 1 25 = 25
Loterij Beslisboom laat zien dat de verwachte waarde van niet kopen (€ 25) hoger is dan van wel kopen (€11) Conclusie? 1. Als je vaak speelt dan verlies je ruim de helft van je geld 2. Maar geeft dit model de dilemma’s wel goed weer? • • • • •
Is 10 miljoen euro 100 keer zoveel waard als 100.000 euro? Niet spelen ervaren als €25 euro winst? Kansen in de praktijk vaak onbekend Magisch denken: ik win nooit / altijd Vriend die vroeg mee te doen H d h fd ij
Vragen tot nu toe?
Antistolling bij verdenking op longembolie? Voorbeeld uit ZSO Kiezen in onzekerheid 1. Aanpak met beslisboom 2. Aanpak met behandeldrempel 3. Uitbreiding met diagnostiek
Antistolling bij verdenking LE Risico van onbehandeld laten: – Kans op longembolie 25% – Kans op recidief embolie 50% Voordeel van behandelen: – Voorkómen van recidief
80% effectief
Nadeel van behandelen: – Complicatie van antistolling
10%
Antistolling bij verdenking LE
Antistolling bij verdenking LE Wel antistolling als p _embolie = 25% Uitkomst hoe hoger hoe beter: • Ongecompliceerd herstel: U = 1 • Iedere complicatie: U = 0
Sensitiviteitsanalyse Effect p_embolie op ongecompliceerd herstel
Antistolling bij verdenking LE Uitwerking mbv behandeldrempel Recidief embolie na longembolie = 50% Effectiviteit van antistolling = 80% (het gedeelte van recidief-embolieën dat wordt voorkomen door antistolling) Complicatie van antistolling = 10%
Antistolling bij verdenking LE Uitwerking mbv behandeldrempel Kans op recidief embolie na longembolie = 50% Effectiviteit van antistolling = 80% Kans op complicatie van antistolling = 10% C = “Cost” van behandeling = verschil tussen wel en niet behandelen bij mensen zonder ziekte (dus exclusief baat) = Kans op complicatie van antistolling = 10%
Antistolling bij verdenking LE Uitwerking mbv behandeldrempel B = “Benefit” = verschil tussen wel en niet behandelen bij mensen met de zieke (inclusief schade) Uitkomst van niet behandelen bij mensen met de ziekte – 50% heeft recidief embolie
Uitkomst van wel behandelen bij mensen met de ziekte – Twee even grote risico’s : • (1-80%) 50% = 10% recidief embolie • 10% bloedingscomplicatie
Antistolling bij verdenking LE Uitwerking mbv behandeldrempel
Kans op ongecompliceerd herstel Geen LE, geen AS Geen LE, wel AS Wel LE, geen AS Wel LE, wel AS
“TN” “FP” “FN” “TP”
Cost TN versus FP Benefit TP versus FN Behandeldrempel D = C / (C+B)
100% 100% - 10% = 90% 50% 90% x 90% = 81% 100 – 90 = 10% 81 – 50 = 31% 10 / 41 = 24,4%
Antistolling bij verdenking LE Uitwerking mbv behandeldrempel
Geen LE, geen AS Geen LE, wel AS Wel LE, geen AS Wel LE, wel AS
“TN” “FP” “FN” “TP”
Cost TN versus FP Benefit TP versus FN Behandeldrempel D=C/(C+B)
Kans op ongecompliceerd herstel
Aantal complicaties
100% 90% 50% 81%
0 0.1 0.5 0.2
10% 31% 10 / 41 = 24,4%
0.1 0.3 0.1 / 0.4 = 25%
Antistolling bij verdenking
LE
Conclusie Beslisboom: Sensitiviteitsanalyse op p_recidief
Behandeldrempel D = C / (C+B) = 0.244
Beide laten zien dat antistolling bij verdenking op longembolie gezondheidswinst oplevert indien de kans dat de patiënt een (eerste) longembolie heeft gehad groter is dan 0.244
Diagnostiek verdenking LE Stel: – Test met Sensitiviteit = 90% en Specificiteit = 50% – Voorafkans op longembolie 25%
Is testen in deze situatie zinvol?
Diagnostiek verdenking LE Stel: – Test met Sensitiviteit = 90% en Specificiteit = 50% – Voorafkans op longembolie 25% – Behandeldrempel D = 24.4%
Is testen in deze situatie zinvol?
Diagnostiek verdenking LE Stel: – Test met Sensitiviteit = 90% en Specificiteit = 50% – Voorafkans op longembolie 25% – Behandeldrempel D = 24.4%
Is testen in deze situatie zinvol? Ja, want de testuitslag beïnvloed de beslissing – Negatieve test brengt achterafkans onder behandeldrempel – Positieve test brengt achterafkans boven behandeldrempel
Diagnostiek verdenking LE Odds-versie van Bayes
Stel: – Test met Sensitiviteit = 90% en Specificiteit = 50% – Lagere voorafkans op longembolie 10% – Behandeldrempel D = 24.4%
8 . 1
0 9 . 0
0 5 . 0 1
p eS S 1
e t k e i z r e d n o z n e s n e m r e d n o t s e t e v e i t i s o p p o s n a K
R L
e t k e i z t e m n e s n e m r e d n o t s e t e v e i t i s o p p o s n a K
Is testen bij deze lagere voorafkans ook zinvol?
Diagnostiek verdenking LE 22 tabel
• Sensitiviteit = 90% en Specificiteit = 50% • Voorafkans op longembolie 10% Longembolie Positieve test
Negatieve test Totaal
0.9 0.1 =
TP 9%
0.1 0.1 =
FN 1%
10%
Iets anders 0.50 0.90 =
FP 45%
0.50 0.90 =
TN 45%
90%
Totaal 9% + 45% =
54% 1% + 45% =
46% 100%
Diagnostiek verdenking LE Likelihood ratio
• Sensitiviteit = 90% en Specificiteit = 50% • Voorafkans op longembolie 10% Likelihood-versie van Bayes voor positieve test:
8 . 1
0 1 . 0 1
0
0 1 . 0
Z p
7 1 . 0
0 1 . 0
Z p
8 . R 1 L 5 0. 90 0 Z0 . Z 0 p 1 p 1
0
R L
p 0 eS 1 S . 1 0
Z p
Diagnostiek longembolie Stel: – – – –
Sensitiviteit = 90% en Specificiteit = 50% Voorafkans op longembolie 10% Behandeldrempel D = 24.4% Achterafkans na positieve test 17%
Is testen in deze situatie zinvol?
Diagnostiek longembolie Stel: – – – –
Sensitiviteit = 90% en Specificiteit = 50% Voorafkans op longembolie 10% Behandeldrempel D = 24.4% Achterafkans na positieve test 17%
Is testen in deze situatie zinvol? Nee, want – Voorafkans is onder de behandeldrempel, en – Achterafkans blijft onder de behandeldrempel, ongeacht het testresultaat
Diagnostiek longembolie Beslisboom
Diagnostiek longembolie Sensitiviteitsanalyse voor p_embolie
Diagnostiek longembolie Conclusie • Beslissingsanalyse dwz vooraf goed nadenken over wat wanneer de optimale strategie is
• Aanpak op basis van de behandeldrempel dwz voor een gegeven testuitslag de achterafkans vergelijken met de behandeldrempel
• Beide laten zien dat de gezondheidswinst optimaal is door .. .. af te wachten bij lage kans op longembolie .. antistolling te geven bij hoge kans .. te testen in de intermediaire range
(tot 15%) (vanaf 62%) (15% tot 62%)
Samenvatting
Ideale wereld
Niet ideale therapie
Niet ideale therapie en test
In de kliniek veel kansen! – Therapieën zijn niet altijd effectief – Therapieën richten ook schade aan • Daardoor is er zoiets is als een behandeldrempel; alleen als u zeker genoeg bent overheerst het voordeel!
In de kliniek veel kansen! – Therapieën zijn niet altijd effectief – Therapieën richten ook schade aan • Daardoor is er zoiets is als een behandeldrempel; alleen als u zeker genoeg bent overheerst het voordeel!
– U bent nooit 100% zeker wat iemand scheelt – En geen enkele test is 100% betrouwbaar • A-posteriori kans is afhankelijk van de a-priori kans • Onterechte testuitslagen zetten u op het verkeerde been: – Bij lage a-priori kans beter afwachten, want anders ga je teveel fout-positieven behandelen – Bij hoge a-priori kans beter behandelen, want anders ga je teveel fout-negatieven niet behandelen