UvA IC, IMP overleg, 16 november 2010
Statistische analyse CMDB B. Kleijn, KdV Instituut, UvA in samenwerking met C. Klaassen (KdVI, UvA) R. Knijn (IC, UvA)
Statistische vraag – Analyse en enquete – Analyse CMDB Specifieke statistische vragen Wat is de correcte omvang van de CMDB? Wordt het 97% criterium gehaald?
Statistische opzet Steekproef, tellen en schatten Bereken nauwkeurigheid en betrouwbaarheid
Methode van onderzoek Enquetering binnen en buiten de CMDB Omvang van de steekproeven? 0
CMDB en DHCP databases – Twee populaties – Is de omvang van de CMDB correct? Tweeledige vraag 1. Welke computers buiten de CMDB zouden erin moeten staan? 2. Is de registratie van alle computers in CMDB correct?
Onmiddelijk praktisch probleem ad 1. Hoe vinden we een lijst van computers die niet reregistreerd staan? Gebruik netwerk informatie afkomstig van DHCP service
1
CMDB en DHCP databases – Verdacht en niet verdacht – Samenstelling
popula/es
V
A
9000.00
12000.00
15000.00
Blauw = overeenkomstig, Rood = verdacht, Geel = steekproef Twee steekproeven 1. Steekproef uit de DHCP registraties (populatie A ter grootte NA ) 2. Steekproef uit de CMDB registraties (populatie V ter grootte NV )
2
CMDB en DHCP databases – Methodologie – Twee steekproeven 1. Tel fouten in steekproef nA (resultaat XA fouten) Schat het aantal fouten in DHCP met NA × (XA /nA ) 2. Tel fouten in steekproef nV (resultaat XV fouten) Schat het aantal fouten in CMDB met NV × (XV /nV ) 3. Geschatte omvang correcte CMDB ˆ =W + W
XV XA NA − NV nA nV
3
Enquete – Betrouwbaarheid en nauwkeurigheid – ˆ ” met zekerheid . . . Doel “W ligt niet meer dan . . . van W Statistische uitspraak, gebaseerd op steekproef (grootte n) Betrouwbaarheid Nauwkeurigheid
– –
zekerheid van uitspraak (a = · %) precisie van uitspraak (d = · %)
n ˆ n ≤ W ≤ (1 + d)W ˆn = 1 − a P (1 − d)W
Twee intuitieve waarheden uit de statistiek Grotere n Gelijke n
– –
betere betrouwbaarheid en nauwkeurigheid balans betrouwbaarheid en nauwkeurigheid
4
Enquete – Betrouwbaarheid en nauwkeurigheid – Betrouwbaarheid
bij
verschillende
d
120.00%
100.00%
80.00%
60.00%
a
40.00%
20.00%
0.0500
0.0475
0.0450
0.0425
0.0400
0.0375
0.0350
0.0325
0.0300
0.0275
0.0250
0.0225
0.0200
0.0175
0.0150
0.0125
0.0100
0.0075
0.0050
0.0025
0.0000
0.00%
Betrouwbaarheid a als functie van nauwkeurigheid d (bij nA = 239, nV = 132) 5
Enquete – Resultaten – MA = MV NA = NV = nA = nV = XA = XV = pA = pV =
YA = YV = W= sdW =
13637 (relevante populatie in DHCP (uit 39327 records)) 10883 (relevante populatie in CMDB (alle records)) 1739 (omvang populatie A, verdacht in relevant deel DHCP) 2147 (omvang populatie V, verdacht in relevant deel CMDB) 239 (omvang sample uit populatie A) 132 (omvang sample uit populatie V) 46 (gevonden aantal fout in sample A) 31 (gevonden aantal fout in sample V) 0.192468619 (kans op fout in (geschatte kans 0.234848485 (kans op fout in (geschatte kans
sample op fout sample op fout
A) in verdacht deel DHCP) V) in verdacht deel CMDB)
335 (geschat aantal fouten in verdacht deel DHCP) 504 (geschat aantal fouten in verdacht deel CMDB) 10713 (geschatte correcte omvang CMDB) 91 (std-deviatie in schatting W (met geschatte pA, pV))
Resultaten enquete, numeriek
6
Statistische conclusies Omvang CMDB ruimschoots binnen 97% tolerantie Het 97% nauwkeurigheidscriterium wordt gehaald (zekerheid 99,96%) ˆ = 10713 (zekerheid > 95%) W ligt niet verder dan 1,75% (∼ ±187) van W
Aantal fouten in CMDB overschrijdt 97% tolerantie Geschat aantal foute registraties in DHCP is 335 Geschat aantal foute registraties in CMDB is 504 Geschat aantal foute registraties is 839 (∼ 7, 8%)
Billing qua omvang in orde, in detail niet Totale kosten 98,25% correct (met > 96% betrouwbaarheid) ... maar deels (∼ 8%) voor verkeerd geregistreerde computers 7
Aanbevelingen IC Monitor continu de verschillen tussen DHCP en CMDB Communiceer conflicten met betreffende faculteit/dienst
Faculteiten en Diensten Breng uw computer administratie intern op orde Communiceer permutaties met IC tijdig en correct
Afstemming en uitvoering Ontwikkel fail-safe, eenvoudig protocol voor registraties Test uitvoerig en voer gefaseerd in 8
Grafisch beeld enquete, per afdeling
Resultaten steekproef, grafisch, per afdeling
9
Tabel enquete, per afdeling Afdeling FEB BnB FC FdR FGw FMG FNWI IC UB
DHCP nA 8 1 42 0 18 24 58 22 10
Incorrect XA 0 0 0 0 12 17 12 2 1
Correct nA − XA 8 1 42 0 6 7 46 20 9
CMDB nV 4 5 7 3 20 19 40 14 7
Incorrect XV 1 3 2 1 4 6 12 0 0
Correct nV − XV 3 2 5 2 16 13 28 14 7
blauw — Redelijk betrouwbaar beeld zwart — Beeld niet betrouwbaar grijs — Onbetrouwbaar beeld 10
