Wat zijn de SEI CMM niveaus waard? waard?

Wat zijn de SEI CMM niveaus waard? Hans Vonk, Vonk, Ernst van Waning (Lawrence H. Putnam: Linking the QSM

Productivity Index with the SEI Maturity Level

http://www.qsm .com/LINKING6.pdf pdf)) http://www.qsm.com/LINKING6.

© Quantitative Software Management Europe. #1

Wat zijn de SEI CMM niveaus waard? Twee mogelijkheden om dit te meten: 1. Verzamel gegevens over de wijziging van de kosten en zet die gegevens af tegen de doorlopen kwaliteitsniveaus (CMM) van de organisatie 2. Vergelijk bekende reeksen met elkaar om daaruit (voorzichtig) conclusies te trekken

© Quantitative Software Management Europe #2

1

Software Engineering Institute • Software Development Maturity Assessment Methodology (CMM) • CMM: leidraad leidraad voor software proces verbetering • Inhoudelijke beschrijving (met extrapolatie) van de rijpheid van organisaties om software te ontwikkelen • http://www.sei .cmu. http://www.sei. cmu.edu/ edu/


SEI CMM niveaus Niveau

Focus

Concentratie op

5 -- optimaliserend Continue proces Voorkomen fouten, fouten, change mgmt verbetering 4 -- managed

Kwaliteit product en proces

Kwantitatief proces mgmt, mgmt software kwaliteit

3 -- gedefinieerd

Invoering processen en ondersteuning organisatie

Definitie processen organisatie, organisatie, training, software product engineering

2 -- herhaalbaar

Project management

Requirements mgmt, project planning & tracking, QA, …

1 -- initieel

Competente mensen, mensen, helden


2

QSM’s Productiviteitsindex (PI) • Empirische maat – gevonden door gegevens over software projecten te verzamelen en te analyseren • Omvat vele aspecten van software ontwikkeling, zoals effectiviteit management, methoden, hulpmiddelen, toegankelijkheid applicatiedomein, etc • Lage waarden: slechte werkomstandigheden, hulpmiddelen, hulpmiddelen, … of moeilijk toegankelijk applicatiedomein • Hoge waarden: goede werkomstandigheden, … of gemakkelijk toegankelijk applicatiedomein


QSM’s PI productiviteit =

omvang inspanning a × tijd b

• Functioneel verband tussen meetbare grootheden • Productiviteit verschilt per omgeving, applicatiedomein, … • Intuïtieve schaal: schaal: 1

3

QSM’s PI • Te berekenen uit gemeten gegevens – Omvang – Doorlooptijd – Inspanning

• PI is – Objectief – Meetbaar

• PI’s laten vergelijkingen toe op een numerieke schaal


PI en CMM • PI is een kwantitatieve schaal gebaseerd op metingen • PI hangt samen met kwaliteit management, tools, tools, toegankelijkheid applicatiedomein,et c applicatiedomein,etc

• SEI CMM niveau gebaseerd op antwoorden op een aantal vragen die ordenen naar efficiëntie en rijpheid • SEI CMM indeling benadrukt de wenselijkheid en het belang van bepaalde gewoonten


4

QSM en CMM • Beide schalen geven de volwassenheid en productiviteit van een SW ontwikkel organisatie weer, elk vanuit een ander standpunt • De samenhang tussen PI en CMM geeft een leidraad om de organisatie meetbaar efficiënter te maken • De samenhang tussen PI en CMM maakt het mogelijk om de voordelen van SPI uit te drukken in geld, doorlooptijd, inspanning en kwaliteit • Als CMM de doelstellingen zijn, dan is QSM het kompas


PI en CMM: verbinding? • Ideaal: zowel PI als CMMCMM-niveau bekend bij dezelfde metingen • Bekend: data met PIPI-niveau, andere data met CMMCMM-niveau • Maar: – steekproeven uit dezelfde perioden – steekproeven representatief


5

PI in 1991 QSM PI Frequency Distribution 250

Frequency

200

150

100

50

0 1

2

3

4

5

6

7

8

9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40

Productivity Index


PI in 1991 • Alle applicatiedomeinen • Verdeling bij benadering normaal • Gemiddelde PI is 13.5 • Standaardafwijking: ~5 PI’s • Groei: ongeveer 0,3 PI/jaar


6

SEI in 1991 SEI Maturity Level Profiles, 1991 % in Level 100

88% 90

Source: 1991 SEI Symposium 80 70 60 50 40 30 20

5%

2%

5%

10

0% 0 1

2

3

4

5

SEI CMM Level


SEI in 1991 • Verreweg de meeste organisaties op niveau 1 (initieel (initieel)) • Niet normaal verdeeld

• Wel Wel kunnen we de QSM gegevens indelen zoals de CMM gegevens:


7

QSM - SEI Mapping SEI Level 1

250

2

3

4

5

Business Systems

200

Frequency

150

100

50

0 1

2

3

4

5

6

7

8

9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40

Productivity Index


SEI vs. QSM Maturity Level Distribution 100 90

Source: QSM Database and 1991 SEI Symposium

88

80

75

% in Level

70 60 SEI

50

QSM

40 30 20 11 10

5

7

5

4 0

3

2

0

1

2

3

4

5

SEI Level


8

Groei CMM niveaus • Verdeling CMM-niveaus in 1994: • Er is migratie van niveau 1 naar niveaus 2 en 3 • Er is nauwelijks beweging naar niveaus 4 en 5


Distribution of SEI Levels 1994 Percent of Organizations Surveyed in Various SEI Levels 80 73

Results of 435 Assessments performed through Dec. 1994 Source: ASEC/CRIM Newsletter, Vol 4, No. 1, June 1994 SEI, Process Maturity Profile of the Software Community 1994 Update, April 1995

70

60

% in Level

50

40

30

16

20

10 10 0.6

0.3

0 1

2

3

4

5

SEI Level


9

CMM niveaus gebaseerd op data tot 1999 met een projectie tot 2009 % in SEI Level by Year 100.0 Decreasing by 4.5%/year 90.0 80.0 70.0 Increasing by 2.9% / year % in level

60.0 50.0 40.0 Increasing by 1.3% / year 30.0 20.0

Increaing by .43% / year

10.0

Increasing by 0.07% / year

0.0 1

2

3

4

5

SEI Level 1991

1994

1997

2000

2003

2006

2009


M a p p in g B y A p p lic a tio n D o m a in s Q S M A p p lic a t io n A r e a s b y S E I M a t u r it y L e v e ls 100 80 60 40 20 0 Level 1

Level 2

Level 3

Level 4

Level 5

F ir m w a r e R e a l T im e A v io n ic s S y s te m s C&C T e le c o m S c ie n tific P ro c e s s C tl B u s in e s s

• Administratieve systemen (business) • Technische systemen (avionics .. scientific) • RealReal-time systemen (firmware, realreal-time) © Quantitative Software Management Europe #20

10

Omslagpunten voor drie applicatie typen Business Systems

Engineering Systems

Real Time Systems

PI Value

PI Value

PI Value

II

17

15

9

III

19.5

18

11.5

IV

22

20.5

14

V

25

23

16.5

Transition to SEI Level


Trendlijnen technische systemen • Technische systemen: – Command & Control – Telecommunicatie – Systeembesturing Systeembesturing (Operating Systems) Systems) – Wetenschap – Procesbesturing

• Toename: ~0.3 PI/jaar (stabiel > 5 jr) jr) • Data: 400 afgeronde systemen over een periode van 15 jaar © Quantitative Software Management Europe #22

11

Trendlijn technische systemen Projected PI vs. Calendar Year w/ SEI Transition Levels 24 Level V

22

Engineering Systems Level IV

Productivity Index

20 Level III 18

16

Level II

Average Increase in PI for Engineering Systems 14

Level I 12

10 1990

1991

1992

1993

1994

1995

1996

1997

1998

1999

2000

Calendar Year


Economische waarde van SPI voor technische systemen Value of Process Improvement SEI Levels 1,2,3 - Engineering Systems 30

78,000 ESLOC MBI 2.6

Level 1 - 469 PM, $4.7 M, Pk staff 28 ppl, MTTD 0.94 days

25

Level 2 - 188 PM, $1.9 M, Pk Staff 15 ppl, MTTD 1.75 days

Staffing,People

20

15

10

5

0 1

2

3

4

5

6

7

Level 3 - 76 PM, $0.76M, PK Staff 8 ppl, MTTD 3.2 days

8

9

10 11 12 13 14 15 16 17 18 Elapsed Months

19

20

21

Level 1 Level 2 Level 3 22

23

24


12

Trendlijn administratieve systemen • Data: 1000 afgeronde projecten • Standaardafwijking: ~4PI • Verbetering: ~0,4 PI/jaar


Trendlijn administratieve systemen Projected PI vs. Calendar Time w/ SEI Transition Levels 26 Level V 24

Business Systems Level IV

22

Productivity Index

Level III 20

18

Level II

16

Average Increase in PI for Business Systems

Level I

14

12

10 1990

1991

1992

1993

1994

1995

1996

1997

1998

1999

2000

Calendar Year


13

Economische waarde van SPI voor administratieve systemen Value of Process Improvement SEI Levels 1,2,3 - Business Systems

51,500 ESLOC MBI 3.0


14

12


Staffing, People

10

8

6

4

2

0 1

2

3

4

5


Level 1 6

7

8

9

10

Elapsed Months

Level 2 11

12

13

14

15

16

Level 3 17

18

19

20


Trendlijn administratief: best in class • Groei: ~0.7PI/jaar (10 jaar) • Standaardafwijking: ~2PI

• Dus niet alleen (veel) snellere groei, maar ook betere voorspelbaarheid!


14

Trendlijn administratief: best in class Projected PI vs. Calendar time w/ SEI Transition Levels 26 Level V 24

Business Systems Level IV

22

Level III

Productivity Index

20

18

Level II

16

Increase in PI for a Business System Leader

14

Level I

12

10 1990

1991

1992

1993

1994

1995

1996

1997

1998

1999

2000

Calendar Year


Trendlijn real-time systemen • Procesbesturing met veelal unieke hardwarecombinaties en communicatieprotocollen • Gegarandeerde reactietijden • Minder toegankelijk, daardoor PI lager lager • Data: 200 systemen over 15 jaar • Groei: ~0,3 PI/jaar • Standaardafwijking: 2PI © Quantitative Software Management Europe #30

15

Trendlijn real-time systemen Projected PI vs. Calendar Year w/ SEI Transition Levels 18

Real Time Systems

Level V

16

Level IV

Productivity Index

14

Level III

12

10 Level II

Average PI Increase for Real Time Systems 8

Level I

6 1990

1991

1992

1993

1994

1995

1996

1997

1998

1999

2000

Calendar Time


Economische waarde van SPI voor real-time systemen Value of Process Improvement SEI Levels 1,2,3 - Real Time Systems 59,000 ESLOC MBI 1.0

35

Level I - 1060 PM, $10.6 M, Pk Staff 34 ppl, MTTD 0.68 days 30

Staffin, People

25


20

15

10

5

47

43

Level 3 45

39

41

35

37

31

27

Level 1 33

Elapsed Months

29

23

25

19

15

21


17

11

13

7

9

3

5

1

0


16

Wat zijn CMM-niveaus waard? • Een systeem van 500 FP (±55 KSLOC) • 100% administratieve software PI= CMM-niveau Duur (mnd) Effort (mm) Cost (K€) FP/mw/mnd FP/mw/jr

14

15

I

I

13.6 85 1330 6 71

11.8 73 1189 7 82

17 II 8 55 883 9 109

19.5 III 6.2 38 609 13 158


Wat zijn CMM-niveaus waard? Proj./jaar PI= CMM-niveau Kosten alleen(M€) Kosten en duur(M€)

I

40 van 500 FP 14 15 I 53 48 53 41

17 II 35 24

19.5 III 24 19

• Efficiënter worden doe je niet alleen om te bezuinigen • Efficiëntere organisaties onderscheiden zich door hun betere ideeën • Efficiëntere organisaties hebben daardoor kwantitatief en kwalitatief voordeel © Quantitative Software Management Europe #34

17

Een grote CMM-5 organisatie: • “Our software business has doubled, our profits have grown” • “We have measured customer satisfaction at better than 95%” • “Our onon-time delivery is 9898-99% over the last three years” • “Our employee turnover rate is in the low single digits”


Conclusies • Tot dusverre is het aantal organisaties die een verbetering laten zien in SEI CMM niveaus klein. • De getoonde voordelen van SPI zijn erg groot. • Er is enige hoop dat door veranderde omstandigheden een snellere verbetering mogelijk is, maar het zal een combinatie van hard werken, toewijding, goed management en goede investeringen zijn om dit mogelijk te maken. • Dat is de uitdaging!! © Quantitative Software Management Europe #36

18

Quantitative Software Management (QSM) • Met dank aan Lawrence H. Putnam (oprichter van QSM) voor het gebruik van zijn studiemateriaal (http://www.qsm .com/LINKING6.pdf pdf)) http://www.qsm.com/LINKING6. • De kwantitatieve benadering van QSM en de kwalitatieve van SEI CMM zijn complementair en sluiten nauw bij elkaar aan • Daarom is QSM een goede investering voor software Proces Verbeter Initiatieven • QSM maakt uw vorderingen meetbaar! © Quantitative Software Management Europe #37

19

Wat zijn de SEI CMM niveaus waard? waard?

Recommend Documents