10/6/2010
Certificatie in ApplicatieOutsourcing kwaliteit van software artefacten
Prof. Mark van den Brand Dr Alexander Serebrenik Ir. Amrita Mishra Ir. Martijn Klabbers
Overzicht
15.30 uur Ontvangst 16.00 uur Inleiding “certificatie in outsourcing” In de inleiding geeft Alexander Serebrenik aan wat het belang is van goede communicatie binnen outsourcing en kwaliteit van software (tussen)producten en hoe certificatie hierin kan helpen. Verder licht hij de aanpak kort toe. 16.20 uur Aanpak van een van de case studies Voormalig student Amrita Mishra geeft aan hoe zij een van de case studies heeft opgepakt en vertelt haar ervaringen. 16.40 uur Stand van zaken & Toekomstperspectief Martijn Klabbers presenteert de stand van zaken, reeds behaalde resultaten, toepassing op direct en indirecte outsourcing in verschillende scenario’s zoals vervolgsourcing en multisourcing. Aangevuld met specifieke interessante punten voor de PON leden. Dit wordt gevolgd door een voorzichtig toekomstperspectief 17 00 uur Discussie aan de hand van enkele stellingen 17.00 Professor Mark van den Brand daagt het publiek uit om te reageren op stellingen gerelateerd aan het onderzoek. Hiermee krijgen we meer informatie over het nut van het onderzoek de verder te volgen richting. 17.45 uur Napraten tijdens borrel, aansluitend buffet 19.30 uur Einde
/ Faculteit Wiskunde en Informatica
1
10/6/2010
Certificatie in ApplicatieOutsourcing Inleiding Prof. Mark van den Brand Dr Alexander Serebrenik Ir Amrita Mishra Ir Martijn Klabbers
Wie is LaQuSo?
LaQuSo: • Laboratory for Quality Software • Doel: brug slaan tussen bedrijfsleven en universiteit • NIRICT/CeDICT lab. Eindhoven, Nijmegen, Delft, Twente, contacten met Aken, etc. • Onafhankelijk instituut, objectieve kijk • Oplossingen voor nieuwe uitdagingen van bedrijfsleven
/ Faculteit Wiskunde en Informatica
6-10-2010
2
10/6/2010
Communicatie bij applicatie-outsourcing
/ Faculteit Wiskunde en Informatica
6-10-2010
Communicatie bij applicatie-outsourcing
/ Faculteit Wiskunde en Informatica
6-10-2010
3
10/6/2010
Communicatie bij applicatie-outsourcing
1 na belangrijkste risico bij outsourcing [Iacovou, Nakatsu]: Original set of requirements is miscommunicated
/ Faculteit Wiskunde en Informatica
6-10-2010
Communicatie bij applicatie-outsourcing
CERTIFICAAT • gemeenschappelijk referentiekader • voordeel voor outsourcer en leverancier • ook bij de communicatie met de (potentiële) klant
/ Faculteit Wiskunde en Informatica
6-10-2010
4
10/6/2010
Vision Productcertificatie wordt een vast onderdeel van het applicatieoutsourcingsproces t i
Wanneer? Van zaadje tot karbonaadje!
CERTIFICAAT
/ Faculteit Wiskunde en Informatica
Ketenintegratie
6-10-2010
5
10/6/2010
Certificatie Proces
originele documenten
Foutenrapport
Certificatie Analyse
Software artifacts Transformatie •Context •Requirements •High level design … •Tests
internal representation
Defects in properties/ Specific criteria
• Filter • Select • Preprocess •…
…
Terugkoppeling
/ Faculteit Wiskunde en Informatica
Certificatie Proces – als alles goed gaat
originele documenten
Software artifact
Certificatie analyse
Certificaat
/ Faculteit Wiskunde en Informatica
6
10/6/2010
Wat wordt er gecontroleerd? • Regels! • Beschikbaarheid van de noodzakelijke artefacten − Bijv. lijst van functionele requirements • Uniformiteit • Conformiteit − Welke kenmerken is een ke keuze e van an de klant − Binnen het document − Binnen het project − Ten opzichte van externe specificaties en eisen / Faculteit Wiskunde en Informatica
6-10-2010
Certificatie Model
Competentieniveaus bepalen certificatieniveau 4
3 2
Beschikbaarheid
2
certificatieniveau
Uniformiteit Conformiteit
/ Faculteit Wiskunde en Informatica
6-10-2010
7
10/6/2010
Aanpak • Aantonen van toegevoegde waarde certificatie door: • Certificatie-analyse toe te passen op bestaande projecten • Analysetijd zo kort mogelijk te houden • Dmv analyse fouten aan het licht brengen • Aantonen dat de fouten een hoge impact hebben
/ Faculteit Wiskunde en Informatica
Typering case studies #
Domein/software
Initieel artefact*
Geleverd artefact*
Outsourcingstype
1
Financieel / Lead Assignment
Requirements
Implementation / System
Offshore - Dual shore met dochterbedrijf
2
Financieel / ERP (Integration)
Requirements + High Level Design
Implementation
Offshore - Dual shore met dochterbedrijf
3
Overheid / Budget Systeem
Requirements + High Level Design
Implementation
Offshore - Dual shore met dochterbedrijf
4
Transport / Counter System
High Level Design
Detailed Design / Implementation
Offshore - Dual shore met dochterbedrijf
5
Financieel / Verkoopsysteem
High Level Design
Detailed Design / Implementation
Offshore - Dual shore met dochterbedrijf
6
Communicatie / DIS
Implementation
“Triple shore” – double outsourcing
7
Financieel / Leensysteem
Metrics of implementation
Nearshore: Supplier = Specialist
8
Automotive / Engine Software
System / Metrics of implementation
Nearshore Supplier = Monopolist
Detailed Design / Test
*In italics de geanalyseerde artefacten / Faculteit Wiskunde en Informatica
6-10-2010
8
10/6/2010
Maar is het niet te duur? • Non-experts gebruiken het model • In 8 projecten met > 8 (junior) medewerkers: • Tijd per medewerker < 50 uur en << 1% projecturen • Schatting bij check per component < 1% projecturen
• Wat levert het op?
/ Faculteit Wiskunde en Informatica
6-10-2010
Certification in ApplicationOutsourcing a case study Applying the LaQuSo Software Product Certification Model (LSPCM)
Prof. Mark van den Brand Dr Alexander Serebrenik Ir Amrita Mishra Ir. Martijn Klabbers
9
10/6/2010
LSPCM for application outsourcing • LaQuSo Software Product Certification Model • Rule based analysis • Software artifacts need to conform • Rules, specific criteria, are grouped by: • Product areas (Requirements, HLD, …, Test documents) • Certification criteria − Availability − Uniformity − Conformance • Achievement levels
10/6/2010
PAGE 18
Certification Process
original documents
Defect report
Certification Analysis
Software artifacts Transformation •Context •Requirements •High level design … •Tests
internal representation
Defects in properties/ Specific criteria
• Filter • Select • Preprocess •…
…
Return to outsourcer
10/6/2010
Page 19
10
10/6/2010
Overview of Case study Lead assignment system
Unification of ERP systems
Project initiative
Merger of two business processes.
Centralization of multiple business processes.
Development Framework
RUP
Company standard for SAP projects
Project size
23,000 person-hours
67,000 person-hours
Assessment time
40 person-hours
48 person-hours
10/6/2010
PAGE 20
Lead assignment system(1) Certification property: Consistency C i t Artifacts received : Functional requirements(use case) Non-functional requirements List of business rules and software development plan
11
10/6/2010
Lead assignment system(2) Result of assessment : Contradictions Business rules were contradictory. Use case descriptions were contradictory to use case diagrams. Omissions: Requirements were referring to non-existing business rules. Lack L k off an appropriate i t glossary. l Absence of performance, reliability and maintainability requirements.
Lead assignment system(3) • Validation against project outcome − Abundance Ab d off clarification l ifi ti questions. ti − Deadline delays and Customer dissatisfaction. − Project terminated − Renegotiations with the customer, the project was restarted. − The defects identified were repaired p and delivered. − The customer was satisfied.
12
10/6/2010
Unification of ERP systems Certification property: Consistency Artifact received : Functional requirements augmented with flowcharts Result of assessment : Lack of common notation and semantics . No omissions or large defects were revealed. The documents were compliant with company standards. Validation against project outcome Later it was confirmed that the project met its deadlines and it was successful for both customer and supplier.
Certificatie in ApplicatieOutsourcing Stand van zaken & Toekomstperspectief Prof. Mark van den Brand Dr Alexander Serebrenik Ir. Amrita Mishra Ir. Martijn Klabbers.
13
10/6/2010
Overzicht • Wat hebben we bereikt met LSPCM analyses? • Case studies • Impact • Conclusies • Toekomstige toepassingen van LSPCM in outsourcingpraktijk • Voordelen
/ Faculteit Wiskunde en Informatica
6-10-2010
Case studies #
Domein/software
Initieel artefact*
Geleverd artefact*
Belangrijkste bevindingen
1
Financieel / Lead Assignment
Requirements
Implementation / System
Non-functionals niet beschreven
2
Financieel / ERP (Integration)
Requirements + High Level Design
Implementation
Standaarden te weinig aangehouden
3
Overheid / Budget Systeem
Requirements + High Level Design
Implementation
Vendor lock-in door gebrek maintainability
4
Transport / Counter System
High Level Design
Detailed Design / Implementation
Fouten hersteld maar op verkeerde niveau
5
Financieel / Verkoopsysteem
High Level Design
Detailed Design / Implementation
Inconsistenties gevonden
6
Communicatie / DIS
Implementation
Architectuur was niet onderhoudbaar
7
Financieel / Leensysteem
Metrics of implementation
Architectuur was goed onderhoudbaar
8
Automotive / Engine Software
System / Metrics of implementation
Inconsistenties gevonden, in opzet
Detailed Design / Test
*In italics de geanalyseerde artefacten / Faculteit Wiskunde en Informatica
6-10-2010
14
10/6/2010
Resultaten - samenvatting • Impact gevonden fouten: • • • • •
Requirements: Ontbreken van non-functionals High level design: Vertalingen ontbreken Detailed design: Foutherstel op verkeerd niveau Implementatie: Metrieken geven meer controle Tests: Risico gebaseerde aanpak bespaart tijd
• Veranderingen g in certificatiemodel (LSPCM)): • Meer nadruk op communicatie (vertalingen) • Rijker – in breedte en diepte • Flexibeler
/ Faculteit Wiskunde en Informatica
6-10-2010
Resultaten - samenvatting • Conclusie over LSPCM analyses: • Bespaart kosten en tijd, verbetert imago • Zeer geringe investering nodig • Geen (externe) expert nodig, onafhankelijkheid wel aanbevolen • Is proces onafhankelijk – uitbesteder heeft de vrijheid, maar waarborgt wel kwaliteit!
• Kortom: certificatie met LSPCM kan nuttig zijn
/ Faculteit Wiskunde en Informatica
6-10-2010
15
10/6/2010
Hoe kan certificatie nuttig zijn? De Drama Driehoek Delen,, 2009 Outsourcer (CIO, CFO, CPO) Certificatie helpt communicatie en schept duidelijkheid Service provider
User Services
Applicatie-Outsourcingsproces Feedback loop Decision making
Supplier selection
Transition
Transfer
Transformation
Service provision
Contract termination
/ Faculteit Wiskunde en Informatica
6-10-2010
16
10/6/2010
Certificatie toepassen binnen het proces
• Decision making – meer zekerheid • Supplier selection – eis certificaat • Transition – certificaten gewaarborgd • Service provision – kwaliteit service gewaarborgd. • Contract termination – gemakkelijker overdracht
/ Faculteit Wiskunde en Informatica
6-10-2010
Toekomstige toepassingen • Offshoring – betere communicatie • Vervolgsourcing – geen vendor lock-in • Multisourcing – automatische afstemming tussen partijen
/ Faculteit Wiskunde en Informatica
6-10-2010
17
10/6/2010
Toekomstige toepassingen • Wij helpen!
• Wie volgt?
/ Faculteit Wiskunde en Informatica
6-10-2010
Certificatie in ApplicatieOutsourcing Stellingen Prof. Mark van den Brand Dr Alexander Serebrenik Ir Amrita Mishra Ir Martijn Klabbers
18
10/6/2010
Stelling 1 • Onderzoek in applicatie-offshoring biedt verdieping van kennis in software ontwikkeling
/ Faculteit Wiskunde en Informatica
6-10-2010
Stelling 2 • Certificatie in Applicatie-Outsourcing biedt kansen voor innovatie in outsourcing
/ Faculteit Wiskunde en Informatica
6-10-2010
19
10/6/2010
Stelling 3 • Met Certificatie in Applicatie-Outsourcing verbetert de communicatie tussen betrokken partijen
/ Faculteit Wiskunde en Informatica
6-10-2010
Stelling 4
• Certificatie op meerdere artefacten maakt de afzonderlijke certificaties aanzienlijk sneller en goedkoper
/ Faculteit Wiskunde en Informatica
6-10-2010
20
10/6/2010
Stelling 5 • Certificatie biedt geen meerwaarde voor de eindgebruiker
/ Faculteit Wiskunde en Informatica
6-10-2010
Stelling 6 • Outsourcing is economisch gedreven niet kwaliteit gedreven
/ Faculteit Wiskunde en Informatica
6-10-2010
21
10/6/2010
Stelling 7
• Hoogwaardige offshoring impliceert onderwijs en onderzoek in “global software development”
/ Faculteit Wiskunde en Informatica
6-10-2010
Stelling 8
• Outsourcing heeft alleen toekomst als er lokaal (bijv. in India) in onderwijs en onderzoek wordt geïnvesteerd
/ Faculteit Wiskunde en Informatica
6-10-2010
22
10/6/2010
Stelling 9 • Outsourcing/offshoring creëert meer werkgelegenheid voor ICT Nederland
/ Faculteit Wiskunde en Informatica
6-10-2010
Vragen/discussie
/ Faculteit Wiskunde en Informatica
6-10-2010
23
