1. Jan Jaap Cannegieter Rini van Solingen
Capability Maturity Model Integration (CMMI) Universiteit van Amsterdam
Jan Jaap Cannegieter
Rini van Solingen
Welkomswoord. Voorstelrondje. Huishoudelijke mededelingen.
Presentielijst. Adressenlijst.

2. Objectives of this lecture
Basic knowledge of CMMI
Basic insight in Software Process Improvement
Understanding the value of CMMI
Share experiences
Have fun
Reader op CD rom
Indien avond 2 of avond 3 niet aanweizg: inleveren samenvatting
Hoeveelheid huiswerk? Lezen reader ca. 3 uur p/week
Maken presentatie ca. 2 uur het gaat m de essentie, niet om de mooie plaatjes!

3. Education and training
SYSQA B.V.
Operational
Tactical
Strategic
Require-ments
Quality assurance
Testing
Auditing
SPI
Edit quality systems
Assessments / quick scans
Implementing: CMMI, ITIL, ASL, BISL, RUP, SDM, DSDM, Agile, PRINCE 2, PROQA
Improvement
Benchmarking
Assessments / quick scans
Tools
Support
Coördination
Execution
Requirements development
Requirements management
Information analysis
COTS selection
Edit business case
QA in projects
Controlling outsourcing
Edit quality plan
Inspections / reviews
Evaluations
Products
Projects
Processes
Suppliers
Mediation
Check of doelstelling van de cursus voldoet aan de verwachtingen van de cursisten. Noteer “bijstellingen” voor evaluatie achteraf.
De cursus wordt afgesloten met een eindtoets. Er kan een certificaat worden verkregen als aan de voorwaarden in de brief wordt voldaan.
Balangrijkste doel: later er je weg weer in kunnen vinden
Geen eenrichtingsverkeer; zelf veel doen
Education and training

4. LogicaCMG Founded 1969 Floated in 1983 Founded 1964 Floated in 1995
Founded in 1968
Floated in 1988
30 December 2002
Merger between
Logica and CMG
19 September 2005
Announcement of
offer for Unilog
21 August 2006
Announcement of offer
for WM-data
A large international company in ICT-services with a leading position in Europe
About employees
Active in 41 countries
Euro 4.5 billion revenue
Large porfolio for all application domains
Over 40 years of experience in ICT-services
Geef gelijk de data door van de andere vijf avonden
Geef aan dat het een actieve cursus wordt met veel inbreng en thuisstudie
Voorwaarden certificaat:
2 process areas uitgewerkt
assessmentrapport voldoende
Toets voldoende

5. Software Boeing 747 Every defect can be fatal!
lines of software
Equals about pages
Equals CMMI books
Every defect can be fatal!
Ariane-missile: 1 Billion Euro
Radar Guam: 255 Casualties
Altitude meters Boeing 757: 189 Casualties
Deutsche Telecom: 50 million Euro
Postbank Double withdrawals
.....

6. Software Characteristics
Intangible
Not physical (no weight, volume, .....)
Not measurable (difficult to test)
No production, only development
Flexible
Software often contains defects
Very young engineering discipline
Software ‘rules’ still unknown

7. Software Problems Typical visible problems Typical underlying problems
low productivity
low predictability (budget and planning)
low quality
high maintenance costs (>70%)
Typical underlying problems
little experience with used technology
insufficient understanding of processes
ineffective process monitoring
ad-hoc management

8. Software Successes – Best in Class
85% of projects within budget and planning
1 Defect per lines of code
50 times reduction failures after release
50% reduction of Time to Market with 90% reuse
Many companies develop software according to CMMI level 5

9. What is Quality?
“The extend in which something is capable to be used for a dedicated purpose”
(Van Dale Dictionary)

10. Bron: Garvin, D., Sloan Management Review, 1984
Views on Quality
Quality
Value-view
Process-view
User-view
Transcedent-view
Product-view
Bron: Garvin, D., Sloan Management Review, 1984

11. Therefore: Improve! Software everywhere in society
Software in life critical systems
Users demand predictable and reliable software development
Software development without problems is possible
Continuous improvement and measurement is a prerequisite
It’s time for software engineering!

12. “All models are wrong, but some of them are useful”
Starting point CMMI
“All models are wrong, but some of them are useful”
Animation
None
Explanation
This statement must emphasize that CMMI® is just a model, trying to describe the software development reality.
Background
This statement plays a central role in this training. Show that the CMMI® is just a model, that can be used to see what should happen in the reality of software development. The CMMI® has proven itself very useful in the preceding decade for model driven process improvement. You can return to this statement whenever useful in the presentation.
Instruction

13. History of CMMI Department of Defense Software Engineering Institute
1987 – 1991: Capability Maturity Model for Software
90’s: much more CMM’s
2000 – 2002: CMMI: integrated model for SW, SE, IPPD en SS
2006: CMMI framework and CMMI DEV
2007: CMMI ACQ and CMMI SVC
Het CMM is ontstaan in Amerika door de behoefte bij het Department of Defence (DoD) hun leveranciers te kunnen beoordelen. Met het CMM in de hand wilde het DoD alleen leveanciers die aan level 4 of 5 voldoen. Het CMM is ontstaan door bestudering van de manier waarop succesvolle software ontwikkelende organisaties zijn ingericht. Het CMM is het meest bekende proces-georiënteerde assessment en software process improvement model van de wereld.
Het CMM is ontwikkeld door Watts Humphrey van het SEI (Software Engineering Instituut) van de Carnegie Mellon University. Het is gratis beschikbaar op internet, maar de bestanden zijn zo groot dat het boek mogelijk goedkoper is.
Het CMM bestaat uit 5 niveau’s van volwassenheid (zie volgende sheet). Het overgrote deel van de organisaties zit op level 1. Voorbeelden van level 5 organisaties zijn de NASA en Boeing. Erikson is in Nederland een organisatie die op level 3 zit (was ooit 4).
Per niveau worden een aantal aandachtsgebieden onderscheiden, zogenaamde key process area’s. Ieder KPA bevat een aantal concrete eisen waaraan voldaan dient te worden.
Naast het CMM bestaat er de CMM based appraisal for internal process improvement; de assessment methode. Een assessment is een gestructureerde en geformaliseerde audit, aan de hand waarvan bepaald kan worden of de organisatie aan een bepaald niveau voldoet. Het assessment is gebaseerd op een maturity questionnaire. In de maturity questionnaire staan per KPA een aantal vragen die positief beantwoord dienen te worden om aan de eisen van het betreffende level te voldoen. Uitgevoerd volgens deze methode kost het assessment ongeveer 4 maanden en tussen de 80 en 130 mandagen. SYSQA heeft een alternatieve methode die dagen en mandagen kost.

14. Component 1: Process Area’s
Grouped activities
Requirements management
Project planning
Risk Management
Validation
Contains specific goals and practices

15. Example 1: Requirements Management
SG 1 Manage Requirements
SP 1.1 Obtain an Understanding of Requirements
SP 1.2 Obtain Commitment to Requirements
SP 1.3 Manage Requirements Changes
SP 1.4 Maintain Bidirectional Traceability of Requirements
SP 1.5 Identify Inconsistencies between Project Work and
Requirements

16. Example 2: Risk Management
SG 1 Prepare for Risk Management
SP 1.1 Determine Risk Sources and Categories
SP 1.2 Define Risk Parameters
SP 1.3 Establish a Risk Management Strategy
SG 2 Identify and Analyze Risks
SP 2.1 Identify Risks
SP 2.2 Evaluate, Categorize, and Prioritize Risks
SG 3 Mitigate Risks
SP 3.1 Develop Risk Mitigation Plans
SP 3.2 Implement Risk Mitigation Plans

17. Process Areas Process Management Organizational process focus
Organizational process definition
Organizational training
Organizational process performance
Organizational innovation and development
Project Management
Project planning
Project monitoring and control
Supplier agreement management
Risk management
Integrated teaming
Quantitative project management
Engineering
Requirements management
Requirements development
Technical solution
Product integration
Verification
Validation
Support
Configuration management
Process and product quality assurance
Measurement and analysis
Decision analysis and resolution
Causal analysis and resolution
Organizational environment for integr.

18. Component 2: generic components
Level 2 Institutionalize a Managed Process
- Establish an Organizational Policy
- Plan the Process
- Provide Resources
- Assign responsibility
- Train People
- Management Configurations
- Monitor and Control the Process
- Objectively Evaluate Adherence
- Review Status with Higher Level Management

19. Component 2: generic components
Level 3 – Institutionalize a defined process
Establish a Defined Process
Collect Improvement Information
Level 4 – Institutionalize a quantitavely managed process
Establish Quatitative Objectives for the Process
Stabilize Subprocess Performance
Level 5 – Institutionalize a Optimizing Process
Ensure Continuous Process Improvement
Correct Root Causes for Problems

20. CMMI – Staged Maturity levels
Optimizing
Organizational Innovation and Deployment
Causal Analysis and Resolution
Continuous
improvement
Quantitatively managed
Organizational Process Performance
Quantitative Project Management
Predictable process
Requirements development
Technical Solution
Product Integration
Verification
Validation
Org. Process Focus
Org. Process Definition
Organizational Training
Integrated Project Management
Risk Management
Integrated Teaming
Integrated Supplier Management
Decision Analysis and Resolution
Org. Environment for Integration
Defined
Standard
process
Requirements management
Project Planning
Project Monitoring and Control
Supplier Agreement Management
Managed
Measurement and Analysis
Process and Product Quality Assurance
Configuration Management
Initial niveau = ‘gratis’
Op het initial niveau wordt er software ontwikkeld. Dit gebeurd echter op een ad-hoc manier, waarbij er voor de ontwikkeling van elk afzonderlijk product een andere werkwijze wordt gevolgd. Er is vaak sprake van overschrijdingen van budget- en tijdsplanning, indien deze al aanwezig zijn. De kwaliteit van het geleverde eindproduct is onvoorspelbaar omdat deze gebaseerd is op de inzet, kennis en kunde van de individuele ontwikkelaars (‘helden’).
Op het niveau managed worden de basis management activiteiten ingevoerd. Er wordt meer uniformiteit in het software ontwikkelproces gebracht waardoor het voor de organisatie mogelijk wordt om vergelijkbare producten van een vergelijkbare kwaliteit op een vergelijkbare manier te produceren. Op niveau twee speelt ook kwaliteitszorg en configuratiemanagement een cruciale rol.
Door beschrijving van het proces en controle op de manier waarop dat proces in de praktijk wordt uitgevoerd kan de organisatie groeien naar het defined niveau. Doordat het proces gedefinieerd wordt, krijgt men grip op de afzonderlijke onderdelen van het proces en kan men daaraan sturing geven.
Op het managend niveau komt men echt tot beheersing van het software-ontwikkelproces. Hiervoor is het noodzakelijk om kwantitatieve informatie over het proces te verzamelen, deze te analyseren en te gebruiken bij het vaststellen en bijsturen van de planning.
Op het laatste niveau, optimized, is de organisatie in staat om op flexibele wijze het ontwikkelproces aan te passen aan de karakteristieken van het te ontwikkelen product. De organisatie weet hoe zij met veranderingen om moet gaan. Ze weet hoe ze deze moet onderkennen en door moet voeren. Continue verbeteren is bereikt.
Disciplined
process
Initial

21. CMMI: Continuous 5 4 3 2 1 RM PP PM&C SAM M&A QA CM …
Opzet totaal anders dan staged. Niet proberen de een met de ander te vergelijken!
Elk PA heeft zijn eigen volwassenheidsniveau: capability level
RM PP PM&C SAM M&A QA CM …

22. CMMI Continuous GD/GP N5 GD/GP N5 GD/GP N5 GD/GP N4 GD/GP N4 GD/GP N4
SD/SP
SD/SP
SD/SP
Procesgebied x
Procesgebied y
Procesgebied z

23. Staged versus continuous
Staged: maturity levels
Process area 1
Process area 2
Process area n
Specific goals
Generic goals
SG’s en SP’s voor 99% gelijk aan stapsgewijs
Specific practices
Continuous: capability levels
Generic practices

24. The difference shown in an other way
Process area

25. Measurement and analysis
You can’t control what you can’t measure

26. Common questions: What is the size of your system?
How long do you need to properly develop a feature of a certain size?
How long will a change request take to be implemented?
What is the chance that your product fails?
Where do you need to improve most?
Will your end-user be happy?
How many defects do you (probably) release to your customer?

27. Measurement & Analysis – PA - SG
SG 1 Align Measurement and Analysis Activities
SP 1.1 Establish Measurement Objectives
SP 1.2 Specify Measures
SP 1.3 Specify Data Collection and Storage Procedures
SP 1.4 Specify Analysis Procedures
SG 2 Provide Measurement Results
SP 2.1 Collect Measurement Data
SP 2.2 Analyze Measurement Data
SP 2.3 Store Data and Results
SP 2.4 Communicate Results

28. Measurement & Analysis – PA - GG
GG 2 Institutionalise a Managed Process
GP 2.1 Establish an Organizational Policy
GP 2.2 Plan the Process
GP 2.3 Provide Resources
GP 2.4 Assign Responsibility
GP 2.5 Train People
GP 2.6 Manage Configurations
GP 2.7 Identify & Involve Relevant Stakeholders
GP 2.8 Monitor and Control the Process
GP 2.9 Objectively Evaluate Adherence
GP 2.10 Review Status with Higher-Level Management

29. Quality: Example from Practice
140
Number of Defects detected per Month
120
100 80 60 40 20
Feb-94
Mar-94
Apr-94
May-94
Jun-94
Jul-94
Aug-94
Sep-94
Oct-94
Nov-94
Dec-94
Jan-95
Jul-95
Feb-95
Mar-95
Apr-95
May-95
Jun-95
Aug-95
Sep-95

30. Minimum data per project
Planned and spend time
Planned and spend throughput time
Planned and actual size
Defects, administered in moments of injection and detection

31. Software Process Improvement
Need for change
Perform assessment
Set objectives
Develop plan
Make preparations
Changing attitude towards quality
Implement
Assure and measure
Perform evaluation

32. Critical success factors SPI / CMMI
Management commitment
Involvement of all stakeholders
Need for improvement
Prioritization of actions
Planning and control of the CMMI-implementation
Clear goals
Use change management
Assurance of the new processes
Communication with all stakeholders
Sensitivity for organizational context
Availability of resources

33. What is the value of CMMI for companies?
Source of best practice
Standard in the IT-business
Proven technology
Saving money
Saving time extention
Higher quality
Satisfied customers
Success

34. What is the value of CMMI for you?
Source of best practices
Secret guideline
Mature professional
Structuring your projects
Being ahead of technical oriented professional
Managing a business is improving it
Success

35. CMMI: the facts Best-practice maturity model for process improvement
Category
Average
Low
High
Costs
20% 3%
87%
Time
37% 2%
90%
Productivity
62% 9%
255%
Quality
50% 7%
132%
Customer satisfaction
14%
-4%
55%
ROI
4.7 : 1
2:01
27.7 : 1
Toepassing lost 95% van de problemen op
Theoretisch niet altijd correct: Eerst Req.Management, dan Req.Development. Best practise; werkt in de praktijk wel zo
Gebaseerd op ervaringen van personen?/organisaties?
Investment: per employee per year
Change of failure: 58%

36. More information http://www.sei.cmu.edu (official cmmi pages)
De kleine CMMI voor ontwikkeling
Software Process Improvement –
Kwaliteitszorg in ICT-projecten –
CMMI Guidelines of process integration and product improvement
CMMI® Distilled
Practical Insight into the CMMI
Software Process Improvement – x

37. Questions?