Risico Analyse in de luchtvaart Michel Piers Nationaal Lucht- en Ruimtevaartlaboratorium NLR
IVW Masterclass Risico Analyse - 23 september 2003
Inhoud ●
Het luchtvaart veiligheid dilemma
●
Externe veiligheid en luchthaven ontwikkeling
●
Risico analyse in de taken van de inspectie
●
Causale modellen & de keten-benadering
●
Enkele conclusies
Master Class IVW 2
Veiligheid door vallen en opstaan
- 1908 -
Master Class IVW 3
Ongevallen onderzoek - reactieve veiligheid
Master Class IVW 4
De ‘zwarte’ doos
Master Class IVW 5
Analyse van gegevens uit de zwarte doos
Master Class IVW 6
Hoe is het zo veilig geworden ?
Relative Safety Performance per Aircraft Generation (Source NLR AirSafety Database)
6 5
5.1
4 3 2 1.7
1
1
0 Generation 1
Generation 2
Generation 3
Master Class IVW 7
Hoe veilig is vliegen eigenlijk ?
Master Class IVW 8
Heel veilig, maar toch ongevallen
Master Class IVW 9
Risico beleving & tolerantie
Formele doelstelling: ….. het berekende risico < toelaatbaar risico …..
Maatschappelijke doelstelling: ….. maak het waargenomen risico < tolereerbaar risico …..
Master Class IVW 11
Risico beleving & tolerantie ●
Wat bepaald het waargenomen risico: – – – – – – –
●
Aard van de gevolgen Cognitieve beschikbaarheid Controleerbaarheid/beïnvloedbaarheid van het risico Beheersbaarheid van de gevolgen van een ongeval Kwaliteit van de kennis van het risico Bekendheid met de activiteit en de risico’s Betrouwbaarheid van de bron van de risico informatie
Wat bepaald het tolereerbaar risico: – Het persoonlijk voordeel bij de activiteit – De vrijwilligheid van de blootstelling – Het aantal slachtoffers ineens
Master Class IVW 12
Risico beleving & tolerantie
Master Class IVW 13
De berekening van externe risico’s
Population
Accident probability
Location probability
Accident effects
Movements Acc. Rate
Routes
a/c weight
Groeps risico
Individueel risico
Master Class IVW 14
Risico maten - Individueel Risico
Individueel risico: de kans per jaar op overlijden door een vliegtuig ongeval van een denkbeeldig persoon die op een bepaalde locatie in het gebied rond de luchthaven verblijft
●
Kenmerken:
– Geldt voor individu – Plaats afhankelijk
Master Class IVW 15
Master Class IVW 16
Risico maten - Groepsrisico
Groepsrisico de kans per jaar dat een groep van N of meer personen onder de omwonenden van de luchthaven overlijdt door een vliegtuig ongeval Kenmerken: – Geldt voor hele bevolking – Niet locatie specifiek – Maatschappelijke afweging
Master Class IVW 17
Groepsrisico
Aantal slachtoffers [N] 1
Kans op N of meer slachtoffers
l
2
4
10
20
40
100
200
400
1000
1,E+00 1,E-01 1,E-02 1,E-03 1,E-04 1,E-05 1,E-06 1,E-07 1,E-08 Master Class IVW 18
Waarom groepsrisico ?
Master Class IVW 19
Groepsrisico en Ruimtelijke Ordening
Master Class IVW 20
Risico begrenzingen van Schiphol
VROM
Schiphol
IR max – nieuwe situaties
10 - 6
770 woningen binnen 10 - 6
IR max – bestaande situaties
10 - 5
Sloop woningen binnen 10 - 5
10 -3 / N 2
---
Groepsrisico
Heathrow :
IR max = 10 - 4
Master Class IVW 21
Grenzen aan de groei van Schiphol Totaal Risico Gewicht
OK x verkeer x MTOW = 8,9 OK
:
Ongevalskans per beweging = interne veiligheid
Verkeer :
Aantal starts- & landingen per jaar
MTOW :
Gemiddeld gewicht van de vliegtuigen
TRG max =
TRG van 5P scenario waarvoor geldt dat aantal woningen binnen IR 10 - 6 niet groter is dan in 1990
Master Class IVW 22
Ambitie van Nederlandse overheid
Annual Accident Rate 1957 - 1999
(worldwide, all accidents)
Accidents per million departures
60
50
40
30
20
10
19
19
59 61
19 63 19 65 19 67 19 69 19 71 19 73 19 75 19 77 19 79 19 81 19 83 19 85 19 87 19 89 19 91 19 93 19 95 19 97 19 99
0
Master Class IVW 23
Ontwikkeling veiligheid wereldwijd 40,0
1,80
35,0
1,60 1,40
30,0
1,20 25,0 1,00 20,0 0,80 15,0 0,60 10,0
Source NLR AirSafety Database worldwide, fatal accidents commercial, >5700 kg
5,0
0,20 0,00
19 80 19 81 19 82 19 83 19 84 19 85 19 86 19 87 19 88 19 89 19 90 19 91 19 92 19 93 19 94 19 95 19 96 19 97 19 98 19 99
0,0
0,40
nr. of flights [ millions ]
Accident Rate Master Class IVW 24
TRG als grens aan de groei 500%
14.6
14.0
450%
350%
8.9
300%
290%
10.0 8.0
0.0
1990 Verkeersvolume
200% 150% 115%
100%
100%
2.0
100%
4.0
5.6
100% 50%
55%
4.9
250%
190%
6.0
58% 104%
Totaal Risico Gewicht
400% 12.0
1999
2010
Accident Rate
MTOW
Verkeer, AR & MTOW als % van 1990 waarde
16.0
0%
2020 Totaal risico Gewicht Master Class IVW 25
Improving the AR to match traffic growth 1,4E-06
Extrapolate d
1,0E-06
trend 1990
Match
8,0E-07 6,0E-07
ing Tr
-2000
affic G
rowth
4,0E-07 2,0E-07 0,0E+00
US - Gore
EU
19 90 19 92 19 94 19 96 19 98 20 00 20 02 20 04 20 06 20 08 20 10 20 12 20 14 20 16 20 18 20 20
Fatal Accident Rate
1,2E-06
Master Class IVW 26
Externe risico’s voor de interne veiligheid
Master Class IVW 27
Threats ! ●
Environmental restrictions
●
Need for much more capacity
●
Litigation
●
Reducing conservative margins
●
Demographics
●
Increased reliance on automation
Master Class IVW 28
Wat moet er gebeuren ●
Veiligheid sterk verbeteren
●
Verslechtering van de veiligheid voorkomen
●
Dit alles mag niet re-actief, want: – duurt te lang – is te duur (vlgtg = 200 M , pax zijn 3M per stuk) – maatschappelijk onacceptabel
Master Class IVW 29
De uitdaging van groei binnen TRGmax ●
Verbeter een extreem veilig systeem – Zeer complex & redundant systeem geen ‘silver bullets’ – Wet van de afnemende meeropbrengst
●
Bewijs vooraf dat veiligheidsmaatregelen werken
●
Oefen nationale invloed uit op ‘global system’
Master Class IVW 30
Solving the Aviation Safety Dilemma
●
Broad scope: – regulations – organisations – operations – human operator – technology
Keten-benadering
Master Class IVW 31
The public policy process Internationally Internationally agreed agreedsafety safety objectives objectives National NationalSafety Safety Policy PolicyGovernment Government
Feedback Feedbackinto intoPolicy Policy AAIB AAIB
Policy PolicyImpact Impact Airlines, Airlines,Airports, Airports,ATC ATC
Outcomes Outcomes National National safety Record safety Record
Policy Policy Implementation Implementation (Institutions, resources, guidance) (Institutions, resources, guidance)
DETEC DETEC
Policy PolicyOutput Output (stand., inspect, report, guidance) (stand., inspect, report, guidance)
FOCA FOCA
Master Class IVW 32
“De Nederlandse overheid zal met alle mogelijke middelen ertoe bijdragen dat wereldwijd een zodanig veiligheidsniveau in de verkeersluchtvaart wordt bereikt dat de groei van het verkeer niet leidt tot een toename van het aantal ongevallen en slachtoffers” ( Blz 43 Nota Veiligheidsbeleid - 1996 )
Master Class IVW 33
The policy outcome A ccident rate by O perator D om icile P assenger, cargo and business operations max takeoff weight > 5,700 kg 10
Sw itzerland Benchmark Countries
Rate per m illion flights
8
Worldw ide
6
4
2
0 79-84
85-90
91-96
97-02 Master Class IVW 34
Risico analyse en de rol van de inspectie
●
Toezicht
- maar wat en hoe vaak ?
●
Regels maken
●
Instemmen
- maar is het veilig ?
●
Bevorderen
- maar waar en hoeveel ?
J
- nodig of niet ?
Master Class IVW 35
Risk-based regulatory oversight ●
Limited resources
●
Endless liabilities Ł Use risk analysis • simple • complex
Master Class IVW 36
Focus van het toezicht op de juiste plaats
Bemanning
84%
Omgeving
36%
Vliegtuig
35% 18%
Motoren
12%
Onderhoud Verkeersleiding Luchthaven
8% Source NLR AirSafety Database worldwide, fatal accidents known causes commercial, >5700 kg
4%
Master Class IVW 37
Flight crew non-adherance to SOPs as part of crew factor
85% 75% 65% 55% 45% 35% 1965
1970
1975
1980
1985
1990
1995
2000
Master Class IVW 38
Cargo ops - Accident rate per operator type 6,85
7
Cargo Passenger
Accidents per million flights
6 5
4
3,51
3
2,68 1,85
2 1,08
1,10
1,02
1
0 major
integrator
supplemental
ad-hoc
Master Class IVW 39
Accident rate per operator region 18
16,79
accidents per million flights
16
Cargo Passenger
14 12
9,02
10 8 6,16 6 3,69
3,83
4 2,50 2
1,16
1,08
0,20
2,12
0,52
0 AFRICA
ASIA
AUSTRALASIA
EUROPE
NORTH AMERICA SOUTH AMERICA
Master Class IVW 40
Risico gestuurd toezicht - complex(er)
1 : 1,000,000.
1 : 10,000.
1 : 100
1:1
ACCIDENTS
INCIDENTS
ROUTINE EVENTS
STANDARD OPERATIONS
Master Class IVW 41
Using routine event & normal ops data Exceedence analysis Flight Data Max. value
Trend Analysis 90 80 70 60 50 40 30 20 10
* * * ** * * * * * * ** * * * * * ** * *
1995 1996 1997 1998 1999 2000
Flight Animation
New techniques Master Class IVW 42
Using normal ops data for risk management
Pitch Attitude (deg)
20
15 Boeing Flight Crew Training Manual 10
5
0 0
2
4
6 Time in seconds
8
10 Master Class IVW 43
Using normal ops data for risk management
1 0.9
Example:
cumulative probability
0.8
Prob. pitch rate > 2,3 deg/sec must be less than 5%
0.7
B737- model X B737- model Y
0.6
B737- model Z 0.5 0.4 0.3 0.2 0.1 0 0
1
2
2,3
3
Average pitch rate between 4 and 14 degrees of pitch [deg/sec]
4
Regels maken ? ●
Limited resources
●
General aversion against rule based regulation
●
Rules need surveillance & enforcement Ł Use risk analysis
Master Class IVW 45
… regels aanscherpen ? …
Master Class IVW 46
Accident data - is er een verhoogd risico ?
CONTAMINATED
WET
DRY
0.0
4.0
8.0
12.0
Overrun rate per million flights Master Class IVW 47
Regulations - Safety of Contaminated Runways 3000
Test Data Citation
Drag (Newton)
2500
NLR method 2000
1500
1000
500
current JAA regulation 0 0
20
40
60
80
100
120
Speed (kt)
Master Class IVW 48
Instemmen ? ●
What are the risks ?
●
Is it safe enough ? Ł Use risk analysis • qualitative • quantitative
Master Class IVW 49
Instemmen met parallel landen ?
Master Class IVW 50
Safety Case: High Approach Landing System Frankfurt
Master Class IVW 51
5de baan - kruisingen Zwanenburgbaan
Master Class IVW 52
Safety Assessment Methodology
2
Construct 3 scenarios
Identify hazards
1 Determine operation
4
Assess severity
Iterate Assess 5 frequency
Develop operation
7
Identify safety bottlenecks
risk 6Assess tolerability
Master Class IVW 53
Hazard Classification Matrix
Severity Probability Catastrophic
Hazardous
Major
Minor
Probable
Unacceptable Unacceptable
Unacceptable
Tolerable
Remote
Unacceptable Unacceptable
Tolerable
Negligible
Extremely remote
Unacceptable
Tolerable
Negligible
Negligible
Extremely improbable
Tolerable
Negligible
Negligible
Negligible
Master Class IVW 54
Kwalitatieve safety assessments
Voorbeelden: ●
‘s nachts parallel landen
●
Future collision risk
●
Continuous descent approach
●
Kruisingsoperatie 5de baan
Master Class IVW 55
Instemmen - kwantitatief - simpel
Master Class IVW 56
Crosswind landing risk Crosswind accident rate per million flights 0.2
0.15
0.1
0.05
0
le s
s
n5 tha
kt s le s
s
0 n1 tha
kts le s
s
5 n1 tha
kts le s
s
0 n2 tha
kts le s
s
crosswind incl. gust
5 n2 tha
kts le s
s
0 n3 tha
kts
Source: NLR Air Safety Database Master Class IVW 57
Instemmen - kwantitatief - complex
Master Class IVW 58
Wake Generation
Wake Evolution
Wake Encounter
Wake Risk
Wake capacity
Master Class IVW 59
S-Wake windtunnel research
Master Class IVW 60
Wake Vortex risk assessment model Vortex trajectories and strength
FLIGHT PATH
VORTICES
WAKE EVOLUTION
ENCOUNTER
VORTEX SEVERITY
ENCOUNTER SEVERITY
Instantaneous risk
RISK SAFE SEPARATION Accident risk
Simulated positions and strength
WEATHER AERODYNAMICS
PILOT RESPONSE
Master Class IVW 61
S-Wake Validation of encounter model
Master Class IVW 62
Vortex Model Validation l
Validation of evolution model
NLR Citation II with DGPS and DERA-lidar scanning lidar beam
A340 (330) aircraft
Vortex- induced wind-field
Master Class IVW 63
Wake Vortex risk versus separation
Target Levels of Safety (TLS)
Master Class IVW 64
Bevorderen ... by improving safety - at least to match traffic growth ...
Ł Use causal models • to scope the necessary effort • focus resources for maximum safety benefit • to make safety benefits explicit
Master Class IVW 65
CAUSAL
NON-CAUSAL
Modelling Unsafety 1,3
1,2
1,1
1
?
traffic
accidents
0,9
0,8
0,7
0,6
0,5
1985
airport aircraft regulations
1995
2005
ATC crew
weather training Master Class IVW 66
Prototype Causal Model in Bayesian Network
accident accident
loss_of_c
departure_fr
collision_t
loss_of_c
departure_fr
general_d
undercarri
collision_
general_d
undercarri
collision_t
collision_
runway_exc runway_exc
gear_colla
wheels_up_
hard_land
loss_off_dir
collison_
security
collison_
aeroplane
security
overrun overrun
ATC
altitude_r
ATC
ac_encou ac_encou
cargo_rel
ac_encou
cargo_rel
take_off_ov
altitude_r
Vortex_wa
autoflight_
landing_ove landing_ove
take_off_ov
Vortex_wa
stall
autoflight_
aerodrom aerodrom
stall
nose_wheel
ATC_relat
unlawful_
hard_land
aeroplane
nose_wheel
ATC_relat
unlawful_
gear_colla
wheels_up_
loss_off_dir
ATC_fatig
ac_encou
ATC_fatig
ATC_workl
weather_r
hydraulic_
navigation
weather_r
hydraulic_
rejected_t rejected_t
flight_and
aircraft_s
ice_rain_p
aircraft_s
flight_cont
landing_g
ATC_workl
navigation
flight_and
unstabiliz
ice_rain_p
unstabiliz
flight_cont
weather_i landing_g
instrumen
weather_i
instrumen
engine engine
ac_loadin ac_loadin
flight_mai
crew_ac_
flight_mai
crew_ac_
cockpit_w cockpit_w
cockpit_fa cockpit_fa
Master Class IVW 67
ASTER - connection between cause and cost ● ●
The causal structure connected to the cost structure.
● ●
Accident described as sequence of events, events, triggered triggered by by descriptive descriptive and and explanatory explanatory factors factors CAUSAL
COST
CONSEQUENCE Master Class IVW 68
Conclusies
●
Het proces van veiligheidsverbetering moet véél sneller.
●
Er zijn tegelijk veel bedreigingen voor de veiligheid
●
Inspectie kan een sleutel rol spelen
●
Risico - analyse is daarbij essentieel.
Master Class IVW 69
Master Class IVW 70
