Minősítéses mérőrendszerek képességvizsgálata Vágó Emese, Dr. Kemény Sándor Budapesti Műszaki és Gazdaságtudományi Egyetem Kémiai és Környezeti Folyamatmérnöki Tanszék
Az előadás vázlata
1. Minősítéses mérőrendszerek vizsgálata az AIAG előirat szerint 2. Új, modell‐alapú módszer bemutatása
2
Minősítéses mérőeszközök
Két lehetséges kimenet 3
A minősítéses mérőrendszer modellje P(elfogadás) 1
Bizonytalan döntés
Mérőeszköz‐képesség‐ görbe (GPC) 0 Méret (x) Elutasítási tartomány
Elfogadási tartomány
Rossz
Jó Specifikációs határ
4
A minősítéses mérőrendszer modellje P(elfogadás) 1
Mekkora a hibás döntés valószínűsége?
Bizonytalan döntés
Mennyire egyeznek az operátorok döntései? 0 Méret (x) Elutasítási tartomány
Elfogadási tartomány
Rossz
Jó Specifikációs határ
5
AIAG
A minősítéses mérőrendszerek képességvizsgálatának módszerei az Automotive Industry Action Group előirata szerint: • Signal detection approach • Analitikus módszer • Keresztosztályozásos módszer
6
Keresztosztályozásos módszer 50 darabot 3 operátor minősít 3 ismétléssel Operátor A
A
A
B
B
B
C
C
C
1
1
1
0
1
0
1
1
1
1
2
1
1
1
0
0
1
0
1
1
0
0
0
0
0
1
0
0
0
…
Darab
50
1: elfogadás 0: elutasítás 7
Keresztosztályozásos módszer 50 darabot 3 operátor minősít 3 ismétléssel Operátor B
C
1
1
1
1
2
1
0
0
50
1
1
1
51
1
0
1
0
1
1
0
0
0
…
A
… 100 … 150
1: elfogadás 0: elutasítás 8
Kappa Mért gyakoriságok: B
A
0
1
Σ
0
44
6
50
1
3
97
100
47
103
150
Σ
Számított gyakoriságok: B
A
0
1
0
15.7
34.3
1
31.3
68.7
Ha a két operátor mérési eredményei függetlenek lennének, a határgyakoriságok határoznák meg a különböző cellákba esés valószínűségét
47 ⋅ 50 n( sz )11 = = 15.7 150
9
Kappa A főátlóbeli cellákba esés valószínűsége: n(m)00 + n(m)11 p ( m) = N n( sz )00 + n( sz )11 p( sz ) = N p (m) − p ( sz ) kappa = 1 − p ( sz )
A B C
A ‐ 0.86 0.78
B 0.86 ‐ 0.79
C 0.78 0.79 ‐
Kappa > 0.75 jó egyezés Kappa < 0.4 rossz egyezés 10
Keresztosztályozásos módszer 50 darabot 3 operátor minősít 3 ismétléssel Operátor A
A
A
B
B
B
C
C
C
1
1
1
0
1
0
1
1
1
1
2
1
1
1
0
0
1
0
1
1
0
0
0
0
0
1
0
0
0
…
Darab
50
1: elfogadás 0: elutasítás 11
Keresztosztályozásos módszer 50 darabot 3 operátor minősít 3 ismétléssel Operátor B
C
1
1
1
1
2
1
0
0
50
1
1
1
51
1
0
1
0
1
1
0
0
0
…
A
… 100 … 150
1: elfogadás 0: elutasítás 12
Kappa
Darab 1
A 1
A 1
A 0
Operátor B B B 1 0 1
C 1
B
A
0 1
0 0 1
C 1
C 1
B 1 1 1
A
0 1
0 1 0
1 0 2 13
Kappa Kappa > 0.75 jó egyezés Kappa < 0.4 rossz egyezés AIAG szerinti párosítás
egy másféle párosítás
A
B
C
A
‐
0.86
0.78
B
0.86
‐
0.79
C
0.78
0.79
‐
A
B
C
A
‐
0.63
0.64
B C
0.63
‐
0.55
0.64
0.55
‐ 14
Kappa Knorr‐Bremse: Kappa mutatóval ellentmondásos eredményeket kaptak
A 1 1 2 1 3 1
A 0 1 0
Operátor A B B B C 0 1 0 0 1 0 1 0 0 1 0 1 1 0 1
C 0 0 0
C 0 0 0
4 1 0 0 1 0 0 1 0 0
A B C
A ‐ 0.95 0.98
B 0.95 ‐ 0.98
C 0.98 0.98 ‐
… 30 1 0 0 1 0 0 1 0 0 15
Kappa Knorr‐Bremse: Kappa mutatóval ellentmondásos eredményeket kaptak
A 1 0 2 1 3 1
A 1 1 1
Operátor A B B B C 1 1 1 1 1 1 0 1 1 1 1 1 1 1 1
C 1 1 0
C 1 1 1
4 1 1 1 1 1 1 1 1 1
A B C
A B C ‐ ‐0.01 ‐0.01 ‐0.01 ‐ ‐0.01 ‐0.01 ‐0.01 ‐
… 30 1 1 1 1 1 1 1 1 1 16
Kappa Kappa számítása ismétlés nélküli mérések esetén jogos, értéke ebben az esetben is erősen függ a főátlóbeli elemek eloszlásától.
B
A
0
1
0 20
6
1 4
50
0,9 0,8
kappa= 0.709
0,7
kappa
0,6
B 0 A
1
0 4
6
1 4
66
kappa= 0.375
0,5 0,4 0,3 0,2 0,1 0 0,01
0,1
1
log (elfogadott/elutasított)
10
100
17
Keresztosztályozásos módszer
50 darabot 3 operátor minősít 3 ismétléssel
Rossz SH=0,465 Jó
Ref. 0,409 … 0,462 0,470 … 0,600
A 0
A 0
A 0
Operátor B B B 0 0 0
1 1
1 1
0 1
1 0
1 1
1 1
0 1
1 1
1 1
1
1
1
1
1
1
1
1
1
C 0
C 0
C 0
18
Keresztosztályozásos módszer Keresztosztályozásos táblázatból számolt mutatók: Döntés
• Hatékonyság • Téves elfogadások aránya
Elfogad Elutasít
• Téves elutasítások aránya • Torzítás • Ismételhetőség
Darab
Jó
45
2
Rossz
3
100
Legyen a minősítések összes száma rögzített. A cellagyakoriságok varianciája annál kisebb, minél kevesebb ismétléssel végezték a minősítést. Jobb 150 darabot egyszer minősíteni, mint 50‐et háromszor. 19
Keresztosztályozásos módszer – Bayes tétel B operátor Minősítés Elfogad Elutasít Darab Jó (ref.) Rossz Σ
Σ
45
2
47
3
100
103
48
102
150
3 ˆ P ( rossz elfogad ) = = 0, 062 48
45 ˆ P ( elfogad jó ) = = 0,980 47 3 ˆ P ( elfogad rossz ) = = 0, 029 103
2 Pˆ ( jó elutasít ) = = 0, 0196 102 20
Keresztosztályozásos módszer – Bayes tétel Az AIAG szerinti számolási mód, ha megváltozik a folyamat:
P ( R elfogad ) =
P ( R ), P ( J )
P (elfogad R ) P ( R ) P (elfogad R ) P ( R ) + P (elfogad J ) P ( J )
J: jó R: rossz
Új folyamatra jellemző értékek
Feltételes Feltételezés valószínűségek változatlanok
! NEM TELJESÜL !
P (elfogad R ) P (elutasít J )
„Régi” folyamatra jellemző értékek 21
AIAG A minősítéses mérőrendszerek képességvizsgálatának módszerei az Automotive Industry Action Group előirata szerint: • Signal detection approach • Analitikus módszer • Keresztosztályozásos módszer
22
Analitikus módszer P(elfogadás) 1
Bizonytalan döntés
A görbe s‐alakú részét grafikusan ábrázolják egy Gauss‐hálós ábrán (linearizálás). ‐ Az illesztés módja heurisztikus néhány ponton.
0
Méret (x)
Elutasítási tartomány
Elfogadási tartomány
‐ A transzformáció miatt szükséges súlyozást nem veszik figyelembe.
23
AIAG előirat kritikája ¾A Cohen‐kappa helytelen használata. ¾A Cohen‐kappa alkalmatlan a mérőeszköz jellemzésére. ¾Ha a folyamat megváltozik, a keresztosztályozásos elemzésből a Bayes‐tétellel nem becsülhetők a felhasználó számára érdekes feltételes valószínűségek. ¾Az analitikus módszernél alkalmazott illesztés elvileg hibás. ¾A keresztosztályozásos és analitikus módszer eredményei együtt nem értelmezhetők. Elkülönül a mérőeszköz‐képesség‐ görbe, és a mérőrendszer alkalmasságának vizsgálata. ¾A keresztosztályozásos módszer a „túl nagy” és „túl kicsi” kategóriákat összevonva kezeli. 24
A javasolt módszer (ha x mérhető) Javasolt (feltételezett) modell: Mérőeszköz‐képesség‐görbe (GPC)
logit[p]
p=P(elfogad) 1
Bizonytalan döntés
0 Elutasítási tartomány
p logit [ p ] = ln =α + β x 1-p
exp(α + β x) p= 1 + exp(α + β x) Méret (x) Elfogadási tartomány
Méret (x)
25
Mérőeszköz képesség görbe
(
)
logit ( pi ) =α + βiO + β P +γiO*P x
β1O ≠ β2O
γ1O*P ≠ γ2O*P
&
1
1
Operator 1
Operator 1 Operator 2 P(1)
P(1)
Operator 2
0
0 Méret – referencia érték
Méret – referencia érték
26
26
Mérőeszköz képesség görbe A mérőeszköz képesség görbe javasolt jellemzői: Szürke zóna szélessége (GZ), Torzítás 1 0.95 P(1)
Torzítási = SH − xiinfl
α + βiO = SH + P β + γ iO*P
Torzítás 0.5
P(elfogad) Rossz darabok
Jó darabok
1
0.05
Rossz Jó
0
SH
Méret – referencia érték
méret
0
SH
27
Mérőeszköz képesség görbe A mérőeszköz képesség görbe javasolt jellemzői: Szürke zóna szélessége (GZ), Torzítás 1 0.95 P(1)
GZ0,05
Torzítási = SH − xiinfl
ε = 0, 05
α + βiO = SH + P β + γ iO*P
Torzítás 0.5
GZε ,i
0.05 0
SH
2 ln ( (1 − ε ) / ε ) = β P + γ iO∗P
Méret – referencia érték
28
A rossz döntés valószínűsége Annak valószínűsége, hogy egy elfogadott darab rossz:
P (elfogad ∪ Rossz )i P ( Rossz elfogad )i = P (elfogad )i
Annak valószínűsége, hogy egy elutasított darab jó:
P ( Jó elutasít )i =
P (elutasít ∪ Jó)i P (elutasít )i
29
A rossz döntés valószínűsége ∞
P (elfogad )i =
∫
f ( x) pi (x) dx
x =−∞
darabok sűrűségfüggvénye
egy darab elfogadási valószínűsége
f(x)
1
x
⎛ 1 ( x − μ) 2 ⎞ 1 f ( x) = exp ⎜ − ⎟ 2 2πσ ⎝ 2 σ ⎠
0
pi(x)
x
exp(α + β P x + β iO + γ iO*P x) pi ( x) = 1 + exp(α + β P x + β iO + γ iO*P x) 30
A rossz döntés valószínűsége ∞
P (elfogad )i =
∫
f ( x)
f ( x ) pi ( x)dx
SH
x =−∞
Az integrálási tartomány változtatásával: SH
P (elfogad ∪ Rossz )i =
∫
x
f ( x) pi ( x)dx Rossz
x =−∞
P ( Rossz elfogad )i =
P (elfogad ∪ Rossz )i P (elfogad )i +∞
P (elutasít ∪ Jó)i P ( Jó elutasít )i = = P (elutasít )i
∫
f ( x)(1 − pi ( x)) dx
∫
f ( x) (1 − pi ( x)) dx
x = SH +∞
x =−∞
31
A rossz döntés valószínűségének becslése ∞
P (elfogad )i =
∫
f ( x) pi (x)dx
x =−∞
A folyamat paraméterek (f(x)) függetlenek a mérőeszköz‐képesség‐ görbe paramétereitől (pi(x)). Ha a gyártási folyamat változik, a GPC paraméterek becslését nem kell megismételni. 1
f(x)
x
0
pi(x)
x 32
A minősítés kivitelezése ∞
P (elfogad )i =
∫
f ( x) pi dx
x =−∞
Véletlen minta Referencia érték (x) meghatározása
2. minta Ekvidisztáns minta 1
pi
1. minta
0
referencia érték ( x )
Folyamat paraméterek becslése
μˆ , σˆ
Referencia érték meghatározása Ismételt minősítések GPC paraméterek becslése βˆ =(αˆ, βˆ P , βˆiOP ,γˆiOP*P )
33
A becslési módszerek összehasonlítása A javasolt módszer az előirat minden problémájára megoldást nyújt. Milyen áron? Több mérést kell‐e végezni a képességvizsgálat során? Egy konstruált példán keresztül vizsgáltam ‐ a keresztosztályozásos módszer (AIAG előirat ) és ‐ a javasolt modell alapú számolás hatékonyságát.
34
A becslési módszerek összehasonlítása Példa Három különböző operátor vesz részt az elemzésben. Az operátorokhoz tartozó mérőeszköz‐képesség‐görbék paraméterei, a folyamat eloszlása és a specifikációs határ adott. Ezek ismeretében P ( R elfogad ) és P ( J elutasít ) számolható. Különböző mintaelemszámokra számoltam P ( R elfogad ) és P ( J eltutasít ) becslésének közepes négyzetes hibáját (MSE) ‐ keresztosztályozásos (AIAG típusú) ‐ modell alapú becslés esetén. 35
MSE ⎡⎣ P ( Jó elutasít ) ⎤⎦
MSE ⎡⎣ P ( Rossz elfogad ) ⎤⎦ vs. minősítések száma = mintaelemszám ⋅ ismétlésszám 0.030
1.5E-05
0.020
1.0E-05
0.010
5.0E-06
0.000
0.0E+00 0
100
200
300
400
Keresztosztályozás
0
50
100
150
200
250
300
350
400
450
4.E-05
0.002
0.001
2.E-05
0.000
0.E+00 0
100
200
300
400
0.016
0
50
100
150
200
250
300
350
400
450
0
50
100
150
200
250
300
350
400
450
3.E-05
0.012
2.E-05
Modell alapú N1=50 Ugyanannyi munkával sokkal kisebb MSE
0.008 1.E-05
0.004 0.000
0.E+00 0
100
200
300
400
36
Köszönöm a figyelmet!
37
