只用極少數的樣本 來驗證產品設計的可靠度在許多產業都是慣例,尤其是產品類別已經相對成熟的產業。

成熟的產品利潤相對低,投入研發階段的經費也較少。在研發的過程中,可靠度驗證是相當燒錢的程序。時間長、樣本數多而且測試完幾乎都不能回收再利用。因此只用極少數的樣本來進行可靠度測試成了最常見的做法。

然而,極少數樣品驗證得到的結果代表性有多高,能夠幫助品保下什麼程度的判斷,就是要討論的方向。

 

 ─ 貝氏定理 ─ 把經驗值做最大化的可利用度 

在現實經濟條件下,除非開發全新產品,否則幾乎沒有在用傳統統計推定法來估計產品可靠度。有時,因成本或市場競爭力的考量,研發時程過短,連要進行建模和概似推估 (參考對供應商材料沖切刀具的壽命管理) 都成了奢望。

在有限的資源下,僅進行極少量的測試就要驗證產品的可靠度,對可靠度工程師而言十分左右為難。


許多測試僅只驗證2、3個樣品即要證明其產品可靠性,但是在大量出貨後發生了客訴,回過頭來卻是要求可靠度工程單位澄清,這種情境在產業裡履見不鮮。

貝氏定理在這種情況下提供了管理及決策者一個很可用的方向,把過去的經驗所引導出的主觀判定極大化利用,在很經濟的狀況下得到相當可用的結論。

貝氏定理公式

Pr(A)為在未發生B之前A發生的機率 (先驗機率)
Pr(A│B)即已知B發生情況下,A又發生的機率 (後驗機率)。

在實務上應用貝氏定理時,這些數據都來自於過去經驗導引出的主觀判定,因此得到的可靠度結論是不夠客觀的。管理及決策者必須不斷蒐集客觀資料來修正這個結論,以免落入不可避免的錯誤決策中。

假設公司現在研發一個產品,設計原理跟前幾代都一樣,重新設計只是要增加可靠度而已。
公司將專案切分成三個階段,分別為A、B、C,三個階段順利完成可靠度的驗證後就要出貨。
基於以往的經驗,研發單位認為這個設計有95%的可靠度
,而且重新設計後,他們有八成的信心可以達成至少跟以往相同的可靠度 。但是他們擔心可能漏了某些重要的因素,可靠度可能會下降到只有60%。
為了競爭力和公司利潤,每個階段可靠度工程單位只有2個樣品可以進行設計驗證:

R1 = 95%,H1為達成理想設計的情況80%
R
2 = 60%,H2為漏失重要因素的情況20%

A階段,2個樣品都pass,則
Pr(R
1│H1) = 0.8*0.95^2/ [(0.8*0.95^2)+(0.2*0.6^2)] = 90.9%
有足夠的信心度,於是工程單位並未對設計進行任何變更,專案進入B階段。

B階段,2個樣品也都通過了測試,則
Pr(R
1│H1) = 0.8*0.95^4/ [(0.8*0.95^4)+(0.2*0.6^4)] = 96.2%
有更高的信心度,於是工程單位仍然沒有對設計進行任何變更,專案進入C階段。

C階段,1個樣品通過了測試但另1個發生了失效,則
Pr(R
1│H1) = 0.8*0.05*0.95^5/ [(0.8*0.95^5*0.05)+(0.2*0.6^5*0.4)] = 83.3%
經過分析,材料或製程上沒有任何變因。

即使發生了一個失效的結果,以貝氏定理來推估也符合原先研發的預期:有八成的信心可以達成預期的可靠度設計。
如果這個失效發生在A或B階段,都還有足夠的時間來進行修正,但C階段結束也逼進產品上市的時間,如果要跟市場上其它同類型產品競爭,勢必沒有時間重新再修改設計並驗證。

對一個品保的管理者來說,到底該不該對這個新產品的設計提出質疑,還是就讓決策者決定出貨?

 

 ─ 思考謬誤 ─ 經驗不一定可以適用 

有時,應用貝氏定理還是會讓可靠度工程師陷入兩難的局面。

對管理及決策者而言,同樣的狀況,選擇直接出貨,在市場上出了問題,損失的將是召回維修和商譽;選擇拉長研發時間,產品失去競爭力,同樣蒙受損失的也是公司。因此,客觀考量全局各種因素以免被主觀判定限制是管理者很重要的工作。

雖然產品已經趨近成熟,但隨著消費者喜好的改變和市場競爭方向的變化,產品本身的設計事實上一直在演進。
新的設計方法也一直在導入,而使用者的習慣也不停在改變。品質的目標或是品質機能本身會改變。
因此,一直延用以往經驗導出的判斷在經過長時間的變化後會慢慢無法適用。原本用來降低成本提高效率貝氏定理的也變成一個不知所以然的做法。

在日益講求速度的發展方向中,工程人員修改細部的設計卻沒有仔細研究或評估對設計原理的影響、可靠度人員一慣使用貝氏定理來驗證,造成災難性的謬誤在業界履見不鮮。

有過一個專案,產品是七、八年來已經被業界認為是十分成熟的產品。為了賦予這的世代產品更高競爭力和利潤,設計人員在一個功能不複雜的模組上進行了cost down的修改。
主觀而言,設計人員的認為這個修改沒有太大影響,因此擁有信心度90%使可靠度能像以往一樣有90%以上的水準。

在第一次試產驗證中立即發生了這個模組失效的狀況。
研發人員也迅速導入了補強方案,在重新驗證2個樣品後結果都為通過。
(第一次謬誤)

進入第二階段試產後,再驗證2個樣品,發現1個樣品失效。
研發人員在分析後,認為是之前的解決方案不夠完整,於是再度導入了補強方案。可靠度單位有了上次的經驗,將這個新的解決方案驗證在10個樣品上,結果都是過。於是決策者認為這個方案是有效的,進入實際生產階段。
(第二次謬誤)

進入量產後第一批產品抽測,100 個產品有 6 個發生這個模組功能失效的問題。以良率而言不到2σ,而且公司在後續相關的客訴中承受了極大的損失。全面檢討並推翻主觀判斷後才發現,原來在最初看似簡單cost down變更時已經嚴重影響了這個模組的工作原理,以致於後續怎麼進行補強作業都無法將可靠度提升到期望值。

第一次謬誤發生在於:貝氏定理已經告訴我們,設計人員的評估是錯的!因此,有可能基於經驗而得來的主觀判定並不適用。(這是很重要且必須被考量的一點,但往往被忽略)
以實際驗證結果指出,目前設計最高只有60%的機率達到原先設計者的要求。由於新世代的設計做了修改,因此檢討動作應該是重新評估這次的設計變更對原始設的原理是否發生影響、造成了預期之外的結果。
但是管理及決策者都忽略了最基本的問題,直接相信由以往經驗導引出的主觀判斷,認為這樣的設計是有機會達成預期目標。在這個主觀判斷的引導下,工程人員很容易繼續在錯的設計進行補強,而非修正錯的設計。

實務操作時,除非是相當客觀的管理或決策者,否則很難在這個階段就推翻主觀判斷重新進行設計檢討,通常會希望照現有設計方案繼續往下做以減少開發時程、降低成本。
這種謬誤的發生往往源自於心理捷徑,使操作人員習於以過往經驗及思考傾向來進行決策。

品保人員的工作常必須摻雜大量的溝通,但在這個階段夠說服管理高層推翻現有設計實為一件難事。

第二次謬誤發生的狀況其實十分明顯,有兩個方向可以推想:
#1 考量導入補強措施後驗證共4個樣品的結果,此設計能達到的可靠度比較接近70%而非原本預期的90%。但此考量方向仍太主觀。
#2 加入了製造和時間,驗證樣品實際只有2個,結果指出:加入製造和時間因素後,達成預期結果的機率最高只有60%。若考量製造整個流程,這個設計可能因為某些因素使可靠度無法達成預期,必須進行全面檢討。

要說服管理及決策者時,#1確實太過主觀而缺乏說服力。
#2的考量點比較全面也比較具說服力,推動全面檢討的進行也比較有機會在設計面上做重新檢討。

也有可能遇到的狀況跟這個專案一樣,executive等決策層依然堅持以經驗導引出的主觀判定、再測試10個樣品仍是以通過/不通過 (貝氏定理式的驗證法) 來做決定而無法發現潛在問題,因此實際量產時的良率不高。
即使後續再導入更多的補強對策並在產線進行全檢作業,在產品送出到客戶手上時總有一定程度的不良會發生,肇因於在試產階段對可靠度的問題沒有做足夠的剖析、找出真因並解決。

我相信在不少產業都有同樣的情形:產品的測試條件、方式及樣品數都經過已建立的設計經驗和判斷,用最經濟的方法以教條 (principle)/聖經 (bibble) 的方式呈現,幾乎無法挑戰,甚至也不知道為什麼。於是品保人員只能把貝氏定理當成黑盒子使用,無法進行客觀的管理,使得品質目標難以達成。
保持開放的想法、蒐集各種客觀資料來進行反覆修正結果,就是品保的管理者十分重要的工作。

文章標籤
創作者介紹

生活的希格斯實驗室

Yashi Yang 發表在 痞客邦 PIXNET 留言(0) 人氣()