不同部門間交互驗證 尤其是量產單位和設計驗證單位之間的驗證,算是我一向認為處理起來棘手的問題。

主要是因為這種交互驗證都是發生客訴才會進行。
再來不論測試條件是否一致,往往交互驗證的樣品間就存在著時間差距(不同時期的材料,試產和量產往往都有些差距)。
常常只要交互驗證出現差異,量產單位都會第一時間導向設計單位的失誤。

差異出現後需要投入不少時間和人力去澄清。
那有沒有機會在投入人力之前就先檢驗測試結果的可信度呢?
答案是有的。在某些狀況下,確實是有機會在投入資源去澄清問題前,就可以鎖定一定程度的範圍,減少初期的工作量。

 

 ─ Z、T、F 檢定 ─ 概談常見的檢定法 

Z-test、T-test 和 F-test 是比較常見的檢定法,也是可靠度和品質驗證上比較常見的。

Z-test 是在母體標準差 σ 已知的條件下,將抽樣的平均值和預設的目標做比較,來了解二者之間是否存在顯著的差異;換句話說,有顯著差異則表示抽樣結果和你預期的結果明顯不符。

Xbar = 抽樣平均值
μ
0 = 預設的目標平圴值
n = 抽樣數

舉個例子說明:Zara 與其店東在店租的協議上發生的歧見。店東稱因物價指數上漲,店租將依指數調整。Zara 辯稱每日營業額不到預期的100,000,無法接受店租調漲。但店東則認為 Zara 生意不錯,故不接受這個理由。雙方各執一辭,於是找你來進行仲裁。
1. 抽樣樣本同母體,可視為σ已知
2. 有預設平均值 100,000
因此你可以用 Z-test 來進行驗證:

首先選擇顯著水準 α = 0.05,則 Z = 1.645 (由於這屬於單尾 Z-test,也就是只要證實平均營業額 > 100,000 即可,所以 α 要乘2倍,Z = 1.645)。
再來設定虛無假設
H
0 = 平均日營業額 > 100,000
H
1 = 平均日營業額 ≦ 100,000
抽樣64天的發票,得到平均值為98,000,σ=10。
則 Z=1.6 <1.64

表示無法拒絕虛無假設H
0,亦即推翻 Zara 辯稱日營業額不到100,000的理由。因此Zara應該接受漲價。

T-test 算是 Z-test 的延伸。

Z-test 是基於母體 σ 已知的條件下去做驗證,T-test 則是在母體的 σ 和 μ 都未知的狀況下去做驗證,並以抽樣的標準差 s 代替 σ

因此 T 的結果服從 n-1 自由度 (因為σ的值被s取代,因此自由度少了1) 的 T值。
當自由度越大 (n越大代表抽樣數越多) 時,T就越接近常態分佈。不過如果抽樣數很大的話,基本上就跟 Z-test 沒什麼不同了,所以 T-test 適合用來進行小樣本的驗證。

T值比較圖 (取自科學Online)

舉例說明:某銀行分行經理觀察數個月的資料後察覺顧客的數量有在減少的現象,於是他進行了一連串的顧客訪談,了解原來客戶抱怨的幾乎都是等待時間太長。經理抽樣計時後,臨櫃顧客等待時間平均為15分鐘。重新調整櫃台人員後再抽樣16個客戶計時,平均等待時間為11分鐘,標準差為2分鐘。於是該分行經理將這個改善報告提交到你這邊,希望銀行全面進行這樣的改善,因此你必須判定這樣的改善是否真的有效再決定是否進行全銀行的動作。
1. 母體平均值和標準差都未知。
2. 抽樣數量為小量 (<30)
因此你可以選擇用 T-test 來驗證。

首先決定顯著水準 α = 0.05,T0.05, 15 = -1.753 (此為左尾單尾驗證,只要等待時間明顯減少就表示改善有明顯效果,此數值可以用excel函數 t.inv 得到)
再來設定虛無假設
H
0 = 改善無明顯效果 μ  ≧ 15
H
1 = 改善具有明顯效果 μ < 15
計算得X
bar = 14.1 為臨界值,只要抽樣平均 < Xbar 就拒絕 H0 並表示有明顯改善。

分行經理抽樣的平均值為11分鐘,小於臨界值 14.1,因此這個改善動作有明顯效果,可以評估全行跟進。

實際應用時,F-test 其實具實用性,因為它討論的是變異數的比例。而實際應用中,變異數代表的特性遠比平均數來得重要。

假設我司生產的瓶裝水平均容量確實是3L,但每瓶的實際容量並不會剛好是3L。如果少裝了會影響消費者的權益,多裝了則會影響公司利潤。在這種情況下,瓶裝水的變異數應該要控制在一定的程度以下。而現在有兩個品牌的裝水機器都號稱其誤差量很小,那公司到底要選哪一個品牌就可以利用F-test來決定。

同樣,比較兩組材料的抗彎強度、兩個品牌的品質水準優劣等,都可以用 F-test 來了解。

s1 = 第一組 n 個樣本的變異數 (自由度為 n-1)
s2
= 第二組 m 個樣本的變異數 (自由度為 m-1)
F = S
1/ S2
H0 = 兩組樣本無顯著差異 σ1 = σ2
H1 = 兩組樣本有顯著差異 σ1 ≠ σ2
臨界值為 Fu = (α, n-1, m-1),而 FL 為 Fu 的倒數。

H0的接受域

 

 ─ 檢測結果矛盾的測試 ─ 用 Excel 幫你檢定比較快 

某個專案在量產後發生客訴表示機板燒壞。經工程分析後,認為是某元件在插拔AC/DC電源的過程中會產生一個高壓突波,致使線路上的元件被打穿。

其實在試產階段都會進行這類型的測試,測試次數為5000次,並未發現這種失效情況。

不過 MQA 端在重新進行測試 8 pcs 後提出了以下的數據推翻研發時期的測試結果。

MQA測試數據

自然這種結果讓研發單位沸騰了,工廠高層甚至直指設計驗證單位漏失。

由於這個問題造的結果是機板燒壞無法使用,直接影響客戶使用,是極嚴重的事件。
而庫裡還有4萬左右這樣的機板,看起來全都不能出貨了,甚至必須招回所有市場上的產品。
研發單位立刻找尋能夠就現有原料重工的方法,試圖將所有庫存重工,把損失降到最小。

設計驗證單位的高階主管立刻要求重新再驗證10pcs,找出為什麼在研發階段無法測出問題。

這把火燒得夠大的,各單位動員。

在這一團混亂中,容我們先倒帶一下,回到MQA提出數據的當下。
可以從數據中看出來,有三個樣本是在5000次內就發生失效。
以這個失效率來看,研發階段最高有75%的機率抓到問題,但是事實上一次都沒有,難不成我該去買樂透了嗎?

先檢定一下這個測試數據本身有沒有什麼問題。
把樣本分為兩組:
Group A: 測試次數小於5000次,3個樣本
Group B: 測試次數大於5000次,5個樣本
進行假設:
H
0 為 σA = σB
H1 為 σA ≠ σB
設定顯著水準 α = 0.05,決定接受域 (用 excel 回傳 f.inv.rt) 則 Fu = 19.247,FL = 0.052。
用 excel 的資料分析功能進行F檢定,結果如下:

Excel F檢定結果


F統計值為 0.044 < FL,表示此結果落入拒絕域,表示這兩組測試結果有明顯差異。


我個人比較傾向的說法是:這之間有一些我們還沒察覺的差異存在。

不過光靠 F-test 就要說服高層或MQA可能稍嫌不夠。所以需要一些佐證。
剛剛已經提過一個,就是設計階段的失效率和MQA的結果有極大的出入。

由於這個問題發生的原因是電子零件承受的電壓突波,可以視為電子元件反覆受到突波使元件壽命減少。
這種壽命分布一般可以用指數分布來表示,以時間檢剔 (取19000次) 來看共有三個失效。
MTBF為13832次,可靠度估計為95%。

慎重一點來評估,將四個失效樣品的次數進行建模後可以得到很類似指數分布的結果。

MQA數據建模結果

發生客訴的時間大約在量產後8個月,假設每天平均進行AC/DC插拔10次,8個月2400次,累積失效率為15%
如果這個客訴是重度使用者,其它使用者只使用了1/2或1/3的次數,累積失效率也有6%以上。
月出貨量大約一萬的數量看來,從最早出貨截至目前應該累積有數百個類似的客訴案件。
但客訴事實上只有一個,這也與從MQA數據產生出來的推估存在極大的落差。


檢討所有樣本的突波數據、材料等都沒有明顯差距,在檢討測試環境和手法後發現MQA的測試機板沒有保護,有可能是ESD造成失效。這個可能性確實是符合 F-test 的結果。

MQA後來又再重新進行10 pcs測試,並修正了測試環境,全部都測試到25000次仍然沒有失效出現。
於是危險層級又降下來,也沒有進行任務庫存重工作的動作。

不過悲催的是,這些分析和推估沒有為部門節省成本。
即使提供了分析和推估指出MQA測試結果有問題,MQA也重新再進行測試,但設計驗證單位仍然被要求花人力和樣品,用了一個星期的時間重新再驗證。

文章標籤
創作者介紹

生活的希格斯實驗室

Yashi Yang 發表在 痞客邦 PIXNET 留言(0) 人氣()