半科學 是大多數學科學的人對統計的印象。

其實這麼評斷統計學也不能算錯。在學統計的過程中總會發現這門學問怎麼這裡估計一點、那裡近似一下,混合了某些原本相悖的理論、然後又在某些地方將就一下,同時搞出一堆限制。因此,在我們的世代對統計這門學科的評價抱著正反不一的看法。

在台灣幫大數據這個辭彙興起一波浪潮的大概算柯文哲吧!?他在競選的前中後都用過這個辭,在他沒當選前,我想其它黨派的人大約都是把大數據當噱頭辭看待。

然而,去細想我們生活或工作中大多數處理事情的方法,會發現統計學其實是很貼近生活的。

 

 ─ 生活不也是半科學 ─ 

估計其實就是猜。

而生活中的每一秒其實都在猜下一秒會發生什麼事,只是我們自己沒有知覺。

在伊藤潤二的作品「耳語女 (耳擦りする女) 」中的女主角就有嚴重的精神疾病 (個人以淺薄的心理學知識認為她是一種十分嚴重的憂鬱症),對於任何要做決定的事,如果沒有人給予明白的指示都無法進行,包括連要不要起床、下床是要哪隻腳先著地等等。

耳語女 - 伊藤潤二 (收錄於魔之碎片,2013)

從該篇的內容可以看出來,其實我們在生活中不知不覺下了多少決定,而且是在沒有確切根據、參考資料,單憑經驗甚至不加思考,主要是因為這些決定帶來的後果無傷大雅。而我們能知道這些決定並不直接影響自己的生活,也是來自於過去每天每月在腦中累積下來的資料。其實這就是一種大量數據的分析,讓我們的大腦能集中在真正重要的事情上。

最近下大豪雨,家裡附近會不會淹水?
有人說會,那是在猜。
川普上任製造回流美國,對台灣經濟會造成多大影響?
分析師說還好,老闆說慘了,這也都是在猜。只是他們的根據不同,所以猜的結果略有差異。

猜測也是有層次的,毫無根據的猜測叫胡說;根據主觀經驗意識來推測叫揣測;科學化的猜測就叫估計。
統計不像物理或數學,總是能給出一個確切的值。對不了解統計的人來說,統計結果存在的誤差、區間和信心度等,對他們來講就像是沒有明確指示的內容,無法利用評估的結果來下決定。
因此估計在統計學中是一個很重要的因素。有了估計才能產生後續的建模和檢定工作,如果估計錯誤,那整個模型和檢定都會有問題。

其實統計估計也沒想像中的那麼不科學,主要是視使用這個估計結果的人對統計有多少了解。
寫這篇文章前我還特地去查了一下,在台灣統計究竟是屬於哪一類組。結果令我驚訝的是,統計學在台灣居然多歸在社會類 (也就是一類)。當然也有放在二類的,主要是看整個該科系的運用範圍,但幾乎都放商學院了。在台灣,統計幾乎被歸入了「非數理工學」去了,這算是一種台灣社會對統計的一種迷思吧。也難怪在產業中用統計來進行評估是人微言輕。不過這也一定程度上透露了統計這種半科學的限制。

統計估計法有兩種:點估計和區間估計。
點估計就是直接推估一個結果為真值。
區間估計即是推估真值落在某一個區間內。

例如看到一個人走過來,你推測他有180公分,這就叫點估計;推測他的身高在175~185公分之間,這就叫區間估計。
但事實上對方身高多少你並不知道,對這份猜測有多少的準確性也不得而知,因此不能叫科學。

所以區間估計是考慮了變異數,構成了上下界限來標示出可能的範圍。而推估的事前準確機率就是「信心水準」。在這個信心水準下推估出來的區間就是「信賴區間」。
例如,我估計一個產品的客訴量在 3.5%~5.2% 之間,信心水準為95%,這表示還有 5% 的可能性是客訴量在我估計的區間外。(針對顯著水準、虛無假設等,日後再針對這個議題做一個深入討論) 同時這也透露出一個事實,就是估計是沒有100%信心水準的。

對於點估計,當樣本取出後機率不是 0 就是 1,猜對或猜錯。
而區間估計的結果往往也是要在日後持續蒐集資料來驗證。

基本上,區間估計就是兩個點估計的組合。它先推估出母體的平均點估計值,再推估出母體變異數的點估計,再將平均點估計往上往下加減變異數,就會得到區間估計的結果。
如果樣本的分佈服從常態分佈,那平均數的區間估計就會是

 

 ─ 常用的統計估計法 ─ 

以我個人而言,最實用也最常用的統計估計法是最小平方法和貝氏估計法。

其實貝氏估計法很特別,跟其它估計法比起來可以說是自成一派。
一般較為常見的動差估計法 (the method of moment)、最小平方法 (The method of last ssqaure) 和最大概似估計法 (The method of mazimum likelihood) 都是較為傳統、概念比較相近的做法。而貝氏估計法完全和這三者沒有共通之處。

但我之所以把貝氏估計法列為最實用也最常用的手法,主要是因為在業界工作,很多身不由己的時候;沒有足夠的研究成本、缺乏時間、甚至是樣本數量不足等;為了企業在經濟上的考量,貝氏估計法是十分實用的。仍然要提醒一點,使用貝氏估計法,必須確定以往的經驗是可以參考的,當經驗值不足以參考時,我依舊認為貝氏估計法不適合。

LSQ (最小平方法) 是商學背景的朋友都很熟悉的,因為它在建立迴歸模型上有重要的地位。
它在迴歸建模的參數估計上是最簡單的方法,而且可以很良好得到線性最佳化。

從 LSQ 最原本的概念開始說起。


δ1δ2δ3...互相獨立

這是 LSQ 基本上使用的限制。
以迴歸模型為例

求最小平方即為誤差最小平方

執行偏微分求極值

  &  

可以得到並整理為


B即為迴歸模型的截距,B則是模型的斜率。

這方法跟我用 EXCEL 來進行韋伯三參數估計是同樣的方法。
然而,你會發現誤差項目的期望值要為 0  是不可能的事情。因此只能退而求其次,尋找誤差平方最小者 (平方是為了同時考慮正負誤差),也就是最小的變異數。平均而言,應該能協助我們找到離母體群最為接近的參數。

但是這個方法很容易受到離群值的影響。

迴歸模型和樣品值的差異

當建模完成後,如何解釋離群值將會是一大問題。
另外,自變數 X 的變化對結果帶來的影響很小,但應變數 Y 從連續變數改變為類別變數或順序變數時,整體的變異數同質性又會破壞。於是統計學家又在之後發展出了加權最小平方法 (WLS) 和一般化最小平方法 (GLS)。

但基本上來說,一般求解上還是以最小平方法最為常用,主要是在多樣本的條件下,還是母體為一個連續分佈。
在非線性的領域裡,可能就要改用最大概似估計法才會比最小平方法來得適合。

貝氏法的特別之處在於它不像上面提到的三個傳統方法。它的運作方式在這篇文章中已經提過,不再重新提。
它的觀念十分特別,是利用一次次的後驗機率再修正來趨近事實機率。

這裡提一個例子來了解一下,為什麼貝氏估計在商業或經濟的條件下十分適用。

打撈作業一直是一件很困難的工作。最先必須解決的困難就是:到底要撈哪裡?
雖然我們往往掌握了飛機或船沉沒前的最後資訊,但是離事實上沉沒的地點會有差距,尤其是某些事故下特別難掌握,看看馬航 MH370 的事件就曉得。
而打撈費時費力,花費成本十分高,要怎麼在大海撈針的情況下,以最短的時間、最少的成本達到成果就是打撈團隊最大的困難。

John Craven 就是這方面的專家,他利用的就是貝氏估計來決定打撈點。

在各方專家依據災難發生時的速度、方向、潮流等等,先決定出最有可能的地點 (先驗機率 p),然後將附近可能的海域分成數個區塊。再根據專家的意見,將每一區塊的海水深度函數 (越深越難找到) 定義被找到的可能性 q。

統整後的可能打撈區塊 (每一格都定義了相對的 p & q)

假如黃色的格子在經過整理後,為最有可能的區塊,打撈團隊就從這裡開始。
根據打撈的結果 (後驗機率) 會有幾個方向

決策圖

如果真的飛機/船真的掉在黃色這一格,但找到的機率只有 q,打撈後只能找到部份殘骸卻找不到本體的機率為

經修正後的機率會比原本預估的 p 還要小。
此時其它方格的機率會相對提升

經修正後其它方格的機率也會根著變動,重新檢視最高機率的方格,進行下一步打撈的位置,反覆進行。

在打撈技術遠比現代落後的 1968 年,USS Scorpion 美軍潛艦在西班牙和葡萄牙西方的大西洋海域失蹤,當時僅知道潛艦的爆炸位置,但仍無法掌握殘骸可能的地點。當時就是利用這種貝氏估計法來打撈,經過幾次搜索後就找到殘骸。

 

 ─ 統計的黑盒子 ─ 

其實統計推論的主要工作只有兩項:推估和檢定。
以迴歸模型來說,建模之後也只是一個推估,估計的結果還是必須經過檢定才能確定這個模型的可靠度。

利用已知的結果,利用已掌握的資訊來找到合適的推估模型,去預期未來可能的結果。
估計這個工作事實上是比每次文章中分享的題目來得更大。

在對統計是「非數理工」的半科學迷思下,很多人都覺得統計不過就是按按計算機,把資料丟進去就會得到號稱科學的結果。殊不知在這些結果的背後需要統計上煞費苦心的工作。也因此統計推論對多數產業來說幾乎只剩空談。

文章標籤
創作者介紹

生活的希格斯實驗室

Yashi Yang 發表在 痞客邦 PIXNET 留言(0) 人氣()