原書分析案例 14.2,把 2011 與 2012 視為政策前後兩個版本,檢驗「獲利訂單增加 10% 即給經理獎金」的政策是否帶來顯著改善。
2012 年導入獎金政策,企業希望知道各省獲利訂單比例是否真的比 2011 年改善。
| 資料檔 | 比較年度 | 政策門檻 | 主要欄位 |
|---|---|---|---|
ORDERS.xlsx |
2011 與 2012 | 獲利訂單比例增加 10% | ORDERDATE、PROVINCE、ORDERID、利潤 |
以樞紐分析表分省計算兩年度全部訂單與獲利訂單比例,再計算年度差異;最後用 A/B 顯著性計算表進行卡方檢定。人工智慧只能解釋已計算結果。
| 項目 | 原書結果 |
|---|---|
| 全體 2012 對 2011 變化 | 約 +2% |
| 超過 +10% 的省份 | Quebec 與 PEI |
| 規模比較 | Quebec 訂單數約為 PEI 的 10 倍 |
| Quebec 顯著性 | 變化未達統計顯著 |
| 整體顯著性 | +2% 變化未達統計顯著 |
達到 10% 的管理門檻與通過統計檢定是兩件事。Quebec 的百分比改善超過門檻,但原書顯著性檢定並不支持把改善視為穩健的政策效果;整體 +2% 也未達顯著。
已知整體獲利訂單比例年增約 2%,Quebec 與 PEI 超過 10%,但 Quebec 與整體的 A/B 顯著性檢定都未達顯著。請說明「管理門檻」與「統計證據」的差別,並提出還需要哪些資料才能評估政策效果。
**問題:**若明年 Quebec 又出現超過 10% 的改善,是否就足以證明獎金政策有效?