案例01｜三款電腦熟練度比較：F = 18.0221、p = 0.0005
案例02｜兩組客訴處理時間變異：F = 7.9385、p = 0.0216
案例03｜不同年資員工客訴處理平均時間：t = 12.6079
案例04｜溝通訓練前後客戶滿意度：paired t-test 不顯著
| 核心主題 | 主要觀點／方法 | 實務用途 | 重要條件／限制／延伸 |
|---|---|---|---|
| 虛無假設 H0／對立假設 Hα | H0 表示觀察差異可能由 chance 造成；Hα 表示存在真實差異 | 把商務問題轉成可檢定陳述 | 統計檢定不是「證明」Hα，而是判斷是否有足夠證據拒絕 H0 |
| α 與 confidence level | 原書以 95% confidence 對應 α=0.05；99% 對應 α=0.01 | 事先設定可接受風險 | 兩尾檢定時拒絕區分布在兩端 |
| p-value | 與事先設定的 α 比較 | 判斷樣本差異是否具統計顯著性 | 原書範例採 p<α → significant |
| F-test／ANOVA | 可檢查整體 regression model、兩組 variance，或多組 mean 差異 | 多條件比較、模型整體顯著性、變異比較 | ANOVA 顯著只代表至少有某些差異，不直接告訴你差在哪一組 |
| t-test | 比較兩組 mean、paired before/after，或檢查 regression 中個別 x | 兩組平均數、訓練前後、個別迴歸係數 | 需依 independent／paired、equal／unequal variance 與尾數選正確工具 |
| One-tailed vs Two-tailed | 有預先指定方向時用 one-tail；只問是否不同時用 two-tail | 改善、降低、增加 vs 單純差異 | 不能看到結果後才為了顯著性改成 one-tail |
| Reliability | 測量程序能否穩定、一致地得到結果 | 問卷、量表、評分工具 | 高 reliability 不保證 high validity |
| Cronbach’s alpha | 原書稱其為常見 reliability measure，通常以絕對值理解 | 量表內部一致性 | 原書列出一般 lower limit 約 ±0.70，探索性研究可能較低 |
| Validity | 重點是對 measurement results 的解讀是否適切 | 確認指標是否真的代表欲研究概念 | 可靠地量錯東西仍然可能沒有 validity |
第 11 章的核心是回答：樣本中看到的差異究竟值得相信，還是可能只是 chance variation。原書先處理 reliability、validity、confidence level、critical values 與 hypotheses，再進入 F-test 與 t-test 的 Excel 應用。這一章不是只背「p<0.05」，而是先選對問題、選對檢定，再用輸出做決策。
原書以 H0 表示觀察到的差異可能來自 chance，以 Hα 表示存在真實差異。在 95% confidence level 下，原書使用 α=0.05；若是 two-tailed test，總共 5% 的拒絕區分散在兩個 tails。判讀範例皆以 p-value 與 α 比較：p<α 時，結果被視為 statistically significant。
原書將 F-test 用於 repeated-measures ANOVA、整體 regression model significance、兩組 variance 的 equality，以及 between-group ANOVA；t-test 則用於 regression 中 individual independent variables、兩組 means，以及 paired before-after models。最重要的差異之一是：在 regression 裡，F-test 看「整體模型」，t-test 看「單一 predictor」。
原書說明，若研究問題事先具有方向，例如「新流程是否降低平均時間」或「訓練後是否提高分數」，可以用 one-tailed test；若只問「兩組是否不同」，沒有方向性預測，則使用 two-tailed test。原書也提醒 one-tail 需要較強的方向性理由。
原書區分 measurement reliability 與 validity：reliability 著重一致性，validity 著重測量結果的解讀是否真的對應欲研究的概念。高 reliability 並不保證 high validity。原書亦將 Cronbach’s alpha 列為常見的 reliability coefficient，並給出一般 lower limit 約 ±0.70 的經驗值。
ANOVA: Two-Factor Without Replication：同一批受試者在不同條件下比較。ANOVA: Single-Factor：比較三組以上的 group means。F-Test Two-Sample for Variances：比較兩組 variance。