原書分析案例 14.1,以兩個網站版本的成功/失敗次數示範 A/B 測試與卡方顯著性檢定。
網站新版 A 與原版 B 在三天內共獲得 2,750 位訪客,企業要決定是否切換到新版 A。
| 版本 | 訪客 | 正向結果 | 非正向結果 |
|---|---|---|---|
| A | 1,310 | 450 | 860 |
| B | 1,440 | 395 | 1,045 |
由 Excel 或 R 計算兩版本成功率並進行 2×2 卡方檢定。人工智慧只負責解釋已計算的比例、p 值與決策風險。
| 項目 | 由原書數字計算 |
|---|---|
| A 成功率 | 450/1,310 ≈ 34.35% |
| B 成功率 | 395/1,440 ≈ 27.43% |
| 絕對差異 | 約 6.92 個百分點 |
| 卡方檢定 | 依同一 2×2 次數重算,p 值遠低於 0.05 |
新版 A 在這三天的正向結果比例較高,而且差異不太可能只由隨機波動造成。不過正式切換前仍應確認流量分派是否隨機、版本是否同時受到其他變動影響,以及三天觀察期是否代表正常流量。
已知 A 版 1,310 位訪客中 450 位正向,B 版 1,440 位中 395 位正向;Excel 卡方檢定顯著。請比較兩版本成功率、絕對差異與決策限制,不要重新生成任何未提供的實驗資料。
**問題:**如果 A 版訪客主要來自高意願客群,而 B 版主要是一般流量,還能把差異歸因於版本嗎?