一、案例定位

原書分析案例 14.1,以兩個網站版本的成功/失敗次數示範 A/B 測試與卡方顯著性檢定。

二、學習目標

三、案例情境

網站新版 A 與原版 B 在三天內共獲得 2,750 位訪客,企業要決定是否切換到新版 A。

四、開始資料

版本 訪客 正向結果 非正向結果
A 1,310 450 860
B 1,440 395 1,045

五、Excel/R/人工智慧分析方法

由 Excel 或 R 計算兩版本成功率並進行 2×2 卡方檢定。人工智慧只負責解釋已計算的比例、p 值與決策風險。

六、計算結果

項目 由原書數字計算
A 成功率 450/1,310 ≈ 34.35%
B 成功率 395/1,440 ≈ 27.43%
絕對差異 約 6.92 個百分點
卡方檢定 依同一 2×2 次數重算,p 值遠低於 0.05

七、結果分析與管理解讀

新版 A 在這三天的正向結果比例較高,而且差異不太可能只由隨機波動造成。不過正式切換前仍應確認流量分派是否隨機、版本是否同時受到其他變動影響,以及三天觀察期是否代表正常流量。

八、人工智慧提問詞

已知 A 版 1,310 位訪客中 450 位正向,B 版 1,440 位中 395 位正向;Excel 卡方檢定顯著。請比較兩版本成功率、絕對差異與決策限制,不要重新生成任何未提供的實驗資料。

九、思考/情境變動

**問題:**如果 A 版訪客主要來自高意願客群,而 B 版主要是一般流量,還能把差異歸因於版本嗎?