14_A/B 測試 | Notion

核心表格

核心主題	主要觀點／方法	實務用途	重要條件／限制／延伸
A/B 測試	比較兩個版本或兩個時期的成功比例	網站版本、政策、行銷與服務改善評估	最好有隨機分派與一致觀察條件
成功事件定義	在計算前清楚定義何謂成功／未成功	轉換率、獲利訂單、滿意比例	事後改門檻可能造成選擇性報告
比例差異	同時報告各組成功率與絕對差異	提供管理上直觀的改善幅度	差異大小與統計顯著是不同概念
顯著性檢定	以卡方或比例檢定判斷差異是否可能只是隨機波動	避免只因百分比改變就宣布成功	非隨機前後比較仍有因果限制
Excel／R／人工智慧分工	Excel／R 計算比例與 p 值；人工智慧整理決策條件	把測試結果轉為上線／政策建議	人工智慧不得產生未計算的轉換率或 p 值

A/B 分析至少要同時看成功率、樣本數、差異大小與統計顯著性。若只有比例高低，容易把短期隨機波動當成真實改善。

原書把相同思路延伸到 2011／2012 政策、2015／2016 行銷與清潔計畫，以及兩艘船的歷史比較。但愈偏離真正隨機實驗，因果解讀就必須愈保守。

清潔案例同時比較「只有 5 分」與「4–5 分」兩種成功門檻，提醒分析者：成功事件的定義會直接改變比例。應在分析設計階段說明，而不是為了取得顯著結果反覆改門檻。

ORDERS 案例中某省超過 10% 的政策門檻，不代表變化一定具有統計顯著；反過來，極大樣本下很小差異也可能顯著，但未必值得採取行動。