案例13｜三個月觀察設計：Internal Logs、User Feedback 與 Structured／Unstructured Data

一、案例定位

本案例依原書 11.5 整理。

說明 Table 11.3 的 Observation Window 與 Data Source。

二、學習目標

知道原書採三個月 Observation Period。
分清 Internal Performance Logs 與 User Feedback。
理解 RAG 同時使用 Structured 與 Unstructured Data。

三、案例情境

原書說 Table 11.3 的前後比較結合 Internal Performance Logs 與 User Feedback Data，Observation Period 為三個月。RAG System 可同時從 Structured Data（ERP、CRM）與 Unstructured Data（Regulatory、Clinical）Retrieval／Reasoning。

四、開始資料

Design Element	原書資訊	分析意義
Observation period	Three months	短期 deployment observation
Operational evidence	Internal performance logs	Process／system KPI
User evidence	User feedback data	Satisfaction／experience
Structured source	ERP、CRM	Operational／transactional data
Unstructured source	Regulatory、clinical data	Evidence／document context

五、分析方法

建立 Data Provenance：每個 KPI 記錄 Source System、Measurement Window、Definition、Before Period、After Period、Owner。

六、計算結果

原書沒有提供 Sample Size、Before／After 各自的精確日期，也沒有列出 Statistical Significance Test。

七、結果分析與管理解讀

三個月前後比較可提供 Operational Evidence，但沒有 Randomized Control／Statistical Test 的資訊，因此不應擴張成嚴格因果證明。

八、AI 提問詞

請為 Table 11.3 建立 data provenance schema；明確列出原書未提供的 sample size、exact dates、statistical test，不得推測。