案例02｜Data Pipeline：Sales＋Social Media、Cleaning、Normalization 與 Feature Extraction

一、案例定位

本案例依原書 8.3.1 整理。

建立 Market Trend Analysis 的 Data Collection 與 Preprocessing Pipeline。

二、學習目標

理解 Structured／Unstructured Data 的互補性。
掌握 Missing Value、Outlier、Normalization、Feature Extraction。
理解 Social Media Text 的 Tokenization、Stemming、Stopword Filtering。

三、案例情境

研究以 Retail Sales Data 觀察 Transaction、Category、Demographic 等資訊；Social Media Data 則來自 Twitter、Instagram、Facebook，用來理解 Public Opinion、Emerging Trend 與 Purchasing Decision。

四、開始資料

步驟	原書方法	目的
Cleaning	Missing-value Imputation、Outlier Analysis	提升資料完整性
Normalization	Z-score、Min–max Scaling	統一不同來源尺度
Feature Extraction	PCA、SVD	降維並保留重要資訊
Social Text	Tokenization、Stemming、Stopword Filtering	準備 NLP Input
Split	Training／Testing	Model Training 與 Evaluation

五、Excel／AI 分析方法

Excel 可追蹤 Missing Rate、Outlier Count、Scale Transformation 與 Feature Dictionary；AI 可協助 Text Cleaning Rule Review，但原始資料轉換仍需可重現。

六、計算結果

原書此節提供方法流程，未提供固定 Missing Rate 或 PCA Explained Variance 數值。

七、結果分析與管理解讀

多來源資料能降低單一視角限制，但 Data Fusion 前必須先處理尺度、缺失與語意格式問題，否則模型可能只是放大資料不一致。

八、AI 提問詞

請建立 Market Trend Data-preprocessing Checklist，分別處理 Sales Data 與 Social Media Text；未提供的 Missing Rate、Outlier Threshold 或 PCA Component Number 不要自行填寫。