1. 案例定位

第 9.4 節 Orange 教學,以 Journal of Information Systems 截至 2021 年底的文章示範文字探勘流程。

2. 學習目標

理解文字蒐集與清理、前處理、分析、報告四階段,以及 Orange 如何用視覺化元件完成工作流程。

3. 案例情境

原書把同一批期刊文獻用 Orange 與後續 JMP Pro 分別分析,以便比較免費開源與商業工具的文字探勘能力。

4. 開始資料

步驟 原書主要工作
1 蒐集與清理 匯入文章、去重複、依語言/文件類型/長度/時間等篩選
2 文字前處理 斷詞、正規化、詞幹/詞形還原、n-gram、停用詞;建立文件—詞彙矩陣(Document-Term Matrix, DTM),並以奇異值分解(Singular Value Decomposition, SVD)進行降維
3 文字分析 主題模型、情緒分析等
4 報告 主題—詞彙表、文字雲、多維尺度、LDAvis 等
原書 Orange 主題模型 潛在語意索引/分析(Latent Semantic Indexing/Analysis, LSI/LSA)、潛在狄利克雷配置(Latent Dirichlet Allocation, LDA)、階層式狄利克雷程序(Hierarchical Dirichlet Process, HDP)、負矩陣分解(Negative Matrix Factorization, NMF),共 4 類

5. 分析方法

Corpus/Import Documents → Preprocess Text → Bag of Words 建立 DTM → Topic Modeling → 資料表/文字雲/多維尺度法(Multidimensional Scaling, MDS)/LDAvis。原書指出四種主題模型可同時執行。

6. 計算結果

本教學著重工作流程與功能比較,原書沒有列出固定文章數、最終主題數或主題準確率,因此沒有可重算的統一數值結果。

7. 結果分析與管理解讀

視覺化工作流程可以降低文字分析的程式門檻,但主題數、前處理與解讀仍需要分析者判斷;工具不會自動保證主題有商業意義。

8. 人工智慧提問詞

將一份文獻分析流程按「蒐集清理→前處理→分析→報告」四階段檢查,指出每階段的輸入、輸出與需要人工判斷的地方。

9. 思考/假設情境

問題: 若跳過前處理直接做主題模型,可能有何影響?

參考解答: 未處理的停用詞、詞形差異與雜訊可能進入 DTM,使主題更難解讀;原書把前處理列為獨立必要步驟。

10. 資料說明