流程/架構案例,整合圖 6.5–6.7 與第 6.5 節。
掌握文字探勘三項連續任務,以及詞彙—文件矩陣(Term–Document Matrix, TDM)、停用詞、詞幹化、正規化、奇異值分解(Singular Value Decomposition, SVD)的角色。
企業需要把文字、XML、HTML、電子郵件、網頁、筆記等非結構化/半結構化資料轉成可供模型使用的結構化表示。
| 任務 | 輸入 | 輸出 |
|---|---|---|
| 1. 建立語料庫 | 相關非結構化/半結構化來源 | 數位化、組織化的文件集合 |
| 2. 建立詞彙—文件矩陣 | 語料庫 | 含詞彙索引/頻率的詞彙—文件矩陣 |
| 3. 萃取知識 | 詞彙—文件矩陣+可選的結構化資料 | 分類、分群、關聯、趨勢模型/視覺化 |
任務 2 先去除停用詞、處理同義詞/片語、詞幹化,再以原始頻率、對數頻率、二元頻率或逆文件頻率等表示索引;若矩陣過大,可由領域專家篩詞、移除低頻詞或使用奇異值分解降維。
原書未提供圖 6.7 的完整可重算原始語料庫,因此不自行建立新的詞彙—文件矩陣數值。原書另給關聯示範:概念組合的支持度 = 4%、信賴度 = 55%。
文字探勘的關鍵風險往往出現在建模之前:語料庫是否代表問題、詞彙是否正確、領域停用詞是否合理、詞幹化是否破壞語意,以及降維是否丟失重要訊息。
依三項文字探勘任務檢查一個文字分析專案;對沒有原始語料庫的部分只能說明流程,不得捏造詞彙—文件矩陣或奇異值分解數值。
問題: 支持度 4%、信賴度 55% 分別代表什麼?
參考解答: 原書示例中,4% 的文件同時包含 A 與 C 概念;在包含 A 的文件中,55% 同時包含 C。兩者衡量的基準不同。