案例01|Watson 與 DeepQA:Jeopardy! 的人機挑戰

案例02|文字分析、文字探勘與自然語言處理:概念與術語地圖

案例03|顧客情緒:詞頻-逆文件頻率、餘弦相似度與汽車安全議題

案例04|文字欺瞞偵測:371 份陳述與三種分類模型

案例05|文字探勘流程:語料庫、詞彙—文件矩陣、奇異值分解與知識萃取

案例06|研究文獻調查:12 個實驗、奇異值分解與 9 個群集

案例07|Wimbledon:340 萬個資料點、數位分析與自然語言處理

案例08|情緒分析與主題模型:詞典、極性與潛在狄利克雷配置

案例09|網路探勘與搜尋引擎:內容、結構、使用與搜尋引擎最佳化

案例10|網路使用探勘:點擊流、流量、訪客與轉換指標

案例11|社群分析:網路指標、影響者與衡量實務

案例12|Sport England:從每月報告到每日自動化分析

核心表格

核心主題 主要觀點/方法 實務用途 重要條件/限制/延伸
文字分析/文字探勘 以自然語言處理(Natural Language Processing, NLP)與分析將非結構化文字轉成可分析表示,再發現模式/知識 顧客回饋、風險、研究文獻、知識發現 領域語言、脈絡、資料品質與前處理會直接影響結果
自然語言處理 問答、摘要、生成、理解、翻譯、語音辨識、光學字元辨識(Optical Character Recognition, OCR)等 讓電腦處理與理解自然語言 語意、歧義、俚語與領域術語仍是重要限制
文字探勘流程 建立語料庫 → 建立詞彙—文件矩陣(Term–Document Matrix, TDM)→ 萃取知識 把文件轉成分類、分群、關聯、趨勢分析的輸入 需要停用詞、詞幹化、正規化、奇異值分解(Singular Value Decomposition, SVD)等前處理;流程可反覆回饋
情緒分析 詞典式或機器學習方法;辨識明示/隱含、正向/負向/客觀 顧客之聲、市場之聲、員工之聲、品牌、金融、政府情報 混合極性、諷刺、脈絡與領域詞彙可能使整體分數失真
主題模型 潛在狄利克雷配置(Latent Dirichlet Allocation, LDA)以非監督式機率流程找出潛在主題 大量文件的主題探索與摘要 需要解釋主題;原書未提供通用標準化解讀流程
網路探勘 網路內容、結構、使用探勘 搜尋、網站結構分析、點擊流與行為洞察 不同網路資料型態需要不同方法;排名/使用資料具時間性
搜尋引擎/搜尋引擎最佳化(Search Engine Optimization, SEO) 開發週期建立索引;回應週期處理查詢;搜尋引擎最佳化改善可見性 提升搜尋可見性與流量取得 被建立索引不等於高排名;原書搜尋引擎流行度表屬特定時點資料
網路分析 易用性、流量來源、訪客輪廓、轉換統計 監測顧客旅程與網站表現 必須有分母/工作階段定義才能正確解讀比例與轉換
社群分析 描述性分析、社群網路分析、進階/文字分析 影響力、情緒、病毒式效應、活動監測 追蹤者等活動指標不等同商業影響;衡量應作為引導系統
人工智慧/Excel/分析工具分工 Excel 做可驗證計算與關鍵績效指標;專業工具做自然語言處理/建模/自動化;人工智慧做解讀與分析草稿 把文字與數位行為結果轉成管理決策 人工智慧不得捏造語料庫、模型分數、投資報酬率或來源沒有提供的數字

文字說明

1. 文字資料要先被「結構化」才容易分析

本章的核心不是把文字當成一般數值資料直接建模,而是先透過自然語言處理、語料庫組織、詞彙擷取、停用詞處理、詞幹化與索引,把原本為人閱讀的文字轉成機器可處理的表示形式。之後才進入分類、分群、關聯、趨勢分析等知識萃取任務。

2. 文字分析與文字探勘的範圍不同但高度重疊

原書把文字分析視為較廣的概念,文字探勘則更集中在從文字資料中發現模式與知識。管理上不必執著名稱,而應先確認問題:要找主題、分類文件、分析情緒、辨識關聯,還是支援問答。

3. 文字探勘流程的三項任務不能跳步