1. 案例定位

概念/術語案例,整合第 6.2、6.3 節與技術洞察 6.1。

2. 學習目標

區分文字分析(Text Analytics)、文字探勘(Text Mining)與自然語言處理(Natural Language Processing, NLP),並辨識文字探勘常見資料與處理單位。

3. 案例情境

企業大量文字資料原本是為人閱讀而產生,若要讓電腦進行預測與決策支援,必須先把非結構化文字轉成可分析的結構化表示。

4. 開始資料

概念 原書重點
文字分析 較廣義,涵蓋把文字轉成可採取行動資訊的技術與應用
文字探勘 較偏向從文字集合發現模式/知識
自然語言處理 讓電腦處理、理解與產生自然語言的支援技術
語料庫 為特定問題建立的文件集合
詞彙 可作為索引/分析單位的字詞或片語
停用詞 對區分文件幫助小、通常排除的高頻功能詞
詞幹化 把不同詞形縮減到共同字根

5. 分析方法

先以自然語言處理將文字切分、正規化、辨識詞彙與語意,再把結果轉成可供分類、分群、關聯、情緒分析等方法處理的表示形式。

6. 計算結果

本案例為概念框架,沒有單一數值結果。

7. 結果分析與管理解讀

文字分析的管理價值來自把原先難以彙總的筆記、電子郵件、評論、社群貼文等轉成可比較的證據;但詞義、脈絡、俚語、領域術語仍會直接影響品質。

8. 人工智慧提問詞

將一組企業文字資料依語料庫、詞彙、停用詞、詞幹化、自然語言處理與後續分析分層說明;不要把自然語言處理與文字探勘視為完全相同的概念。

9. 思考/假設情境

問題: 若同一個詞在不同產業有不同含義,是否可以共用完全相同的停用詞/詞典設定?

參考解答: 不宜直接假設可以。原書強調領域特定語言與領域專業,詞彙處理應依情境調整。

10. 資料說明