概念/術語案例,整合第 6.2、6.3 節與技術洞察 6.1。
區分文字分析(Text Analytics)、文字探勘(Text Mining)與自然語言處理(Natural Language Processing, NLP),並辨識文字探勘常見資料與處理單位。
企業大量文字資料原本是為人閱讀而產生,若要讓電腦進行預測與決策支援,必須先把非結構化文字轉成可分析的結構化表示。
| 概念 | 原書重點 |
|---|---|
| 文字分析 | 較廣義,涵蓋把文字轉成可採取行動資訊的技術與應用 |
| 文字探勘 | 較偏向從文字集合發現模式/知識 |
| 自然語言處理 | 讓電腦處理、理解與產生自然語言的支援技術 |
| 語料庫 | 為特定問題建立的文件集合 |
| 詞彙 | 可作為索引/分析單位的字詞或片語 |
| 停用詞 | 對區分文件幫助小、通常排除的高頻功能詞 |
| 詞幹化 | 把不同詞形縮減到共同字根 |
先以自然語言處理將文字切分、正規化、辨識詞彙與語意,再把結果轉成可供分類、分群、關聯、情緒分析等方法處理的表示形式。
本案例為概念框架,沒有單一數值結果。
文字分析的管理價值來自把原先難以彙總的筆記、電子郵件、評論、社群貼文等轉成可比較的證據;但詞義、脈絡、俚語、領域術語仍會直接影響品質。
將一組企業文字資料依語料庫、詞彙、停用詞、詞幹化、自然語言處理與後續分析分層說明;不要把自然語言處理與文字探勘視為完全相同的概念。
問題: 若同一個詞在不同產業有不同含義,是否可以共用完全相同的停用詞/詞典設定?
參考解答: 不宜直接假設可以。原書強調領域特定語言與領域專業,詞彙處理應依情境調整。