12_非結構化資料處理

核心表格

核心主題	主要觀點／方法	實務用途	重要條件／限制／延伸
Unstructured Data	Text、Image、Audio、Video、Documents、Web、Geospatial	擴大可分析的 Data Assets	「非結構化」是程度問題，資料仍可能含部分 Structure
Text Exploration	Corpus、Pre-processing、Term Frequency、Word Cloud	快速探索大量文字	詞頻不能取代 Context
Sentiment Analysis	從文字抽取 Emotion／Feeling／Mood 訊號	Customer／Social Media Early Warning	Irony、Sarcasm、Lying 與 Context 會造成誤判
Topic Modelling	Latent Dirichlet Allocation（LDA）辨識 Corpus Topics	大量文件 Theme Discovery	Topic Meaning 仍需人工解釋
Bayesian Classification	Prior＋Likelihood → Posterior	分類 Text／Cases	結果依 Evidence 與 Prior 而變
Visual Recognition	Image Classification／Recognition	影像型 Business Use Cases	影像品質與 Classifier 適配度影響結果
Geospatial Analytics	Location Intelligence、Data Fusion、Interactive Maps	公共治理、服務配置、區域探索	Spatial Association 不等於 Causality

原書以 Email 為例：日期、寄件者、收件者具有明確 Structure，但 Subject 與 Message Content 仍可能非常 Messy，因此 Structured／Unstructured 是程度上的差異。

Stop Words、Stemming、Punctuation Removal 與 Lower Case 等處理，目的在把文字轉成較適合分析的形式，再進入 Word Cloud、Sentiment 或 Topic Modelling。

語言不是單純的正負詞集合。Irony、Sarcasm、Lying 與 Social Media Abbreviations 都可能讓簡單 Sentiment Score 失真。

當 Corpus 達數萬或數十萬文件時，人工閱讀難以持續。LDA 等方法可自動尋找 Words 的結構模式，但 Topic Label 與 Business Meaning 仍需解讀。