03_描述性分析 I：資料、大數據與統計建模

核心表格

核心主題	主要觀點／方法	實務用途	重要條件／限制／延伸
資料 → 資訊 → 知識	資料需經組織、處理與脈絡化，才能形成可供決策使用的資訊與知識	建立分析工作的資料基礎	原始資料通常不能直接投入分析
資料類型	結構化、半結構化、非結構化資料；另可依衡量尺度與來源分類	決定儲存、前處理與分析方法	不同資料型態需要不同處理技術
資料前處理	資料整併、清理、轉換、縮減等工作	改善模型可用性與資料品質	前處理往往是分析專案中耗時的重要階段
大數據	以資料量（Volume）、多樣性（Variety）、速度（Velocity）為核心，原書亦討論可信度（Veracity）與價值主張（Value Proposition）	處理傳統工具難以有效處理的大量、多樣、高速資料	「大」具有相對性，定義會隨技術與組織條件改變
大數據分析	資料本身不產生價值；必須透過分析與商業需求連結	流程效率、成本降低、顧客體驗改善等	需要商業策略對齊、主管支持、人才與資料基礎設施
大數據技術	Hadoop、Hadoop 分散式檔案系統（Hadoop Distributed File System, HDFS）、MapReduce、非僅 SQL（Not Only SQL, NoSQL）、Spark 等	分散式儲存與大規模處理	技術工具本身不等於商業價值
串流分析	對持續產生的資料進行即時或近即時處理	智慧電網、感測器資料與時間敏感型決策	資料產生速度與處理延遲是核心條件
描述統計	集中趨勢、離散程度、分布形狀、盒鬚圖等	理解資料分布並建立初步描述	描述統計不等於因果推論
迴歸／羅吉斯迴歸／時間序列	用於描述關係、預測數值或類別，以及依時間行為預測未來	統計建模與預測性分析	模型結果取決於資料、假設、變數與驗證方式

文字說明

1. 資料是分析的起點，但不是終點

本章先區分資料、資訊與知識，並說明結構化、半結構化、非結構化資料等型態。管理上的關鍵不是單純「擁有資料」，而是能否把資料轉成可支援決策的資訊。

2. 資料前處理是模型之前的重要工作

原始資料可能髒亂、錯位、複雜或不準確，因此需要資料整併、清理、轉換與縮減。模型品質不能脫離資料品質單獨討論。

3. 大數據不只是資料量大

原書以資料量、多樣性與速度為三項典型核心特性，並進一步討論可信度與價值主張。「大」本身是相對概念；真正的管理問題是企業是否能把新的資料來源轉成商業價值。

4. 大數據架構與技術是解決問題的基礎設施

Hadoop、Hadoop 分散式檔案系統（Hadoop Distributed File System, HDFS）、MapReduce、非僅 SQL（Not Only SQL, NoSQL）、Spark 等技術處理分散式儲存與大規模資料處理。企業不應只因技術本身而投資；原書把明確商業需求、主管支持、人才與資料基礎設施等列為重要成功條件。

5. 串流分析回應高速資料

當資料持續高速產生，先收集再批次分析可能太慢。串流分析因此強調在資料流動時進行處理，原書以能源／智慧電網類型應用說明其時間敏感特性。