整合第 3.5–3.8 節與圖 3.7–3.10,建立本章大數據從概念、架構到即時分析的教學案例。
辨識大數據的核心特性、MapReduce/Hadoop 的處理邏輯,以及批次分析與串流分析的差異。
當資料量、速度、種類與處理需求超出傳統分析方式時,企業需要新的分散式處理與串流架構;原書並以能源產業示意串流分析的應用情境。
| 主題 | 原書內容 |
|---|---|
| 大數據 | 以資料量、多樣性、速度、可信度與價值主張等特性描述 |
| MapReduce | 將大型工作分解、平行處理再整合 |
| Hadoop | 支援分散式儲存/處理的大數據生態系 |
| 串流分析 | 從持續流動的資料中抽取可採取行動的資訊 |
| 圖 3.10 | 能源產業的串流分析應用情境 |
比較靜態資料與流動中資料,並用資料匯入 → 分散式處理/串流處理 → 分析 → 行動的架構拆解。
此組圖表為概念與架構模型,原書未提供統一的數值計算結果。
大數據導入不是單純增加儲存容量。原書特別強調商業策略與資訊技術(Information Technology, IT)策略的一致性;串流分析則把分析時點從事後批次處理推向資料流入時即時處理。
將同一個企業問題分別設計成批次分析與串流分析架構,標示資料來源、處理時點與決策輸出;不得虛構原書未提供的效能數字。
問題:什麼情況下串流分析比定期批次分析更有價值?
參考解答:當資料持續快速流入,而且資訊價值會隨時間快速下降,需要在事件發生時或接近即時做出反應時。