案例13｜企業資料管線五階段：從擷取到向量化與索引

一、案例定位

本案例涉及人工智慧（Artificial Intelligence, AI）。本頁使用 JavaScript 物件表示法（JavaScript Object Notation, JSON）。把企業資料轉成可供大型語言模型使用的高品質輸入。

本案例依原書第 5 章的框架、範例或情境重組，並非原書正式案例研究。

二、學習目標

列出五個資料管線階段。
區分銅、銀、金資料層。
辨識批次、串流與增量更新要求。

三、案例情境

原書的通用資料管線包含五階段：資料擷取與來源整合、資料湖原始儲存、轉換與標準化、策展資料儲存，以及向量化與索引。來源可為關聯式資料庫、試算表、JSON、可延伸標記語言（Extensible Markup Language, XML）、文字、音訊、影片與日誌。擷取可採批次、串流及異動資料擷取（Change Data Capture, CDC）。

四、開始資料

階段	原書重點
1 資料擷取	連接多種來源；支援批次、串流與 CDC
2 銅層	保留原始資料，支援稽核與重新處理
3 銀層	清理、標準化、驗證與轉換
4 金層	建立適合查詢與下游用途的策展資料
5 向量化與索引	建立嵌入、混合搜尋及增量更新

五、Excel／AI 分析方法

在 Excel 建立管線控制表，記錄來源、擷取模式、資料層、品質檢查、分區、保留期、索引與刷新狀態。

六、計算結果

原書沒有提供可直接計算的數據，因此不補造結果。

七、結果分析與管理解讀

資料湖分層與向量索引各解決不同問題：前者保留可重現的資料生命週期，後者支援高效率檢索。索引不能取代原始與策展資料。

八、AI 提問詞

請依五階段檢查資料管線，指出缺少來源驗證、原始保存、清理、策展或索引更新的資料集；只依清冊判斷。