案例04｜快取增強、檢索增強與對話記憶的選擇

一、案例定位

本案例涉及人工智慧（Artificial Intelligence, AI）、生成式人工智慧（Generative Artificial Intelligence, GenAI）與大型語言模型（Large Language Model, LLM）。管理資料取得路徑、脈絡視窗與推論成本。

本案例依原書第 8 章的最佳實務、範例或情境重組，並非原書正式案例研究。

二、學習目標

區分快取與檢索路徑。
理解脈絡視窗限制。
設計對話與任務記憶。

三、案例情境

原書建議採條件路由，不要一律使用檢索增強生成（Retrieval-Augmented Generation, RAG）；適合時可用快取增強生成（Cache-Augmented Generation, CAG）。系統也要規劃對話或任務如何持續，考慮脈絡視窗與記憶需求，採摘要、截斷保留必要資訊，或使用外部記憶儲存。另應即時監控符記使用與支出。

四、開始資料

設計問題	原書做法
資料路徑	依條件選 CAG 或 RAG
脈絡限制	考慮模型脈絡視窗
記憶	摘要、截斷或外部記憶
成本控制	監控即時符記使用與支出
決策	比較每項任務成本與回報

五、Excel／AI 分析方法

在 Excel 記錄要求類型、快取命中、檢索呼叫、輸入符記、記憶策略、成本與結果；AI 可協助找出重複檢索或過長脈絡。

六、計算結果

原書沒有提供可直接計算的數據，因此不補造結果。

七、結果分析與管理解讀

資料取得與記憶策略直接影響成本、延遲與品質。條件路由的目的不是固定偏好某一方法，而是依任務選擇。

八、AI 提問詞

請依要求是否可由快取回答、是否需最新外部資料、脈絡長度與成本，建議 CAG、RAG 或其他路徑。