一、案例定位

本案例處理延遲(Latency)敏感的生成式人工智慧(Generative Artificial Intelligence, GenAI)應用如何選擇模型與縮短處理時間。

本案例依原書第 8 章的最佳實務、範例或情境重組,並非原書正式案例研究。

二、學習目標

三、案例情境

原書建議延遲關鍵情境使用較小與量化模型,例如以 text-embedding-3-small 進行快速向量化;在不需要完整模型精度時可選輕量模型,例如 GPT-4o-mini。輸入端則透過相關情境過濾、摘要鏈與記憶修剪減少 Token,並用非同步呼叫平行處理多索引或多來源檢索。

四、開始資料

延遲來源 原書策略
模型大小 較小、量化模型
向量化 text-embedding-3-small 範例
低延遲生成 GPT-4o-mini 範例
Token 輸入 情境過濾、摘要鏈、記憶修剪
多來源檢索 非同步平行呼叫

五、Excel/AI 分析方法

在 Excel 建立「步驟、模型、Token 輸入、檢索來源、是否平行化、延遲」欄位;AI 可依原書策略提出可檢查項,但不自行宣稱某模型一定更快。

六、計算結果

原書沒有提供本段可直接計算的延遲數據,因此不補造結果。

七、結果分析與管理解讀

延遲優化不是只換模型,而是同時處理模型大小、輸入長度與檢索方式。原書要求依使用情境真正重視的指標做取捨。

八、AI 提問詞

請依流程表找出可能增加延遲的模型、Token 輸入與串行檢索步驟,並只使用原書列出的優化方式提出檢查建議。

九、思考/情境變動