本案例處理延遲(Latency)敏感的生成式人工智慧(Generative Artificial Intelligence, GenAI)應用如何選擇模型與縮短處理時間。
本案例依原書第 8 章的最佳實務、範例或情境重組,並非原書正式案例研究。
原書建議延遲關鍵情境使用較小與量化模型,例如以 text-embedding-3-small 進行快速向量化;在不需要完整模型精度時可選輕量模型,例如 GPT-4o-mini。輸入端則透過相關情境過濾、摘要鏈與記憶修剪減少 Token,並用非同步呼叫平行處理多索引或多來源檢索。
| 延遲來源 | 原書策略 |
|---|---|
| 模型大小 | 較小、量化模型 |
| 向量化 | text-embedding-3-small 範例 |
| 低延遲生成 | GPT-4o-mini 範例 |
| Token 輸入 | 情境過濾、摘要鏈、記憶修剪 |
| 多來源檢索 | 非同步平行呼叫 |
在 Excel 建立「步驟、模型、Token 輸入、檢索來源、是否平行化、延遲」欄位;AI 可依原書策略提出可檢查項,但不自行宣稱某模型一定更快。
原書沒有提供本段可直接計算的延遲數據,因此不補造結果。
延遲優化不是只換模型,而是同時處理模型大小、輸入長度與檢索方式。原書要求依使用情境真正重視的指標做取捨。
請依流程表找出可能增加延遲的模型、Token 輸入與串行檢索步驟,並只使用原書列出的優化方式提出檢查建議。