本案例依原書第 6 章「The Limits of Vanilla LLMs」Goa Travel Itinerary 情境重組。
理解純 LLM 生成能力與最新事實查證能力之間的差異。
原書以 Goa Travel Itinerary 為例:Vanilla LLM 可以生成看起來合理的海灘、早餐等行程,但不會自然反映新的 Flight Schedule 或 Real-time Weather,因為它沒有內建 Pipeline 去確認最新 Facts。
| 能力 | Vanilla LLM | 限制 |
|---|---|---|
| 生成旅行文字 | 可 | 能產生流暢、合理的 Itinerary |
| 最新 Flight Schedule | 原書認為無內建即時確認 Pipeline | 可能過時 |
| Real-time Weather | 原書認為無內建即時確認 Pipeline | 可能不反映當前狀況 |
| 最新 Facts Verification | 需要 External Data/Modules | 純生成能力不足 |
Excel 可列出每項回答所需資料的 Freshness Requirement、Source、Last Updated;AI 可生成草稿,但若沒有 External Source,不得宣稱資訊為最新。
原書此例沒有航班、天氣或錯誤率數字,因此本案例不補造。
文字寫得像真的,不代表資訊是最新的。對企業而言,最新資料與可驗證來源往往比生成流暢度更重要。
請把此任務拆成可由 Static LLM 完成與需要 Real-time External Data 的部分。若沒有最新來源,請標示資訊可能過時,不要假裝已驗證。