一、案例定位

本案例依原書第 6 章「The Limits of Vanilla LLMs」Goa Travel Itinerary 情境重組。

理解純 LLM 生成能力與最新事實查證能力之間的差異。

二、學習目標

三、案例情境

原書以 Goa Travel Itinerary 為例:Vanilla LLM 可以生成看起來合理的海灘、早餐等行程,但不會自然反映新的 Flight Schedule 或 Real-time Weather,因為它沒有內建 Pipeline 去確認最新 Facts。

四、開始資料

能力 Vanilla LLM 限制
生成旅行文字 可 能產生流暢、合理的 Itinerary
最新 Flight Schedule 原書認為無內建即時確認 Pipeline 可能過時
Real-time Weather 原書認為無內建即時確認 Pipeline 可能不反映當前狀況
最新 Facts Verification 需要 External Data/Modules 純生成能力不足

五、Excel/AI 分析方法

Excel 可列出每項回答所需資料的 Freshness Requirement、Source、Last Updated;AI 可生成草稿,但若沒有 External Source,不得宣稱資訊為最新。

六、計算結果

原書此例沒有航班、天氣或錯誤率數字,因此本案例不補造。

七、結果分析與管理解讀

文字寫得像真的,不代表資訊是最新的。對企業而言,最新資料與可驗證來源往往比生成流暢度更重要。

八、AI 提問詞

請把此任務拆成可由 Static LLM 完成與需要 Real-time External Data 的部分。若沒有最新來源,請標示資訊可能過時,不要假裝已驗證。

九、思考/情境變動