一、案例定位

本案例涉及人工智慧(Artificial Intelligence, AI)與生成式人工智慧(Generative Artificial Intelligence, GenAI)。整理原書提供的效能基準與升級條件。

本案例依原書第 6 章的框架、範例或情境重組,並非原書正式案例研究。

二、學習目標

三、案例情境

原書將文字生成基準設為少於 500 毫秒,100 節點資料血緣圖少於 2 秒;超過 1.5 秒觸發延遲警示或改用快取。批次摘要基準為每秒 100 次請求,串流輸出為每秒 10 次;低於預期吞吐 80% 觸發自動擴縮警示。從 1,000 增至 10,000 位並行使用者時,延遲增加應少於 10%,超過 20% 則檢討擴縮。

四、開始資料

參數 原書基準 原書警示/處置
文字延遲 少於 500 毫秒 超過 1.5 秒警示或快取
100 節點圖形 少於 2 秒 未另列專屬警示
批次吞吐 每秒 100 次請求 低於預期 80% 警示
串流吞吐 每秒 10 次請求 低於預期 80% 警示
可擴充性 1,000 到 10,000 使用者延遲增加少於 10% 退化超過 20% 檢討

五、Excel/AI 分析方法

在 Excel 記錄每次測試的輸入規模、並行使用者、延遲百分位、每秒請求與擴縮事件;AI 可標示未達基準及落在未定義區間的結果。

六、計算結果

依原書數字重新計算:批次吞吐 80% 為每秒 80 次;串流吞吐 80% 為每秒 8 次。

七、結果分析與管理解讀

原書門檻存在空白區間,例如文字 500 毫秒至 1.5 秒、擴充退化 10% 至 20%,並未說明應如何處置,不能自行填補。

八、AI 提問詞

請依效能紀錄套用原書基準與警示;落在未定義區間時標示「原書未說明」,不要自行判定通過。

九、思考/情境變動