本案例涉及人工智慧(Artificial Intelligence, AI)與生成式人工智慧(Generative Artificial Intelligence, GenAI)。整理原書提供的效能基準與升級條件。
本案例依原書第 6 章的框架、範例或情境重組,並非原書正式案例研究。
原書將文字生成基準設為少於 500 毫秒,100 節點資料血緣圖少於 2 秒;超過 1.5 秒觸發延遲警示或改用快取。批次摘要基準為每秒 100 次請求,串流輸出為每秒 10 次;低於預期吞吐 80% 觸發自動擴縮警示。從 1,000 增至 10,000 位並行使用者時,延遲增加應少於 10%,超過 20% 則檢討擴縮。
| 參數 | 原書基準 | 原書警示/處置 |
|---|---|---|
| 文字延遲 | 少於 500 毫秒 | 超過 1.5 秒警示或快取 |
| 100 節點圖形 | 少於 2 秒 | 未另列專屬警示 |
| 批次吞吐 | 每秒 100 次請求 | 低於預期 80% 警示 |
| 串流吞吐 | 每秒 10 次請求 | 低於預期 80% 警示 |
| 可擴充性 | 1,000 到 10,000 使用者延遲增加少於 10% | 退化超過 20% 檢討 |
在 Excel 記錄每次測試的輸入規模、並行使用者、延遲百分位、每秒請求與擴縮事件;AI 可標示未達基準及落在未定義區間的結果。
依原書數字重新計算:批次吞吐 80% 為每秒 80 次;串流吞吐 80% 為每秒 8 次。
原書門檻存在空白區間,例如文字 500 毫秒至 1.5 秒、擴充退化 10% 至 20%,並未說明應如何處置,不能自行填補。
請依效能紀錄套用原書基準與警示;落在未定義區間時標示「原書未說明」,不要自行判定通過。