本案例涉及人工智慧(Artificial Intelligence, AI)、生成式人工智慧(Generative Artificial Intelligence, GenAI)與大型語言模型(Large Language Model, LLM)。把不同功能路由到成本與能力相符的模型。
本案例依原書第 8 章的最佳實務、範例或情境重組,並非原書正式案例研究。
原書指出不是所有功能都需要 LLM。混合架構可讓部分工作使用 LLM,其餘使用成本較低且效能可接受的自然語言處理(Natural Language Processing, NLP)方法。也可依工作選用不同模型,例如輕量嵌入模型做向量化、快速指令微調模型做分類、較大型推理模型處理複雜生成。
| 工作負載 | 原書模型配置例 |
|---|---|
| 向量化 | 輕量嵌入模型 |
| 分類 | 快速指令微調模型 |
| 複雜生成 | 較大型推理模型 |
| 簡單語言工作 | 成本較低的 NLP 方法 |
| 路由依據 | 成本、延遲、效能與任務需求 |
在 Excel 列出每項功能的複雜度、品質需求、候選模型、成本、延遲與路由規則;AI 可協助分類工作負載。
原書沒有提供可直接計算的數據,因此不補造結果。
任務專用配置可避免所有要求都走最昂貴模型。管理重點是建立可驗證的路由與品質門檻,而非追求單一模型包辦。
請依功能需求把工作分派給輕量嵌入、分類、傳統語言處理或大型推理模型,並說明成本與品質取捨。