本案例討論大型語言模型(Large Language Model, LLM)推論端點的網路暴露風險。原書建議不要把推論端點直接公開到外部網路。
本案例依原書第 8 章的最佳實務、範例或情境重組,並非原書正式案例研究。
原書要求避免公開暴露推論端點,將 LLM 呼叫經由應用程式介面閘道(Application Programming Interface Gateway, API Gateway)與私有端點(Private Endpoint)路由,並使用網路規則及防火牆限制外部存取。
| 控制項 | 原書要求 |
|---|---|
| 推論端點 | 避免公開暴露 |
| LLM 呼叫 | 經 API Gateway 與 Private Endpoint 路由 |
| 外部存取 | 以網路規則與防火牆限制 |
在 Excel 建立端點名稱、是否公開、路由方式、網路限制、防火牆狀態等欄位;AI 僅根據輸入盤點風險,不自行推測實際網路架構。
原書沒有提供可直接計算的數據,因此不補造結果。
原書的核心不是單一防火牆設定,而是縮小模型端點的直接外露面,並透過受控路由及網路限制建立多層保護。
請檢查端點盤點表,找出直接公開、未經 API Gateway/Private Endpoint,或缺少網路規則與防火牆限制的項目。