案例10｜Mixtral 8x7B：56B 參數不代表每次 Query 都全部啟動

一、案例定位

本案例依原書第 6 章 Mixture of Experts（MoE）與 Mixtral 8x7B 說明重組。

理解 MoE 如何透過 Gating Mechanism 選擇部分 Experts，降低 Deep Reasoning 的 Compute Cost。

二、學習目標

計算 8×7B 的總參數規模。
理解 Selective Activation 與 Parallel Processing。
區分 ReAct 的 System-level Orchestration 與 MoE 的 Model-level Compute Routing。

三、案例情境

原書以 Mixtral 8x7B 為例：共有 8 個 Experts，每個 7 Billion Parameters，原書以此表述總計 56 Billion Parameters。但每次 Query 通常只由 Gating Mechanism 選取少數相關 Experts，而不是把全部 Capacity 都啟動。

四、開始資料

項目	原書數字／內容	意義
Experts	8	不同專門子模型
Parameters per Expert	7B	每個 Expert 的參數規模
原書表述 Total	8 × 7B = 56B	可用總 Capacity
Per-query Activation	Only a Few Experts／Fraction of Capacity	Selective Activation 降低 Compute
Example Routing	Financial Text + Anomaly Detection	相關 Experts 可 Parallel Processing

五、Excel／AI 分析方法

Excel：=8*7 得到原書表述的 56B；另可記錄每個 Query 實際 Activated Experts、Latency、Compute／Cost。若沒有實際 Activated Count，不可自行推算使用比例。

六、計算結果

原書表述：8 × 7B = 56B Parameters。
原書只說通常啟動「a few experts」與「a fraction」Capacity，沒有提供固定啟動數，因此不能計算每次 Query 使用百分比。

七、結果分析與管理解讀

MoE 試圖讓 Slow Thinking 不必等於 Maximum Computation。ReAct 決定 Agent 何時 Reason／Act／Call Tool；MoE 則在模型內部決定哪些 Experts 應被啟動，兩者處理不同層次的效率問題。

八、AI 提問詞

請依原書 Mixtral 8x7B 的 8 Experts × 7B = 56B 說明 MoE 的 Selective Activation。若沒有每次 Query 的 Activated Expert 數，請不要計算實際參數使用比例或成本節省率。