一、案例定位

理解 2017 年 Transformer 架構為何成為現代大型語言模型的重要技術基礎。

二、學習目標

• 說明序列到序列模型的固定長度向量與逐步處理限制。
• 理解注意力機制與多頭平行處理的原書描述。

三、案例情境

Google 的研究人員於 2017 年發表 Attention Is All You Need。原書指出，傳統序列到序列（Sequence-to-Sequence, Seq2Seq）方法會由編碼器循環神經網路把整段輸入壓縮成固定長度向量，再由解碼器產生輸出；長輸入容易形成資訊瓶頸，而且循環神經網路會逐一處理每個詞元，效率有限。Transformer 則透過多頭注意力機制，同時衡量不同詞元之間的關係，並支援平行處理。

四、開始資料

五、Excel／AI 分析方法

可用比較矩陣整理不同架構的 脈絡處理｜平行能力｜資訊瓶頸｜訓練影響，避免只用單一指標比較模型。

六、計算結果

本案例沒有原書效能基準，因此不自行產生速度或正確率提升數字。

七、結果分析與管理解讀

Transformer 的關鍵不是單純「模型更大」，而是注意力架構改變了序列資訊的處理方式，並成為後續 GPT、BERT 等預訓練模型的重要基礎。

八、AI 提問詞

根據來源內容比較 Seq2Seq 與 Transformer；不得加入來源未提及的效能基準或實作細節。

九、思考／情境變動

**題目：**長輸入對固定長度向量會造成什麼問題？

**參考解答：**容易形成資訊瓶頸；輸入越長，越難在單一固定向量中保留所有相關資訊。