模型/表格案例,整合第 7.7 節「使用卷積網路進行文字處理」與表 7.2。
理解詞嵌入如何把詞語轉成向量,以及語境、向量距離與後續深度學習文字任務的關係。
傳統文字探勘多以符號化詞語表示文字;Word2Vec 以語料庫語境學得數值向量,使相似用法的詞在向量空間中更接近。
| 原書項目 | 數值/內容 |
|---|---|
| Word2Vec 網路 | 2 層神經網路 |
| 典型向量維度 | 100–1,000 |
| Google News 預訓練語料庫 | 約 1,000 億詞 |
| 查詢詞 | Sweden |
| 最接近詞語 | 餘弦距離(表 7.2) |
|---|---|
| Norway | 0.760124 |
| Denmark | 0.715460 |
| Finland | 0.620022 |
| Switzerland | 0.588132 |
| Belgium | 0.585635 |
| Netherlands | 0.574631 |
| Iceland | 0.562368 |
| Estonia | 0.547621 |
| Slovenia | 0.531408 |
Word2Vec 根據詞語語境/頻率學得向量表徵;相似語境的詞在 n 維空間中較接近。原書亦用向量運算說明語意關係。
表 7.2 中 Norway 為 Sweden 的最高列示相似度/距離值 0.760124;Denmark 次之 0.715460。兩者差 0.044664。
詞嵌入讓拼字錯誤、縮寫、非正式表達與語意脈絡有機會以向量鄰近關係表示,為後續文字分類/關係擷取提供較有意義的數值輸入。
使用表 7.2 的九個數值比較 Sweden 的最接近向量,並說明詞嵌入的管理/文字探勘價值;不要把表中的歷史預訓練模型結果當成目前通用結果。
問題: Norway 與 Denmark 的列示數值相差多少?
參考解答: 0.760124 − 0.715460 = 0.044664。