詞嵌入Word Embedding
詞嵌入是把詞轉成一串數字(向量),讓意思相近的詞在數字空間裡位置也相近,電腦因此能比較詞與詞的相似度。
- 英文
- Word Embedding
- 台灣常見別名
- 詞嵌入、詞向量表示、Word Embedding
- 簡中用語
- 词嵌入、词向量
- 類別
- 搜尋引擎運作與資訊檢索
- 提出者與年份
- 自然語言處理通用方法;Bengio 等人 2003 年與 Mikolov 等人 2013 年有代表研究
- 官方文件
- A Neural Probabilistic Language Model;Efficient Estimation of Word Representations in Vector Space
詞嵌入是什麼?
詞嵌入是把一個詞轉成一串數字(向量)的做法,目的是讓電腦能用數學比較詞與詞的關係。可以把它想成替每個詞在一張很多維度的地圖上找一個座標:意思或用法相近的詞,座標會靠得很近,意思差很遠的詞,座標就離得很遠。這串數字是模型從大量文字中學出來的,人沒有逐一替詞標記意思。
它屬於自然語言處理的表示方式,是搜尋引擎理解語意的基礎材料之一。向量的單一數字通常沒有人看得懂的意義,要把整串數字一起比較,才看得出兩個詞有多接近。
舉例
假想一個手機配件網站,頁面標題寫「手機殼」。在詞嵌入的空間裡,「手機殼」和「手機保護套」的向量會很接近,所以有人搜尋「手機保護套」時,系統可以判斷兩者在談同一類商品,把這個頁面列入候選。但它也可能把「手機殼」和「手機支架」算得很近,因為它們常出現在類似的語境,這時就要靠後續的排序與精確條件來區分。
詞嵌入的時間線與現況
2003 年。 Yoshua Bengio、Réjean Ducharme、Pascal Vincent 與 Christian Jauvin 在《Journal of Machine Learning Research》第 3 卷發表〈A Neural Probabilistic Language Model〉,提出讓模型為每個詞學習一組分散式表示,讓相似的詞有相近的表示,並用神經網路預測詞序列的機率,成績超過當時最好的 n-gram 模型。
2013 年。 Tomas Mikolov、Kai Chen、Greg Corrado 與 Jeffrey Dean 在 1 月發表〈Efficient Estimation of Word Representations in Vector Space〉,提出兩種新的模型架構,能在很大的資料集上有效率地學出詞向量,論文說 16 億字的資料用不到一天就能訓練完成。這就是 Word2Vec 的由來,也是詞嵌入開始廣泛使用的關鍵。其中的作者 Greg Corrado,就是 2015 年對外談 RankBrain 的 Google 研究科學家。
2015 年。 據媒體對 Corrado 訪談的報導,RankBrain 會把文字轉成向量,來猜測沒見過的查詢指的是什麼。Google 官方文件只說明 RankBrain 用來理解詞與概念的關係,沒有公開技術細節。
2018 至 2019 年。 BERT 這類模型能依照整句話的前後文,替同一個詞算出不同的向量,稱為上下文表示。Google 在 2019 年 10 月宣布將 BERT 用於搜尋。
現況。 目前的做法不只替單字做向量,也替句子、段落和整份文件做向量,這些向量被用在向量搜尋和檢索增強生成(RAG)。固定向量和上下文向量的差別在於:固定向量每個詞只有一組數字,「蘋果」永遠同一組;上下文向量會看整句,水果的「蘋果」和公司的「蘋果」會得到不同的向量。
為什麼重要
詞嵌入讓搜尋系統能處理字面不同、意思相近的資料,也是語意搜尋的基礎。對做 SEO 的人來說,它說明了為什麼頁面不需要逐字出現讀者的每種說法也可能被找到,同時要小心:「可退款」和「不退款」常出現在非常相似的語境,向量會很接近,但意思剛好相反。這類條件相反的內容,仍然要在頁面上寫清楚,不能期待系統自己分辨。
怎麼檢查
- 先確認工具用的是詞向量、句子向量還是整份文件向量,以及模型支不支援你的語言。繁體中文的資料要選有中文訓練資料的模型。
- 如果用嵌入模型替關鍵字分群,先把關鍵字轉成向量,再用餘弦相似度比較,把相似度高的歸成一組,最後人工檢查每一組是不是真的屬於同一個搜尋意圖。
- 用一組同義詞、同形異義詞和意思相反的詞測試,看模型找出的近鄰詞是否合理,把「可退款」和「不退款」這種錯例記下來。
- 型號、品牌名、地名這類精確資訊,另外保留精確比對的欄位,不要只靠向量。
常見誤解
向量裡的每個數字代表一個可讀的意思。
詞義是由整組數字共同決定,單一數字並不對應某個意思。
不同模型算出來的詞向量可以直接比較。
每個模型的訓練資料與維度不同,空間也不同,要用同一個模型,或已驗證過的對應方式。
兩個詞的向量很接近,就代表它們常一起出現。
接近代表兩個詞出現的語境相似,可能是同義、反義,或同類型的東西,要回到原文確認。
詞嵌入和文件嵌入差在哪
| 面向 | 詞嵌入 | 文件或段落嵌入 |
|---|---|---|
| 主要單位 | 詞或詞元 | 句子、段落或整份文件 |
| 常見用途 | 比較兩個詞的相近程度、替關鍵字分群 | 比較搜尋問題與頁面段落,用於向量搜尋 |
| 要注意的事 | 同一個字有多種意思時,固定向量分辨不出來 | 內容很長時,條件與脈絡可能被平均掉 |
常見問題
詞嵌入和 Word2Vec 有什麼不同?
詞嵌入是整類做法,Word2Vec 是 2013 年由 Mikolov 等人提出、最廣為人知的一種詞嵌入模型。後來還有 GloVe、BERT 等不同模型,各自的向量產生方式與用途都不一樣。
詞嵌入對 SEO 有什麼用?
最常見的用途是替大量關鍵字分群:把關鍵字轉成向量,再依相似度分組,找出屬於同一搜尋意圖的詞。分組後仍需人工檢查,並看實際搜尋結果。
Google 搜尋有用詞嵌入嗎?
Google 沒有公開技術細節。官方文件說 RankBrain 用來理解詞與概念的關係、BERT 用來理解詞語組合的意思,媒體報導 RankBrain 會把文字轉成向量,但實作方式並未公開。
詞嵌入和 BERT 這類模型的向量有什麼不同?
傳統詞嵌入如 Word2Vec,一個詞只有一個向量,「蘋果」不論指水果或公司都相同。BERT 這類模型會依上下文產生不同的向量,所以能分辨一詞多義。
詞嵌入的向量維度越高越好嗎?
不一定。維度越高能保留的資訊越多,但儲存與計算成本也越高,資料量不夠時還可能學不好。常見的詞向量大約幾百維,實際要用自己的資料測試。