跳到主要內容

詞嵌入Word Embedding

詞嵌入是把詞轉成一串數字(向量),讓意思相近的詞在數字空間裡位置也相近,電腦因此能比較詞與詞的相似度。

英文
Word Embedding
台灣常見別名
詞嵌入、詞向量表示、Word Embedding
簡中用語
词嵌入、词向量
類別
搜尋引擎運作與資訊檢索
提出者與年份
自然語言處理通用方法;Bengio 等人 2003 年與 Mikolov 等人 2013 年有代表研究
官方文件
A Neural Probabilistic Language Model;Efficient Estimation of Word Representations in Vector Space

詞嵌入是什麼?

詞嵌入是把一個詞轉成一串數字(向量)的做法,目的是讓電腦能用數學比較詞與詞的關係。可以把它想成替每個詞在一張很多維度的地圖上找一個座標:意思或用法相近的詞,座標會靠得很近,意思差很遠的詞,座標就離得很遠。這串數字是模型從大量文字中學出來的,人沒有逐一替詞標記意思。

它屬於自然語言處理的表示方式,是搜尋引擎理解語意的基礎材料之一。向量的單一數字通常沒有人看得懂的意義,要把整串數字一起比較,才看得出兩個詞有多接近。

舉例

假想一個手機配件網站,頁面標題寫「手機殼」。在詞嵌入的空間裡,「手機殼」和「手機保護套」的向量會很接近,所以有人搜尋「手機保護套」時,系統可以判斷兩者在談同一類商品,把這個頁面列入候選。但它也可能把「手機殼」和「手機支架」算得很近,因為它們常出現在類似的語境,這時就要靠後續的排序與精確條件來區分。

詞嵌入的時間線與現況

2003 年。 Yoshua Bengio、Réjean Ducharme、Pascal Vincent 與 Christian Jauvin 在《Journal of Machine Learning Research》第 3 卷發表〈A Neural Probabilistic Language Model〉,提出讓模型為每個詞學習一組分散式表示,讓相似的詞有相近的表示,並用神經網路預測詞序列的機率,成績超過當時最好的 n-gram 模型。

2013 年。 Tomas Mikolov、Kai Chen、Greg Corrado 與 Jeffrey Dean 在 1 月發表〈Efficient Estimation of Word Representations in Vector Space〉,提出兩種新的模型架構,能在很大的資料集上有效率地學出詞向量,論文說 16 億字的資料用不到一天就能訓練完成。這就是 Word2Vec 的由來,也是詞嵌入開始廣泛使用的關鍵。其中的作者 Greg Corrado,就是 2015 年對外談 RankBrain 的 Google 研究科學家。

2015 年。 據媒體對 Corrado 訪談的報導,RankBrain 會把文字轉成向量,來猜測沒見過的查詢指的是什麼。Google 官方文件只說明 RankBrain 用來理解詞與概念的關係,沒有公開技術細節。

2018 至 2019 年。 BERT 這類模型能依照整句話的前後文,替同一個詞算出不同的向量,稱為上下文表示。Google 在 2019 年 10 月宣布將 BERT 用於搜尋。

現況。 目前的做法不只替單字做向量,也替句子、段落和整份文件做向量,這些向量被用在向量搜尋和檢索增強生成(RAG)。固定向量和上下文向量的差別在於:固定向量每個詞只有一組數字,「蘋果」永遠同一組;上下文向量會看整句,水果的「蘋果」和公司的「蘋果」會得到不同的向量。

為什麼重要

詞嵌入讓搜尋系統能處理字面不同、意思相近的資料,也是語意搜尋的基礎。對做 SEO 的人來說,它說明了為什麼頁面不需要逐字出現讀者的每種說法也可能被找到,同時要小心:「可退款」和「不退款」常出現在非常相似的語境,向量會很接近,但意思剛好相反。這類條件相反的內容,仍然要在頁面上寫清楚,不能期待系統自己分辨。

怎麼檢查

  1. 先確認工具用的是詞向量、句子向量還是整份文件向量,以及模型支不支援你的語言。繁體中文的資料要選有中文訓練資料的模型。
  2. 如果用嵌入模型替關鍵字分群,先把關鍵字轉成向量,再用餘弦相似度比較,把相似度高的歸成一組,最後人工檢查每一組是不是真的屬於同一個搜尋意圖。
  3. 用一組同義詞、同形異義詞和意思相反的詞測試,看模型找出的近鄰詞是否合理,把「可退款」和「不退款」這種錯例記下來。
  4. 型號、品牌名、地名這類精確資訊,另外保留精確比對的欄位,不要只靠向量。

常見誤解

  • 向量裡的每個數字代表一個可讀的意思。

    詞義是由整組數字共同決定,單一數字並不對應某個意思。

  • 不同模型算出來的詞向量可以直接比較。

    每個模型的訓練資料與維度不同,空間也不同,要用同一個模型,或已驗證過的對應方式。

  • 兩個詞的向量很接近,就代表它們常一起出現。

    接近代表兩個詞出現的語境相似,可能是同義、反義,或同類型的東西,要回到原文確認。

詞嵌入和文件嵌入差在哪

面向詞嵌入文件或段落嵌入
主要單位詞或詞元句子、段落或整份文件
常見用途比較兩個詞的相近程度、替關鍵字分群比較搜尋問題與頁面段落,用於向量搜尋
要注意的事同一個字有多種意思時,固定向量分辨不出來內容很長時,條件與脈絡可能被平均掉

常見問題

詞嵌入和 Word2Vec 有什麼不同?

詞嵌入是整類做法,Word2Vec 是 2013 年由 Mikolov 等人提出、最廣為人知的一種詞嵌入模型。後來還有 GloVe、BERT 等不同模型,各自的向量產生方式與用途都不一樣。

詞嵌入對 SEO 有什麼用?

最常見的用途是替大量關鍵字分群:把關鍵字轉成向量,再依相似度分組,找出屬於同一搜尋意圖的詞。分組後仍需人工檢查,並看實際搜尋結果。

Google 搜尋有用詞嵌入嗎?

Google 沒有公開技術細節。官方文件說 RankBrain 用來理解詞與概念的關係、BERT 用來理解詞語組合的意思,媒體報導 RankBrain 會把文字轉成向量,但實作方式並未公開。

詞嵌入和 BERT 這類模型的向量有什麼不同?

傳統詞嵌入如 Word2Vec,一個詞只有一個向量,「蘋果」不論指水果或公司都相同。BERT 這類模型會依上下文產生不同的向量,所以能分辨一詞多義。

詞嵌入的向量維度越高越好嗎?

不一定。維度越高能保留的資訊越多,但儲存與計算成本也越高,資料量不夠時還可能學不好。常見的詞向量大約幾百維,實際要用自己的資料測試。

AK · AKSEO Labs · 上線