跳到主要內容

餘弦相似度Cosine Similarity

餘弦相似度是用兩個向量夾角的餘弦值衡量方向接近程度的指標,範圍從負 1 到 1,常用來比較查詢與文件在語意向量空間中的相似程度。

英文
Cosine Similarity
台灣常見別名
餘弦相似度、餘弦相似性、Cosine Similarity
簡中用語
余弦相似度、余弦相似性
類別
搜尋引擎運作與資訊檢索
提出者與年份
向量空間模型的通用量測;Salton 等人 1975 年將向量空間模型用於資訊檢索
官方文件
Turney 與 Pantel:From Frequency to Meaning(2010)

餘弦相似度是什麼?

要懂餘弦相似度,得先懂「向量」:搜尋系統會把一段文字轉成一串數字,這串數字就是向量,可以想成空間裡的一支箭頭。兩段文字的意思越接近,兩支箭頭指的方向就越接近。餘弦相似度用兩支箭頭夾角的餘弦值來量化方向有多像:夾角 0 度,值是 1;互相垂直,值是 0;方向相反,值是負 1。

它處在語意搜尋與向量搜尋的「比對」這一步:查詢和文件先各自轉成向量,再算餘弦相似度,分數高的文件被挑出來當候選結果。看的是方向,不是長度,所以一篇長文和一篇短文只要主題方向相同,也可以得到很高的分數。

舉例(假想情境,數字為假設)

網站內搜尋「無糖茶」,系統把查詢轉成向量,再和每個商品說明的向量比較。「綠茶 無糖 600ml」的方向和查詢很接近,餘弦值約 0.9;「珍珠奶茶」的方向較遠,約 0.4,所以前者排在前面。

餘弦相似度的時間線與現況

  1. 1975 年 Salton、Wong 與 Yang 發表《A Vector Space Model for Automatic Indexing》,把文件與查詢表示成詞權重向量,以向量之間的夾角比較相似度,這是向量空間模型在資訊檢索的源頭。
  2. 2010 年 Turney 與 Pantel 發表綜述《From Frequency to Meaning》,整理向量空間模型在語意任務上的各種應用。
  3. 2013 年起 詞嵌入模型(例如 word2vec)普及,餘弦相似度成為比較詞向量與句向量的常見做法。
  4. 現況 向量搜尋系統通常讓你選餘弦、內積或歐氏距離等度量,餘弦是最常見的預設之一。

公式如下,分子是兩個向量的點積,分母是兩個向量長度的乘積:

餘弦相似度 = (A · B) ÷ (|A| × |B|)

算例

A 是 (1, 2, 0),B 是 (2, 1, 1)。點積是 1×2 + 2×1 + 0×1 = 4,A 的長度是根號 5,約 2.236,B 的長度是根號 6,約 2.449。餘弦相似度 = 4 ÷ (2.236 × 2.449),約 0.73。再看兩個極端:(1, 2) 與 (2, 4) 方向完全相同,結果是 1;(1, 0) 與 (0, 1) 互相垂直,結果是 0。

為什麼重要

SEO 工具常會給出「語意相似度」分數,用來比對文章和目標查詢,或找出站內內容重複的頁面,背後多半就是餘弦相似度。了解公式才知道,這個分數只在同一個嵌入模型內有意義,0.82 不代表 82% 相同。需要提醒的是,Google 沒有公開說它的排名使用餘弦相似度,它是一般的向量比較方法。

怎麼檢查

  1. 確認要比較的兩段文字,都是用同一個嵌入模型轉成向量。
  2. 用 Python 的 scikit-learn 套件 cosine_similarity 計算,或在工具裡匯出相似度分數。
  3. 準備三組已知的例子,分別是意思相同、無關、主題相同但結論相反,看分數怎麼分布,再決定門檻。
  4. 抽查分數最高與最低的各 10 筆,確認高分的真的相關、低分的沒有漏掉。

常見誤解

  • 餘弦相似度為 0,代表文件沒有價值。

    0 只表示兩個向量互相垂直,在這個模型下看不出方向相近,不代表內容沒用。

  • 分數很高,代表兩份內容的主張相同。

    兩段話可能主題相同、結論相反,向量方向仍然很接近,還是要讀內容。

  • 不同模型的分數可以直接平均。

    不同模型的分數分布不同,要先確認可比性。

餘弦相似度和歐氏距離差在哪

面向餘弦相似度歐氏距離
衡量什麼兩個向量的方向兩個向量端點的直線距離
怎麼排序數值越大越相近數值越小越相近
受長度影響向量等比例放大,數值不變向量長度改變,距離就會改變

常見問題

餘弦相似度多少算相似?

沒有通用的門檻。同一個數字在不同的嵌入模型下意義不同,0.8 在某個模型可能代表高度相關,在另一個模型只是一般。要用自己的語料,抽幾組已知相關與不相關的例子,看分數怎麼分布再定門檻。

餘弦距離和餘弦相似度是同一個東西嗎?

不是,但關係很簡單。餘弦距離通常定義為 1 減去餘弦相似度,所以相似度越高,距離越小,兩者排序方向相反,使用工具時要先看清楚它回傳的是哪一種。

餘弦相似度和 TF-IDF 是什麼關係?

TF-IDF 負責把文字轉成帶權重的向量,餘弦相似度負責比較兩個向量的方向,兩者常搭配使用。現在更常見的是用嵌入模型產生向量,再用餘弦相似度比較。

餘弦相似度的數值範圍是多少?

理論上介於 -1 到 1。1 代表兩個向量方向完全相同,0 代表互相垂直,-1 代表方向相反。實際分數的分布依嵌入模型而異,所以不能直接拿不同模型的數字互相比較。

AK · AKSEO Labs · 上線