詞頻與逆文件頻率Term Frequency-Inverse Document Frequency (TF-IDF)
詞頻與逆文件頻率是替詞加權的方法,詞在某篇文件出現越多、在整批文件越少見,權重越高。
- 英文
- Term Frequency-Inverse Document Frequency (TF-IDF)
- 台灣常見別名
- 詞頻與逆文件頻率、TF-IDF、詞頻反文件頻率
- 簡中用語
- 词频逆文档频率、TF-IDF
- 類別
- 搜尋引擎運作與資訊檢索
- 提出者與年份
- Karen Spärck Jones 1972 年發表文件頻率研究;後續 Salton 等人發展出多種合併權重
- 官方文件
- A Statistical Interpretation of Term Specificity and Its Application in Retrieval
詞頻與逆文件頻率是什麼?
詞頻與逆文件頻率(TF-IDF)是幫文件裡的每個詞打權重的方法,用來找出最能代表這份文件的詞。它的想法有兩層:一個詞在某份文件裡出現越多次,這個詞對那份文件可能越重要,這是詞頻(TF);但如果這個詞在整批文件裡幾乎每篇都有,它就沒有鑑別力,所以要除以含有這個詞的文件比例,這是逆文件頻率(IDF)。兩者相乘,得到最後的權重。
它用在文字分析、特徵擷取和替搜尋結果打分數,是資訊檢索裡最基本的詞加權方法之一。同一個詞的權重不是固定值,會隨著拿來比較的文件集合而變。
舉例
假想有 10 篇咖啡網站的文章,其中「咖啡」出現在全部 10 篇,「磨豆機」只出現在 2 篇。「咖啡」的 IDF 是 ln(10÷10) = 0,等於沒有鑑別力;「磨豆機」的 IDF 是 ln(10÷2) ≈ 1.61。如果某一篇提到「磨豆機」4 次,它的權重約為 4 × 1.61 ≈ 6.44,遠高於「咖啡」。這篇文章的主題因此會被認為和磨豆機有關。
詞頻與逆文件頻率的時間線與現況
1972 年。 Karen Spärck Jones 在《Journal of Documentation》第 28 卷第 1 期發表〈A Statistical Interpretation of Term Specificity and Its Application in Retrieval〉,主張詞的專一程度可以用它在整批文件中的出現頻率來衡量,罕見的詞在比對時應該更有分量。這就是 IDF 的起點,形式是 log(N ÷ n),N 是文件總數,n 是含有該詞的文件數。
1970 至 1980 年代。 Gerard Salton 等人把詞頻與逆文件頻率結合成現在常見的 TF-IDF,Salton 與 Buckley 在 1988 年發表的論文系統性比較了各種詞加權方式。
公式與算例。 最簡單的版本:TF-IDF = 詞出現次數 × ln(文件總數 ÷ 含該詞的文件數)。假設一個知識庫有 100 份文件,其中 5 份提到「逆止閥」,某一份提到 3 次,分數是 3 × ln(100 ÷ 5) = 3 × 2.9957,約 8.99。
不同工具的版本。 Python 的 scikit-learn 預設用平滑版:idf = ln((1 + 文件總數) ÷ (1 + 含該詞的文件數)) + 1,還會把每份文件的向量做 L2 正規化,也可以選擇用 1 + ln(次數) 取代原始次數。同一組數字代進去,3 × [ln(101 ÷ 6) + 1] 約為 11.47,正規化前就已經和簡單版的 8.99 不同。所以不同工具的分數不能直接比較。
現況。 TF-IDF 至今仍用在文字分類、關鍵字擷取和簡單的搜尋評分,排序函數 BM25 則在它的基礎上加入詞頻飽和與文件長度調整,是許多全文檢索系統的預設排序函數。關於 Google,John Mueller 在 2019 年 4 月的網站管理員線上問答中說明,TF-IDF 是資訊檢索裡的老指標,要依賴整個網路的統計資料才算得出來,無法複製,建議不要把心力放在這類人造指標上。Google 沒有公開說自己的排名使用 TF-IDF。
為什麼重要
SEO 圈有不少工具會用 TF-IDF 分析排名前幾名的頁面,列出它們共通的高權重詞,讓寫手知道還漏了哪些相關詞。這個做法的價值在於發現內容有沒有缺掉主題該有的子題。它不代表 Google 用同樣的公式排名,高權重詞也只是參考,不是要硬塞進文章的清單。理解 TF-IDF,也能幫你分辨哪些工具報表只是詞頻統計,不是 Google 的評分。
怎麼檢查
- 決定要比較的資料:自己的頁面加上搜尋結果前 10 名的頁面,語言要一致,先把導覽列、頁尾這類重複的文字去掉。
- 中文要先斷詞再計算。英文可以先去掉停用詞。
- 用 scikit-learn 的 TfidfVectorizer 計算,記下用的參數:是否平滑、是否做次線性詞頻、是否正規化。
- 列出每個頁面權重最高的 10 個詞,比較自己的頁面缺少哪些前幾名共通的詞。
- 回到文章判斷這些詞是不是真的代表缺少的資訊,沒有資訊缺口的詞不必硬加。
常見誤解
稀有詞越多,越能找到正確文件。
錯字和雜訊也很稀有,IDF 很高,卻對主題毫無幫助。
TF-IDF 有公開公式,所以 Google 排名就是用它。
它是通用方法,Google 沒有說自己用它,Mueller 也說它是老指標,不必當成目標。
每個 TF-IDF 工具算出來的分數可以直接比較。
公式、資料集和斷詞方式都會改變數字,要在同一組資料與設定下比較才有意義。
詞頻與逆文件頻率和 BM25 差在哪
| 面向 | TF-IDF | BM25 |
|---|---|---|
| 最常用途 | 替文件中的詞加權,找出代表詞 | 替文件針對查詢打分數並排序 |
| 文件長度 | 通常要另外做正規化 | 公式內建長度調整參數 |
| 詞反覆出現 | 權重隨次數增加,可用對數壓低 | 內建詞頻飽和,次數多到一定程度不再加分 |
常見問題
TF-IDF 工具可以用來優化 SEO 文章嗎?
可以當成找內容缺口的參考,看排名前幾名共通的高權重詞,你的文章有沒有漏掉相關子題。但 Google 沒有說自己用 TF-IDF 排名,不必為了湊詞而硬塞。
TF-IDF 分數多少算高?
沒有固定門檻。分數取決於語料、斷詞和公式版本,同一個詞換一套工具就會算出不同的數字,所以只能在同一組資料與設定下,比較同一批詞的相對高低。
TF-IDF 和關鍵字密度差在哪?
關鍵字密度只看詞在單篇文章的比例;TF-IDF 還會考慮這個詞在整批文件有多常見,越常見的詞權重越低,所以更能反映哪個詞真正代表這篇文章。
TF-IDF 的 IDF 為什麼要取對數?
取對數是為了壓低差距。沒有對數的話,只出現在 1 篇的詞,權重會比出現在 100 篇的詞大上百倍。取對數後,權重隨稀有程度緩慢增加,不會被極少見的詞主導。
常見的 TF-IDF 工具有哪些?
程式端最常用 Python scikit-learn 的 TfidfVectorizer,中文要先搭配 jieba 這類斷詞工具。SEO 內容分析工具也會提供類似的詞彙建議,但演算法多半不公開,分數不能互相比較。