Okapi BM25 排序函數Okapi Best Matching 25 (BM25)
Okapi BM25 排序函數是搜尋引擎常用的文字相關性評分公式,依查詢詞在文件中的出現次數、詞的稀有程度與文件長度,替每份文件打分數。
- 英文
- Okapi Best Matching 25 (BM25)
- 台灣常見別名
- Okapi BM25、BM25、BM25 排序
- 簡中用語
- BM25 排序算法、Okapi BM25
- 類別
- 搜尋引擎運作與資訊檢索
- 提出者與年份
- Stephen Robertson、Stephen Walker 等人,1994 年於 TREC-3 發表(倫敦城市大學 Okapi 系統)
- 官方文件
- Okapi at TREC-3;Robertson 與 Zaragoza:The Probabilistic Relevance Framework(2009)
Okapi BM25 排序函數是什麼?
BM25 是一個替「查詢和文件有多相關」打分數的公式。名稱裡的 BM 是 Best Match(最佳匹配)的縮寫,25 是這個公式在研究中的版本編號,Okapi 則是倫敦城市大學開發的檢索系統名稱。它的直覺很簡單:查詢詞在文件裡出現越多次、這個詞越稀有、文件越短,分數通常越高。
它屬於搜尋流程的排序階段,處理「用字面關鍵字找文件」這一段:系統先用倒排索引找出含有查詢詞的候選文件,再用 BM25 替候選打分、排出先後。Elasticsearch 的預設相關性演算法就是 BM25。
舉例(假想情境)
一個家電維修網站的站內搜尋,使用者查「除濕機 E24」。網站有幾百篇文章提到除濕機,只有少數提到錯誤碼 E24。E24 很稀有,所以得到高權重,直接說明 E24 的短文因此排在前面;一份很長的型錄即使重複出現 E24,也不一定贏過它。
Okapi BM25 排序函數的時間線與現況
- 1994 年 Robertson、Walker、Jones、Hancock-Beaulieu 與 Gatford 在 TREC-3 發表《Okapi at TREC-3》,把先前的 BM11 與 BM15 合併成一個函數,命名為 BM25。
- 2009 年 Robertson 與 Zaragoza 發表《The Probabilistic Relevance Framework: BM25 and Beyond》,系統性回顧這個方法與它的變形。
- 現況 Elasticsearch 的文件把 BM25 列為預設的相似度演算法,開源搜尋軟體也多半內建。向量搜尋興起後,常見做法是把 BM25 的字面分數和語意分數合併,稱為混合搜尋。
公式與參數如下。查詢裡每個詞各算一個分數,再加總:
分數 = 各查詢詞的 IDF × f × (k1 + 1) ÷ ( f + k1 × (1 − b + b × 文件長度 ÷ 平均文件長度) )
IDF = ln( 1 + (N − n + 0.5) ÷ (n + 0.5) )
f 是這個詞在文件裡出現的次數,N 是文件總數,n 是含有這個詞的文件數。k1 控制詞頻的飽和速度,預設 1.2,數字越大,重複出現的詞能累積越多分數。b 控制長度校正的力道,預設 0.75,設成 0 就完全不看文件長度,設成 1 則完全校正。
算例(假設 N 為 1,000 份文件,文件長度等於平均長度)
錯誤碼 E24 只出現在 10 份文件,IDF 約 4.56;「除濕機」出現在 400 份文件,IDF 約 0.92。某篇文章 E24 出現 2 次,詞頻部分是 2 × 2.2 ÷ (2 + 1.2) = 1.375,所以 E24 這個詞貢獻約 6.27 分,「除濕機」同樣出現 2 次只貢獻約 1.26 分。若 E24 出現 10 次,詞頻部分只升到約 1.96,次數變成 5 倍,分數只增加約 43%。若同一篇文章的長度是平均的 2 倍,詞頻部分會降到約 1.07。
為什麼重要
BM25 把兩個 SEO 常見直覺講得很具體:稀有、精確的詞比常見詞更有區別力,而重複同一個詞的效益會遞減。需要提醒的是,Google 沒有公開它的排名是否使用 BM25,這個公式主要出現在 Elasticsearch、OpenSearch 這類搜尋軟體,所以最直接的用途是調整網站的站內搜尋,不是推論 Google 的排名。
怎麼檢查
- 從 Search Console 的「成效」報表挑出 20 個常見查詢,加上幾個型號、縮寫類查詢,記下期待排在前面的頁面。
- 在 Kibana 的 Dev Tools 對站內搜尋索引執行查詢,加上
"explain": true,看每個詞各貢獻多少分。 - 用分析器的測試功能(
_analyze)確認產品型號、縮寫沒有被拆壞,這是結果不對最常見的原因。 - 需要調參數時,在索引的 similarity 設定改 k1 與 b,用同一批查詢比較前後的前 10 名。
常見誤解
把目標關鍵字重複越多次,排名就越前面。
詞頻部分會飽和,次數增加後分數成長越來越小,過長的文件還會被長度校正拉低。
BM25 能理解同義詞。
它只比對字面詞項,查「杯口漏」找不到只寫「密封墊老化」的文件,需要同義詞規則或語意搜尋補足。
BM25 就是 Google 的排名公式。
BM25 是公開的演算法,Google 實際用哪些系統排名並沒有公開。
BM25 和詞頻與逆文件頻率差在哪
| 面向 | BM25 | TF-IDF |
|---|---|---|
| 用途 | 替查詢與文件的相關性打分並排序 | 替詞在文件中的重要性加權 |
| 重複次數 | 詞頻有飽和上限,由 k1 控制 | 基本版本隨次數線性增加,常再取對數 |
| 文件長度 | 有長度校正,由 b 控制 | 需要另外做正規化 |
常見問題
k1 和 b 該怎麼調?
先用預設值,也就是 k1 為 1.2、b 為 0.75。只有在文件長度差很大,或重複詞很常見時才試著調整,而且要用一批固定的測試查詢比較前後的排序,不要憑感覺改。
BM25 的分數可以拿來比較不同查詢嗎?
不行。BM25 的分數受查詢詞數量、整批文件的詞分布影響,只適合同一個查詢下比較文件先後,不同查詢的分數大小沒有可比性。
網站要不要針對 BM25 優化關鍵字?
不需要。BM25 是搜尋軟體的評分公式,Google 沒有公開它的排名是否用這個公式。重複目標詞的效益很快就會遞減,把內容寫完整比硬塞關鍵字有用。
BM25 現在還有人在用嗎?
有。Lucene 與 Elasticsearch 從 5.0 版起把 BM25 當成預設的相關性公式,取代原本的 TF-IDF。它計算快、參數少,所以至今仍是許多全文檢索系統的預設做法與比較基準。