正規化折損累積增益Normalized Discounted Cumulative Gain (NDCG)
正規化折損累積增益是評估排序品質的指標,依各結果的相關程度與名次計分,再除以理想排序的得分,結果介於 0 到 1。
- 英文
- Normalized Discounted Cumulative Gain (NDCG)
- 台灣常見別名
- 正規化折損累積增益、nDCG、NDCG
- 簡中用語
- 归一化折损累计增益、归一化折损累积增益
- 類別
- 搜尋引擎運作與資訊檢索
- 提出者與年份
- Kalervo Järvelin 與 Jaana Kekäläinen,2002 年發表代表論文
- 官方文件
- Cumulated Gain-Based Evaluation of IR Techniques(2002)
正規化折損累積增益是什麼?
NDCG 的名稱可以拆成四個字看:Gain(增益)是每個結果的相關程度分數;Cumulative(累積)是把前幾名的分數加起來;Discounted(折損)是名次越後面,分數打越多折;Normalized(正規化)是除以理想排序的最高分,讓結果落在 0 到 1 之間。合起來,它回答一個問題:搜尋結果排得好不好?相關度高的結果排得越前面,分數就越接近 1。
它是評估階段的指標,不是搜尋引擎排名時用的訊號。搜尋工程師改了排名模型後,用 NDCG 比較新舊版本哪個比較好。
舉例(假想情境)
你替網站的站內搜尋改了排序,想知道有沒有變好。你挑 50 個常見查詢,請人替每個查詢的前 10 筆結果標相關度,再用 NDCG@10 比較改版前後。分數從 0.71 升到 0.78,代表相關的頁面平均被排得更前面。
正規化折損累積增益的時間線與現況
- 2000 年 Järvelin 與 Kekäläinen 在 SIGIR 會議提出以累積增益評估檢索的想法,強調高相關的文件應該更重要。
- 2002 年 兩人在《ACM Transactions on Information Systems》發表《Cumulated Gain-Based Evaluation of IR Techniques》,完整提出 DCG 與 NDCG。
- 現況 NDCG 成為排序學習與搜尋評估的標準指標,scikit-learn 提供
ndcg_score,Elasticsearch 的排名評估 API 也能計算 DCG 與 NDCG。
公式如下:
DCG@k = 第 1 到 k 名的(相關度 ÷ log2(名次 + 1))加總
NDCG@k = DCG@k ÷ 理想排序的 DCG@k
算例(相關度 0 到 3,數字為假設)
某查詢前 5 名的相關度依序是 2、3、0、1、3。DCG@5 = 2 + 3÷1.585 + 0 + 1÷2.322 + 3÷2.585,約 5.49。理想排序是 3、3、2、1、0,DCG@5 約 6.32。NDCG@5 = 5.49 ÷ 6.32,約 0.87。兩個 3 分沒有都排在最前面,所以分數低於 1。
為什麼重要
SEO 人員平常不會自己算 NDCG,但會在幾個地方遇到它:評估網站的站內搜尋、比較 AI 搜尋或 RAG 系統的檢索品質,或閱讀搜尋研究報告。它的邏輯也有啟發性:前幾名最重要,高相關的結果排錯位置,代價比低相關的大。需要提醒的是,NDCG 是離線的評估指標,Google 沒有公開說它用 NDCG 決定排名。
怎麼檢查
- 從 Search Console 的「成效」報表,匯出曝光最高的 50 個查詢,作為測試查詢。
- 對每個查詢的前 10 筆結果,人工標相關度 0 到 3。
- 用 Python 的 scikit-learn
ndcg_score或試算表計算 NDCG@10。 - 改版後用同一批查詢與標註重新計算,比較差異;另外抽查分數下降最多的查詢。
常見誤解
NDCG 是 Google 的排名因素。
它是評估排序品質的指標,用來比較系統,不是排名訊號。
NDCG 0.9 就一定很好。
分數取決於標註方式、測試查詢與計算的名次範圍,必須和同條件的基準比較。
NDCG@3 和 NDCG@10 可以直接比較。
取的名次範圍不同,分數意義不同,報告要寫明是哪一個。
正規化折損累積增益和召回率差在哪
| 面向 | NDCG | 召回率 |
|---|---|---|
| 看什麼 | 相關結果有沒有排在前面 | 找到了多少比例的相關文件 |
| 在意名次嗎 | 在意,名次越後面折損越多 | 不在意,只看有沒有找到 |
| 相關程度 | 可以分多個等級 | 通常只分相關與不相關 |
常見問題
NDCG 多少分算好?
沒有通用的門檻。分數取決於測試資料、標註方式與取前幾名計算,所以不同資料集的分數不能直接比較。比較有意義的做法,是用同一批查詢與標註,比較改版前後的差異。
只有「相關」和「不相關」兩級,還能用 NDCG 嗎?
可以。把相關標成 1、不相關標成 0,NDCG 就變成二元版本。標註的層級越細,越能反映非常相關和勉強相關的差別,所以資源夠的話,建議使用三到五級的標註。
有些查詢完全沒有相關文件,NDCG 怎麼算?
理想排序的得分是 0,分母為 0,公式無法計算。不同工具處理方式不同,有的算 0,有的略過,報告裡要寫明用了哪一種,才不會讓平均分數失真。
NDCG@10 的 10 是什麼意思?
代表只計算排名前 10 筆結果的分數。搜尋者多半只看前幾名,所以評估時常截在前 5 或前 10。報告裡必須寫明截在哪裡,不同截斷位置的分數沒辦法直接比較。