重排序Reranking
重排序是搜尋流程的第二階段,先用快速方法撈出一批候選資料,再用更精細的模型重新評分,把最相關的排到前面。
- 英文
- Reranking
- 台灣常見別名
- 重排序、重新排序、二階段排序
- 簡中用語
- 重排序、重新排序
- 類別
- 搜尋引擎運作與資訊檢索
- 提出者與年份
- 資訊檢索通用架構,無單一提出者;Nogueira 與 Cho 2019 年以 BERT 重排段落的研究為代表
- 官方文件
- Elastic:Semantic reranking;Passage Re-ranking with BERT(2019)
重排序是什麼?
重排序是搜尋流程裡的第二道排序。系統先用運算成本低、速度快的方法,從數萬甚至數百萬份資料中篩出幾十到幾百份可能相關的候選,再用比較精細、也比較耗運算的模型,把每一份候選和查詢放在一起重新評分,依分數調整先後順序,讓最相關的排到最前面。
它發生在取得候選之後、結果交給使用者之前。第一道篩選沒有撈到的資料,重排序沒有機會把它往前移。
舉例
假想有人搜尋「可以換電池的入門運動相機」。第一道篩選找回 100 份運動相機相關頁面,其中有規格比較表、配件商品頁,也有評測文章。重排序模型逐一讀每個頁面的內容,把明確寫出電池可更換的評測與商品頁排到前 5 名,把只是提到運動相機、卻沒有說明電池的配件頁往後放。
重排序的時間線與現況
沒有單一推出年。 重排序是資訊檢索長期使用的架構,「先快速找候選、再精細排序」這個做法早於任何一個特定產品。Google 沒有公開完整的排名流程,所以無法確認 Google 搜尋內部哪一步在做重排序,現在能查到的細節多半來自學術論文與搜尋產品文件。
2019 年。 Rodrigo Nogueira 與 Kyunghyun Cho 在 1 月發表論文《Passage Re-ranking with BERT》,用 BERT 對候選段落重新打分數,在 MS MARCO 段落檢索任務的排行榜拿下第一,MRR@10 比之前最佳成績高出 27%(相對值)。
常見模型類型。 目前最常見的是交叉編碼器(cross-encoder):把查詢和文件文字接成一個輸入一起讀,所以能抓到兩者之間的細節關係,準確度比分開編碼的方式高,但運算量也比較大。Elastic 的語意重排序文件提到,Elasticsearch 目前支援的重排序模型就是交叉編碼器。
現況與常見產品。 重排序已被做成現成的服務。Elastic 的文件列出的選項包含 Elastic Rerank、Jina 的重排序模型、Cohere Rerank 和 Google Vertex AI 的端點。Cohere 的說明寫到,Rerank 是放在現有的關鍵字、向量搜尋或混合搜尋之上使用,不必重建索引。
為什麼重要
對寫內容的人來說,重排序代表頁面要通過兩關:先要被收錄、被第一道篩選找到,接著頁面裡要有一段能直接回答問題的文字,才會在第二關被排到前面。重排序模型是把問題和段落放在一起讀的,所以標題含糊、答案藏在很後面的頁面比較吃虧。這是依模型運作方式做的推論,Google 沒有公開說明。
怎麼檢查
- 用目標問題在支援引用來源的 AI 搜尋工具(例如 Google 搜尋的 AI 摘要)查一次,看被引用的是哪些頁面、哪些段落。
- 打開自己的頁面,找出直接回答這個問題的那一段,確認它不需要前後文也讀得懂,答案寫在段落開頭。
- 如果自己架了站內搜尋或知識庫搜尋,保存每次查詢的第一道候選順序和重排後順序,人工標出正確答案原本排第幾、重排後排第幾。
- 用 NDCG 這類指標比較重排前後的差異,同時記下回應時間,確認品質提升值得多出的等待。
常見誤解
只要換一個更好的重排序模型,就能解決搜尋不到的問題。
如果正確的頁面根本沒進候選名單,重排序就看不到它。要先檢查第一道篩選有沒有找回該頁面。
重排序是 Google 才有的技術。
自己架設的站內搜尋、客服知識庫和 AI 問答系統都在用,Cohere、Elastic 等廠商也把它做成現成的產品。
常見問題
重排序和 SEO 有什麼關係?
間接相關。Google 沒有公開自家搜尋怎麼做這一步,但 AI 搜尋和問答系統常用重排序挑段落,所以頁面裡有一段能直接回答問題、不需要前後文也讀得懂的文字,會比較有利。
RAG 一定要加重排序嗎?
不一定。資料量小、第一階段找得夠準時可以先不加。當候選裡常混入不相關段落時,加重排序可以挑出較適合的資料,也能減少送進模型的字數。
重排序會讓搜尋變慢嗎?
會,因為多了一次模型運算,候選越多越慢。供應商通常提供速度與品質不同的版本,例如 Cohere 的 Rerank 就有強調低延遲的 fast 型號。實務上會限制送進重排序的候選數量。