跳到主要內容

停用詞Stop Words

停用詞是搜尋系統在建立索引或處理查詢時可以略過的高頻詞,例如英文的 the、of,因為它們很難幫助分辨文件是否相關。

英文
Stop Words
台灣常見別名
停用詞、常用排除詞、Stop Words
簡中用語
停用词、停止词
類別
搜尋引擎運作與資訊檢索
提出者與年份
資訊檢索通用做法;Hans Peter Luhn 1958 年的詞頻研究排除常見詞,「stop word」一詞較晚才出現
官方文件
Elasticsearch Reference:Stop token filter

停用詞是什麼?

停用詞是搜尋系統認為對區分文件幫助不大、因此可以略過的常見詞。英文的 the、of、and,中文的「的」「了」「在」都是典型例子。這些詞幾乎每份文件都有,拿來比對,無法幫忙判斷哪一份文件更符合查詢。

搜尋系統通常建立一份停用詞清單,在建立索引或解析查詢之前,先把清單上的詞從文字裡濾掉,這樣可以省下儲存空間,也讓查詢更快。清單怎麼訂,要看語言和用途,沒有放諸四海皆準的版本。

舉例

假想一個英文產品支援網站使用 Elasticsearch 預設的英文停用詞清單,這份清單包含 not 和 no。使用者搜尋「printer not working」,系統把 not 濾掉,剩下「printer working」,找到的反而是印表機正常運作的文章,意思整個顛倒。這也是為什麼不能不加測試就照搬停用詞清單。

停用詞的時間線與現況

1958 年。 IBM 的 Hans Peter Luhn 在《IBM Journal of Research and Development》發表〈The Automatic Creation of Literature Abstracts〉,用詞頻找出文章裡重要的詞,並排除太常見、沒有鑑別力的詞。他被視為資訊檢索的先驅之一。「stop word」這個說法本身不出現在他的論文裡,是後來的文獻才開始使用。

搜尋工具的現況。 現在的搜尋工具把停用詞過濾做成可選的元件。Elasticsearch 的 stop 過濾器基於 Lucene 的 StopFilter,預設的英文清單有 30 多個詞,包含 a、the、no、not 等,也可以改用其他語言的清單或自訂清單。

Google 的說法。 Google 沒有公開哪些詞會被過濾。Google 的 John Mueller 在 2021 年 2 月說過,不用擔心停用詞,自然地寫就好,並提到搜尋引擎看的是遠比單一字詞更多的資訊。據 Search Engine Journal 報導,他也說過網址裡的字詞只是很輕的訊號,要不要在網址保留停用詞,由網站主自行決定。

為什麼現在較少移除。 BERT 這類語言模型會參考每個詞前後的字,停用詞常常是決定語意的關鍵。業界人士因此推測現代搜尋不會一律刪除這些詞,這是推論,Google 沒有公開確認。

為什麼重要

搜尋型號、警示訊息、法律條文標題或片語時,一個本來很常見的字可能就是要找的重點,例如否定詞、介系詞。自己架設站內搜尋的人,要知道停用詞過濾會直接改變搜尋結果。做網站內容的人則不必替搜尋引擎刪減句子,句子應該以讀者讀得順為準。

怎麼檢查

  1. 如果有站內搜尋,查設定裡的索引與查詢分析器,確認有沒有啟用停用詞過濾,用的是哪一份清單。
  2. 挑出否定句、片語、品牌名和型號,各搜尋一次,比較啟用與關閉過濾時的結果。
  3. 檢查網址和標題,保留讀者看得懂的自然語意,只有網址太長時才縮短,不必為了拿掉 the 或 a 而特別改網址。
  4. 比較正確結果的名次、漏掉的文件和回應時間,再決定要不要調整清單。

常見誤解

  • 停用詞的清單在所有語言和網站都一樣。

    常見詞會隨語言和資料而不同,對一個網站是雜訊的詞,對另一個網站可能是關鍵字。

  • 寫 SEO 文章要把所有停用詞都刪掉。

    Mueller 的建議是自然地寫,搜尋引擎處理文字的方式,和人讀句子的方式是兩回事。

  • 網址一定要拿掉 the、a、的這類字。

    Google 說網址裡的字詞影響很小,留不留停用詞沒有硬性規定,以好讀和好理解為準。

常見問題

網址要不要拿掉 the、a、的?

不用特地拿掉。Google 的 John Mueller 說過網址裡的字詞只是很輕的訊號,要不要保留停用詞由網站經營者決定,網址以讀者好讀、好理解為準,太長時再縮短。

Google 會忽略停用詞嗎?

Google 沒有公開確認。Mueller 在 2021 年的建議是不用擔心停用詞,自然地寫就好,因為搜尋引擎看的是比單一字詞更多的資訊,不會只靠有沒有某個常見字判斷。

中文也有停用詞嗎?

有。常見的中文停用詞清單包含「的」「了」「在」等,但要先斷詞才能過濾,也要視用途決定,因為有些字在特定查詢裡反而是關鍵,不能一律刪掉。

AI 搜尋或語言模型還會移除停用詞嗎?

通常不會。BERT 這類語言模型要參考每個詞前後的字,停用詞常常決定語意,所以多半保留完整句子。移除停用詞現在比較常見於詞頻統計,例如 TF-IDF 或文字雲。

AK · AKSEO Labs · 上線