停用詞Stop Words
停用詞是搜尋系統在建立索引或處理查詢時可以略過的高頻詞,例如英文的 the、of,因為它們很難幫助分辨文件是否相關。
- 英文
- Stop Words
- 台灣常見別名
- 停用詞、常用排除詞、Stop Words
- 簡中用語
- 停用词、停止词
- 類別
- 搜尋引擎運作與資訊檢索
- 提出者與年份
- 資訊檢索通用做法;Hans Peter Luhn 1958 年的詞頻研究排除常見詞,「stop word」一詞較晚才出現
- 官方文件
- Elasticsearch Reference:Stop token filter
停用詞是什麼?
停用詞是搜尋系統認為對區分文件幫助不大、因此可以略過的常見詞。英文的 the、of、and,中文的「的」「了」「在」都是典型例子。這些詞幾乎每份文件都有,拿來比對,無法幫忙判斷哪一份文件更符合查詢。
搜尋系統通常建立一份停用詞清單,在建立索引或解析查詢之前,先把清單上的詞從文字裡濾掉,這樣可以省下儲存空間,也讓查詢更快。清單怎麼訂,要看語言和用途,沒有放諸四海皆準的版本。
舉例
假想一個英文產品支援網站使用 Elasticsearch 預設的英文停用詞清單,這份清單包含 not 和 no。使用者搜尋「printer not working」,系統把 not 濾掉,剩下「printer working」,找到的反而是印表機正常運作的文章,意思整個顛倒。這也是為什麼不能不加測試就照搬停用詞清單。
停用詞的時間線與現況
1958 年。 IBM 的 Hans Peter Luhn 在《IBM Journal of Research and Development》發表〈The Automatic Creation of Literature Abstracts〉,用詞頻找出文章裡重要的詞,並排除太常見、沒有鑑別力的詞。他被視為資訊檢索的先驅之一。「stop word」這個說法本身不出現在他的論文裡,是後來的文獻才開始使用。
搜尋工具的現況。 現在的搜尋工具把停用詞過濾做成可選的元件。Elasticsearch 的 stop 過濾器基於 Lucene 的 StopFilter,預設的英文清單有 30 多個詞,包含 a、the、no、not 等,也可以改用其他語言的清單或自訂清單。
Google 的說法。 Google 沒有公開哪些詞會被過濾。Google 的 John Mueller 在 2021 年 2 月說過,不用擔心停用詞,自然地寫就好,並提到搜尋引擎看的是遠比單一字詞更多的資訊。據 Search Engine Journal 報導,他也說過網址裡的字詞只是很輕的訊號,要不要在網址保留停用詞,由網站主自行決定。
為什麼現在較少移除。 BERT 這類語言模型會參考每個詞前後的字,停用詞常常是決定語意的關鍵。業界人士因此推測現代搜尋不會一律刪除這些詞,這是推論,Google 沒有公開確認。
為什麼重要
搜尋型號、警示訊息、法律條文標題或片語時,一個本來很常見的字可能就是要找的重點,例如否定詞、介系詞。自己架設站內搜尋的人,要知道停用詞過濾會直接改變搜尋結果。做網站內容的人則不必替搜尋引擎刪減句子,句子應該以讀者讀得順為準。
怎麼檢查
- 如果有站內搜尋,查設定裡的索引與查詢分析器,確認有沒有啟用停用詞過濾,用的是哪一份清單。
- 挑出否定句、片語、品牌名和型號,各搜尋一次,比較啟用與關閉過濾時的結果。
- 檢查網址和標題,保留讀者看得懂的自然語意,只有網址太長時才縮短,不必為了拿掉 the 或 a 而特別改網址。
- 比較正確結果的名次、漏掉的文件和回應時間,再決定要不要調整清單。
常見誤解
停用詞的清單在所有語言和網站都一樣。
常見詞會隨語言和資料而不同,對一個網站是雜訊的詞,對另一個網站可能是關鍵字。
寫 SEO 文章要把所有停用詞都刪掉。
Mueller 的建議是自然地寫,搜尋引擎處理文字的方式,和人讀句子的方式是兩回事。
網址一定要拿掉 the、a、的這類字。
Google 說網址裡的字詞影響很小,留不留停用詞沒有硬性規定,以好讀和好理解為準。
常見問題
網址要不要拿掉 the、a、的?
不用特地拿掉。Google 的 John Mueller 說過網址裡的字詞只是很輕的訊號,要不要保留停用詞由網站經營者決定,網址以讀者好讀、好理解為準,太長時再縮短。
Google 會忽略停用詞嗎?
Google 沒有公開確認。Mueller 在 2021 年的建議是不用擔心停用詞,自然地寫就好,因為搜尋引擎看的是比單一字詞更多的資訊,不會只靠有沒有某個常見字判斷。
中文也有停用詞嗎?
有。常見的中文停用詞清單包含「的」「了」「在」等,但要先斷詞才能過濾,也要視用途決定,因為有些字在特定查詢裡反而是關鍵,不能一律刪掉。
AI 搜尋或語言模型還會移除停用詞嗎?
通常不會。BERT 這類語言模型要參考每個詞前後的字,停用詞常常決定語意,所以多半保留完整句子。移除停用詞現在比較常見於詞頻統計,例如 TF-IDF 或文字雲。