跳到主要內容

詞幹提取Stemming

詞幹提取是用規則切掉詞尾變化,把 connected、connecting 這類詞還原成共同詞幹 connect 的文字處理方式。

英文
Stemming
台灣常見別名
詞幹提取、詞幹擷取、Stemming
簡中用語
词干提取、词干化
類別
搜尋引擎運作與資訊檢索
提出者與年份
資訊檢索通用方法;Martin Porter 1980 年發表代表演算法(An algorithm for suffix stripping)
官方文件
Snowball:The Porter stemming algorithm;Elasticsearch:Stemmer token filter

詞幹提取是什麼?

詞幹提取是搜尋系統處理英文等有詞形變化的語言時,用規則把詞尾切掉,讓同一個詞的不同變化形能被當成同一個詞比對的做法。像 connected、connecting、connection 這幾個字,經過 Porter 演算法處理後,都會變成共同的詞幹 connect。詞幹只是方便系統比對的記號,不一定是字典裡查得到的字。

它發生在建立索引和解析查詢這兩個環節:系統先把文件和查詢都切成詞,再對每個詞做同樣的處理,之後比對的是處理過的結果。這樣使用者搜尋單數,也能找到寫複數的頁面。

舉例

假想有個英文 SEO 部落格的頁面標題寫 keyword tools,使用者搜尋的是 keyword tool。tools 和 tool 經過詞幹處理後都變成 tool,頁面就能被找到。如果沒有這個處理,搜尋系統會把它們當成兩個不同的詞。

詞幹提取的時間線與現況

1960 年代。 最早的詞幹演算法由 Julie Beth Lovins 在 1968 年發表,用一長串詞尾清單切字。

1980 年。 Martin Porter 在期刊《Program》第 14 卷第 3 期發表〈An algorithm for suffix stripping〉,以五個依序進行的步驟,依規則移除英文常見的詞尾。這套 Porter 演算法成為最廣泛使用的英文詞幹提取方法,Porter 後來也設計了名為 Snowball 的小型字串處理語言,用它重寫 Porter 演算法與其他語言的詞幹演算法並持續維護。

2003 年。 據 Search Engine Journal 的整理,Google 在 2003 年底確認開始使用詞幹處理,確認的人是 Google 員工在 WebmasterWorld 論壇上以 GoogleGuy 身分發言。這是二手整理,Google 官方沒有留下同一時間的公告。

現況。 現在的搜尋工具把詞幹提取做成可設定的元件。Elasticsearch 的 stemmer 過濾器預設用 Porter 演算法處理英文,也支援阿拉伯文、德文、俄文、西班牙文、土耳其文等多種語言,有些語言還有輕量版本。中文沒有英文那種詞尾變化,所以不需要詞幹提取,中文搜尋要處理的是斷詞。

常見限制。 一是詞幹不一定是真的單字,Snowball 網站列出的例子有 ponies 變 poni、replacement 變 replac,Elasticsearch 文件裡 quickly 會變成 quickli。二是規則只看字形不看意思,字形接近但意思差很多的詞,有可能被誤併成同一個詞幹。三是不規則變化處理不了,例如 went 和 go,要靠詞形還原。

為什麼重要

有詞幹提取,使用者不必猜網站用的是單數還是複數、現在式還是過去式,找得到的文件會變多。代價是可能多找到不相關的文件。品牌名、型號這類專有字串不應該被當一般單字處理,網站如果自己架站內搜尋,通常會另外保留一個不做詞幹處理的精確欄位。

另一個常見狀況是設定不一致:如果只有查詢做了詞幹處理,文件建索引時沒有,原本找得到的文件反而會漏掉。修改設定後,既有資料要重新建立索引。

怎麼檢查

  1. 如果用 Elasticsearch,在 Kibana 的 Dev Tools 執行 Analyze API,輸入幾個典型句子,看每個詞實際被切成什麼詞元。
  2. 用單數與複數、不同時態、不規則變化的詞各測一次,記下哪些該合併卻沒合併,哪些不該合併卻被合併。
  3. 另外測品牌名、型號和很短的字,確認重要的字串能被精確找到。
  4. 在 Google 分別搜尋單數和複數,看搜尋結果頁加粗的字是否包含變化形,了解 Google 對這個詞的處理。

常見誤解

  • 詞幹一定是字典裡的單字。

    詞幹是給系統比對用的,ponies 會變成 poni,並不是正確的英文字。

  • 詞幹提取適用於所有語言。

    它只適用於有詞尾變化的語言,中文、日文等語言沒有這類變化,要處理的是斷詞。

  • 詞幹提取和詞形還原是同一件事。

    詞幹提取只切字尾,詞形還原會依語法和詞典還原成原形,兩者做法與結果都不同。

詞幹提取和詞形還原差在哪

面向詞幹提取詞形還原
主要方法依字形規則切掉詞尾依詞性、語法和詞典找出原形
結果共同詞幹,可能不是真的單字通常是字典裡的原形
不規則變化處理不了,went 不會變成 go可以還原成 go
常見取捨簡單、速度快,可能誤併準確度較高,需要更多語言資源

常見問題

中文有詞幹提取嗎?

沒有。詞幹提取處理的是英文等有詞尾變化的語言,中文沒有這類變化,搜尋系統要處理的是斷詞,也就是決定一句話要切成哪些詞。

Google 有做詞幹提取嗎?

有。據 Search Engine Journal 的整理,Google 在 2003 年底確認開始使用詞幹處理,但這是二手整理,Google 沒有公開現在的實作細節,所以只能確定有這類處理,不能確定做法。

英文頁面要同時寫單數和複數嗎?

不需要刻意重複。搜尋系統通常能把單複數視為同一個詞,頁面以自然、好讀為準,只有在意思真的不同時,例如單數與複數指不同東西,才需要分別寫。

站內搜尋要不要開詞幹提取?

英文內容為主、使用者會用單複數或不同時態搜尋時,建議開,找得到的頁面會變多。品牌名與型號要另外保留不做詞幹處理的欄位,改設定後既有資料也要重新建立索引。

常用的詞幹提取演算法有哪些?

英文最常見的是 Porter 與 Snowball,Snowball 也支援多種其他語言。NLTK 工具包另外提供 Lancaster,切得比較激進,容易把不同的詞併在一起,用之前要先用自己的資料測試。

AK · AKSEO Labs · 上線