詞幹提取Stemming
詞幹提取是用規則切掉詞尾變化,把 connected、connecting 這類詞還原成共同詞幹 connect 的文字處理方式。
- 英文
- Stemming
- 台灣常見別名
- 詞幹提取、詞幹擷取、Stemming
- 簡中用語
- 词干提取、词干化
- 類別
- 搜尋引擎運作與資訊檢索
- 提出者與年份
- 資訊檢索通用方法;Martin Porter 1980 年發表代表演算法(An algorithm for suffix stripping)
- 官方文件
- Snowball:The Porter stemming algorithm;Elasticsearch:Stemmer token filter
詞幹提取是什麼?
詞幹提取是搜尋系統處理英文等有詞形變化的語言時,用規則把詞尾切掉,讓同一個詞的不同變化形能被當成同一個詞比對的做法。像 connected、connecting、connection 這幾個字,經過 Porter 演算法處理後,都會變成共同的詞幹 connect。詞幹只是方便系統比對的記號,不一定是字典裡查得到的字。
它發生在建立索引和解析查詢這兩個環節:系統先把文件和查詢都切成詞,再對每個詞做同樣的處理,之後比對的是處理過的結果。這樣使用者搜尋單數,也能找到寫複數的頁面。
舉例
假想有個英文 SEO 部落格的頁面標題寫 keyword tools,使用者搜尋的是 keyword tool。tools 和 tool 經過詞幹處理後都變成 tool,頁面就能被找到。如果沒有這個處理,搜尋系統會把它們當成兩個不同的詞。
詞幹提取的時間線與現況
1960 年代。 最早的詞幹演算法由 Julie Beth Lovins 在 1968 年發表,用一長串詞尾清單切字。
1980 年。 Martin Porter 在期刊《Program》第 14 卷第 3 期發表〈An algorithm for suffix stripping〉,以五個依序進行的步驟,依規則移除英文常見的詞尾。這套 Porter 演算法成為最廣泛使用的英文詞幹提取方法,Porter 後來也設計了名為 Snowball 的小型字串處理語言,用它重寫 Porter 演算法與其他語言的詞幹演算法並持續維護。
2003 年。 據 Search Engine Journal 的整理,Google 在 2003 年底確認開始使用詞幹處理,確認的人是 Google 員工在 WebmasterWorld 論壇上以 GoogleGuy 身分發言。這是二手整理,Google 官方沒有留下同一時間的公告。
現況。 現在的搜尋工具把詞幹提取做成可設定的元件。Elasticsearch 的 stemmer 過濾器預設用 Porter 演算法處理英文,也支援阿拉伯文、德文、俄文、西班牙文、土耳其文等多種語言,有些語言還有輕量版本。中文沒有英文那種詞尾變化,所以不需要詞幹提取,中文搜尋要處理的是斷詞。
常見限制。 一是詞幹不一定是真的單字,Snowball 網站列出的例子有 ponies 變 poni、replacement 變 replac,Elasticsearch 文件裡 quickly 會變成 quickli。二是規則只看字形不看意思,字形接近但意思差很多的詞,有可能被誤併成同一個詞幹。三是不規則變化處理不了,例如 went 和 go,要靠詞形還原。
為什麼重要
有詞幹提取,使用者不必猜網站用的是單數還是複數、現在式還是過去式,找得到的文件會變多。代價是可能多找到不相關的文件。品牌名、型號這類專有字串不應該被當一般單字處理,網站如果自己架站內搜尋,通常會另外保留一個不做詞幹處理的精確欄位。
另一個常見狀況是設定不一致:如果只有查詢做了詞幹處理,文件建索引時沒有,原本找得到的文件反而會漏掉。修改設定後,既有資料要重新建立索引。
怎麼檢查
- 如果用 Elasticsearch,在 Kibana 的 Dev Tools 執行 Analyze API,輸入幾個典型句子,看每個詞實際被切成什麼詞元。
- 用單數與複數、不同時態、不規則變化的詞各測一次,記下哪些該合併卻沒合併,哪些不該合併卻被合併。
- 另外測品牌名、型號和很短的字,確認重要的字串能被精確找到。
- 在 Google 分別搜尋單數和複數,看搜尋結果頁加粗的字是否包含變化形,了解 Google 對這個詞的處理。
常見誤解
詞幹一定是字典裡的單字。
詞幹是給系統比對用的,ponies 會變成 poni,並不是正確的英文字。
詞幹提取適用於所有語言。
它只適用於有詞尾變化的語言,中文、日文等語言沒有這類變化,要處理的是斷詞。
詞幹提取和詞形還原是同一件事。
詞幹提取只切字尾,詞形還原會依語法和詞典還原成原形,兩者做法與結果都不同。
詞幹提取和詞形還原差在哪
| 面向 | 詞幹提取 | 詞形還原 |
|---|---|---|
| 主要方法 | 依字形規則切掉詞尾 | 依詞性、語法和詞典找出原形 |
| 結果 | 共同詞幹,可能不是真的單字 | 通常是字典裡的原形 |
| 不規則變化 | 處理不了,went 不會變成 go | 可以還原成 go |
| 常見取捨 | 簡單、速度快,可能誤併 | 準確度較高,需要更多語言資源 |
常見問題
中文有詞幹提取嗎?
沒有。詞幹提取處理的是英文等有詞尾變化的語言,中文沒有這類變化,搜尋系統要處理的是斷詞,也就是決定一句話要切成哪些詞。
Google 有做詞幹提取嗎?
有。據 Search Engine Journal 的整理,Google 在 2003 年底確認開始使用詞幹處理,但這是二手整理,Google 沒有公開現在的實作細節,所以只能確定有這類處理,不能確定做法。
英文頁面要同時寫單數和複數嗎?
不需要刻意重複。搜尋系統通常能把單複數視為同一個詞,頁面以自然、好讀為準,只有在意思真的不同時,例如單數與複數指不同東西,才需要分別寫。
站內搜尋要不要開詞幹提取?
英文內容為主、使用者會用單複數或不同時態搜尋時,建議開,找得到的頁面會變多。品牌名與型號要另外保留不做詞幹處理的欄位,改設定後既有資料也要重新建立索引。
常用的詞幹提取演算法有哪些?
英文最常見的是 Porter 與 Snowball,Snowball 也支援多種其他語言。NLTK 工具包另外提供 Lancaster,切得比較激進,容易把不同的詞併在一起,用之前要先用自己的資料測試。