詞形還原Lemmatization
詞形還原是把英文等語言中變化後的單字,依詞性與字典還原成原形的處理,例如把 went 與 going 都還原成 go。
- 英文
- Lemmatization
- 台灣常見別名
- 詞形還原、詞元還原、Lemmatization
- 簡中用語
- 词形还原、词元化
- 類別
- 搜尋引擎運作與資訊檢索
- 提出者與年份
- 計算語言學的通用做法,無單一提出者
- 官方文件
- spaCy:Lemmatizer
詞形還原是什麼?
英文的動詞和名詞會變形:go、goes、going、went 其實是同一個動作,mouse 與 mice 是同一種東西。字典裡收的原形叫「詞元」(lemma),詞形還原(Lemmatization)就是把各種變形找回字典裡的原形,會參考詞性與字典,所以能處理 went 還原成 go、mice 還原成 mouse 這類不規則變化。
它屬於搜尋系統的文字前處理,在建立索引與處理查詢時進行,目的是讓不同字形的詞,在比對時被當成同一個詞,使用者搜尋 mouse,也能找到寫 mice 的頁面。
舉例(假想情境)
一個賣電腦周邊的英文網站,商品名稱寫「wireless mice」,使用者搜尋「wireless mouse」。搜尋系統若做了詞形還原,mice 會被還原成 mouse,兩邊就對上了。這種不規則變化,只切字尾的方法處理不了。
詞形還原的時間線與現況
- 1968 年 Julie Beth Lovins 發表第一個詞幹提取演算法。
- 1980 年 Martin Porter 發表《An algorithm for suffix stripping》,Porter 詞幹提取器成為最常用的版本。
- 1990 年代 WordNet 等詞彙資料庫,提供了依字典查原形的資源,詞形還原得以建立在字典上。
- 現況 spaCy 這類工具提供詞形還原,做法是查表,或用規則處理,規則模式通常要先有詞性標記。Elasticsearch 內建的 english 分析器則是用詞幹提取,不是詞形還原。
中文沒有時態與單複數的字尾變化,所以幾乎不需要詞形還原,中文搜尋前處理的重點是斷詞。日文、韓文等有活用變化的語言才有類似需求。
為什麼重要
做英文或多語網站時,使用者的搜尋字形和你頁面的寫法常常不一致。若網站有自己的站內搜尋,沒有處理字形變化,就會出現「明明有這個商品卻搜不到」。Google 實際用什麼方法處理字形變化沒有公開,但寫作時不需要為了它堆疊各種變形。
怎麼檢查
- 查站內搜尋工具(例如 Elasticsearch 或 Algolia)的設定,確認有沒有開啟詞幹或詞形處理。
- 到 GA4 的站內搜尋報表,找出搜尋字詞中結果為 0 的項目,看是不是單複數或時態造成。
- 在 Google 搜尋同一個字的單數與複數,比較結果是否相近。
- 用 spaCy 在 Python 跑
token.lemma_,檢查幾個重要詞的還原結果是否正確。
常見誤解
詞形還原和詞幹提取是同一回事。
詞幹提取只用規則切字尾,結果可能不是真的單字;詞形還原會查字典與詞性,結果是完整的原形單字。
文章要把所有字形變化都寫進去才有利排名。
沒有證據顯示需要,自然寫作就好。
中文網站也要做詞形還原。
中文沒有字尾變化,重點是斷詞與繁簡處理。
詞形還原和詞幹提取差在哪
| 面向 | 詞形還原 | 詞幹提取 |
|---|---|---|
| 做法 | 依詞性與字典還原成原形 | 用規則切掉字尾 |
| 結果 | 完整的字典原形,例如 went 變 go | 可能不是完整單字,例如 studies 變 studi |
| 速度 | 較慢,要查字典與判斷詞性 | 較快,只做字串處理 |
| 不規則變化 | 可以處理 mice、went | 通常處理不了 |
常見問題
寫英文文章,需要把單複數都寫進去嗎?
不需要。搜尋系統通常會處理單複數與時態變化,刻意把每種變形塞進文章,只會讓句子不自然。照一般寫作習慣選自然的寫法就好。
同一個拼法可以是名詞或動詞,還原結果會一樣嗎?
不一定。詞形還原要看詞性,例如 saw 當名詞是鋸子,當動詞是 see 的過去式,所以還原結果會依句子裡的詞性而不同。這也是它比單純去字尾的詞幹提取更準確的原因。
中文需要詞形還原嗎?
通常不需要。中文沒有單複數、時態這類字尾變化,同一個字不會因文法而改寫,所以重點不是還原,而是斷詞,也就是判斷哪幾個字組成一個詞。詞形還原主要用在英文、德文、法文等有詞形變化的語言。
詞形還原常見的工具有哪些?
英文常用的有 spaCy、NLTK 的 WordNet 詞形還原器,以及 Stanza 等套件。它們多半需要先判斷詞性再還原,結果才準,所以使用前要確認工具支援你要處理的語言。