跳到主要內容

命名實體辨識Named Entity Recognition (NER)

命名實體辨識是從文字中找出人名、機構、地名、日期等特定對象,並標示它們類別的自然語言處理技術。

英文
Named Entity Recognition (NER)
台灣常見別名
命名實體辨識、具名實體辨識、NER
簡中用語
命名实体识别、专名识别
類別
搜尋引擎運作與資訊檢索
提出者與年份
自然語言處理的通用任務;1995 年第六屆 MUC 已將命名實體列為評測任務
官方文件
Design of the MUC-6 Evaluation;Google Cloud Natural Language:Entity analysis

命名實體辨識是什麼?

命名實體辨識(Named Entity Recognition,簡稱 NER)要處理的是這件事:電腦讀到「AK 昨天在新竹的 AKSEO Labs 辦公室開會」,要能指出「AK」是人名、「新竹」是地名、「AKSEO Labs」是機構名、「昨天」是時間。「命名實體」指有專屬名字的特定對象,一般名詞像「辦公室」就不算。NER 做兩件事:先找出實體在文字裡的位置,再判斷它屬於哪一類。

它是文字理解的前置步驟,搜尋引擎、聊天機器人與知識圖譜都用得到。後面通常還有一步叫實體連結,把名稱對應到知識庫裡的哪一個實體。

舉例(假想情境)

有人搜尋「蘋果 新竹 維修」。NER 這一步會把「新竹」標為地點,把「蘋果」標為品牌或機構,系統就能推測使用者想找新竹的蘋果產品維修店,而不是賣水果的店。

命名實體辨識的時間線與現況

  1. 1995 年 第六屆 Message Understanding Conference(MUC-6)把命名實體辨識列為評測任務之一,Grishman 與 Sundheim 在《Design of the MUC-6 Evaluation》記錄了評測設計。
  2. 1996 年 兩人在 COLING 發表《Message Understanding Conference-6: A Brief History》,回顧這次評測。
  3. 2000 年代 以隱馬可夫模型與條件隨機場為主的統計方法成為主流。
  4. 2010 年代起 神經網路取代手工特徵,BERT 等預訓練模型微調後,在 NER 評測上表現很好。
  5. 現況 spaCy 提供 EntityRecognizer,Google Cloud Natural Language 的實體分析會回傳每個實體的類型與出現位置,部分實體附有維基百科網址與知識圖譜識別碼。

運作方式:先把文字切成詞,再替每個詞標記是實體的開頭、內部或外部,最後把相連的詞合成一個實體並判斷類別。標記方式像這樣:「AK」是人名開頭,「在」不是實體,「新竹」是地名開頭。需要提醒的是,Google Cloud Natural Language 是獨立的雲端產品,它的結果不代表 Google 搜尋怎麼看你的頁面。

為什麼重要

搜尋要回答「某某是誰、某某在哪裡」,先得認得文字裡提到了哪些實體。對網站來說,品牌名、人名、地名若在頁面裡寫得不清楚或前後不一致,機器就不容易判斷頁面在講誰。這也是實體 SEO 與知識圖譜的基礎:實體要先被辨識,才能被連到知識庫裡的對象。

怎麼檢查

  1. 把文章貼到 Google Cloud Natural Language 的實體分析試用頁,看它辨識出哪些實體與類型。
  2. 檢查品牌名、作者名有沒有被辨成正確類型,例如把機構誤判成地點。
  3. 如果重要實體沒出現,檢查第一次提到時有沒有寫完整名稱,並附上一句說明它是什麼。
  4. 用 Python 的 spaCy 跑 doc.ents,在不同工具之間比對結果。
  5. 頁面文字的名稱要和 Organization、Person 這類結構化資料一致。

常見誤解

  • 命名實體辨識就是實體連結。

    NER 只找出名稱並標類別,實體連結才把名稱對應到知識庫裡的某個對象。

  • 所有名詞都是命名實體。

    只有帶專屬名稱的特定對象才算,例如「新竹」,一般名詞像「辦公室」不算。

  • Google Cloud Natural Language 的結果,就是 Google 搜尋看你的方式。

    它是獨立的雲端產品,可以當作理解實體的參考,不代表 Google 搜尋的處理結果。

命名實體辨識和實體連結差在哪

面向命名實體辨識實體連結
做什麼找出文字中的實體並標類別把實體對應到知識庫裡的特定條目
輸出「蘋果」,類別是機構「蘋果」,對應到蘋果公司這個條目
處理多義詞只能依上下文標類別需要判斷是水果還是公司

常見問題

中文也能做命名實體辨識嗎?

可以,但比英文難。中文沒有空格,也沒有英文專有名詞首字母大寫的線索,系統要先斷詞或直接以字為單位判斷。現在的神經網路模型已經能達到實用的水準。

命名實體辨識和結構化資料有什麼關係?

NER 是從文字裡自動猜出實體,結構化資料是網站自己明確宣告實體。兩者可以互相印證:頁面文字寫的名稱和 Organization 結構化資料一致,機器理解就更不容易出錯。

「蘋果」是水果還是公司,NER 怎麼判斷?

要看上下文。光看辨識這一步,可能把蘋果標成機構或食物,後面還要靠實體連結,把名稱對應到知識庫裡正確的對象。上下文提到手機或股價,才比較可能判成公司。

網站要怎麼讓命名實體辨識更容易認出我的品牌名稱?

全站用一致的寫法,頁面文字與 Organization 結構化資料使用同一個正式名稱,並在上下文交代它是什麼。名稱前後寫法常常不同,機器就容易把它當成不同的實體。

AK · AKSEO Labs · 上線