潛在語意索引Latent Semantic Indexing (LSI)
潛在語意索引是 1990 年發表的資訊檢索方法,用奇異值分解把詞與文件的關係降到較少維度,找出字面不同但語意相近的文件。
- 英文
- Latent Semantic Indexing (LSI)
- 台灣常見別名
- 潛在語意索引、潛在語義索引、LSI
- 簡中用語
- 潜在语义索引、潜在语义检索
- 類別
- 搜尋引擎運作與資訊檢索
- 提出者與年份
- Scott Deerwester、Susan Dumais 等人,1990 年發表代表論文;1988 年申請專利(Bell Communications Research)
- 官方文件
- Indexing by Latent Semantic Analysis(1990);專利 US 4,839,853
潛在語意索引是什麼?
SEO 圈常說「文章要加 LSI 關鍵字」,意思是加入同義詞或相關字。但 LSI 原本不是關鍵字清單,而是一種數學方法。「潛在」指的是潛藏的語意:詞和詞背後有看不見的主題,例如「汽車」「駕駛」「引擎」常一起出現,背後就有一個「車輛」主題。LSI 用奇異值分解(SVD)把一張巨大的「詞乘以文件」表格壓縮成幾百個主題維度,查詢「汽車」時,也能找到只寫「轎車」的文件。
它屬於資訊檢索的語意比對方法,發生在建立索引時的資料轉換,不在 Google 公開的排名系統清單裡。
舉例(假想情境)
有人說寫咖啡文章要放 LSI 關鍵字「濾紙」「研磨度」。實際上 LSI 做的事,是對整批文件做矩陣分解,不是替單篇文章產生關鍵字建議。那些工具列出來的相關字,通常只是共同出現的統計或搜尋建議。
潛在語意索引的時間線與現況
- 1988-09-15 Deerwester、Dumais 等人在 Bell Communications Research 提出專利申請,名稱是《Computer information retrieval using latent semantic structure》,1989 年 6 月 13 日核准,專利號 US 4,839,853。
- 1990 年 Deerwester、Dumais、Furnas、Landauer 與 Harshman 發表《Indexing by Latent Semantic Analysis》,這是 LSI 的代表論文。
- 2019-07-30 Google 的 John Mueller 在 Twitter 上說,並沒有 LSI 關鍵字這種東西,說有的人是搞錯了。
實際演算法分四步:先建立詞乘以文件的矩陣,常用 TF-IDF 加權;再做奇異值分解,只保留最重要的幾十到幾百個維度;然後把查詢轉換到同一個低維空間;最後用餘弦相似度比較。現況:LSI 還在教學與小型語料的檢索使用,工具如 scikit-learn 的 TruncatedSVD 可以做到。Google 的排名系統指南列出的系統,包括神經配對、RankBrain、BERT 與段落排名,沒有一項叫 LSI,也就是說 Google 官方沒有說過自己用 LSI。
為什麼重要
搞清楚 LSI 是什麼,可以省下很多不必要的操作:不用買「LSI 關鍵字產生器」,也不用在文章裡硬塞一堆同義詞。真正有用的是把主題寫完整,回答讀者會問的相關問題。這個做法本身有價值,但它的名字不該叫 LSI。
怎麼檢查
- 把 LSI 關鍵字工具列出的字,當成寫作時的問題清單,不要當成必填欄位。
- 改用 Search Console 的「成效」報表,看頁面實際被哪些查詢找到,補上讀者真的問的問題。
- 搜尋目標查詢,看搜尋結果頁的「大家也問」與相關搜尋,找出相關子題。
- 想用真正的 LSI,可以用 scikit-learn 對站內文章做 TruncatedSVD,找出內容相近的文章,作為內部連結的參考。
常見誤解
Google 用 LSI 關鍵字排名。
John Mueller 在 2019 年明說並沒有 LSI 關鍵字,Google 的排名系統指南也沒有列出 LSI。
文章加上相關字,就等於做了 LSI。
LSI 是對整批文件做矩陣分解的方法,只是從搜尋結果整理同義字,並不等於做了 LSI。
LSI 是現代搜尋理解語意的方式。
LSI 是 1980 年代末的方法,現代搜尋使用神經網路模型,例如 Google 公開列出的 BERT 與神經配對。
潛在語意索引和神經詞嵌入差在哪
| 面向 | 潛在語意索引 | 神經詞嵌入 |
|---|---|---|
| 方法 | 對詞乘以文件矩陣做奇異值分解 | 用神經網路從大量文字學習向量 |
| 年代 | 1988 至 1990 年 | 2013 年起普及(例如 word2vec) |
| 能不能處理多義詞 | 同一個詞只有一個向量,多義詞容易混在一起 | 較新的模型會依上下文給不同向量 |
常見問題
LSI 關鍵字工具有用嗎?
這類工具列出的是相關字詞清單,並不是真正的 LSI。它可以當寫作時的發想清單,但沒有證據顯示 Google 用 LSI 排名,不需要為了湊這些字而改寫文章。
LSI 和 LSA 是同一個東西嗎?
是同一個方法的兩個名稱。用在資訊檢索與建立索引時叫 LSI,用在語意分析時叫 LSA(Latent Semantic Analysis)。1990 年的代表論文標題用的就是後者。
為什麼很多 SEO 文章還在講 LSI?
因為名稱聽起來像語意 SEO,又容易被包裝成「加相關字就有效」的操作建議。實際上 LSI 是 1980 年代末的方法,早於現代的網路搜尋,Google 的排名系統指南列出的系統裡也沒有它。
Google 說過自己沒有用 LSI 嗎?
說過。Google 的 John Mueller 在 2019 年 7 月公開表示沒有所謂的 LSI 關鍵字,講這種說法的人是搞錯了。Google 也沒有承認用過 LSI 排名,所以不必為了湊相關字而改寫文章。
想找主題的相關字詞,不用 LSI 工具要怎麼做?
直接看搜尋結果。前十名頁面常出現的詞、搜尋結果下方的相關搜尋、「其他人也問」的問題,都能反映讀者怎麼談這個主題。把這些放進文章是因為內容需要,而不是為了湊字詞。