四十 Python分布式爬蟲打造搜尋引擎Scrapy精講—elasticsearch(搜尋引擎)倒排索引

標籤：arch   通過   body   權重   pos   str   .com   log   位置   

 

倒排索引

倒排索引源於實際應用中需要根據屬性的值來尋找記錄。這種索引表中的每一項都包括一個屬性值和具有該屬性值的各記錄的地址。由於不是由記錄來確定屬性值，而是由屬性值來確定記錄的位置，因而稱為倒排索引(inverted index)。帶有倒排索引的檔案我們稱為倒排索引檔案，簡稱倒排檔案(inverted file)。

 

 

倒排索引原理

就是將一句話進行分詞並記錄分詞所存在的文章，當使用者搜尋字詞時可以直接尋找到當前詞所存在的文章

 

 

 

倒排索引分詞權重記錄(詞瓶)

 分詞權重記錄，是通過(TF-IDF)來實現的，詳情https://baike.so.com/doc/433640-459181.html

 

 

倒排索引待解決的問題

這些問題elasticsearch(搜尋引擎)已經解決

 

四十 Python分布式爬蟲打造搜尋引擎Scrapy精講—elasticsearch(搜尋引擎)倒排索引