搜尋引擎原理：資料預先處理

搜尋引擎原理中，搜尋引擎工作流程從大的方面有三點：資料擷取、資料預先處理、查詢服務，這裡和大家分享一下資料預先處理，提親說明的是，其中涉及一些專業的詞彙，在我部落格是加了錨文本的，這裡沒有，看不懂的可以去看原文。

engine2.gif (30.75 KB, 下載次數: 40)

下載附件

搜尋引擎資料預先處理

10 小時前 上傳

　　在我們所述的“資料預先處理”就是主要包含四個方面：關鍵詞提取，“鏡像網頁”以及“轉載網頁”的消除，連結分析和網頁重要程度的計算。

　　 關鍵詞提取：
　　1）在每一章網頁，包含了大量的和主題內容無關的內容，像著作權說明等等，關鍵詞提取的任務，就是要提取出網頁源檔案的內容部分所含的關鍵詞。提取的方法：一般類似與切詞，將內容切成多個片語成的數組，再取出“在”“的”等無意義的片語，確定最終的關鍵詞。（博主聯想：關鍵詞密度，關鍵詞加粗，定向錨文本就是更具這一原因出現，方便搜尋引擎更加簡單的判斷關鍵詞）
在後面的章節也會提到的DocView模型中會有更加詳細的講解，在關鍵詞提取之前還有網頁淨化等多個步驟，出於書籍的編輯順序考慮，在這裡不詳解，感興趣的可以點選連結跳轉查看：DocView模型，網頁淨化；

　　 重複或轉載網頁的消除：
　　1）天網的2003統計發現：網頁的平均重複率為4，到目前的2015年，這個數字肯定已經破10。對於網名來說，擁有了更多訪問有用資訊的機會，對搜尋引擎來說，浪費了大量的搜集網頁的時間，以及網路寬頻資源。具體實現方法，以後再講。

　　 連結分析：
　　1）連結分析中有提到兩個概念，詞頻（TF）：該關鍵詞在關鍵詞提取之後的關鍵詞集合中的出現頻率；
　　2）檔案頻率（DF）：該關鍵詞在所有檔案中的出現頻率，在所有檔案中，該關鍵詞在多少檔案中出現；
　　3）搜尋引擎可以通過HTML文字標籤，來確定關鍵詞的重要性（博主聯想：<h1>標籤的使用就是通過這個得來）；指向其他檔案的連結，來判斷（博主聯想：定向錨文本的使用）

　　 網頁重要程度的計算：
　　1）搜尋引擎需要將使用者索引的結果，以列表的形式，展示給客戶，並且在展示中滿足使用者的搜尋需求，因此“網頁重要程度”的概念出現了。
　　2）判定重要性的方法：人們通過參考文獻重要性的評估方式，其核心就是–“被引用的最多的就是最重要的”。這種方式，恰好在HTML中超文本連結完美體現，Google的 PR值（引用該頁面的頁面概述和引用該頁面的頁面重要程度）就是完美展現（博主聯想：發外鏈就是該演算法的完美體現）。（PageRank演算法）
　　3）和第二點出現的不同的地方在於，某些頁面是被大量的指向其他頁面，某些頁面被其他頁面大量引用，形成對偶的關係，於是HITS演算法出現。（HITS演算法）

                                                                          

seo-ganyan.jpg (10.24 KB, 下載次數: 43)

下載附件

SEO

10 小時前 上傳
       部分名詞介紹：

      “倒排文字：利用文檔（已經採集到的網頁）中所包含的關鍵詞作為索引，文檔則作為索引的著陸頁（目的文件），常見的，就像紙質書籍中，索引就是文章關鍵詞，書籍的具體內容或者說頁面就是索引目標頁。

　　鏡像網頁：網頁內容一模一樣的，未做任何的修改
　　轉載網頁：主要內容基本相同，但是多了少量的編輯資訊

　　HITS演算法：簡單介紹，在HITS演算法中，存在兩種頁面Authority（權威）頁面和Hub（目錄）頁面，對於Authority頁面A，指向A頁面的Hub頁面H頁面越多，那麼A頁面的品質越高，同樣的Hub頁面H指向的Authority頁面A的數量越多，品質越高，則H頁面的品質也就越高。

　　陳晨在最後總結一下，在搜尋引擎原理這一本書，在介紹資料預先處理這一塊，包含的四個方面，在陳晨來看，連結分析就是用來判斷網頁重要程度的，所以可以劃分為一類，合起來就是三個方面，一句話來說：重複或轉載頁面首先消除，然後提取關鍵詞，加以DF，TF，連結，和演算法來判斷出網頁重要程度。