Google PageRank 演算法

1.Google PageRank 演算法

1.1、PageRank(網頁層級)的概念
    互連網發展早期的搜尋引擎，對web頁面的排序，是根據搜尋的片語（短語）在頁面中的出現次數（occurence ），並用頁面長度和html標籤的重要性提示等進行權重修訂。連結名氣(link popularity)技術通過其它文檔連結到當前頁面（inbound links）的連結數量來決定當前頁的重要性，這樣可以有效地抵制被人為加工的頁面欺騙搜尋引擎的手法。

          PageRank計算頁面的重要性，對每個鏈入(inbound)賦以不同的權值，連結提供頁面的越重要則此連結入越高。當前頁的重要性，是由其它頁面的重要性決定的。

1.2、PageRank演算法1

PR(A) = (1-d) + d (PR(T1)/C(T1) + ... + PR(Tn)/C(Tn)) 
其中：PR(A):頁面A的網頁層級, 
PR(Ti)：頁面Ti的網頁層級，頁面Ti鏈向頁面A， 
C(Ti)：頁面Ti鏈出的連結數量，
d：阻尼係數，取值在0－1之間.

由此可見，1）這個演算法不以網站排序，頁面網頁層級由一個個獨立的頁面決定；2）頁面的網頁層級由鏈向它的頁面的網頁層級決定，但每個鏈入頁面的貢獻的值是不同的。如果Ti頁面中鏈出越多，它對當前頁面A的貢獻就越小。A的鏈入頁面越多，其網頁層級也越高；3）阻尼係數的使用，減少了其它頁面對當前頁面A的排序貢獻。

由此可見，1）這個演算法不以網站排序，頁面網頁層級由一個個獨立的頁面決定；2）頁面的網頁層級由鏈向它的頁面的網頁層級決定，但每個鏈入頁面的貢獻的值是不同的。如果Ti頁面中鏈出越多，它對當前頁面A的貢獻就越小。A的鏈入頁面越多，其網頁層級也越高；3）阻尼係數的使用，減少了其它頁面對當前頁面A的排序貢獻。

1.3、隨機衝浪模型
　　Lawrence Page 和 Sergey Brin 提出了使用者行為的隨機衝浪模型，來解釋上述演算法。他們把使用者點選連結的行為，視為一種不關心內容的隨機行為。而使用者點擊頁面內的連結的機率，完全由頁面上連結數量的多少決定的，這也是上面PR(Ti)/C(Ti)的原因。一個頁面通過隨機衝浪到達的機率就是鏈入它的別的頁面上的連結的被點擊機率的和。阻尼係數d的引入，是因為使用者不可能無限的點選連結，常常因勞累而隨機跳入另一個頁面。d可以視為使用者無限點擊下去的機率，（1－d）則就是頁面本身所具有的網頁層級。

1.4、PageRank演算法2（對演算法1的修訂）

PR(A) = (1-d) / N + d (PR(T1)/C(T1) + ... + PR(Tn)/C(Tn)) 
其中N是互連網上所有網頁的數量

由此，所有頁面的網頁層級形成的一個機率分布，所有頁面的網頁層級之和是1。在演算法1中，隨機衝浪訪問某個頁面的機率由互連網的總頁數決定，在演算法2中，網頁層級是一個頁面被隨機訪問的期望值。
　　以下講解，皆基於演算法1，主要是計算簡單，因為不用考慮N的值。

由此，所有頁面的網頁層級形成的一個機率分布，所有頁面的網頁層級之和是1。在演算法1中，隨機衝浪訪問某個頁面的機率由互連網的總頁數決定，在演算法2中，網頁層級是一個頁面被隨機訪問的期望值。
　　以下講解，皆基於演算法1，主要是計算簡單，因為不用考慮N的值。

1.5、PageRank的特性
　　所有頁面的網頁層級之和等於互連網的總頁數。在網頁數比較少的情況下，網頁層級方程可以解出，而面對互連網上成億的網頁，再解方程是不可能的。

此處設阻尼係數為0.5，雖然Lawrence Page 和 Sergey Brin在實際將其設為 0.85.

PR(A) = 0.5 + 0.5 PR(C)
PR(B) = 0.5 + 0.5 (PR(A) / 2)
PR(C) = 0.5 + 0.5 (PR(A) / 2 + PR(B))                        
解得：                                    
PR(A) = 14/13 = 1.07692308
PR(B) = 10/13 = 0.76923077
PR(C) = 15/13 = 1.15384615
有：
PR(A)+PR(B)+PR(C)=3

1.6、迭代計算pagerank
　　Google採用一種近似的迭代的方法計算網頁的網頁層級的，也就是先給每個網頁一個初始值，然後利用上面的公式，迴圈進行有限次運算得到近似的網頁層級。根據Lawrence Page 和 Sergey Brin公開發表的文章，他們實際需要進行100次迭代才能得到整個互連網的滿意的網頁層級值，這兒的例子只用了10多次就可以了。在迭代的過程中，每個網頁的網頁層級的和是收斂於整個網路的頁面數的。所以，每個頁面的平均網頁層級是1，實際上的值在（1－d）和(dN+(1-d))之間。

迭代次數	PR(A)	PR(B)	PR(C)
0	1	1	1
1	1	0.75	1.125
2	1.0625	0.765625	1.1484375
3	1.07421875	0.76855469	1.15283203
4	1.07641602	0.76910400	1.15365601
5	1.07682800	0.76920700	1.15381050
6	1.07690525	0.76922631	1.15383947
7	1.07691973	0.76922993	1.15384490
8	1.07692245	0.76923061	1.15384592
9	1.07692296	0.76923074	1.15384611
10	1.07692305	0.76923076	1.15384615
11	1.07692307	0.76923077	1.15384615
12	1.07692308	0.76923077	1.15384615

1.7、Google搜尋引擎的網頁層級的實現
　　有三個因素決定的網頁的等級：網頁特定性因素、入鏈錨的文本、網頁層級。
　　網頁特定性因素包括網頁的內容、標題及URL等。
　　為提供檢索結果，Google根據網頁特定性因素和入鏈錨的文本計算出網頁的IR值，這個值被檢索項在頁面中的位置和重要性加權，以決定網頁和檢索請求相關性。IR值和網頁層級聯合標誌網頁的基本重要程度，這兩個值的聯合方式有多種，但明顯的是不能相加的。
　　由於網頁層級只對非特定的單個詞的檢索請求影響比較明顯，對於由多個檢索詞構成的檢索請求，內容相關性的分級標準的影響更大。

1.8、用Google工具條顯示當前頁面的網頁層級
　　Google工具條是Google公司開發的IE外掛程式，需要從Google下載並安裝。注意，顯示網頁層級的功能是其進階功能，這時會自動收集使用者的資訊，並會自動升級工具條。
　　這個工具條顯示的網頁層級分為0－10共11級，如果根據理論用(Nd+(1-d))測算，假定d=0.85,則推測實際網層級的對數即為顯示的層級，且對數的基數在6-7之間。

Google的目錄服務可以顯示網站的層級
　　此處層級分為7級。有人對兩種層級進行了比較。　

1.9、入鏈對計算頁面層級的影響
　　入鏈總是能增加當前頁面的層級，尤其當前頁與其下級頁面構成迴路時，這種貢獻更大。如右圖例，設ABCD各 頁初始層級為1，阻尼係數為0.5，PR(X)/C(X)＝10。則易算出                         

PR(A) = 19/3 = 6.33                                       
PR(B) = 11/3 = 3.67                                         
PR(C) = 7/3 = 2.33
PR(D) = 5/3 = 1.67

如果A不在迴路上，則只能得0.5*10=5的收益。
　　阻尼係數越大，頁面層級的收益越大，且整個迴路上都能收到更大的收益（即入鏈收益更能平均地分布到各個迴路頁面上。針對上例，將阻尼係數改為0.75，則有

PR(A) = 419/35 = 11.97
PR(B) = 323/35 = 9.23
PR(C) = 251/35 = 7.17
PR(D) = 197/35 = 5.63

除迴路上各個頁面的層級值明顯增大外，PR(A)/PR(D)的值敢明顯減少了。
　　入鏈對整個迴路上所有頁面的層級值的增加之和，可以由下面這個公式得出.

(d / (1-d)) × (PR(X) / C(X))

這個公式，可以由 簡單推匯出。
1.10、出鏈對計算頁面層級的影響
　　增加出鏈不會影響整個web的總層級，但一個網站失去的層級值等於鏈到的網站的增加值之和。對於兩個封閉的網站，從一個網站鏈上另一個網站時，增加的和減少的都是(d(/(1-d) × (PR(X) / C(X)).如果這兩個網站互相連結，則此值減少。用隨機衝浪模型可以解釋這種現象，就是出鏈的增加，減少了使用者訪問站內頁面的機率。舉例，設阻尼係數 為0.75，則 

PR(A) = 0.25 + 0.75 PR(B)
PR(B) = 0.25 + 0.375 PR(A)
PR(C) = 0.25 + 0.75 PR(D) + 0.375 PR(A)
PR(D) = 0.25 + 0.75 PR(C) 
得：
PR(A) = 14/23
PR(B) = 11/23 
PR(C) = 35/23
PR(D) = 32/23 
PR(A)+PR(B)=25/23
PR(C)+PR(D)=67/23
PR(A)+PR(B)+PR(C)+PR(D)=92/23=4

　　Page和Brin將這樣的連結稱為懸擺鏈，它鏈到頁面沒有出鏈。懸擺鏈對頁 面的層級計算產生負面影響。如例，阻尼係數為0.75.   

PR(A) = 0.25 + 0.75 PR(B)                                          
PR(B) = 0.25 + 0.375 PR(A)
PR(C) = 0.25 + 0.375 PR(A) 
得：
PR(A) = 14/23
PR(B) = 11/23
PR(C) = 11/23 
PR(A)+PR(B)+PR(C)=36/23<3

　　據Page和Brin，Google在索引頁面時，懸擺鏈的量很大，
主要是由於限制robot.txt的限制及索引了一些沒有鏈出的檔案類
型如PDF等。為消除這種負面影響，google在計算層級時，將此
類連結從資料庫裡去掉，在計算完畢後，再單獨計算懸擺鏈所鏈
到頁面。由此可見，PDF類的檔案還是可以放心地在網上發布的。

1.11、頁面數量的影響
　　先看例子。阻尼係數為0.75,PR(X)/C(X)=10,則

PR(A) = 0.25 + 0.75 (10 + PR(B) + PR(C))
PR(B) = PR(C) = 0.25 + 0.75 (PR(A) / 2) 
得：                 

PR(A) = 260/14
PR(B) = 101/14
PR(C) = 101/14 
PR(A)+PR(B)+PR(C)=33;
增加頁面D；
PR(A) = 0.25 + 0.75 (10 + PR(B) + PR(C) + PR(D))
PR(B) = PR(C) = PR(D) = 0.25 + 0.75 (PR(A) / 3) 
得
PR(A) = 266/14
PR(B) = 70/14
PR(C) = 70/14
PR(D) = 70/14 
PR(A)+PR(B)+PR(C)+PR(D)=34

增加頁面後，所有頁面的層級值之和增加了1，A頁略有增加，而B、C則用大幅下降。
　　再看右邊的例子，假定同上。    

PR(A) = 0.25 + 0.75 (10 + PR(C))
PR(B) = 0.25 + 0.75 × PR(A)
PR(C) = 0.25 + 0.75 × PR(B) 
得：
PR(A) = 517/37 = 13.97
PR(B) = 397/37 = 10.73
PR(C) = 307/37 = 8.30

增加頁面D：
PR(A) = 0.25 + 0.75 (10 + PR(D))
PR(B) = 0.25 + 0.75 × PR(A)
PR(C) = 0.25 + 0.75 × PR(B)
PR(D) = 0.25 + 0.75 × PR(C) 
得：
PR(A) = 419/35 = 11.97
PR(B) = 323/35 = 9.23
PR(C) = 251/35 = 7.17
PR(D) = 197/35 = 5.63

增加頁面後，所有頁面層級增加了1，但每個頁面的層級值減少了，這是由於新加頁面分享了入鏈代來的值。從這個結果看，增加頁面減少了已有頁面的層級值，露了google演算法青睞小網站的特點。當然，大網站也會因內容豐富而吸引其它 網站的出鏈而得以層級值增加。

1.12、針對搜尋引擎最佳化的層級分布
　　先看兩個列子，阻尼係數為0.5，PR(X)/C(X)=10;

BC之間無連結時：  

PR(A) = 0.5 + 0.5 (10 + PR(B) + PR (C))
PR(B) = 0.5 + 0.5 (PR(A) / 2)
PR(C) = 0.5 + 0.5 (PR(A) / 2) 
得
PR(A) = 8
PR(B) = 2.5
PR(C) = 2.5
BC之間互相連結時：
PR(A) = 0.5 + 0.5 (10 + PR(B) / 2 + PR(C) / 2)
PR(B) = 0.5 + 0.5 (PR(A) / 2 + PR(C) / 2)
PR(C) = 0.5 + 0.5 (PR(A) / 2 + PR(B) / 2) 
得：
PR(A) = 7
PR(B) = 3
PR(C) = 3

當BC 間互鏈時，雖然減少了A的層級，但BC都增加了。這符合最佳化網站所有頁面而非只首頁的最佳化思路，因為只有每個頁面的層級都提高了，當有檢索詞命中這些頁面時，它們才能排在前面。這種最佳化的方法也很明顯了，就是儘可能地在所有頁面間平均分布入鏈的貢獻，各低級頁面要增加互鏈。

只要不影響易用性，儘可能地將所有出鏈集中在一個或幾個低級頁面中，可以有效地降低出鏈對頁面層級計算的負面影響。看列子：阻尼係數為0.5，PR(X)/C(X)=10;

BCD都有出鏈時：

PR(A) = 0.5 + 0.5 (PR(B) / 2 + PR(C) / 2 + PR(D) / 2)
PR(B) = PR(C) = PR(D) = 0.5 + 0.5 (PR(A) / 3) 
得：
PR(A) = 1
PR(B) = 2/3
PR(C) = 2/3
PR(D) = 2/3 
出鏈集中於D時：
PR(A) = 0.5 + 0.5 (PR(B) + PR(C) + PR(D) / 4)
PR(B) = PR(C) = PR(D) = 0.5 + 0.5 (PR(A) / 3) 
得：
PR(A) = 17/13
PR(B) = 28/39
PR(C) = 28/39
PR(D) = 28/39

從結果看，出鏈集中後，ABCD各頁面的層級都上升了。

1.13、影響頁面層級的其它因素
　　在Lawrence Page和Sergey Brin關於PageRank的論文發表以後，除了web的連結結構以外，還有沒有別的因素被加到PageRank的演算法當中曾經有過廣泛地討論。 Lawrence Page本人在PageRank的專利說明中曾指出以下潛在的影響因素：連結的能見度，連結在文檔中的位置，web頁面間的距離，出鏈頁面的重要性，頁面的不過時。這此因素的增加，可以更好用隨機衝浪模型類比人類利用web的行為。
　　不管上述附加因素有沒有在實際計算PageRank時使用，如何?這些附加因素仍要討論。
　　首先演算法公式需要改進.

PR(A) = (1-d) + d (PR(T1)×L(T1,A) + ... + PR(Tn)×L(Tn,A))

此處，L(T1,A)是入鏈的評價值，由幾個因素構成，只需要在迭代前計算一次，減少了對資料庫的查詢次數，雖然每次迭代的查詢結果會有不同。

Lawrence Page在PageRank的專利說明中指出連結評價的兩個因素是連結的可見度和在文檔中的位置。連結評價取代了PR(A)/C(A)，指出了對一特定的頁面的連結，每個連結被點擊的機率是不同的。
　　此處，每一連結有兩個屬性值，X表示可見度，如果沒有被重點強調（如粗體、斜體等） 為1否則為2，Y錶鏈接在文檔中的位置，如果在文檔下半部為1否則為3。則有     

X(A,B) × Y(A,B) = 1 × 3 = 3
X(A,C) × Y(A,C) = 1 × 1 = 1 
X(B,A) × Y(B,A) = 2 × 3 = 6
X(B,C) × Y(B,C) = 2 × 1 = 2
X(C,A) × Y(C,A) = 2 × 3 = 6
X(C,B) × Y(C,B) = 2 × 1 = 2 
易得：
Z(A) = X(A,B) × Y(A,B) + X(A,C) × Y(A,C) = 4
Z(B) = X(B,A) × Y(B,A) + X(B,C) × Y(B,C) = 8
Z(C) = X(C,A) × Y(C,A) + X(C,B) × Y(C,B) = 8 
連結評價公式為：（頁面T1指向T2）
L(T1,T2) = X(T1,T2) × Y(T1,T2) / Z(T1) 
有：
L(A,B) = 0.75
L(A,C) = 0.25
L(B,A) = 0.75
L(B,C) = 0.25
L(C,A) = 0.75
L(C,B) = 0.25 
最後利用改進的公式計算頁面層級：
PR(A) = 0.5 + 0.5 (0.75 PR(B) + 0.75 PR(C))
PR(B) = 0.5 + 0.5 (0.75 PR(A) + 0.25 PR(C))
PR(C) = 0.5 + 0.5 (0.25 PR(A) + 0.25 PR(B)) 
得：
PR(A) = 819/693
PR(B) = 721/693
PR(C) = 539/693

為了防止人為的層級最佳化，頁面的距離被用來影響連結的評價。站內連結的權重小於站間連結的權重。頁面的距離可能由頁面是否在一個站內、一個伺服器及物理距離等決定。
　　另一個影響頁面重要性的能參數，是頁面的不過時性（up-to-dateness），意指有越多的建立的頁面指向某一個頁面，則這個頁面內容過時的可能性越小。
　　為增加這些因素的影響，要對公式進行修訂如下：

L(Ti,A) = K(Ti,A) × K1(Ti) × ... × Km(Ti)

其中，K(Ti,A)表示連結可見度及位置的權重，Kn(Ti)是第n個因素對頁面Ti的影響。看列子：此處，從C引出的連結的重要性是其它 的4倍。 

K(A) = 0.5
K(B) = 0.5
K(C) = 2 
計算層級值：
PR(A) = 0.5 + 0.5 × 2 PR(C)
PR(B) = 0.5 + 0.5 × 0.5 × 0.5 PR(A)
PR(C) = 0.5 + 0.5 (0.5 PR(B) + 0.5 × 0.5 PR(A)) 
得：
PR(A) = 4/3
PR(B) = 2/3
PR(C) = 5/6

此時，所有頁面的層級之和不等於頁面數量。

1.14 PageRank 演算法的改進

 1. 主題敏感的PageRank（Topic-Sedsitive PageRank）
在這個演算法中，我們需要預先計算離線時頁面的重要性的分數；然後，我們為每一個頁面計算多種重要性分數，即關於不同的主題來計算這個頁面的重要性分數。在查詢的時候，把這些重要性分數與根據被查詢的主題的重要性分數綜合在一起，就形成一個複合的PageRank分數。採用這種方法能形成更加精確的排序值，而不是原始普通的排序值。

 

2. 二次方程推斷法（Quadratic Extra polation）
這是一個可以加快PageRank的運算速度的方法。它能通過周期性的削減當前的矩陣乘冪迭代的非主要特徵向量的方法，大大加快其收斂速度。使用這種方法計算PageRank值時，當計算一個包含8000萬個節點的網狀圖時，與採用原來的PageRank方法相比，計算速度可以提高20%-300%。

 3. 分塊矩陣排序演算法（BlockRank Algo rithm）

該演算法是PageRank演算法的另一個加速演算法，它首先把網路根據領域劃分成不同的地區（塊），為每個地區計算它們的局部PageRank值；估計它們的相對的重要性（每個地區的BlockRank值）；用這個地區的Block-Rank.值來給每個地區的Block-Rank賦予一定的權重。然後再把這些加權的局部

的PageRank值近似地看作全域的PageRank向量，把這個向量作為標準的PageRank演算法的開始向量。這種方法可以減少計算的迭代次數，可以把更多的時間用於收斂速度慢的地區的計算，提高了局部PageRank計算的有效性。BlockRank演算法可以採取並行或分布的形式來進行計算，節約運算的時間。此外，局部的PageRank計算結果在以後的計算中可以被再利用。