pagerank 數學基礎

標籤：nbsp   連通性   拉裡佩奇   pagerank   除了   失效   ast   隨機   問題   

網頁排序的任務中，最核心的痛點在於判別網頁品質。

將互連網上的網頁類比為一個節點，而這個網頁的“出鏈”看做是指向其他節點的一條“有向邊”，而“入鏈”則是其他節點指向這個節點的有向邊。這樣整個網路就變成了一張有向圖。事情到此就顯得容易解決了，因為我們用圖論中最普通的有向圖模型，完成了對此類問題的建模。具體的說，網頁品質的評估是遵循以下兩個假設的：

數量假設：一個節點（網頁）的入度（被連結數）越大，頁面品質越高
品質假設：一個節點（網頁）的入度的來源（哪些網頁在連結它）品質越高，頁面品質越高

為了將這一分析數學化，拉裡佩奇和謝爾蓋布林將隨機過程的“隨機遊走模型”

pn+1 = Hpn

pn = Hnp0

其中 p0 為網頁的初始的pagerank向量 (在佩奇和布林的原始論文中， 這一幾率分布被假定為是均勻分布)，H則是描述馬爾可夫過程中的轉移機率分布的所謂轉移矩陣

 問題及解決

如前所述， 佩奇和布林是用理論上為無窮長——時間的漫遊後訪問各網頁的幾率分布， 即 limn→∞pn， 來確定網頁排序的。 這個定義要想管用， 顯然要解決三個問題：

  極限 limn→∞pn 是否存在？

  如果極限存在， 它是否與 p0 的選取無關？

  如果極限存在， 並且與 p0 的選取無關， 它作為網頁排序的依據是否真的合理？

普通馬爾可夫過程中的轉移矩陣通常是隨機矩陣 (stochastic matrix)， 即每一列的矩陣元之和都為 1 的矩陣，而我們的矩陣 H 卻可能有一些列是零向量， 從而矩陣元之和為 0， 它們對應於那些沒有對外連結的網頁， 即所謂的 “懸掛網頁” (dangling page)。 因為任何一個 “懸掛網頁” 都能象黑洞一樣， 把其它網頁的幾率 “吸收” 到自己身上 (因為虛擬使用者一旦進入那樣的網頁， 就會由於沒有對外連結而永遠停留在那裡)， 這顯然是不合理的。 這種不合理效應是如此顯著， 以至於在一個連通性良好的互連網上， 哪怕只有一個 “懸掛網頁”， 也足以使整個互連網的網頁排序失效， 可謂是 “一粒老鼠屎壞了一鍋粥”。

為瞭解決這些問題， 佩奇和布林對虛擬使用者的行為進行了修正。 首先， 他們意識到無論真實使用者還是虛擬使用者， 當他們訪問到 “懸掛網頁” 時， 都不應該也不會 “在一棵樹上弔死”， 而是會自行訪問其它網頁。 對於真實使用者來說， 自行訪問的網頁顯然與各人的興趣有關， 但對於在平均意義上代表真實使用者的虛擬使用者來說， 佩奇和布林假定它將會在整個互連網上隨機選取一個網頁進行訪問。 用數學語言來說， 這相當於是把 H 的列向量中所有的零向量都換成 e/N (其中 e 是所有分量都為 1 的列向量， N 為互連網上的網頁總數)。 如果我們引進一個描述 “懸掛網頁” 的指標向量 (indicator vector) a， 它的第 i 個分量的取值視 Wi 是否為 “懸掛網頁” 而定——如果是 “懸掛網頁”， 取值為 1， 否則為 0——並用 S 表示修正後的矩陣， 則：

S = H + eaT/N

顯然， 這樣定義的 S 矩陣的每一列的矩陣元之和都是 1， 從而是一個不折不扣的隨機矩陣。 這一修正因此而被稱為隨機性修正 (stochasticity adjustment)。 這一修正相當於剔除了 “懸掛網頁”， 從而可以給上述第三個問題帶來肯定回答 (當然， 這一回答沒有絕對標準， 可以不斷改進)。 不過， 這一修正解決不了前兩個問題。 為瞭解決那兩個問題， 佩奇和布林引進了第二個修正。 他們假定， 虛擬使用者雖然是虛擬， 但多少也有一些 “性格”， 不會完全受當前網頁所限， 死板地只訪問其所提供的連結。 具體地說， 他們假定虛擬使用者在每一步都有一個小於 1 的幾率 α 訪問當前網頁所提供的連結， 同時卻也有一個幾率 1-α 不受那些連結所限， 隨機訪問互連網上的任何一個網站。 用數學語言來說 (請讀者自行證明)， 這相當於是把上述 S 矩陣變成了一個新的矩陣 G：

G = αS + (1-α)eeT/N

這個矩陣不僅是一個隨機矩陣， 而且由於第二項的加盟， 它有了一個新的特點， 即所有矩陣元都為正 (請讀者想一想， 這一特點的 “物理意義” 是什嗎？)， 這樣的矩陣是所謂的素矩陣 (primitive matrix)。 這一修正因此而被稱為素性修正 (primitivity adjustment)。

經過這兩類修正， 網頁排序的計算方法就變成了：

pn = Gnp0

這個演算法能給上述問題提供肯定答案嗎？ 是的， 它能。 因為隨機過程理論中有一個所謂的馬爾可夫鏈基本定理 (fundamental theorem of Markov chains)， 它表明在一個馬爾可夫過程中， 如果轉移矩陣是素矩陣， 那麼上述前兩個問題的答案就是肯定的。 而隨機性修正已經解決了上述第三個問題， 因此所有問題就都解決了。 如果我們用 p 表示 pn 的極限， 則 p 給出的就是整個互連網的網頁排序——它的每一個分量就是相應網頁的訪問幾率， 幾率越大， 排序就越靠前。

 

連結

70702449

https://www.changhai.org/articles/technology/misc/google_math.php

pagerank 數學基礎