淺談搜尋引擎怎樣抓取你的網頁

仲介交易 HTTP://www.aliyun.com/zixun/aggregation/6858.html">SEO診斷 淘寶客 雲主機 技術大廳

前一陣在點石論壇上就看到關於在百度大量點擊搜尋結果中自己的網站，從而進一步提高排名的討論。 其邏輯是，搜尋結果中的某個網站被點擊次數越多，說明越有用，使用者越喜歡，搜尋引擎會更進一步提高這個網站的排名。

不過這種使用者行為方式是雜訊很大的資料，極容易作弊。 搜尋引擎要在這些資料中提煉出精華非常困難。

前幾天Google員工JohnMu就在Google説明論壇裡明確說，諸如點擊某個網站，然後立即點返回按鈕，這種操作並不會影響你網站的抓取、索引和排名。 這太容易作弊，太容易被競爭對手利用了。

類似這種看似很有價值，卻又很難提煉有用資訊的資料還很多。 比如給競爭對手網站群發垃圾連結。

說到底，要有效利用使用者行為資料，關鍵在於搜尋引擎怎樣確認使用者身份，也就是說準確辨別特定行為到底是誰幹的。 如果是大量真實的使用者點擊你的網站，停留的時間很長，那麼對排名一定有益。 如果搜尋引擎能判斷出這大量點擊就是你一個人，或者是與你有關的一群人幹的，可能效果正相反。

給對手群發也是如此，關鍵在於判別是誰群發。

我以前寫過一篇無所遁形，更多屬於科幻和瞎想。 但誰敢肯定有朝一日，在網上通過基因來判斷身份不會實現呢?20年前，如果誰跟我講會有互聯網，會有網站，會有SEO，那時候我也會覺得是科幻。

現在搜尋引擎其實已經掌握了大量的資料，能説明鑒別使用者身份。 比如Google就可以通過cookies，JS腳本，工具條，gmail帳號，Adsense帳號，Google Analytics帳號，IP位址，使用者搜索資料等判定和鑒別使用者身份。

一個使用者如果登錄過gmail帳號，再訪問任何帶有Adsense，Google Analytics，以及Google所能控制的任何JS腳本的網頁，這些訪問資料都將被記錄在案。 而帶有Google JS腳本的網站現在多如牛毛，除了明顯的Adsense，Google Analytics等，現在Google還收購了最大的網路廣告公司DoubleClick，無數有廣告的網站都在使用Google的代碼。 所以你在網上的一舉一動，很難逃過Google的眼睛。

如果安裝了Google的工具條，那你訪問網站的情況就更一目了然了。

就算你能極端潔身自好，不露痕跡，既不登錄任何Google帳號，瀏覽器關掉JS腳本功能，也不用工具條。 總之你就是個隱身人，也還是不能保證搜尋引擎就抓不到你。

比如說，如果你通過一個聯盟買賣連結，這是Google很痛恨的事情。 就算你能做到隱身，但你無法保證這個聯盟裡的其他人都能不露痕跡。 如果這個連結買賣聯盟裡面的一些人暴露了身份，而這些人時不時訪問一下你的網站，檢查他們所買的連結，你的網站和你自己也就露餡了。

覺得搜尋引擎沒有這麼聰明嗎?誰知道呢?小心為妙。