站長分享：六個方面淺析蜘蛛爬行與抓取（一）

仲介交易 HTTP://www.aliyun.com/zixun/aggregation/6858.html">SEO診斷 淘寶客 雲主機 技術大廳

大家都知道搜尋引擎想要提供給使用者高品質的搜尋結果，首先就要去收錄網頁，而收錄網頁就需要搜尋引擎的蜘蛛去不斷爬取，然後根據爬行的情況有選擇性的抓取與收錄。 本文從六個方面和大家淺析蜘蛛的爬行與抓取，希望能讓新手站長更多瞭解搜尋引擎的原理，知道了這些，對我們網站優化會有指導性的意義。 好了，開始今天的正文。

第一、常見蜘蛛：蜘蛛其實就是搜尋引擎用來訪問頁面的程式，英文叫spider，也稱為機器人，英文為bot。 有時候查看IIS日誌就能看到各種蜘蛛訪問網頁的情況，對網站的優化起到一定的指導作用。 當蜘蛛訪問一個網站時，會發出頁面訪問請求並返回HTTP狀態碼，然後蜘蛛會把這些狀態碼存入自己的資料庫，為以後的各種計算做鋪墊。 常見的蜘蛛有百度蜘蛛(Baiduspider)、雅虎蜘蛛(Mozilla)、微軟Bing蜘蛛(msnbot)、搜狗蜘蛛(Sogou+web+bot)、Google蜘蛛(Googlebot)等。 一般情況下，IIS日誌都會有顯示，站長們應該多花點時間仔細看下蜘蛛對自己網站的訪問情況，然後對自己網站做出調整。

第二、跟蹤連結：跟蹤連結指的是蜘蛛會順著頁面上的連結從一個頁面爬到下一個頁面。 因為整個互聯網都是有不同的連結構成，所以理論上蜘蛛能爬行所有的頁面。 但由於現實中網站間的連結結構非常複雜，蜘蛛就會採取一定的策略才能爬行所有頁面。 常見的策略一般有兩種，一是深度優先，二是廣度優先。 深度優先指的是順著連結一直爬行，直到沒有連結為止，然後返回第一個頁面。 而廣度優先是順著第一層的連結爬行，直到把第一層的連結爬行完然後再爬行第二層的連結。 如果從理論上講，只要有充足的時間，蜘蛛就能爬行完所有的網頁，但實際上搜尋引擎只是收錄了互聯網上很小的一部分網頁。 因此對我們來講，爭取做足夠多的外部連結，讓蜘蛛有機會來爬行與抓取。

第三、檔存儲：檔存儲是搜尋引擎的一個技術關鍵所在，同時也是面臨的一個挑戰。 當搜尋引擎爬行和抓取完成後，會把這些資料存入原始頁面資料庫。 在這個資料庫存放的資料和使用者在瀏覽器中看到的頁面是完全一樣的。 每個URL都會有一個獨特的編號。 除此之外，還要存儲各種計算權重所需要的資料，比如各種連結的關係，PR的反覆運算計算等。 這些資料量是巨大的。 很多網站不存在時，我們可以訪問搜尋引擎的快照頁面，這些頁面就是存在搜尋引擎自己的資料庫中，與站長網站本身的資料沒有關系，是獨立存在的。 平時的快照更新、排名波動都和搜尋引擎的檔存儲有著直接的關係。

到這裡，給大家分享了基本的三個方面：常見蜘蛛，跟蹤連結，檔存儲。 這些內容大家作為一種瞭解性的常識，對我們還是能起到一定作用的。 搜尋引擎本身是個巨大的系統，裡邊涉及到的巨量運算是我們無法想像到的。 有時候優化網站明顯感覺到波動，站長們也很著急、很費解為什麼網站無緣無故出現問題，其實很多時候並不是我們自身的原因，而我們面對的是一個巨型的計算系統，它本身也正在逐步的成熟和完善， 所以有時候出現不正常的現象也都在正常的範圍內。 網站出現波動大家都不想看到，我們也不應該把重心都放在這上邊，還是多騰出點時間來完善自己的內容才是重點。

好了，本文就到這裡，大家有什麼好的想法也歡迎和11544.html">我聯繫，本文來自：紮金花遊戲下載，網址：HTTP://www.mobiledy.com/，也歡迎轉載，轉載請保留連結，謝謝!