站長分享：六個方面淺析蜘蛛爬行與抓取（二）

仲介交易 HTTP://www.aliyun.com/zixun/aggregation/6858.html">SEO診斷 淘寶客 雲主機 技術大廳

在上篇文章站長分享：六個方面淺析蜘蛛爬行與抓取（一）中，分別從常見蜘蛛、跟蹤連結、檔存儲三個方面做了總結，今天接著上文從吸引蜘蛛、位址庫、複製內容檢測三個方面做分享。 希望通過整篇文章的六個方面能讓大家對搜尋引擎有個更加深入的瞭解。 好了，開始今天的正文，如果有不對的地方，希望大家做指正。

第四、吸引蜘蛛：通過上文我們知道，雖然蜘蛛理論上能爬取所有頁面，但由於連結的複雜性以及時間的局限性，蜘蛛往往只是抓取互聯網上網頁的一部分，如果我們的網站想要獲得好的排名，那麼就必須想方設法讓蜘蛛來抓取， 蜘蛛一般會抓取比較重要的頁面，那些頁面較重要呢?一是頁面權重高、資格老的網站會被認為比較重要;二是頁面常更新的頁面，對於經常更新的頁面，蜘蛛會更加頻繁訪問;三是導入連結比較多的頁面，無論什麼樣的頁面，如果想要蜘蛛訪問， 就必須有導入連結;四是與首頁點擊距離近的頁面，因為首頁的權重往往最高，所以，距首頁最近點擊距離的頁面往往也被認為是最重要的頁面。

第五、位址庫：位址庫對搜索來說顯得尤為重要，互聯網上的網頁數量是巨大的，為了避免爬行和抓取重複的網址，搜尋引擎會建立一個位址庫，這個位址庫主要記錄已經發現但是還沒有被抓取的頁面，以及已經抓取的頁面。 有了位址庫，就能讓搜尋引擎的工作更加有效率，位址庫中的URL位址常常有幾個來源：一是人工錄入URL;二是自己爬行和抓取，如果爬行到一個新的網址，位址庫中沒有就會存入待訪問的資料庫;三是通過提交， 很多站長都會去主動提交要被收錄的頁面。 蜘蛛會從待訪問的位址中訪問裡邊的URL，爬行完就會刪除，並存入以訪問的位址庫中。 但大家也需要瞭解，我們去主動提高給搜尋引擎網址，並不代表他一定會訪問並收錄我們的頁面，搜尋引擎更喜歡自己爬行發現新的URL，所以我們還是要做好網頁的內容和外部連結。

第六、複製內容檢測：互聯網中存在大量的重複內容，畢竟共用就是互聯網的一大特點，所以這個特點就決定了大量相似的頁面存在。 所以在爬行與抓取的過程中，檢測並刪除重複的內容通常是預處理過程中重要的一環，當蜘蛛發現了很多的重複內容，就會給予刪除，如果你網站上的內容大量都是重複的，那麼你的網站很多可能就不會給予很高的權重。 有時網站採集的網站也會被收錄，但是過一段我們去查看時，已經被搜尋引擎刪除了，這就這複製內容檢測的過程。 如果只是拿來共用下其實無妨，但長期大量複製別人一摸一樣的內容就會有問題。 建議站長們最好別去大量採集，如果你沒有更多的內容去填充你的網站，那建議你最好少更新，少更新也比採集強。

到這裡，給大家做個小結：常見蜘蛛，跟蹤連結，檔存儲，吸引蜘蛛，位址庫，複製內容檢測，本文從這六個方面和大家完整的分析了搜尋引擎蜘蛛爬行與抓取的基本知識。 希望大家能認真的讀完，雖然很多是基礎性的知識，也可能有些枯燥，但這些對我們網站建設和優化是有一定的指導意義的。 大體的瞭解蜘蛛是怎麼「想」的和怎麼「做」的，我們就能針對這些去補強自己。 不要小看任何一個方面，有時就是一個細節就能引起排名的變化。

好了，本文就到這裡，大家有什麼好的想法也歡迎和11544.html">我聯繫，本文來自：紮金花遊戲下載，網址：HTTP://www.mobiledy.com/，也歡迎轉載，轉載請保留連結，謝謝!