揭秘：搜尋引擎蜘蛛從何爬起

仲介交易 HTTP://www.aliyun.com/zixun/aggregation/6858.html">SEO診斷 淘寶客 雲主機 技術大廳

瞭解搜尋引擎工作原理的SEOer都知道搜尋引擎蜘蛛這個東西，spider這個東西我們做SEO的都很喜歡在日誌中每天都看到他，恨不得分分鐘的都讓他出現在自己的網站上，為什麼呢?因為只有他來了， 我們的網站中的內容才有可能被索引，也就是被搜尋引擎所收錄，也只有被搜尋引擎收錄之後我們的網站資訊才有可能被廣大的線民找到並閱覽。

我們先來普及以下什麼是搜尋引擎蜘蛛(spider)，搜尋引擎蜘蛛 (又被稱為網頁蜘蛛，網路機器人等)，是一種按照一定的規則，自動的抓取萬維網資訊的程式或者腳本。

我們也知道搜尋引擎的工作原理簡單的來說是：爬行抓取、預處理、排序這幾個重要步驟，要想讓網站有一個良好的排序，那麼第一步的爬行和抓取是極其重要的。 我們今天主要探討的是諾大的一個9201.html">互聯網世界，海量的資訊，億萬級別的網頁，那麼搜尋引擎蜘蛛的出發地是在哪裡呢?它這個小東西會從什麼地方開始爬行互聯網去抓取這些海量的資訊呢？

曾經從官方內部人士透露出來的資訊是這樣，他們說搜尋引擎蜘蛛會從它認為最信任的網站開始爬行，然後順著這些被信任的頁面上出現的URL一直爬下去。 這裡有一個很重要的關鍵字「最信任的網站」，那麼對於搜尋引擎來說什麼樣的網站他最信任呢？

我個人的理解是這樣的，那些被搜尋引擎認可的，有一定權威性的，使用者喜歡的網站，你比如說百度的新聞源網站，既然能成為百度的新聞源，那麼肯定是被百度認可和信任的，這些網站搜尋引擎蜘蛛就會極其頻繁的爬行和抓取，至少5分鐘一次。

還有就是對於百度自身來說，自己旗下的產品那肯定也是被非常信任的，比如知道、貼吧等，這些平臺我估計蜘蛛就是常駐與此。

其實這些問題也不難理解，就像我們顯示生活中人際交往是一樣的，如果你想打聽一件事情，你肯定是從自己身邊最信任的人開始打聽，然後慢慢延伸。 搜尋引擎蜘蛛也是如此。

當你明白了這個道理，也明白了蜘蛛的爬行起點，那麼你是否也明白了如何讓一個網站快速的被搜尋引擎收錄呢？

作者：周賽 更多分享來自：HTTP://www.saiweish.com 轉載請注明出處！