仲介交易 HTTP://www.aliyun.com/zixun/aggregation/6858.html">SEO診斷 淘寶客 雲主機 技術大廳
今天無意中看到一位站長朋友的訴說，講的是他新站為什麼沒有被收錄，從發現問題的原因到解決問題中一系列的工作。 感覺比較典型，很多人可能會遇到，現在貼出來分享給大家。
問題原因：
該站長在新站上線後不久，網站內部就出現了重大的bug(漏洞)。 該站長先用robots.txt檔案檢測了搜尋引擎的的抓取，然後對網站的bng進行修復。
問題處理：
等到網站的bug修復完成後，該網友再次對robots.txt檔進行了修改，允許所有搜尋引擎的抓取。 表面上看做到這一步就可以等搜尋引擎過來抓取內容了，可是一個星期過去網站一點反應也沒有，查看網站日誌，連蜘蛛都木有來過。 於是乾脆刪除了網站的robots.txt檔。
問題原理：
通過百度站長工具檢測，發現了原來原因就隱藏在robots.txt檔中，當他發現網站有bng的時候，他禁止了搜尋引擎的抓取，而蜘蛛發現這個網站是禁止抓取的，就會預設一個時間段不在去爬了。 百度的站長工具顯示，網站robots.txt檔更新時間就停留在禁止搜尋引擎抓取的那天，以後都沒在更新過。 這也就更加證明了蜘蛛在爬行到一個禁止抓取的頁面，它就不在抓取，並預設下次在來抓取的時間間隔， 這就可以解釋了很多站長為什麼在解除robots.txt檔限制蜘蛛抓取後，也要一段才會重新收錄新內容的原因了，只是以前百度沒有出站長工具我們不知道而已。
解決辦法：
知道了原理，那麼解決起來也就容易多了。 大家請看下圖：
先去開通百度站長工具-robots.txt工具，在更新一下就可以了，新站沒有收錄一定不要忽略robots.txt檔。
本文版權：SEO學堂www.lyylx.com 轉載請注明!
Start building with 50+ products and up to 12 months usage for Elastic Compute Service
1 on 1 presale consultation
24/7 Technical Support 6 Free Tickets per Quarter Faster Response
Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.
A comprehensive suite of global cloud computing services to power your business
Payment Methods We Support
