站長如何製作住正確的robots來

仲介交易 HTTP://www.aliyun.com/zixun/aggregation/6858.html">SEO診斷 淘寶客 雲主機 技術大廳

seo優化的技術好壞不僅僅在於內容和外鏈上，更重要的是一些細節上的處理，因為內容和外鏈相對來說需要掌握的要點不是很多，而且易於操作、容易理解;而網站優化的其他一些細節處理，相對來說平時接觸的少，對於這些瞭解的也很少， 真正要處理時卻遇到很多問題，比如seo優化常規的404頁面的製作，301重定向的處理，robots的一個創建等，對於網站來說都是不可或缺的一部分。

下面來說說robots，首先它是一個協定，對於網站的抓取取到重要作用，創建robots的意義在於它可以讓蜘蛛聽從命令服從安排，解決了網站的一些隱私和不必要抓取的頁面，同時也可以強調某一部分必須抓取。 robots看似一個非常簡單的操作，但平時如果沒有太注意或多操作，你寫的robots未必就是正確的，因為裡面涉及到一些指令，沒有寫對可能會影響網站的抓取。

百度站長平臺推出了robots工具(HTTP://zhanzhang.baidu.com/robots)，只要註冊下，認證下網站就ok了，它可以很好的檢驗你的robots寫的是否正確， 該工具可以檢測您的網站是否有robots.txt檔，及robots.txt檔內容,並能按照您的需求生成正確的robots.txt檔，為robots檔的製作起到了很大的説明。

一、可以檢測到網站是否有robots檔

通過網站驗證後，你可以任意測試網站，看該是否有製作robots，如果有它會一一列出你網站設置的情況，比如什麼檔有抓取，什麼檔被遮罩了，一目了然，並且提示是否有錯誤的地方;而沒做robots協定的，他也會提示：「 您的網站沒有robots.txt檔，表示您允許搜尋引擎可以抓取您網站全部的內容」。 如圖所示(chinaz的robots檢測結果)：

二、可以檢測到網站robots是否正確

很多朋友都是想當然，認為robots書寫很簡單，真正測試一下就會發現是錯誤的。 在robots添加網站地圖相信是大家都很熟悉的，主要目的是讓搜尋引擎蜘蛛順利抓取網站地圖，遮罩蜘蛛是用Disallow，允許抓取時用Allow，想當然很多站長為了讓蜘蛛抓取網站，直接把網站地圖定義為：Allow： HTTP ://www.***.com/sitemap.html，結果檢測一下原來是錯誤的，如圖：

百度一下才發現，原來格式為Sitemap: HTTP://www.***.com/sitemap.html，雖然這個操作很簡單，但如果沒有robots工具的輔助，你可能長時間也不會發現這個問題。

三、按你的需求生成正確的robots.txt檔

如果你不懂如何製作robots檔，裡面有很詳細的內容介紹，包括robots的概念、如何製作等，利用表格的形式一一列出來，並且還有多方面的例子，比起百度百科要清晰明瞭的多，瞭解了概念後，當然就是手動製作了， 它能夠很好的按照你的想法一一生成內容，比如你不想讓製作抓取聯繫我們這個頁面，你就可以直接在上面操作：

完成後只需要將檔下載下來，放到網站的根目錄就大功告成了，感覺是不是比看百度百科要清晰明瞭的多了?另外很多操作的細節利用百度是沒辦法解決的，畢竟網站上的內容或者觀點很多都是有誤的，只能好好利用百度官方的工具才是最好的! 文章由淘寶網登陸 HTTP://jyxxjc.com 小編原創，轉載請加上文章中連結，謝謝合作。